Coluna O Direito e a Sociedade de Consumo / Coordenador Marcos Catalan
Dois mil e vinte traz, em seu cerne, diversos desafios: a esmagadora maioria em razão da pandemia do COVID-19 e seus (im)previsíveis efeitos. Além disso, a terrível morte de George Floyd[1] desperta indignação muitas vezes adormecida: a discriminação social em decorrência de etnia, orientação sexual, condições financeiras, crenças, entre diversas possibilidades.
Para fins introdutórios, algoritmos são compreendidos como um conjunto de informações complexas que regulam a forma como computadores resolvem determinados problemas. A Inteligência Artificial (IA) é o conjunto de algoritmos que, trabalhando juntos, habilitam que máquinas reproduzam comportamento humano, como explica Mark van Rijmenam[2]. Considerando o crescente uso dos algoritmos no e-commerce, pretende-se abordar, brevemente, situações em que o consumidor foi discriminado em decorrência de erros de algoritmos.
Em 2009, um vídeo nominado “HP computers are racist” testou a webcam que, ao detectar feições humanas, deveria acompanhar o movimento realizado pelos usuários[3]. A gravação, que possui mais de três milhões de visualizações, compara os usuários Desi e Wanda testando o equipamento. Ainda que em tom descontraído, o vídeo mostra que o equipamento, nas mesmas condições de espaço, tempo e iluminação, reconhecia o rosto de Wanda – branca – e a acompanhava, enquanto não detectava os movimentos de Desi, negro, realizadas diversas tentativas. À época, a HP pronunciou-se sobre o problema, afirmando buscar solução[4].
Uma década depois, dados do Instituto Nacional de Padrões e Tecnologia (NIST) apontam que os algoritmos mais utilizados e mais eficientes da Idemia, empresa de segurança, apresentam dificuldades de reconhecimento facial de mulheres negras. Segundo a pesquisa, a confusão no reconhecimento de mulheres brancas é de uma em cada 10.000, enquanto para mulheres negras ocorre uma a cada 1.000 vezes[5]. É imprescindível atentar-nos ao fato de que o reconhecimento facial tem sido ferramenta cada vez mais utilizada, como em empresas e aeroportos, por exemplo.
O Google Photos também apresentou problemas com reconhecimento facial de pessoas negras, ao não conseguir distinguir a pele humana com a de macacos, etiquetando assim as fotos da galeria de usuários. A “solução” apresentada não foi a melhoria dos algoritmos, e sim a retirada dos termos “macacos”, “gorilas” e “chimpanzés” do servidor[6].
Algoritmos também podem discriminar consumidores, pelo e-commerce, em decorrência do local em que realiza buscas. Isso ocorre quando o sistema, ao acessar o endereço pelo GPS ou CEP do consumidor, oferece diferentes opções para os mesmos dados de pesquisa inseridos. A empresa Decolar.com foi condenada, em 2018, ao pagamento de R$7,5 milhões de reais pelas práticas de geo pricing e geo blocking, ao beneficiar turistas argentinos em detrimento de brasileiros nas ocupações das Olimpíadas do Rio de Janeiro[7].
As práticas, que consistem em elevar o preço ou até mesmo bloquear a oferta de produtos e serviços em função da localização do consumidor, são práticas abusivas, repudiadas pelo art. 39, incisos IX e X, do Código de Defesa do Consumidor[8].
Algumas empresas declinam prestação de serviços em decorrência da localização do consumidor, alegando falta de segurança, como o caso da Uber nas periferias de São Paulo. Da necessidade, surge a criatividade: a Jaubra, criada para atender às corridas de Brasilândia, em 2018 contava com mais de 400 motoristas cadastrados[9].
Estudos da Universidade de Oxford, coordenados pela pesquisadora Sandra Wachter[10], relatam a prática de discrimination by association, ou seja, a discriminação realizada em virtude de interesses de grupos. De acordo com Sandra, os anúncios de produtos e serviços são oferecidos com base nos interesses pessoais dos usuários, coletadas as informações de suas pesquisas e perfis on-line.
No entanto, a discriminação é apontada no momento em que o usuário não é avaliado em sua individualidade, e sim em seus grupos de interesse. Dessa forma, ao ser classificado como “homem” ou “mulher”, “dono de apartamento” ou “com interesse em animais domésticos”, por exemplo, são oferecidos anúncios nesse sentido. Entretanto, alguns produtos e serviços não são oferecidos para determinadas pessoas em razão de suas características elencadas. Em outros casos, há diferenciação de preços e até mesmo favorecimento de consumidores em detrimento de outros.
A pesquisa exemplifica o caso do Uber, que, dos 91 anúncios da empresa disponíveis aos consumidores, 87 eram segmentados exclusivamente para homens, enquanto apenas um era exclusivo para mulheres. Quanto ao favorecimento, pode-se dar como exemplo: anúncios de empréstimos são majoritariamente oferecidos para pessoas que têm cachorros, por ser feita associação de que o dono de cachorro tem imóvel próprio, ou seja, não sendo locatário, a probabilidade de pagamento do empréstimo em dia seria, supostamente, maior.
É necessário atentar-se ao fato de que os algoritmos são como uma “caixa preta”, a black box, em que sequer os programadores possuem controle do que pode ocorrer entre a programação e o uso pelo consumidor[11]. Por essa razão, é preciso maior segurança em relação à elaboração e utilização de algoritmos.
Mais do que nunca, é imprescindível o cuidado redobrado, para que a tecnologia não se torne ferramenta de discriminação entre consumidores.
Notas e Referências
[1] CASO George Floyd: as consequências vividas por quem filma cenas de violência policial. BBC News, São Paulo, 12 jun. 2020. Disponível em: https://www.bbc.com/portuguese/internacional-53018054. Acesso em: 14 jun. 2020.
[2] ALGORITHMS are black boxes, that is why we need explainable AI. Medium, [S.l.], 04 set. 2019. Disponível em: https://medium.com/@markvanrijmenam/algorithms-are-black-boxes-that-is-why-we-need-explainable-ai-72e8f9ea5438#:~:text=Algorithms%20are%20a%20set%20of,when%20solving%20a%20certain%20problem.&text=Algorithms%20are%20black%20boxes%3B%20whatever,and%20quite%20often%20not%20even. Acesso em: 14 jun. 2020.
[3] HP computers are racist. [S.l.: s.n], 10 dez. 2009. 1 vídeo (2 min 15 s). Disponível em: https://www.youtube.com/watch?v=t4DT3tQqgRM. Acesso em: 14 jun. 2020.
[4] VÍDEO sobre ‘racismo’ de webcam já foi visto mais de um milhão de vezes. G1, São Paulo, 25 dez. 2009. Disponível em: https://www.youtube.com/watch?v=t4DT3tQqgRM. Acesso em 14 jun. 2020.
[5] ALGORITMOS de reconhecimento facial falham em combinar rostos de mulheres negras. Canaltech, São Paulo?], 22 jul. 2019. Disponível em: https://canaltech.com.br/inteligencia-artificial/algoritmos-de-reconhecimento-facial-falham-em-combinar-rostos-de-mulheres-negras-144657/. Acesso em: 14 jun. 2020.
[6] GOOGLE conserta seu algoritmo “racista” apagando os gorilas. El País, São Paulo, 16 jan. 2018. Disponível em: https://brasil.elpais.com/brasil/2018/01/14/tecnologia/1515955554_803955.html. Acesso em: 14 jun. 2020.
[7] DECOLAR.com é multada por prática de geo pricing e geo blocking. Ministério da Justiça e Segurança Pública, Brasília, 18 jun. 2018. Disponível em: https://www.justica.gov.br/news/collective-nitf-content-51. Acesso em: 14 jun. 2020.
[8] In verbis, art. 39, inciso X, do CDC: Art. 39. É vedado ao fornecedor de produtos ou serviços, dentre outras práticas abusivas: IX - recusar a venda de bens ou a prestação de serviços, diretamente a quem se disponha a adquiri-los mediante pronto pagamento, ressalvados os casos de intermediação regulados em leis especiais; X - elevar sem justa causa o preço de produtos ou serviços. BRASIL. Lei nº 8.078, de 1990. Código de Defesa do Consumidor. Brasília, 1990. Disponível em: http://www.planalto.gov.br/ccivil_03/leis/l8078.htm. Acesso em: 14 jun. 2020.
[9] O que aconteceu com o “Uber” da periferia paulistana? Draft, São Paulo, 02 abr. 2018. Disponível em: https://www.projetodraft.com/o-que-aconteceu-com-o-uber-da-periferia-paulistana-conseguiu-regularizacao-e-agora-enfrenta-o-gigante/. Acesso em: 14 jun. 2020.
[10] ALGORITHMS drive online discrimination, academic warns. Financial times, Londres, 12 dez. 2019. Disponível em: https://www.ft.com/content/bc959e8c-1b67-11ea-97df-cc63de1d73f4. Acesso em: 17 jun. 2020.
[11] ALGORITHMS are black boxes, that is why we need explainable AI. Medium, [S.l.], 04 set. 2019. Disponível em: https://medium.com/@markvanrijmenam/algorithms-are-black-boxes-that-is-why-we-need-explainable-ai-72e8f9ea5438#:~:text=Algorithms%20are%20a%20set%20of,when%20solving%20a%20certain%20problem.&text=Algorithms%20are%20black%20boxes%3B%20whatever,and%20quite%20often%20not%20even. Acesso em: 14 jun. 2020.
Imagem Ilustrativa do Post: hammer, books, law court // Foto de: succo // Sem alterações
Disponível em: https://pixabay.com/en/hammer-books-law-court-lawyer-620011/
Licença de uso: https://pixabay.com/en/service/terms/#usage
