Coluna O Direito e a Sociedade de Consumo / Coordenador Marcos Catalan
No ano de 2015, o Departamento de Polícia de Los Angeles resolveu adotar inovações tecnológicas para melhorar a eficiência de seus serviços. Para isso, empregou um sistema de policiamento preditivo, o PredPol, que se propõe a antecipar, com base no histórico do banco de dados da polícia, onde e quando os crimes provavelmente ocorrerão[1]. Como resultado, o sistema foi constantemente acusado de enviar tropas policiais às regiões mais pobres, resultando majoritariamente na detenção de pessoas negras e hispânicas, enquanto áreas consideradas mais nobres eram ignoradas pelo algoritmo.
Um ano depois, em 2016, a Microsoft obrigou-se a desativar seu chatbot, “Tay”, operado por inteligência artificial e projetado para participar de conversas no Twitter. A decisão inevitável se deu após os usuários da rede social servirem-se do robô abertamente para a reprodução de discurso de ódio[2].
Esses são apenas dois exemplos distintos que demonstram o arranjo da tecnologia em torno de determinados vieses. Ao mesmo tempo, nossa realidade tecnológica costuma codificar algumas visões de mundo – patriarcado, homofobia, supremacia branca etc. – com uma sutileza bem mais complexa do que o algoritmo de predição da polícia norte-americana ou que o robô conversador da Microsoft, na medida em que reproduz a marginalização de determinados grupos em sua estrutura.
No estágio contemporâneo de algoritimização, estamos acostumados a ceder o controle das circunstâncias aos diversos mecanismos de automatização que facilitem a realização de tarefas – desde o que define qual o público alvo de determinados produtos, até aquele que almeja prever qual dos funcionários pode ser mais efetivo em determinado posto. Contudo, esses mecanismos de automatização são satisfatórios até o momento da obtenção de um resultado indesejado que ateste uma falha do algoritmo, no qual não há possibilidade de alterar essa decisão ou compreender o desenvolvimento dessa decisão pelo programa[3].
À vista disso, diante da complexidade do funcionamento dos algoritmos, bem como pela amplificação de algumas visões de mundo das instituições que os construíram, evidencia-se uma espécie de determinismo tecnológico, fundamentado na reprodução de vieses institucionais construídos historicamente e encrustados nos algoritmos. Nessa perspectiva, os programas estão submetidos à perpetuação de certos preconceitos e comportamentos de seus inventores humanos. Por exemplo, como a vez em que os algoritmos de assistência médica tinham menos probabilidade de encaminhar negros do que brancos igualmente doentes para programas de atendimento a pacientes com necessidades médicas complexas[4]. Ou como da vez em que os algoritmos adquiriram a tendência sexista de associar mulheres com tarefas na cozinha e compras, com base no reconhecimento por fotos[5].
O processo de propagação dos preconceitos se deve à duas falhas principais nos algoritmos[6]: a) operam de forma extremamente literal, ou seja, ignoram atividades não relacionadas com sua estrita finalidade; e b) o próprio funcionamento do algoritmo é somente de conhecimento da instituição que deste se utiliza, e, por vezes, nem a mesma tem o entendimento total de sua complexidade.
Os algoritmos compreendem e reproduzem somente aquilo que lhes foi explicitamente informado, de forma que constantemente falham em considerar pontos cruciais para os seres humanos. Nesse sentido, a tarefa primordial no desenvolvimento de um algoritmo é delimitar com exatidão como e quais tarefas este deverá realizar[7].
Apesar de dotados de uma aparente neutralidade, os algoritmos expõem iniquidade a medida em que são enviesados pelas informações contidas nas bases de dados que lhe são fornecidas. Esse problema, na prática, é fundamental para o debate sobre a implementação de tecnologias emergentes, mais do que as empresas que se beneficiam dos algoritmos estão propensas a admitir.
Manifestamente, o argumento financeiro das empresas que desfrutam dessa realidade sobrepõe-se a qualquer outro: é muito mais fácil remedar um algoritmo caro e desigual através de atualizações do que investir em um projeto novo que não cometa erros similares. Como no famoso escândalo do Google, no qual o Google Photos foi incapaz de distinguir pessoas negras de gorilas. A resposta da empresa foi contornar a situação a partir da exclusão dos gorilas e outros primatas do vocabulário do serviço[8].
Em verdade, esse posicionamento das empresas de tecnologia explicita uma indiferença quanto à influência que suas plataformas exercem na sociedade. Conforme referiu Meredith Whittaker, cofundadora do AI Now Institute, projeto responsável por examinar as implicações sociais da inteligência artificial, nossa sociedade “falhou em reconhecer que vieses, racismo e iniquidade não residem nos algoritmos”. E acrescentou: “podem até ser reproduzidos por meio de um algoritmo, mas residem em quem projeta e cria esses sistemas para começar – quem pode aplicá-los e em quem eles são aplicados”[9].
A grande questão por trás dos problemas apresentados é a reprodução de uma lógica preconceituosa, que se utiliza de dados produzidos no passado para a projeção de um futuro baseado nas mesmas premissas. A partir disso, a pesquisadora de Harvard Cathy O’Neil faz a seguinte observação: os vieses transmitidos pelas tecnologias são passados de forma muito mais sútil; não são ditos abertamente, mas se manifestam disfarçados de ciência[10] – como no caso citado anteriormente, o policiamento preditivo do PredPol.
Um dos árduos desafios contemporâneos reside em simular valores humanos através de uma linguagem binária. E mais, delinear o que ou quem definirá os novos parâmetros que serão levados em conta pelos algoritmos. Porque no fim das contas, os algoritmos não são dotados de um compasso moral, mas também não são dotados de neutralidade. A tecnologia faz aquilo que é designada a fazer.
Entre algumas das respostas para o problema dos vieses algorítmicos podemos apontar: (1) uma maior diversidade de pessoas envolvidas nos projetos de criação de tecnologia, de maneira que as concepções derivem de um campo mais amplo, ajudando a reduzir a perpetuação de vieses prejudiciais[11]; (2) um número maior de fontes com mais diversidades de dados, com o intuito de melhorar as previsões dos algoritmos[12]; e, por fim, talvez a parte mais difícil, (3) incorporar normas e valores em algoritmos, começando pela parte que indica o que os algoritmos não devem fazer, semelhantes às nossas leis e regulamentos[13].
Os conflitos gerados pelos algoritmos oferecem aparência nova às questões sociais, na medida em que a sociedade apenas automatiza e ofusca esses antigos problemas com o apoio da tecnologia. Não podemos crer na falsa percepção de que os algoritmos podem cegamente solucionar um problema humano.
Por último, é evidente que nem todas as empresas admitirão mudanças por conta das pressões contra seu modelo tecnológico. O interessante talvez seja observar como vieses em algoritmos têm servido como uma porta de entrada para o debate sobre outros temas mais amplos e sensíveis. Principalmente, com relação aos grupos historicamente segregados pela tecnologia: pobres, não brancos, mulheres e menos escolarizados.
Notas e Referências
[1] Los Angeles Times. Editorial: The problem with LAPD’s predictive policing (2019). Disponível em: https://www.latimes.com/opinion/editorials/la-ed-lapd-predictive-policing-20190316-story.html . Acesso em: 14 de dezembro de 2020.
[2] Folha de São Paulo. Microsoft desativa 'perfil inteligente' do Twitter após mensagens racistas (2016). Disponível em: https://www1.folha.uol.com.br/tec/2016/03/1753775-microsoft-desativa-perfil-inteligente-do-twitter-apos-mensagens-racistas.shtml. Acesso em: 14 de dezembro de 2020.
[3] RIJMENAM, Mark van. Algorithms are Black Boxes, That is Why We Need Explainable AI (2017). Datafloq. Disponível em: https://datafloq.com/read/algorithms-black-boxes-need-explainable-AI/2639 . Acesso em: 15 de dezembro de 2020.
[4] LEDFORD, Heidi. Millions of black people affected by racial bias in health-care algorithms (2019). Nature. Disponível em: https://www.nature.com/articles/d41586-019-03228-6 . Acesso em: 15 de dezembro de 2020.
[5] SIMONITE, Tom. Machines Taught by Photos Learn a Sexist View of Women (2017). WIRED. Disponível em: https://www.wired.com/story/machines-taught-by-photos-learn-a-sexist-view-of-women/ . Acesso em: 15 de dezembro de 2020.
[6] LUCA, Michael. KLEINBERG, Jon. MULLAINATHAN, Sendhil. Algorithms Need Managers, Too (2016). Harvard Business Review. Disponível em: https://hbr.org/2016/01/algorithms-need-managers-too. Acesso em: 15 de dezembro de 2020.
[7] RIJMENAM, Mark van. Algorithms are Black Boxes, That is Why We Need Explainable AI (2017). Disponível em: https://datafloq.com/read/algorithms-black-boxes-need-explainable-AI/2639 . Acesso em: 15 de dezembro de 2020.
[8] SIMONITE, Tom. When It Comes to Gorillas, Google Photos Remains Blind (2018). WIRED. Disponível em: https://www.wired.com/story/when-it-comes-to-gorillas-google-photos-remains-blind/ . Acesso em: 15 de dezembro de 2020.
[9] ROSE, Janus. Algorithms Are Automating Fascism. Here’s How We Fight Back (2020). VICE. Disponível em: https://www.vice.com/en/article/n7w5v7/algorithms-are-automating-fascism-heres-how-we-fight-back-v27n3 . Acesso em: 15 de dezembro de 2020.
[10] PEIRÓ, Patricia. Assim os algoritmos perpetuam a desigualdade social (2018). EL PAÍS. Disponível em: https://www.vice.com/en/article/n7w5v7/algorithms-are-automating-fascism-heres-how-we-fight-back-v27n3 . Acesso em: 15 de dezembro de 2020.
[11] AL-RODHAN, Nayef. Coding Tolerance (2020). Datafloq. Disponível em: https://datafloq.com/read/coding-tolerance/7337 . Acesso em: 15 de dezembro de 2020.
[12] RIJMENAM, Mark van. Algorithms are Black Boxes, That is Why We Need Explainable AI (2017). Disponível em: https://datafloq.com/read/algorithms-black-boxes-need-explainable-AI/2639 . Acesso em: 15 de dezembro de 2020.
[13] RIJMENAM, Mark van. Why Humanizing Algorithms Is a Good Idea (2016). Disponível em: https://www.vice.com/en/article/n7w5v7/algorithms-are-automating-fascism-heres-how-we-fight-back-v27n3 . Acesso em: 15 de dezembro de 2020.
Imagem Ilustrativa do Post: Tap Tap Revenge // Foto de: Andrew Mager // Sem alterações
Disponível em: https://www.flickr.com/photos/mager/2727189936/
Licença de uso: https://creativecommons.org/licenses/by/2.0/
