Já parou para pensar de onde vieram determinadas escolhas, decisões ou comportamento seus, como por exemplo o que te fez escolher assistir um filme e não outro, o que te levou a decidir se candidatar para uma determinada vaga de emprego, ou porque determinada propaganda aparece para você? E não só isso, já parou para se questionar sobre decisões que são tomadas sobre a sua vida pelo setor público ou privado as quais você não entende o porquê? Muito provavelmente alguma (ou muitas) dessas decisões podem ter sido feitas por algoritmos.  

Atualmente, os algoritmos modulam nossas experiências como consumidores, cidadãos e como humanos de uma forma geral. Os algoritmos estão presentes em grande parte do nosso dia a dia, na tomada de decisões para auxiliar empresas e o setor público, nas tecnologia que usamos, decidindo o que vemos nas redes sociais; e para cada like que damos, estão eles aprendendo sobre o nosso comportamento para “cuidar” melhor de nós. Eles governam nossas vidas, mas será que podemos confiar cegamente nessas decisões que são tomadas?

O sistema de recomendações da Netflix é um bom primeiro exemplo de como a linguagem algorítmica é presente em nossas decisões. O software aprende sobre o perfil do usuário, conhecendo seus gostos e desgostos, e com isso passa a indicar alguns conteúdos de acordo com sua preferência, apresentando até mesmo a porcentagem de relevância de um determinado título no catálogo com base em suas escolhas anteriores.

Até mesmo as capas apresentadas na propaganda dos filmes e seriados são personalizadas para o gosto do usuário que, por exemplo, em se tratando de uma pessoa com preferência para o gênero terror ou ação, as capas apresentadas terão temática adequada para atraí-lo. A Netflix agrupa os usuários que gostaram de um determinado título e, dentro desse grupo existem vários subgrupos que receberão a propaganda do mesmo título de forma diferente, sendo usada uma linguagem visual que se adeque às preferências de cada pessoa. Essas bolhas criadas pela plataforma também ajudam a prever quais outros títulos deverão ser indicados para cada um desses usuários.

O algoritmo da Netflix não observa apenas seu comportamento na plataforma quanto aos títulos escolhidos, mas também os horários que normalmente você a utiliza, em quais aparelhos e por quanto tempo. Com essa coleta de dados massiva, o algoritmo consegue mapear interações com a plataforma e então prever de forma mais aperfeiçoada o que o usuário provavelmente assistirá e em que momento do dia, para então enviar notificações como “Continue assistindo” ou mesmo “Temos uma sugestão para você”[1].

Em um primeiro momento essa é uma grande inovação para a experiência que se tem como consumidor e usuário da plataforma. Mas algumas questões sobre isso são levantadas como problemáticas, principalmente aquelas relacionadas à privacidade e a essas “bolhas” que acabam por limitar a experiência que cada usuário tem na plataforma, “decidindo pelo usuário” o que ele deve e quando assistir. Os algoritmos são responsáveis por influenciar mais de 80% das decisões tomadas na plataforma da Netflix[2].

Outro exemplo guarda relação com propagandas que aparecem em redes sociais e que influenciam nossas opiniões. A publicidade direcionada está cada vez mais presente nas interações digitais e cada vez mais invasiva. A partir da quantidade de dados coletados, após o seu processamento o software consegue traçar um perfil e entender não só sobre o comportamento e opiniões do usuário, mas sobre seus sentimentos e emoções em determinados momentos.

Em 2015, as universidades de Cambridge e Stanford[3] realizaram um estudo para comparar um conjunto de previsões de personalidade de um usuário a partir de curtidas no Facebook, com um conjunto de previsões feitas por seus amigos e familiares. O resultado da pesquisa, naquela época, foi de que, com somente 10 curtidas, o algoritmo conseguiria dar a mesma previsão que um amigo, e com a análise de 300 curtidas o algoritmo conseguiria prever a personalidade da pessoa, com a mesma precisão que um cônjuge conseguiria.

Com essas simples análises algorítmicas baseadas na interação dos usuários nas redes sociais, se tornou mais fácil para as empresas criarem propagandas direcionadas. Os algoritmos conseguem prever as necessidades dos usuários, apresentando a eles produtos, promoções e anúncios no geral. Alguns algoritmos conseguem identificar o estado emocional das pessoas a partir de sua interação na internet, fazendo com que as propagandas apresentadas “auxiliem” na manutenção dessa emoção ou para manipular as ações dos usuários. Existem empresas responsáveis por algoritmos que criam perfis, sabendo quando essas pessoas estão mais vulneráveis emocionalmente, delineando estratégias algorítmicas para vender mais a elas, muitas vezes fazendo-as adquirir produtos que não precisavam[4]. Assim como no caso da Netflix, tem-se a problemática relacionada à privacidade dessa grande quantidade de dados coletados. 

Mas não são só nas plataformas de streaming ou de redes sociais que os algoritmos estão presentes e tomando decisões na vida das pessoas. Decisões inteiramente por análises algorítmicas fazem parte de quase todos os serviços que nos são prestados hoje, sejam eles feitos por empresas privadas ou setor público, como por exemplo a emissão de vistos, seleção de currículos, sistemas de crédito, acesso a seguridade social, análises preditivas de crimes, reconhecimento facial, dentre infinitas outras situações.

No mercado de trabalho, o uso de decisões algorítmicas para filtrar a quantidade imensa de currículos que chegam diariamente se tornou uma grande solução. Os algoritmos são alimentados com as informações que a empresa entende serem suficientes para seleção dos candidatos e, a partir desse comando, o software decide quais currículos serão descartados. Um ótimo exemplo de como isso pode ser perigoso vem da gigante de tecnologia Amazon. Após um período usando a ferramenta que automatizou a seleção de currículos para a empresa, e que tinha sido alimentada com o histórico de contratação da empresa dos últimos 10 anos, percebeu que seu algoritmo não era neutro e discriminava candidatas mulheres, na medida em que seu histórico de contratação era predominantemente masculino. Posteriormente a essa descoberta a Amazon mudou seu algoritmo para que tomasse decisões ‘neutras’[5].

Além disso, na Finlândia era comum as empresas utilizarem uma ferramenta conhecida como DigitalMinds, que conseguia analisar quanto tempo seus candidatos a vaga de emprego utilizavam o Twitter, Facebook e e-mail, bem como suas interações na internet, e a partir disso a ferramenta fornecia uma avaliação sobre a personalidade do candidato para decidir se ele se encaixava ou não no perfil da empresa. Após uma investigação feita pela AlgorithmWatch, que apontou uma série de problemas e riscos à privacidade e intimidade da população, a empresa responsável pela ferramenta fechou[6].  

Na Holanda, a partir de 2019 o governo fez uso de um sistema automatizado conhecido como System Risk Indicator (SyRI) para detecção de fraudes contra a previdência. Os algoritmos são responsáveis por gerar pontuações de risco para cidadãos individuais, combinando dados pessoais, incluindo "identidade, trabalho, bens e propriedades pessoais, educação, negócios, renda e ativos, pensão e dívidas. E a lista não para por aí”[7]. Com o resultado, o governo holandês utilizou um algoritmo apenas contra os cidadãos que foram classificados como sendo de “áreas problemáticas”, sob a alegação de que as taxas de fraude na previdência eram altas. Essas áreas problemáticas estavam entre os bairros mais desfavorecidos economicamente, e vários continham taxas de imigrantes acima da média. A aplicação do SyRI a esses bairros “confirma a imagem de um bairro como área problemática, contribui para estereótipos e reforça uma imagem negativa dos ocupantes desses bairros”. Esse algoritmo, além de levantar sérias questões sobre discriminação, acaba por decidir quem deverá ter acesso à seguridade social e quem não deve, infringindo outro direito fundamental do cidadão.

No mesmo sentido, o governo do Reino Unido utilizou uma ferramenta para auxiliar em questões relacionadas a emissão de vistos no qual seu algoritmo era utilizado para transmitir pedidos de vistos, decidindo quem receberia e quem teria o pedido negado. Mas o sistema foi acusado de tomar decisões com vieses racistas; o algoritmo atribuía pontuações às pessoas com base em suas nacionalidades, e a depender desse fator (“nacionalidade suspeita”), atribuía a essas pessoas uma pontuação de risco alta para o país, negando o visto a elas. Em decorrência disso, o Conselho conjunto para o bem estar dos imigrantes e um escritório de advocacia solicitaram, judicialmente, a declaração de ilegalidade do algoritmo. O algoritmo deixou de tomar decisões desde o dia 07 de agosto de 2020[8].

Nem mesmo a medicina passa ilesa. De acordo com um estudo publicado em 2019, já existem algoritmos utilizados frequentemente por hospitais dos EUA para definir a quem será fornecida assistência médica e quem será deixado de lado, considerando o quadro clínico dos pacientes[9]. Outra pesquisa, publicada no jornal de medicina New England Journal of Medicine, mostrou softwares que médicos utilizam para ajudar a decidir os tratamentos mais indicados para determinadas enfermidades como por exemplo, problemas no coração, câncer e assistências à maternidade[10]. Em ambas as pesquisas, os autores levantam diversas questões relacionadas às decisões algorítmicas serem repletas de vieses, sobretudo racistas.

Estudantes também passaram a ter decisões sobre seus futuros nas mãos dos algoritmos. Em decorrência do coronavírus, no Reino Unido houve o cancelamento de exames para os alunos do último ano do ensino médio, e como solução, esses alunos tiveram suas notas atribuídas por algoritmos. Suas notas foram definidas a partir de seus históricos escolares e de avaliações anteriores corrigidas por seus professores, que serviram para alimentar o software responsável pela atribuição da nota. O resultado dessas decisões algorítmicas foi uma queda de quase 40% das notas em relação ao que era previsto[11], o que gerou uma onda de protestos por toda a Inglaterra. Também em decorrência da pandemia, graduandos de direito da cidade de Michigan, Estados Unidos, precisarão realizar a prova da ordem online, e para comprovação da identidade do aluno, será usado um programa de reconhecimento facial. O uso dessa tecnologia levantou questões relativas à discriminação, uma vez que softwares de reconhecimento fácil têm mostrado dificuldades de identificar de forma correta rostos de pessoas negras e mulheres[12].

O uso de reconhecimento facial se tornou comum também para auxiliar a força policial, levantando diversos questionamentos sobre a discriminação por trás dessa tecnologia[13]. E dando um passo adiante, sistemas algorítmicos também são utilizados por autoridades policiais para prever a criminalidade. Em 2016 a força policial da Bélgica passou a utilizar sistemas com decisões algorítmicas para prever em quais bairros existe maior probabilidade de roubos acontecerem[14]. Com a mesma finalidade preditiva de crimes em certas localidades, uma ferramenta fora desenvolvida para auxiliar órgãos e secretarias de segurança pública da cidade de São Paulo, no qual o algoritmo prevê quais regiões da cidade têm maior probabilidade de ocorrência de crimes[15]. Ora, quanto mais policial deslocado para uma mesma região, mais ocorrências serão registradas e mais essa região será vista como problemática. O software não prevê nada, ele apenas corrobora o viés já existente no histórico de atuação policial, o que é muito bem explicado na obra de Cathy O’Neil (Weapons of math destruction).

A União Europeia já enfrenta o dilema de como combater o racismo na tecnologia, como demonstra matéria recente da Euractiv (Technology has codified structural racismo – will the EU tacle racist tech?).

Outra ferramenta baseada em decisões algorítmicas é habitualmente utilizada por empresas privadas para classificação e avaliação de créditos. Os algoritmos avaliam uma quantidade imensa de dados para ranquear os requerentes, atribuir a eles uma nota, e então decidir, com base nesse ranqueamento (score), se eles receberão ou não o pedido de crédito. Em 2019, a empresa americana de tecnologia Goldman Sachs - que opera o Apple Card - que utiliza softwares com decisões automatizadas para atribuir pontuação às pessoas que solicitam por créditos, foi acusada de que seus algoritmos são racistas, sexistas e preconceituosos. Foi constatado que casais com contas conjuntas e com mesma situação financeira recebiam diferentes pontuações/créditos, tendo o homem recebido mais que a mulher, sendo que a única diferença entre eles era o gênero[16].

A forte presença da tomada de decisão algorítmica no dia a dia inevitavelmente levanta uma série de problemas relacionado a massiva exploração de dados. A falta de transparência no uso dessas ferramentas se tornou um problema que precisa de solução.

O professor Kartik Hosanagar publicou um livro chamado A human’s guide to machine intelligence, e em um determinado momento conta uma história fictícia sobre um paciente que vai a uma consulta médica, embora esteja se sentindo bem e saudável;  o médico pega um relatório patológico e informa ao paciente que ele está com “febre tapanuli” e que esta é uma doença rara e conhecida por ser fatal, e sugere que o paciente tome um determinado comprimido para reduzir suas chances de ter problemas com essa doença que nunca ouvira falar.

Ao finalizar a pequena história, o autor questiona seus leitores sobre como eles se sentiriam ao saber sobre uma doença que eles não conhecem e sobre uma solução a qual eles não sabem o que é e se funcionará, sem maiores detalhes. Seu objetivo com isso foi destacar a importância da transparência nas informações que nos são passadas[17]. Como visto, muitas vezes temos empresas impondo decisões algorítmicas sobre as pessoas sem informá-las do porquê dessas decisões, as quais, muitas vezes, violam direitos e garantias fundamentais que devem ser tutelados juridicamente.

É quase como se estivéssemos diante de uma inversão no papel dos humanos e da tecnologia em decorrência da sociedade da informação, uma vez que a tecnologia passou a utilizar as pessoas como ferramentas, para então controlá-las. Estamos cada vez mais envoltas nas decisões automatizadas, tendo nossas vidas afetadas de forma crescente e de maneira muitas vezes imprevisível.

E você? Já parou para pensar em quantas decisões que você tomou essa semana podem ter sido sugestionadas por empresas de publicidade, streaming, redes sociais etc.? Ao mesmo tempo, já parou para pensar em quantas decisões automatizadas (por algoritmo) impactaram sua vida neste último mês e que você sequer teve como contestar ou obter informações sobre os critérios utilizados? Bem-vindo(a) ao Séc. XXI.

Notas e Referências

[1] Disponível em: https://help.netflix.com/pt/node/100639. Acessado em: 31.08.2020.

[2] Disponível em: https://knowledge.wharton.upenn.edu/article/algorithms-decision-making/. Acessado em: 01.09.2020.

[3] Disponível em: https://medium.com/@nadiapiet/when-will-algorithms-know-us-better-than-we-know-ourselves-8579132a4fc9. Acessado em: 31.08.2020.

[4] Disponível em: https://privacyinternational.org/case-study/3677/it-protects-our-freedom-thought. Acessado em: 31.08.2020.

[5] Disponível em: https://www.reuters.com/article/us-amazon-com-jobs-automation-insight/amazon-scraps-secret-ai-recruiting-tool-that-showed-bias-against-women-idUSKCN1MK08G. Acessado em: 01.09.2020.

[6] Disponível em: https://algorithmwatch.org/en/controversial-service-that-ranked-job-seekers-based-on-personal-emails-folds-following-algorithmwatch-investigation/. Acessado em: 02.09.2020.

[7] Disponível em: https://pilpnjcm.nl/en/dossiers/profiling-and-syri/. Acessado em: 01.09.2020.

[8] Disponível em: https://techcrunch.com/2020/08/04/uk-commits-to-redesign-visa-streaming-algorithm-after-challenge-to-racist-tool/. Acessado em: 01.09.2020.

[9] Disponível em: https://www.nature.com/articles/d41586-019-03228-6. Acessado em: 02.09.2020.

[10] Disponível: https://www.nytimes.com/2020/06/17/health/many-medical-decision-tools-disadvantage-black-patients.html. Acessado em: 02.09.2020.

[11] Disponível em: https://www.politico.eu/article/boris-johnsons-government-u-turns-on-exam-results/. Acessado em: 01.09.2020.

[12] Disponível em: https://news.bloomberglaw.com/business-and-practice/online-bar-exams-come-with-face-scans-discrimination-concerns. Acessado em: 01.09.2020.

[13] Disponível em: https://emporiododireito.com.br/leitura/reconhecimento-facial-racismo-e-privacidade. Acessado em: 02.09.2020.

[14] Disponível em: https://algorithmwatch.org/en/automating-society-belgium/. Acessado em: 01.09.2020.

[15] Disponível em: https://agencia.fapesp.br/sistema-usa-inteligencia-artificial-para-prever-ocorrencias-de-crimes-em-areas-urbanas/33768/. Acessado em: 01.09.2020.

[16] Disponível em: https://www.bbc.com/news/business-50432634. Acessado em 01.09.2020.

[17] Disponível em: https://emporiododireito.com.br/leitura/a-tutela-juridica-da-ia-o-caso-da-nova-zelandia. Acessado em: 02.09.2020.