Na ficção, “inteligência artificial” parece remeter a um futuro que nunca chega. Monstros criados por cientistas atormentados, carros temperamentais, máquinas raivosas que destroem cidades inteiras. Essas coisas fascinam pois envolvem-se em intrincados problemas éticos, como quando Hal 9.000, o sistema operacional de “2001: uma Odisseia no Espaço”, decide matar humanos para não ser desligado. Em nosso cotidiano, já convivemos com as mais radicais experiências de inteligência artificial nunca imaginadas sem percebermos. Falo de coisas cada vez mais imbricadas em quase todas as dimensões de quem acessa a internet: plataformas digitais como Facebook, Google Search e Twitter, as mesmas que possivelmente trouxeram você a esse texto. Os problemas éticos que criam podem ser menos sensacionais do que assassinatos, mas são ainda mais complexos.

Empresas como Facebook e Google – intermediários digitais – estão na vanguarda da produção e análise de quantidades massivas de dados por sistemas algorítmicos “inteligentes”, o que se convencionou chamar “Big Data” – algumas pessoas traduzem a expressão como “Megadados”. Em geral, algoritmos transformam algumas coisas em outras coisas por meio de uma sequência fixa de passos. Um exemplo básico é o algoritmo para transformar uma lista aleatória de palavras numa lista de palavras em ordem alfabética. Algorítmicos “inteligentes” funcionam de maneira diferente. Os programadores primeiro “treinam” os algoritmos com o resultado que eles desejam alcançar e os algoritmos então produzem, eles mesmos, outros algoritmos capazes de gerar os resultados inicialmente observados. Natural que quanto mais dados existam para que eles sejam treinados, mais poderosos sejam os algoritmos gerados. Em vez de entrar nos detalhes computacionais desses sistemas, muito mais complicados e variados do que essa explicação indica, talvez seja melhor explorar porque eles são tão importantes para intermediários digitais.

Alguns já perceberam que a mercadoria somos nós, nossos sentimentos e relações sociais

Nunca criamos tantos registros de nós mesmos e do mundo. E algumas poucas empresas são as donas de quase todos esses dados. Graças a uma infinitude de sensores, que vão desde nossos celulares aos softwares que monitoram nossa navegação na internet e ao botão “curtir”, intermediários sabem (ou querem saber) onde estamos, que site visitamos, o que escrevemos em nossos emails e chats, quem são nossos amigos, familiares e companheiros, do que gostamos ou temos ódio.

Esses dados são usados pelas plataformas para criar um perfil de cada usuário. Esse perfil é valioso. A partir dele, algoritmos são usados para decidir automaticamente o que é mais ou menos relevante e deve portanto ser mais ou menos visto. O que vai ou não estar no seu feed de notícias, o que vai estar na primeira ou na terceira página de sua busca no Google. Essa personalização profunda só é possível pois os dados produzidos pelos sensores (e por nós mesmos) ajudam a treinar os algoritmos sobre o que nos interessa, e permitem que os sistemas sejam constantemente afinados para refletir nossas supostas preferências.

“Relevância” também se aplica a anúncios. Se uma mulher de 30 anos comprou pela internet um teste de gravidez e depois uma roupa de bebê, há uma probabilidade maior de que essa mulher esteja grávida –  logo um anúncio de um livro sobre a gestação será considerado como mais relevante para ser exibido para ela. Apesar de passarem como empresas dignas de um filme de ficção científica, intermediários digitais ainda vendem atenção para anunciantes, como jornais faziam há cem anos. Só que de maneira altamente personalizada, e sem precisar gastar com produção de conteúdo, alegremente criado por seus usuários. E isso permite a eles dominarem o mercado de publicidade online, destruindo concorrentes –  dentre eles, empresas jornalísticas. É esse modelo de negócio que permite que seus serviços sejam “gratuitos”. Alguns já perceberam que a mercadoria somos nós, nossos sentimentos e relações sociais. Mas a invisibilidade dos procedimentos que eu acabei de descrever (algoritmos são legalmente considerados segredos industriais) complica nossa capacidade de compreender e responder a essas complexas operações, escondidas atrás de interfaces de uso minuciosamente desenhadas para serem simples e intuitivas.

Assim como com Hal 9.000, o que torna plataformas digitais inteligentes e fascinantes é o que há de humano nelas. Não há nada de natural ou neutro na maneira como esses dados são produzidos e analisados, ou na definição de o que é relevante. Todos seus elementos são resultado de decisões subjetivas e, mesmo que indiretamente, também ideológicas. Nos últimos anos, uma quantidade crescente de críticos têm se debruçado sobre o tema. Em geral, eles apontam para os riscos que esses sistemas representam para ao menos quatro valores democráticos fundamentais.   

O primeiro, claro, é a privacidade. Há décadas, empresas que negociam nossos dados afirmam que as pessoas não se importam de serem constantemente monitoradas. Anos de pesquisa sugerem o contrário. A maior parte das usuários simplesmente não sabe que esse monitoramento ocorre. Dentre as que sabem, a sensação tende a ser de resignação. Se elas não podem negociar as cláusulas do contrato, qual é a solução? Uma ruptura unilateral (sair de uma rede social, por exemplo) tem enormes custos sociais para as pessoas. É necessário levar em consideração a extrema desigualdade entre empresas e usuários antes de concluir que as pessoas não querem ser monitoradas — especialmente quando governos utilizam os dados e expertise das empresas para nos espionar, como Edward Snowden revelou.

O segundo é a diversidade. Cientistas políticos e filósofos parecem concordar que uma democracia depende de exposição à diferença. Se experimentamos apenas o que já conhecemos, acreditamos ou gostamos, teremos dificuldade em compreender o outro, com quem, num sistema democrático, temos que lidar e chegar a algum tipo de acordo. Sistemas de algoritmos que objetivam nos dar apenas o que já mostramos que queremos tornam essa experiência mais rara e tendem a radicalizar posições políticas. Que esses sistemas criam, em alguma medida, bolhas de filtragem é algo que mesmo cientistas pagos pelo Facebook atestaram. Mas a dimensão exata dessas bolhas, e a responsabilidade sobre elas é algo ainda incerto entre pesquisadores.

O terceiro é igualdade. Técnicas de “Big Data” prometem uma espécie de neutralidade sobre-humana. Os padrões emergiriam “naturalmente” dos dados usados para treinar os algoritmos. Na verdade, mesmo o mais cuidadoso dos algoritmos é incapaz de tornar os próprios dados menos enviesados. Dados de sociedades estruturalmente desiguais, como a nossa, inevitavelmente representarão essas desigualdades, mesmo que de maneira indireta e não intencional. A procura por nomes típicos de negros no Google nos EUA, por exemplo, aumenta a proporção de anúncios que implicam que a pessoa foi presa. Acreditar e utilizar cegamente esses sistemas seria uma maneira de perpetuar a discriminação.

Por último, sistemas algorítmicos também parecem afetar nossa liberdade de expressão e informação. Se a visibilidade é escassa, ela precisa ser conquistada. Mas a luta pela visibilidade algorítmica em redes sociais pode implicar na mimetização de comportamentos, assuntos e linguagem que o usuário imagina serem “populares”, mas que não necessariamente correspondem ao que  gostaria de dizer, numa espécie de homogeneização da expressão. Além disso, conforme a maior parte das pessoas passa a se informar por meio de plataformas digitais, e mesmo empresas jornalísticas tradicionais a depender dessas plataformas para distribuir seus produtos, esses intermediários passam a ter inegáveis poderes editoriais. Mas, diferentemente dos jornais, por exemplo, eles não são compreendidos ou cobrados como tais. Quem pode nos garantir que sua métrica de relevância respeita valores democráticos se não conseguimos entender que métrica é essa?

Esses riscos não anulam o que esses sistemas têm de positivo. Eles prometem dar voz e ferramentas de organização política, permitir avanços revolucionários na gestão pública, indústria e na ciência. É preciso portanto produzir uma crítica equilibrada, que não reproduza temores ficcionais e nem feche os olhos para os impactos concretos e cotidianos criados por algoritmos inteligentes. E essa tarefa está apenas no começo.

João Carlos Magalhãesé doutorando na London School of Economics, onde pesquisa as implicações políticas e éticas de redes sociais algorítmicas. Antes, foi jornalista na “Folha de S.Paulo”.