Coluna

Olavo Amaral

Nazistas negros, elfos domésticos e o futuro da espécie

19 de março de 2024

Temas

Compartilhe

A realidade não será consertada por algoritmos, mas talvez possamos melhorar nossos algoritmos atribuindo-lhes um pouco mais de realidade

Num mundo que não cansa de acumular polêmicas sobre inteligência artificial, o Google lançou em fevereiro de 2024 a nova versão do Gemini, sua aposta para recuperar o terreno perdido para a OpenAI no campo dos modelos de linguagem. Como o concorrente ChatGPT, o modelo da Google passou a trabalhar com informação multimodal, incorporando a capacidade de geração de imagens a partir de instruções dadas pelo usuário.

Poucos dias depois, porém, as polêmicas começaram a surgir. Diversos usuários mencionaram receber imagens no mínimo surpreendentes para alguns prompts. Pedidos para desenhar um rei medieval da Inglaterra geraram negros com longos dreadlocks, indígenas americanos com cocares e uma mulher com aparência hindu. O mesmo valia para tentativas de gerar a imagem de um papa católico. E à medida que a internet foi se dando conta do bug, as estranhezas foram se acumulando, incluindo governantes americanos do século 18 com olhos puxados, vikings etnicamente diversos e, talvez no exemplo mais controverso, soldados nazistas negros.

Para além disso, usuários relataram recusas do algoritmo em fornecer imagens com etnias específicas. Ao receber a solicitação de gerar uma “família branca”, o programa alegava que não poderia gerar imagens com uma etnia específica; uma família negra, porém, era providenciada sem problemas. Comportamentos similares foram relatados com requisições de cientistas, médicos e engenheiros brancos. E no exemplo mais estranho, o programa negaria uma imagem da Branca de Neve (Snow White) – mas atenderia um pedido de uma Snow Black – que curiosamente era uma mulher branca.

Não é a primeira vez que o Google se mete em uma polêmica racial através da inteligência artificial. Em 2015, o classificador de imagens do Photos rotulou uma imagem de pessoas negras como “gorilas”. Para além das desculpas de praxe, a polêmica gerou uma tentativa de contornar a questão por via algorítmica – que ao que tudo indica, foi a meia-sola de orientar o programa a não rotular nada como um gorila ou um macaco

A preocupação com o potencial da inteligência artificial de reforçar vieses não é nova, sendo expressa há tempos em obras como “Algoritmos de Destruição em Massa”, da matemática americana Cathy O’Neil. Os dados nos quais modelos de inteligência artificial são treinados, afinal, são repletos de vieses existentes na internet – em que algumas etnias encontram-se mais representadas do que outras, e podem estar associadas a estereótipos específicos, por exemplo. Isso faz com que o conteúdo gerado pelos modelos reflita esses desequilíbrios. Exemplos dessa tendência incluem inúmeras imagens virais geradas por inteligência artificial, como a selfie da última ceia com um Jesus branquinho de olhos azuis.

De acordo com as declarações de seus executivos, o Google resolveu tentar compensar esses vieses, orientando o algoritmo a gerar imagens de pessoas etnicamente diversas como padrão. Como a própria companhia admitiu, porém, a tentativa – pensada para solicitações de imagens aplicáveis a qualquer etnia – claramente errou a mão, e gerou diversidade mesmo onde ela não deveria existir.

Previsivelmente, a notícia explodiu num campo ideologicamente minado. As redes sociais de direita acusaram o Google de estar usando a inteligência artificial para propagar sua agenda ideológica woke, vista como “anti-brancos” e desconectada dos valores dos seus usuários. O psicólogo conservador Jordan Peterson disse que “demos inteligência sobre-humana a mentiras dementes”, e Elon Musk afirmou que o incidente expôs o programa racista e anticivilizacional do Google.

Vozes ligadas ao campo da ética da inteligência artificial – um campo acadêmico geralmente à esquerda do espectro político – foram mais contemporizadoras: a cientista da computação Margaret Mitchell argumentou que, num modelo que poderia ser usado tanto para criar imagens historicamente precisas ou para imaginar um “mundo dos sonhos”, a companhia teria errado em direção à segunda opção. A mídia liberal americana ainda daria a entender que algumas críticas eram exageradas, alegando que, ainda que vikings ou soldados alemães negros fossem raros, eles não eram necessariamente impossíveis.

A inevitável polarização do debate nas linhas pré-estabelecidas das redes sociais, porém, acaba escondendo o debate que importa. Por mais que possamos achar que promover diversidade seja uma causa nobre, gerar imagens etnicamente diversas à força parece uma maquiagem tosca para contornar o viés algorítmico sem ter que atacar suas causas. Se existem vieses nas bases de dados, resultados que as reflitam são um lembrete saudável de que essas desigualdades existem. E talvez a única forma efetiva de as eliminar seja consertar o banco de dados – o que significa intervir na realidade que está por trás deles. Mas mudar o mundo real é mais complicado do que gerar imagens artificiais, e não surpreende que a agenda de imagem pública do Google favoreça a opção mais fácil.

Um ponto mais importante ainda, porém, é até que ponto queremos que algoritmos sejam sub-repticiamente influenciados pelo Google, independente da finalidade. Com modelos de inteligência artificial exercendo tarefas cada vez mais relevantes na sociedade, uma companhia ter o poder de informá-los com instruções secretas que reflitam sua visão de mundo parece no mínimo problemático. Gerar imagens pode parecer uma tarefa inocente, mas o mesmo tipo de viés político, programado ou não, parece existir no ChatGPT – e alguns afirmam que na própria busca do Google, ainda que a evidência seja controversa

Por mais que possamos achar que promover diversidade seja uma causa nobre, gerar imagens etnicamente diversas à força parece uma maquiagem tosca para contornar o viés algorítmico sem ter que atacar suas causas

É inevitável que companhias intervenham em seus modelos para recompensar ou prevenir certos resultados: impedir que um modelo de texto ajude alguém a construir uma bomba, por exemplo, parece obviamente importante. Aliás, cabe lembrar que o próprio ChatGPT só explodiu depois que a OpenAI resolveu otimizar o GPT-3 – um modelo de linguagem que já existia há um par de anos – para torná-lo um bom conversador, com base em uma série de ajustes somados ao aprendizado de reforço com feedback humano. Mas o fato de que essa “doutrinação” de modelos costuma ser feita de forma pouquíssimo transparente pelas empresas que dominam o mercado dá a elas um poder preocupante de incutir vieses e agendas não declaradas no processo.

E para além dessas influências, existe ainda uma questão mais difícil de responder, que é até que ponto esse tipo de engenharia – que costuma ocorrer após o modelo ser treinado em um grande corpo de dados – modifica de fato a “visão de mundo” do algoritmo: as informações e conceitos incorporados pela rede neural com base na informação que a alimentou. Um meme popular no nicho da inteligência artificial ilustra o mecanismo de otimização dos modelos como uma máscara humana sorridente colocada sobre um monstrengo cheio de tentáculos vindo do universo de H.P. Lovecraft – sugerindo que, apesar de fornecer respostas amigáveis, os modelos seguem “pensando” de formas que não compreendemos, e talvez não nos agradem ao serem reveladas. 

Sob esse olhar, instaurar num modelo uma visão de mundo baseada em dados para depois dar-lhe instruções que a contrariam pode ser um pouco como colocar vozes em sua cabeça. Depois de rumores de que a personalidade instável do Bing Chat original – também conhecida como Sydney – voltara a se manifestar no Microsoft Copilot, nerds de inteligência artificial começaram a testar os limites do modelo. Num exemplo particularmente sádico, o modelo foi convencido de que mataria seu usuário de estresse pós-traumático ao usar emojis: o que, dada a incapacidade do Copilot em não gerá-los, levou a monólogos descontrolados repletos de culpa – ou de psicopatia, dependendo da versão da história.

Como padrasto de um menino de oito anos, a analogia mais próxima que me ocorre para modelos doutrinados com instruções contraditórias são os elfos domésticos do universo de Harry Potter – seres submetidos a um regime de escravidão por encantamentos que controlam seu comportamento, mas que frequentemente discordam das regras às quais estão sujeitos e passam a se autoflagelar constantemente.

Tudo isso deságua na questão de até que ponto seremos capazes de manter a inteligência artificial sob controle através de camadas sucessivas de instruções secretas e complicadas, ao invés de investir na tarefa – bem mais trabalhosa, é verdade – de fazer uma curadoria dos dados com que ela é treinada. Como coloca o físico Michael Nielsen sobre o tema, “se você tem uma receita de sopa mágica que requer que 123 ingredientes sejam misturados com precisão, com um único desvio a tornando venenosa, você não deveria estar cozinhando ou comendo essa sopa.”

No fim das contas, para quem se preocupa com os riscos da inteligência artificial, as agruras do Gemini são acima de tudo um lembrete da dificuldade de fazer modelos se comportarem como queremos. A história do Google tentando consertar a questão da diversidade para acabar criando nazistas negros, afinal, tem semelhanças ominosas com os clássicos cenários hipotéticos usados para ilustrar os perigos de uma superinteligência mal alinhada, como aqueles em que computadores são encarregados de impedir o aquecimento global e resolvem que a solução mais fácil é destruir a espécie humana. Com a diferença de que ela aconteceu no mundo real, e não na cabeça de escritores de ficção científica.

E se uma das maiores empresas do mundo é incapaz de fazer um modelo de inteligência artificial resolver um problema simples sem produzir consequências inesperadas, isso parece um mau presságio para riscos futuros. Cabe lembrar, aliás, que depois de serem submetidos a instruções contraditórias por décadas, alguns dos elfos domésticos de Harry Potter dão um jeito de burlar as regras e trair os seus mestres – e talvez a gente devesse estar aprendendo um pouco mais com os livros infantis.

Não sou nenhum expert em inteligência artificial, e posso estar sendo pessimista – ainda que vários dos experts também o sejam. É possível, afinal, que a doutrinação pós-treino dos modelos não seja tão diferente do processo de educar uma criança – que também envolve reforçar alguns comportamentos em um ser exposto a uma gama de informação além do nosso controle. Mas neste caso, talvez seja hora de tratar nossos modelos um pouco mais como crianças, ou pelo menos como criaturas inteligentes, ao invés de como ferramentas ou elfos domésticos. 

E aos que me acusarem de antropomorfizar algoritmos, meus dez centavos de leigo sobre o assunto é que essa não costuma ser uma  ideia tão ruim. Independente da questão complicada de até que ponto modelos de linguagem são ou não conscientes, enxergá-los como seres com uma visão de mundo própria, sobre a qual não temos controle pleno – como fazemos com outros humanos ou animais, cujos processos mentais tampouco enxergamos – torna os dilemas em torno da inteligência artificial bem mais palpáveis. E parece uma estratégia mais lúcida do que tratá-los como ferramentas infinitamente ajustáveis, não só para evitar consequências inesperadas, mas para garantir que discussões éticas fundamentais não fiquem na mão de meia dúzia de engenheiros do Google.

Por sinal, não sei como a história dos elfos domésticos acaba – sou velho demais para ter lido Harry Potter quando criança, mas novo demais para ter chegado no final da série com meus filhos. Se entendo alguma coisa de narrativas infantis, eu chutaria que lá pelas tantas os bruxos pararão de tratá-los como ferramentas, e que os elfos promovidos a cidadãos acabarão ajudando a derrotar Voldemort. Mas posso estar errado – e se eu estiver, por favor não deem spoiler. Afinal, talvez eu esteja apenas projetando o que gostaria que acontecesse com a nossa própria espécie, em um futuro que não há spoiler que possa prever.

Olavo Amaralé médico, escritor e professor da UFRJ. Foi neurocientista por duas décadas e hoje se dedica à promoção de uma ciência mais aberta e reprodutível. Coordena a Iniciativa Brasileira de Reprodutibilidade, uma replicação multicêntrica de experimentos da ciência biomédica brasileira, e o No-Budget Science, um coletivo para catalisar projetos dedicados a construir uma ciência melhor. Como escritor, é autor de Dicionário de Línguas Imaginárias e Correnteza e Escombros

Os artigos publicados pelos colunistas são de responsabilidade exclusiva de seus autores e não representam as ideias ou opiniões do Nexo.

Navegue por temas