ponto. futuro

Em abril de 2024, foi anunciado o fechamento do Future of Humanity Institute. O instituto, criado na Universidade de Oxford em 2005 pelo filósofo sueco Nick Bostrom – que renunciou a seu cargo na universidade após o fechamento –, era um dos principais enclaves acadêmicos dedicados aos ditos “riscos existenciais” – ameaças com o potencial de extinguir a espécie humana – com um interesse particular naqueles advindos da inteligência artificial.

De acordo com a nota oficial do FHI, o instituto passou a encontrar dificuldades administrativas dentro da Faculdade de Filosofia de Oxford, que teria bloqueado aplicações por novos financiamentos a partir de 2020, e decidido não renovar os contratos dos funcionários em 2023. O processo, descrito por Bostrom como “morte por burocracia”, foi detalhado em um epitáfio do instituto publicado por seu colega Anders Sandberg, que afirma que sua equipe não investiu o suficiente em política universitária e sociabilidade com o restante da faculdade.

Para quem acompanha as discussões sobre riscos da inteligência artificial, a decisão do fechamento do FHI não chega a ser uma surpresa. Ainda que o debate sobre riscos existenciais seja intenso na comunidade que desenvolve os modelos de IA, e ganhe cada vez mais espaço na mídia e na esfera política, parte do mundo acadêmico, e particularmente os departamentos de humanidades, parece avesso à ideia de levar a questão muito a sério. 

Campos que deveriam ter um interesse comum – regular o desenvolvimento da inteligência artificial – parecem não conversar entre si e ser incapazes de coordenar esforços

Pelo contrário, uma opinião frequentemente expressa é a de que a obsessão de celebridades do Vale do Silício como Elon Musk ou Sam Altman pelos riscos de extinção da espécie seria só hype para promover seus produtos – afinal, algo tão perigoso deve ser valioso –, ou ainda uma forma de nos distrair dos riscos mais imediatos da inteligência artificial, que incluem a possibilidade de reforçar vieses, a disseminação de informações falsas e os impactos sobre o mercado de trabalho. 

O argumento foi tema de um editorial da revista Nature em 2023, que conclama os leitores a “pararem de falar do apocalipse de amanhã quando a IA apresenta riscos agora.” Ele aparece também em outras revistas influentes dentro da academia, e parece unir uma legião de críticos que convergem na opinião de que falar de riscos futuros é uma forma perigosa de “longoprazismo” que desloca o debate dos danos reais da IA para seus riscos “hipotéticos”. De acordo com esses críticos, a cortina de fumaça apocalíptica criada pelo Vale do Silício favoreceria as grandes companhias e poderia prejudicar uma regulação adequada do setor

Apesar de repetido aos quatro ventos, o argumento sempre me causou perplexidade. Uma coisa que apresente riscos tanto no curto como no longo prazo, afinal, só se torna mais perigosa. Se você já se preocupa com uma categoria de riscos, adicionar outra só deveria aumentar a preocupação, bem como as probabilidades de que alguma atitude seja tomada para abordá-la. 

Uma forma possivelmente útil de avaliar a proposição é tentar aplicá-la a outras áreas e ver como ela se sustenta. Abaixo, rascunho algumas tentativas: 

“Falar do risco de longo prazo do aquecimento global nos distrai dos riscos agudos dos carros, como o trânsito e os acidentes.” (ok, roubei essa de Michael Nielsen)

“Falar do risco hipotético de cirrose nos distrai dos riscos agudos de dirigir embriagado ou fazer alguma outra bobagem numa bebedeira.”

“Falar dos riscos do HIV, uma doença de baixa prevalência que leva décadas para matar, é uma forma de nos distrair do risco de engravidar ao fazer sexo desprotegido.”

Quanto mais exemplos me coloco, menos sentido o argumento parece fazer, particularmente quando a conduta para diminuir ambas as categorias de riscos é a mesma: tanto cirrose como perda de controle são motivos para não beber álcool, e usar preservativos serve tanto para prevenir DSTs como para anticoncepção. Da mesma forma, mitigar riscos presentes e futuros da IA passa por mais legislação para regular o setor, mais transparência no desenvolvimento dos modelos, mais cuidado em avaliar suas consequências, e assim por diante. Com isso, não faz muito sentido esperar que um dos riscos prejudique ações para mitigar os outros – exceto em casos muito específicos, como no argumento feito pela OpenAI de que divulgar detalhes do GPT-4 poderia acarretar riscos por seu mau uso.

Por que então tanta gente parece comprar a ideia? Novamente, os exemplos ajudam a especular razões. Ainda que o argumento do “aquecimento global serve para nos distrair de (…)” não se sustente, ele parece plausível como uma forma de raciocínio motivado para pintar o fenômeno como um problema menor. E não é difícil achar razões para isso: desacreditar da mudança climática nos poupa de sacrifícios imediatos para evitá-la, bem como do desconforto de imaginar um futuro em que o mundo muda para pior. Para além disso, o debate sobre a mudança climática tornou-se inextricavelmente ligado a outras questões políticas, e é provável que ninguém no mundo a essa altura tenha uma visão do problema que não esteja influenciada por outras posições ideológicas. 

Não parece tão difícil imaginar que o debate sobre os riscos da inteligência artificial reflita vieses semelhantes. Ainda que ele tenha chegado ao mainstream somente na última década – em particular após a publicação de “Superinteligência: caminhos, perigos e estratégias para o novo mundo”, pelo próprio Bostrom, ele já ocorria de forma razoavelmente intensa antes disso em fóruns online, blogs e listas de e-mails, de forma geral desvinculado do mundo acadêmico e mais ligado ao meio de tecnologia. O mais célebre desses fóruns durante a década passada, o LessWrong – fruto de um blog coletivo inicialmente hospedado no site do FHI –, acabaria por dar origem a toda uma comunidade intelectual autodenominada “racionalista” e fisicamente centrada no norte da Califórnia, não por acaso próxima às grandes empresas que desenvolvem modelos de IA.

Além da preocupação com o fim do mundo pela inteligência artificial, a subcultura racionalista abarca uma visão epistêmica mais ampla sobre como utilizar evidências e evitar vieses – com uma reverência particular pelo bayesianismo. No plano ético, está intimamente ligada à filosofia do altruísmo efetivo – a ideia de que cálculos e evidências podem ser usados para maximizar nosso impacto positivo sobre o mundo. Tal corrente se articulou academicamente em Oxford através dos filósofos William McAskill e Toby Ord, e ajudaria o FHI a captar milhões em recursos junto a entidades ligadas ao movimento, como a Open Philanthropy.

Para além da epistemologia, a comunidade racionalista também é conhecida por seus aspectos culturais. Vários de seus membros são adeptos do transhumanismo – assim como Bostrom e Sandberg, advogados vocais da causa que optaram pela criopreservação de seu cérebro após a morte. Costumam ser simpáticos a políticas libertárias e algo elitistas – que por vezes flertam com ideias totalitárias, ainda que esse alinhamento político seja minoritário. E seus membros não costumam estar nem aí para credenciais acadêmicas: o padroeiro informal do movimento, Eliezer Yudkowsky, é um autodidata brilhante que escreveu milhares de páginas que definiram o pensamento racionalista, mas sequer cursou o ensino médio.

Previsivelmente, nenhuma dessas tendências é particularmente popular em departamentos de ciências humanas. Pelo contrário, seu conjunto levou a uma visão do meio intelectual que frequentava o FHI como uma espécie de culto com tendências eugenistas cuja versão particular do apocalipse é a chegada da inteligência artificial. Alguns escândalos reais ajudaram a fomentar a ideia, como a revelação de declarações racistas num e-mail enviado por Bostrom em 1997 e a condenação por fraude de Sam Bankman-Fried, o rosto mais conhecido do altruísmo efetivo no mercado financeiro, que levou alguns a considerarem o movimento um embuste intelectual.

Há um exagero evidente em algumas dessas críticas – uma visão equilibrada delas pode ser encontrada em “The Rationalist’s Guide to the Galaxy”, biografia do movimento racionalista escrita pelo jornalista Tom Chivers. Ainda assim, o status de personae non gratae da trupe do risco existencial para parte da academia e da mídia parece ter criado um dilema de alinhamento em um meio universitário tradicionalmente alinhado ao pensamento de esquerda. Por um lado, criticar a inteligência artificial e seus riscos parece a coisa certa a se fazer para se contrapor à força do grande capital. Por outro, colocar-se na causa dos riscos de longo prazo ao lado de transhumanistas polêmicos financiados pelo Vale do Silício também parece gerar certo desconforto. 

E com o debate ocupado por adversários de ambos os lados, a solução de parte do mundo acadêmico talvez tenha sido abraçar os “riscos presentes” da IA – os quais, não surpreendentemente, soam mais palatáveis ao status quo acadêmico, com seu foco em vieses, perpetuação de opressões e substituição de empregos. Expoentes dessa visão, geralmente enquadrada dentro do campo da “ética de IA”, incluem as cientistas computacionais Timnit Gebru e Margareth Mitchell e a linguista Emily Bender, célebres pelo artigo que descreve os grandes modelos de linguagem como “papagaios estocásticos”. E a própria distribuição de gênero do campo – cuja ocupação por mulheres destoa da dominância masculina na área da tecnologia – não parece ser por acaso.

Mas, para deixar clara a divisão com o campo dos homens brancos transhumanistas que se preocupam com riscos existenciais, deter-se em outras preocupações não é suficiente: é preciso contestar as dos adversários. E a conversão de uma antipatia política num debate científico parece ser, pelo menos para mim, a explicação mais plausível para a visão contraintuitiva de que a preocupação com os riscos existenciais da IA é uma conspiração das grandes companhias de tecnologia para nos distrair de outras coisas. 

É óbvio que isso não quer dizer que ninguém na universidade se preocupe com riscos existenciais. Mesmo com o fim do FHI, lugares como o Centre for the Study of Existential Risk em Cambridge ainda carregam a ideia no próprio nome. Cientistas eminentes da área da computação como Stuart Russell na Universidade de Berkeley, Geoffrey Hinton na Universidade de Toronto e Yoshua Bengio na Universidade de Montreal se tornaram advogados vocais da causa. E pesquisas de opinião recentes com autores de artigos científicos na área de aprendizado de máquina mostram que o risco médio de um evento catastrófico que possa dizimar a humanidade é estimado entre 5 e 10% por essa comunidade. 

Mas, por conta do conflito político criado em torno do tema, ficou difícil falar do assunto sem polarizá-lo: a própria pesquisa acima foi acusada de ser parcial por ser promovida por institutos ligados ao altruísmo efetivo, o que levou alguns pesquisadores a não respondê-la. Da mesma forma, uma carta aberta pedindo uma moratória a grandes modelos de inteligência artificial no ano passado sofreu críticas e boicotes não só dos “aceleracionistas” do Vale do Silício, mas também do campo da ética em IA. O resultado da bagunça é que campos que deveriam ter um interesse comum – regular o desenvolvimento da inteligência artificial – parecem não conversar entre si, ser incapazes de coordenar esforços e se alvejar mutuamente em fogo amigo. 

E enquanto a oposição se degladia, a tecnologia avança, e a pista fica mais livre para as grandes companhias ditarem suas regras. Em maio, vazou a informação de que a OpenAI forçava empregados que saíssem da empresa a assinar um compromisso de não criticá-la, sob pena de perder participações adquiridas nos seus lucros. Antes disso, uma tentativa do conselho administrativo da empresa de demitir o CEO Sam Altman por perda de confiança já havia fracassado. E, por mais que a OpenAI siga investindo no marketing da preocupação com a segurança, fica cada vez mais difícil de acreditar na hipótese de que a indústria de tecnologia vá saber regular a si própria.

Num mundo assim, lugares como o FHI provavelmente fazem falta. Não sei o que Nick Bostrom vai fazer da vida (e talvez nem ele saiba), mas suspeito de que não terá dificuldades em seguir trabalhando financiado pela indústria de tecnologia, que sempre lhe deu atenção e recursos. Com isso, a academia – que já perdeu as rédeas da pesquisa em inteligência artificial depois que o crescimento massivo dos modelos e dos salários de seus desenvolvedores jogou-as nas mãos do capital privado – vai perdendo seu protagonismo também no debate conceitual sobre o tema, que cada vez mais é liderado por vozes externas à universidade.

E se algumas dessas perdas parecem inevitáveis enquanto o dinheiro mover o mundo, outras parecem preveníveis com um pouco mais de tolerância. Não é preciso gostar pessoalmente de Bostrom ou aderir ao transhumanismo para reconhecer que suas ideias polêmicas – bem como outras surgidas no FHI – são mais interessantes do que a maioria da produção acadêmica do planeta e deveriam ter lugar numa universidade. Mais do que isso, desdenhar dos riscos de inteligências que nos superem amplamente em capacidade – que provavelmente devem surgir nas próximas décadas – por conta de divergências ideológicas com seus proponentes parece uma péssima ideia. Se nossa civilização é vulnerável a esses riscos, talvez seja justamente pela notável proficiência de seres humanos em encontrar pontos de discórdia onde eles não deveriam existir.