Considere dois anúncios recentes. Há algumas semanas, Facebook e o YouTube disseram que as decisões sobre manter ou remover certas postagens dependeriam menos de moderadores humanos e mais de sistemas algorítmicos. Essa maior automação, as empresas admitiram, levaria a mais “erros” no gerenciamento de conteúdo. Outra ação foi tomada pelo Twitter, que estabeleceu uma nova política de moderação : todo o conteúdo que aumentar a chance de alguém contrair o novo coronavírus deverá se removido — foi essa nova regra que levou ao recente apagamento de posts do presidente Jair Bolsonaro , por exemplo.

Esses movimentos podem parecer naturais e até bem-vindos. Mas devem também ser lidos criticamente.

Embora seja louvável reconhecer que a moderação automatizada de conteúdo pode produzir mais “erros”, os anúncios do Google e do Facebook não explicam os vários problemas envolvidos no uso de sistemas algorítmicos para moderar conteúdo.

Para começar, não está clara a natureza dos erros que essa automação produzirá. Os usuários do Facebook rapidamente denunciaram que as postagens com informações legítimas sobre a pandemia foram descartadas como spam — o que a empresa chamou de mero bug. E, como um de nós argumentou recentemente na revista Big Data & Society , um sistema quase totalmente automatizado de moderação de conteúdo tende a ocultar a natureza política de decisões editoriais.

Já a decisão do Twitter sobre o conteúdo relacionado ao novo coronavírus parece assumir um inexistente nível de clareza conceitual e legitimidade institucional. Compreender pandemias é uma tarefa extraordinariamente complexa. Se epidemiologistas muitas vezes não têm certeza do que fazer, por que devemos dar ao Twitter a capacidade unilateral de dizer qual conteúdo pode alimentar a transmissão do vírus?

Pouco após o anúncio da nova política, a plataforma deu razões para nos preocuparmos. Elon Musk, o poderoso CEO da Tesla, tuitou a informação falsa de que “as crianças são essencialmente imunes” ao vírus. Pode parecer um exemplo flagrante do que havia acabado de ser proibido. Mas a postagem não foi removida.

Essas controvérsias pontuais revelam um problema mais fundamental: a governança de plataformas depende de arranjos notavelmente frágeis.

Essa fragilidade está em parte relacionada ao grau de concentração das cadeias produtivas globais da moderação de conteúdo. O recente aumento da automação, por exemplo, é causado pelo fato de muitos moderadores humanos não terem permissão para trabalhar em casa. Isso pode parecer surpreendente: empresas de tecnologia como Facebook não conseguem projetar sistemas seguros para que esse tipo de trabalho seja realizado remotamente? Na verdade, como escreveu Sarah T. Roberts , da UCLA (Universidade da Califórnia, Los Angeles), a moderação remota de conteúdo é impedida por “acordos de privacidade e políticas de proteção de dados em várias jurisdições”. Muito do trabalho necessário para moderar conteúdo digital é exercido por multidões de indivíduos mal remunerados em países pobres. A atual escassez de moderadores, por exemplo, parece estar diretamente ligada à quarentena de um grupo específico de trabalhadores nas Filipinas.

Outra faceta da fragilidade da governança de plataforma diz respeito à instabilidade das regras internas das empresas. Mudanças súbitas e reativas, como a nova política sobre o coronavírus do Twitter, são constantes. Recentemente, examinamos como as “Regras do Twitter”, uma das normas internas da plataforma, mudaram desde 2009. Nossa análise encontrou mais de 300 alterações nas diretivas, terminologia e classificação de regulamentos. Muitas dessas mudanças responderam a eventos externos específicos, como as eleições presidenciais de 2016 nos EUA. Outras revelam os fluxos e refluxos aparentemente erráticos de uma empresa ainda incerta sobre como exercer seu enorme poder sobre debate público.

Finalmente, o caso do tuíte de Elon Musk evoca a perene fragilidade política da governança de plataformas. Não existem canais estáveis por meio dos quais o resto da sociedade pode entender como essas empresas desenham suas regras e tecnologias editoriais. A tomada de decisões das principais plataformas digitais permanece a prerrogativa de um pequeno grupo de executivos e funcionários, cujas preocupações, métodos e (prováveis) disputas são escondidos do escrutínio público. Esse déficit de transparência enfraquece a legitimidade de suas decisões, aumenta as críticas externas e, até mesmo, força essas empresas a fazer experimentos com a opinião pública, como a iniciativa do Facebook de criar uma espécie de “STF” interno .

O histórico dessas empresas sugere ser improvável que elas tornem, por conta própria, seus regimes de governança mais confiáveis, estáveis e democráticos. Pois, embora frágeis, eles também são lucrativos. Qualquer mudança profunda dependerá de uma enorme pressão social. Se ficar provado que as decisões editoriais dessas empresas podem estar indiretamente envolvidas na morte de dezenas de milhares de pessoas durante esta pandemia, é provável que o problema finalmente seja entendido como grave demais para ser resolvido apenas com mudanças superficiais.

No entanto, se esta crise acabar sendo um momento de consolidação do poder dessas empresas, como alguns preveem , seus regimes de governança provavelmente permanecerão sem contestação por um longo tempo. Ou, pior, essas empresas podem muito bem usar esta crise para normalizar soluções que fazem sentido econômico, mas não ético — os “erros” gerados por sistemas de moderação automatizados são um exemplo.

Dizer que choques sociais funcionam como catalisadores de mudanças estruturais não indica a direção dessa transformação. Políticos, jornalistas e pesquisadores devem redobrar seus esforços de fiscalização. Os regimes de governança digital que estão sendo renegociados agora devem ser uma estrutura ainda mais central no mundo que emergirá desta crise.

João Carlos Magalhães é pesquisador de pós-doutorado no Alexandre von Humboldt Institute for Internet and Society, em Berlim, onde estuda como plataformas digitais governam e podem ser governadas. Mestre e doutor pela London School of Economics and Political Science, seu trabalho acadêmico foi publicado por revistas como Social Media + Society e Journalism.

Christian Katzenbach épesquisador sênior no Alexandre von Humboldt Institute for Internet and Society, em Berlim. Doutor pela Freie Universität Berlin, sua pesquisa aborda a interseção de tecnologia, comunicação e governança, e apareceu na New Media & Society e International Journal of Communication, entre outras publicações.

Uma versão mais longa deste texto foi publicada em inglês no site da Internet Policy Review .