Coluna

Olavo Amaral

Checagem de fatos científicos: crônica de um fracasso anunciado

27 de setembro de 2022

Temas

Compartilhe

Estabelecer o que é um fato científico não é simples, e é estranho pensar que delegar a tarefa aos jornalistas possa dar certo

Uma meta-análise publicada em agosto no European Journal of Epidemiology chegou a uma conclusão surpreendente. Liderada pelo epidemiologista Miguel Hernán , da escola de saúde pública de Harvard, o artigo sintetizou a literatura sobre profilaxia da covid-19 com hidroxicloroquina. Sua conclusão é que, nos sete ensaios clínicos randomizados existentes, houve 28% menos infecções entre sujeitos que tomaram a droga antes da exposição ao SARS-Cov-2 do que entre os alocados no grupo placebo – com uma margem de erro de 5 a 45%.

Os autores são cautelosos em suas conclusões, afirmando que um efeito da droga não pode ser descartado, e que a interpretação usual de sua “ineficácia comprovada” é equivocada. A comunidade agregada em torno do tratamento precoce da covid-19 no Brasil, porém, seria mais efusiva. O grupo Médicos pela Vida, conhecido pelo ativismo na causa – e pela oposição sistemática às vacinas contra a doença – daria a manchete de “ Estudo de Harvard comprova eficácia da hidroxicloroquina para profilaxia da covid-19 ”. A notícia seria reverberada nas redes sociais e em veículos de mídia à direita do espectro político como a Gazeta do Povo , a Revista Oeste e o Brasil sem Medo – uma reação esperada dada a polarização em torno do fármaco no país.

Também esperada seria a réplica, em que a mídia tradicional seria inundada por checagens de fatos contestando a afirmação. A Reuters argumentaria que o estudo “não comprova a eficácia do medicamento para este fim, e nem foi feito pela Universidade de Harvard”. O Projeto Comprova , que congrega diversos veículos de mídia (entre eles o Nexo), classificaria a informação como “enganosa”, dizendo que “a metanálise tem problemas, como a qualidade dos estudos e o fato de um dos textos ser de um dos próprios autores do trabalho.” Mais enfático, o site Boatos.org afirmaria que os pesquisadores “tentam distorcer dados repetidamente testados” e “apresentam claro viés ideológico”.

A checagem de fatos tem florescido como atividade independente a partir da preocupação crescente com as ditas fake news , em particular após a eleição de Donald Trump nos EUA em 2016. De lá para cá, veículos de mídia e redes sociais passaram a recorrer a agências dedicadas ao tema para avaliar informações questionáveis postadas nas redes ou mencionadas por figuras públicas. Ainda que tenham nascido num contexto político, as agências foram arrastadas para opinar também sobre ciência com a pandemia de covid-19.

Dito isso, julgar fatos científicos nem sempre é trivial. A checagem de fatos costuma trabalhar com informações objetivas, cuja veracidade costuma ser facilmente verificável. Governo nenhum distribuiu mamadeiras em formato de pênis . O filho de Lula não é dono da JBS . E Bolsonaro de fato foi esfaqueado na campanha de 2018.

Afirmações como “a hidroxicloroquina funciona para covid-19”, porém, não são exatamente fatos: são um modelo sobre relações de causa e efeito no mundo. Números obtidos em estudos – como os 28% de infecções a menos da meta-análise – podem ser usados para estimar a eficácia de um tratamento em futuros pacientes. Mas há um bocado de incerteza no processo, o que faz com que nada seja realmente “comprovado” – a ciência trabalha tentando reduzir margens de erro e construir modelos cada vez mais confiáveis, mas nunca definitivos .

Mais do que isso, a interpretação do que é um fato científico é moldada por seres humanos – e por boas razões. Cientistas podem divergir sobre a validade de determinadas evidências – o que pode levar à inclusão de estudos diferentes em uma meta-análise, por exemplo. E mesmo que concordem e cheguem ao mesmo resultado, podem discordar em relação à sua interpretação. Seriam os 28% uma boa estimativa do efeito da hidroxicloroquina, ou o fruto de um acaso fortuito? A conclusão depende de cruzar os dados existentes com tudo o mais que já sabemos , com pesos para evidências distintas que dois cientistas dificilmente atribuiriam da mesma forma.

O grau de consenso sobre diferentes assuntos científicos varia amplamente, e estabelecer o que é um fato nem sempre é trivial

Na ausência de certezas, nossa melhor aproximação da verdade costuma ser o “consenso científico” – a opinião da maioria dos especialistas de uma área. Dito isso, o grau de consenso sobre diferentes assuntos varia amplamente, e medi-lo nem sempre é trivial . Posições de sociedades científicas e autoridades sanitárias podem ser usadas como uma aproximação – mas como elas nem sempre existem, particularmente em temas disputados, agências de checagem de fatos costumam recorrer ao expediente de consultar especialistas individualmente.

Tal solução, porém, tem problemas óbvios. Nada garante, afinal, que duas ou três opiniões representem o consenso científico, e muito menos que constituam um veredito sobre o que é um “fato”. Para piorar, em um mundo de opiniões para lá de públicas, um passeio de cinco minutos nas redes sociais costuma ser suficiente para saber de antemão o que dirão os especialistas a serem consultados – que por acaso ou não, costumam ter grandes quantidades de seguidores nelas.

Com isso, consultar especialistas para checar fatos pode se tornar um mero expediente para ouvir o que já se espera. Não por acaso, a checagem da Reuters seria respondida pelos Médicos pela Vida com uma “ checagem da checagem ”, acusando a agência de usar sofismas e manipulações retóricas para “contar mentiras dizendo meias verdades”, e trazendo seus próprios especialistas para qualificar a meta-análise como correta e a checagem como falsa.

E qual lado estaria certo, afinal? É difícil julgar, já que ambas estão carregadas de vieses que fazem do debate uma conversa de surdos. A matéria dos Médicos pela Vida de fato doura a pílula ao dizer que o estudo “comprova” a eficácia da hidroxicloroquina na profilaxia – uma conclusão que os próprios autores do estudo se abstêm de fazer. Afora isso, porém, a maior parte das críticas do grupo sobre as checagens “oficiais” são pertinentes.

Já no título, a checagem da Reuters apela para o truque retórico, afirmando que o estudo “não é de Harvard, mas de pesquisadores de Harvard”. A frase é tecnicamente correta, já que estudos são feitos por pesquisadores e não por instituições, mas soa como uma estratégia rasteira para atribuir “falsidade” à notícia, já que a mídia – incluindo a própria Reuters e os participantes do Projeto Comprova – usam o termo “estudo da universidade X” o tempo todo sem que checadores de fatos batam em sua porta – exceto quando o tema é hidroxicloroquina.

A coisa piora, porém, quando os checadores resolvem avaliar o artigo e arbitrar sobre o “fato” da eficácia da hidroxicloroquina. Há eventuais erros bem apontados, como uma afirmação na seção de resultados de que todos os estudos seriam duplo-cegos (o que o próprio artigo reconhece não ser o caso em sua avaliação de risco de viés ). Outras críticas, porém, são francamente infundadas , como a de que a meta-análise não avaliou todas as evidências pois “ tem menos artigos do que a revisão Cochrane, considerada a melhor do mundo ”, feita pelo Comprova. A revisão da Cochrane de fato tem mais artigos , mas lida primariamente com tratamento e inclui apenas um sobre profilaxia, contra 11 da meta-análise em questão. O mesmo ruído ocorre na citação a ensaios clínicos como o RECOVERY, do Reino Unido, e o Solidarity, da Organização Mundial da Saúde, que de fato enterraram o uso da hidroxicloroquina em âmbito hospitalar, mas não testam seu uso como profilaxia.

A contradição mais bizarra, porém, é a afirmação recorrente de que a meta-análise reuniu “estudos de baixa qualidade”, seguida de uma listagem de “ pesquisas sólidas que comprovaram a ineficácia da droga ” – que em diversos casos são os mesmos estudos incluídos na meta-análise. O fenômeno é compreensível: estudos individuais podem ser insuficientes para atestar o benefício de um fármaco, mas ao “juntarem forças” em uma meta-análise, podem apontar um efeito de forma consistente . Mas a Reuters claramente não compreende o conceito, ao afirmar que “a maior parte dos estudos incluídos afastaram a eficácia da hidroxicloroquina na prevenção da covid-19” e que “o próprio gráfico do artigo mostra que os benefícios são considerados insuficientes”. E a afirmação de que eles são “ruins” dentro da meta-análise mas “sólidos” individualmente deixa claro que a régua de avaliação de evidência dos checadores está descalibrada.

É claro que culpar jornalistas por isso parece injusto. Ninguém consegue se aprofundar em um debate acadêmico do dia para a noite, e comunicar consensos de forma clara e ponderada deveria ser uma responsabilidade da comunidade científica. Na ausência disso, porém, o jornalismo deveria ter a humildade de se abster de dar vereditos de verdadeiro ou falso sobre “fatos” científicos complicados demais para isso.

Mais do que isso, o método das agências de checagem abre uma reflexão sobre o propósito da atividade. Da seleção de especialistas aos erros de análise ao esforço para encontrar “falsidades” em entrelinhas, tudo dá a impressão de que elas meramente cumprem um ritual de acumular argumentos para sustentar uma posição pré-estabelecida – a de que a hidroxicloroquina não funciona. O padrão é típico de seres humanos em um debate , mas tem pouco a ver com buscar a verdade sobre um fato – o que deveria ser o objetivo tanto da ciência como do jornalismo.

Aliás, talvez o sintoma mais óbvio desse viés é que temas como ivermectina e hidroxicloroquina tenham gerado centenas de checagens de fatos nos últimos anos, enquanto afirmações igualmente polêmicas dentro da comunidade científica como “ faça seu exame de próstata anualmente após os 50 anos ” ganham carta branca. A discrepância provavelmente tem menos a ver com os fatos, ou com sua importância para a saúde, e mais com a necessidade de vencer por força bruta um debate que ganhou inesperada relevância no contexto político do país.

Estou dizendo que a profilaxia com hidroxicloroquina funciona, então? A resposta, infelizmente, é complicada demais para essa coluna (no meio tempo, recomendações oficiais tendem a ser contrárias à prática ). Mas se a pergunta for se a checagem de fatos funciona para arbitrar a questão, minha resposta é um sonoro e convicto “não”.

Olavo Amaralé médico, escritor e professor da UFRJ. Foi neurocientista por duas décadas e hoje se dedica à promoção de uma ciência mais aberta e reprodutível. Coordena a Iniciativa Brasileira de Reprodutibilidade, uma replicação multicêntrica de experimentos da ciência biomédica brasileira, e o No-Budget Science, um coletivo para catalisar projetos dedicados a construir uma ciência melhor. Como escritor, é autor de Dicionário de Línguas Imaginárias e Correnteza e Escombros

Os artigos publicados pelos colunistas são de responsabilidade exclusiva de seus autores e não representam as ideias ou opiniões do Nexo.

Navegue por temas