ponto. futuro

No apagar das luzes do governo Bolsonaro, a Capes (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior) anunciou a versão preliminar do novo Qualis . O sistema, que classifica periódicos científicos em um ranking de categorias, é uma das pedras fundamentais da avaliação de pós-graduações da agência – uma ilha de meritocracia no sistema público brasileiro que determina a distribuição de verbas e bolsas entre os programas do país de acordo com seu desempenho acadêmico.

Revisões do Qualis costumam causar estardalhaço na comunidade acadêmica brasileira. É quase garantido que a publicação do ranking vá gerar reclamações sobre a nota recebida pela revista X, ou sobre o periódico Y ter ou não sido incluído. Desta vez, a insatisfação foi suficiente para gerar um abaixo-assinado de pesquisadores em economia e motivar correções na versão preliminar, que deve ser atualizada após o período de consulta pública.

Boa parte das críticas parecem justificadas: nos exemplos mais extremos, artigos individuais foram classificados como periódicos e ganharam pontuações altas no ranking. Afora isso, incômodos usuais como a hipervalorização de revistas nacionais e o excesso de periódicos no topo do ranking se somaram a outras criadas pela unificação das classificações por área , o que evidenciou disparidades entre os estratos em diferentes campos da ciência.

Todas essas discussões, porém, acabam por encobrir uma outra que as precede: existe algum sentido em avaliar a produção científica a partir da revista em que ela é publicada? Discussão, aliás, que consumiria bem menos esforço, porque a resposta é um simples “não”.

O Qualis nasceu em 1998 , como uma forma de tentar qualificar a produção científica brasileira ao estimular a publicação em periódicos de boa reputação. A causa era nobre: a ciência do país passava por um período de crescimento rápido , e tentar diminuir a ênfase em contar números de artigos publicados – como ainda é feito hoje em dia – para avaliar sua qualidade parecia uma prioridade.

O problema, é claro, é como medir a “qualidade” de produções científicas. A questão atormenta agências de fomento e instituições há anos, já que as comissões que têm de fazer decisões de avaliação científica raramente possuem conhecimento técnico para compreender a fundo o trabalho de todos os seus avaliados.

Ademais, a perspectiva de ler os milhares de artigos produzidos pelas pós-graduações de uma área do conhecimento parece atemorizante, o que leva a Capes a recorrer a métricas mais simples. Para estruturar sua classificação de periódicos, a agência parte de indicadores bibliométricos baseados em contagens de citações recebidas por artigos: uma medida de impacto acadêmico amplamente aceita e fácil de obter a partir de bancos de dados já existentes.

Avaliar a pós-graduação é importante. Mas é preciso avaliar as coisas certas, e levar em conta o efeito da avaliação sobre os avaliados

O mais famoso destes indicadores é o chamado fator de impacto , publicado pela Clarivate Analytics através de seus Journal Citation Reports . Criado nos anos 70 pelo americano Eugene Garfield , um dos pais da bibliometria, o número é uma média das citações recebidas pelos artigos de uma revista científica ao longo dos dois anos subsequentes. Originalmente, foi pensado como uma forma de ajudar bibliotecários a escolherem quais periódicos deveriam assinar. Dito isso, foi rapidamente incorporado por instituições e agências de fomento interessadas em avaliar pesquisadores como um indicador de qualidade de artigos científicos.

Os problemas da abordagem, porém, são inúmeros – e alardeados há décadas pela comunidade acadêmica de bibliometria – incluindo o próprio Garfield . Em primeiro lugar, o índice representa uma média grosseira detodos os artigos publicados em uma revista, e prevê muito mal o número de citações recebidas por qualquer artigo individual. Afora isso, é facilmente manipulável pelas próprias revistas, através de estratégias rasas como aumentar o número de revisões ou atrasar a data oficial de publicação de artigos já disponíveis.

Para além disso, basear-se em citações como medida de qualidade ignora o fato de que elas não garantem que o que está escrito em um artigo é fidedigno. A suposição implícita por trás da lógica – de que revistas de maior prestígio ou visibilidade seriam mais rigorosas na avaliação – não só carece de evidência sistemática como pode sair pela culatra : valorizar impacto e originalidade acima de tudo, afinal, pode facilmente levar cientistas a “dourarem a pílula” e superfaturarem resultados. Ironicamente, se as conclusões de um artigo forem falsas ou enviesadas, citações a ele passam a ser um problema e não uma virtude.

Por conta de tudo isso, o uso de métricas baseadas na revista de publicação para a avaliação de pesquisadores é o alvo principal das críticas de inúmeras propostas para a reformulação da avaliação científica. O San Francisco Declaration on Research Assessment (DORA) , de 2011, tem como primeira recomendação “não usar métricas baseadas em periódicos, como fatores de impacto, como uma medida de qualidade de artigos individuais”. O Manifesto de Leiden , recomenda “não delegar decisões aos números” e evitar a “falsa precisão” dos indicadores. E os Princípios de Hong Kong para avaliação de pesquisadores , de 2019, nos lembram que métricas dizem pouco sobre pesquisadores e o rigor de suas pesquisas, bem como sobre sua contribuição para a sociedade.

A despeito das críticas, porém, a resiliência das métricas têm sido notável tanto no Brasil como no resto do mundo , talvez porque burocratas adorem a ideia de que um número simples possa resolver uma questão complicada. Por conta disso, os indicadores bibliométricos constituem a base da construção do Qualis em sua versão atual, ainda que os comitês de área tenham flexibilidade para propor modificações nas categorias de até 30% dos periódicos.

A ideia de um ranking de periódicos, porém, é uma invenção brasileira que parece canhestra mesmo para entusiastas de métricas. Se a ideia é medir impacto acadêmico, seria muito mais fidedigno contar diretamente as citações dos artigos advindos das pós-graduações, o que não custaria mais do que uma lista de seus identificadores digitais e algumas horas de um bom programador. A desculpa eventualmente usada de que “citações levam tempo para se acumular” não se sustenta, já que o próprio fator de impacto é baseado em citações nos 2 anos seguintes à publicação – exatamente a média de tempo que artigos têm para ser citados a cada avaliação quadrienal da Capes. O que leva à desconfortável impressão de que a verdadeira razão seja a preguiça de mudar.

O uso de citações não resolve, porém, o problema de que impacto é apenas uma dimensão da qualidade de um trabalho científico – e não necessariamente a mais importante. Isso faz com que recomendações como os Princípios de Hong Kong sugiram outras dimensões a serem avaliadas na produção de cientistas, como práticas responsáveis em pesquisa, metodologias adequadas, transparência e aderência a princípios de ciência aberta.

Defensores do Qualis diriam que seria impossível avaliar estas dimensões no universo gigantesco de artigos e pesquisadores das pós-graduações brasileiras. E eles têm razão. Dito isso, também é impossível entrevistar a população brasileira para saber o que ela pensa, e pesquisas de opinião resolvem isso há décadas usando princípios elementares de estatística . Da mesma forma, não parece difícil sortear alguns artigos de cada pós-graduação para avaliar em profundidade. Em defesa da Capes, a agência recentemente passou a solicitar que as pós-graduações enviem uma lista com cinco a dez produções selecionadas , mas a forma com que isso é levado em conta na avaliação ainda é pouco clara.

Para além de todas as limitações, talvez a crítica mais contundente ao Qualis – que se estende à avaliação da Capes como um todo – é que ele erra em seu foco de interesse. Ao concentrar-se na produção científica, o sistema deixa em segundo plano a formação dos alunos, que constitui a verdadeira finalidade da pós-graduação. E ainda que a agência venha sinalizando uma maior atenção ao destino dos egressos , a verdade é que ainda sabemos mais sobre onde nossos artigos são publicados do que sobre o impacto da pós-graduação para além deles.

E se a formação de pessoas é o que mais importa, o aspecto mais danoso do Qualis talvez seja justamente sua influência sobre elas . Pior do que o ranking medir mal o que pretende medir, afinal, é a mensagem implícita em sua existência, que se insere em maior ou menor grau na cabeça de todo o pesquisador em formação: a de que seu trabalho vale por onde ele sai, e não pelo que ele tem a dizer.

Nada disso deve ser lido como uma crítica à ideia de que as pós-graduações ou a ciência produzida por elas devam ser avaliadas, ou que qualidade é algo que devamos tentar medir, mesmo que de forma imperfeita. A alternativa de assumir que o trabalho acadêmico é complexo demais para ser submetido à avaliação externa, afinal, leva à inércia e ao comodismo – e sua defesa costuma ser só uma forma de esconder o corporativismo atrás de palavras bonitas.

Mas é preciso avaliar as coisas certas, e levar em conta o efeito da avaliação sobre os avaliados. Conta uma anedota de economistas que, num esforço para diminuir a população de najas na Índia colonial, o governo britânico passou a recompensar quem trouxesse cobras mortas. O resultado foi a proliferação da criação doméstica de cobras pela população – uma forma simples e contraproducente de atingir a meta proposta. A história é um exemplo clássico da chamada Lei de Goodhart , que diz que qualquer métrica que se torne um objetivo deixa de ser uma boa métrica.

E se quisermos impedir a proliferação de répteis que enxergam a publicação como um fim em si mesma, a única solução é extinguir o Qualis. Esforços para melhorá-lo apenas ajudam a fazer rolar um trem que desce em direção ao abismo. E se as sucessivas atualizações do ranking são como o retorno do vilão empoeirado de um filme B, algo como “O Retorno da Múmia 8”, o debate acalorado sobre elas soa como uma conversa de aficionados sobre os novos esparadrapos do monstro. Pode animar uma mesa de bar, mas encobre o fato de que há filmes melhores para assistir, e uma ciência melhor para construir.