Na primeira coluna do ano , apontei que o maior desafio estrutural da educação brasileira é aumentar sua produtividade e prometi discutir, com o suporte de evidências robustas, exemplos práticos que a possam incrementar. Por sua vez, na última coluna de 2020 , mencionei brevemente os impactos positivos do uso de uma inteligência artificial linguística para auxiliar estudantes e professores na correção de redações preparatórias para o Enem (Exame Nacional do Ensino Médio). Hoje discutimos essa experiência com mais detalhes.

Desde que deixou de ser apenas um termômetro da qualidade do ensino médio e se converteu em exame de admissão ao ensino superior, a importância do Enem cresceu significativamente. Com efeito, o exame talvez seja hoje a ação educacional com maior visibilidade no país. A edição de 2020, cujas primeiras provas foram aplicadas no domingo (17), corroboram essa assertiva. Sua realização em meio à pandemia mobilizou a comunidade educacional, a imprensa e até o Congresso Nacional. As altas taxas de abstenção e as possíveis ações judiciais coletivas decorrentes da obtusa decisão do Inep (Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira) ainda serão objeto de muita discussão pública, mas para o presente texto basta afirmar a enorme centralidade do Enem como porta de entrada ao ensino superior e requisito para acessar programas públicos de incentivo à formação terciária, como o Prouni (Programa Universidade para Todos) e o Fies (Fundo de Financiamento Estudantil).

Para além dos objetivos individuais de cada aluno, por que adentrar e concluir a educação terciária é algo tão valorizado no país? De um lado, porque, em 2018, menos de 18% dos jovens brasileiros com idade entre 18 e 24 anos estavam matriculados nesse nível educacional e somente 21% entre 25 e 34 anos tinham um diploma de nível superior, contra 45% na média da OCDE (Organização para a Cooperação e Desenvolvimento Econômico). De outro, e corolário do anterior, porque o bônus salarial para os detentores do diploma de ensino superior segue alto no Brasil: em 2015, pessoas de 25 a 64 anos de idade ocupadas em tempo integral com ensino superior completo tinham um salário 144% maior do que as pessoas na mesma faixa etária que completaram apenas o ensino médio (essa diferença era de 54% na média dos membros da OCDE). Logo, além de um direito e um sonho, o ensino superior traz benefícios tangíveis para quem o completa. Isso explica a relevância enorme alcançada pelo Enem.

Quando prestam o exame, candidatos de escolas públicas e privadas carregam consigo todo o diferencial acumulado ao longo da educação básica. Num país extremamente desigual como o Brasil, esse diferencial é canalizado tanto pelas condições socioeconômicas dos estudantes e de suas famílias como pela qualidade da educação ofertada nas distintas redes escolares. Esse diferencial se reflete em favor dos alunos de escolas privadas em todas as provas do Enem, mas enquanto ela é de 21% em matemática e 16% em ciências da natureza, a diferença alcança 43% na redação.

Essa discrepância parece confirmar o que outras evidências apontam: a maior parte da desigualdade de rendimento não é explicada pela qualidade da educação ofertada nas escolas públicas ou privadas, mas por fatores extraescolares, tais como as condições socioeconômicas de alunos e estudantes. De fato, a redação é mais reveladora do repertório cultural do que provas disciplinares de múltipla escolha. Por outro lado, essa discrepância também mostra que, se quisermos aumentar o desempenho dos estudantes de escolas públicas no Enem e, por conseguinte, elevar as chances de que acessem o ensino superior, melhorar a qualidade da redação desses alunos é a ação com maior potencial de retorno.

Esse foi o objetivo de uma iniciativa realizada na rede pública do Espírito Santo e analisada no artigo “Experimental Evidence on Artificial Intelligence in the Classroom”, de Bruno Ferman, Lycia Lima e Flavio Riva. A iniciativa da Secretaria de Educação do estado permitiu que se realizasse um experimento com seleção aleatória dos grupos de tratamento e controle, englobando 178 escolas e 19 mil alunos do terceiro ano do ensino médio. Delas, 110 escolas dividiram-se em grupos iguais, sendo que um deles adotou uma IAP (inteligência artificial pura) e o outro adotou uma IAC (inteligência artificial complementada por corretores humanos terceirizados).

Como o uso de tecnologias deve se expandir no campo da educação, conhecer a solução testada no Espírito Santo constitui tarefa essencial para gestores

Os participantes nas escolas não sabiam que estavam participando do experimento e a adesão nos dois grupos foi muito alta, tanto entre os professores da rede, que receberam capacitação da edtech (tecnologia educacional), como entre os alunos. Muito embora a solução que carrega a inteligência artificial tenha requisitos baixos de dispositivos e conectividade, ainda assim a secretaria de educação disponibilizou 8.000 notebooks para assegurar que a falta de computadores não inviabilizasse o programa. Por sua vez, os autores admitem que a amostra não é representativa de toda a rede estadual, mas os dados demonstram que parecem ser uma boa aproximação dos alunos das escolas urbanas capixabas.

Os alunos utilizaram a inteligência artificial em cinco aulas. No grupo que adotou a IAC, logo após a submissão da redação, os estudantes recebiam da plataforma imediatamente uma classificação global (cinco níveis de desempenho) e a correção de aspectos sintáticos (ortografia e registro idiomático). Três dias depois, recebiam a redação corrigida por um professor terceirizado, com uma pontuação global e comentários mais detalhados sobre as cinco dimensões avaliadas pelo Inep. Por sua vez, o grupo IAP recebia também a classificação global de desempenho, a correção dos aspectos concernentes ao domínio da norma formal do idioma, mas não tiveram suas redações corrigidas por humanos. Sua pontuação foi calculada pela própria solução tecnológica, que lhes ofereceu também comentários aplicáveis encontrados na base de dados da solução.

O que os autores encontraram? Os dois grupos do experimento testemunharam um efeito positivo de 0,1 dp (desvio-padrão) em todas as dimensões avaliadas pelo Inep na redação. O maior efeito deu-se na dimensão talvez menos esperada: a proposta de intervenção (0,16 dp). Além de resultados gerais positivos, o experimento mostrou que a inclusão de corretores humanos não fez diferença para aumentar a qualidade das redações, algo especialmente importante para gestores educacionais, dado que isso esbarraria em restrições orçamentárias e de pessoal. Note-se, por outro lado, que o uso da solução tecnológica não substituiu o trabalho do professor. Pelo contrário, no grupo IAC, os professores da rede reportaram que houve economia de tempo, sobretudo em trabalhos feitos em casa.

Outra importante conclusão do experimento tem a ver com o aumento na quantidade de redações realizadas pelos alunos e discutidas com seus professores. Talvez isso ajude a explicar por que houve maior impacto na dimensão da “proposta de intervenção” da prova, que requer maior repertório cultural e possivelmente se beneficia mais da interação aluno-professor. Ao calcular o que significam esses efeitos da introdução da solução dessa edtech em termos da diferença entre estudantes de escolas públicas e privadas, os autores apontam que a melhoria detectada no experimento representaria uma diminuição de 9% no“gap”de pontuação dos estudantes da rede pública capixaba em relação a seus pares de escolas privadas, redução que alcança 20% na dimensão da “proposta de intervenção” da redação (cuja diferença é de 80% entre alunos de redes públicas e privadas).

Os resultados desse experimento são promissores e o artigo citado expõe vários outros efeitos, discutindo-os e expondo com alto rigor metodológico como os autores chegaram a eles. Certamente o artigo contribui para expandir o conhecimento sobre os efeitos da adoção de tecnologia e, particularmente, de ferramentas de correção automática de redação nas escolas. Mas, sobretudo do ponto de vista de um gestor educacional, os resultados são ainda mais importantes e deveriam ser levados em consideração por aqueles que buscam melhorar a qualidade de redação de seus estudantes (mesmo que no ensino médio, quando essa tarefa é mais difícil). Como o uso de soluções tecnológicas deve se expandir na esteira das transformações causadas pela pandemia na educação, conhecer a solução tecnológica testada no Espírito Santo (e outras que tenham sido rigorosamente avaliadas) constitui tarefa essencial para gestores públicos e privados.