Programa Escolar Letrus de Treino e Correção Automatizada da Redação do ENEM e Desenvolvimento da Escrita no Espírito Santo

Aprimorar as habilidades de escrita de alunos ao final do ensino médio, tornando-os mais competitivos para os exames de ingresso na faculdade.

O programa foi implementado em escolas da rede pública do Espírito Santo durante o ano de 2019, no contexto de um estudo experimentalOs estudos experimentais utilizam mecanismos aleatórios (isto é, sorteios) para definir quem será e quem não será contemplado por um determinado programa ou política pública, garantindo que as diferenças futuras entre estes grupos possam ser atribuídas com maior credibilidade à intervenção em si — e não a diferenças entre quem é e quem não é "tratado". de avaliação de impacto.

Com duração de um ano letivo e destinado a alunos do 3° ano do ensino médio, o programa se baseou em uma tecnologia educacional com dois componentes principais.

O primeiro componente era uma plataforma online de treino para a prova de redação no Exame Nacional do Ensino Médio (ENEM). Durante o ano letivo, foram propostos cinco temas de redação. A plataforma utilizou um software de correção composto por inteligência artificial – baseado em processamento de linguagem natural e aprendizado de máquina – para dar devolutivas rápidas sobre o desempenho dos alunos em textos de treino, considerando cada uma das cinco competências avaliadas pelos corretores oficiais do Exame.

O segundo componente do programa era um painel online para professores, que consolidava a informação individual e agregada dos alunos nas atividades de treino. No painel, o professor pôde acompanhar o progresso de seus alunos nas competências, e programar aulas usando essa informação. Além disso, como ele tinha acesso ao texto do aluno, ele pôde usar a correção da inteligência artificial como uma primeira aproximação – focada principalmente em aspectos sintáticos – e dar devolutivas mais individualizadas – focadas em aspectos como criatividade e qualidade global da redação.

Foram documentadas, no artigo para discussão listado na seção abaixo, as seguintes evidências a respeito do impacto causal do programa nos alunos matriculados nas escolas participantes:

• aumento de 30% no número de redações escritas para treino para o ENEM durante o ano letivo [1];
• aumento de 45% no número de redações que receberam notas ao longo do ano, e de 36% no número de redações que receberam comentários ou anotações [1];
• aumento de 36% no número de redações que receberam notas e foram, posteriormente, tópico de discussão entre o aluno e sua professora ou professor [1];
• aumento de 10% de um desvio-padrãoO desvio-padrão mede a dispersão de valores de uma variável - valores mais altos indicam maior ocorrência de valores longe da média e valores mais baixos refletem maior concentração de valores próximos à média. Para a distribuição normal, ou para distribuições razoavelmente similares a uma normal, um aumento de 10% de um desvio-padrão equivale a um efeito de 4 percentis a partir do percentil 50 - isto é, a passar da posição 50 para a posição 54, em uma fila de 100. na nota da redação oficial do ENEM [1];
• uma versão do programa que usava corretores humanos para melhorar as devolutivas da inteligência artificial teve impactos muito semelhantes em todas as margens descritas acima, embora existam evidências de que os alunos consideram que a participação destes corretores melhora a qualidade das devolutivas [1].