Programa Escolar Letrus de Treino e Correção da Redação do ENEM e Desenvolvimento da Escrita no Espírito Santo

Aprimorar as habilidades de escrita de alunos ao final do ensino médio, tornando-os mais competitivos em exames de ingresso na universidade.

O programaVocê pode encontrar documentos com mais informações sobre o programa no material complementar! foi implementado em escolas da rede pública do Espírito Santo durante o ano de 2019, no contexto de um estudo experimentalOs estudos experimentais utilizam mecanismos aleatórios (isto é, sorteios) para definir quem será e quem não será contemplado por um determinado programa ou política pública, garantindo que as diferenças futuras entre estes grupos possam ser atribuídas com maior credibilidade à intervenção em si — e não a diferenças entre quem é e quem não é "tratado". envolvendo aproximadamente 19 mil alunos em 178 escolas públicas.

Com duração de um ano letivo e destinado a alunos do 3° ano do Ensino Médio, o programa se baseou em uma tecnologia educacional com três componentes principais.

O primeiro componente era uma plataforma online de treino para a prova de redação no Exame Nacional do Ensino Médio (ENEM). Durante o ano letivo, foram propostos cinco temas de redação. A plataforma utilizou um software de correção baseado em processamento de linguagem natural e aprendizado de máquina para dar devolutivas rápidas sobre o desempenho dos alunos em textos de treino, considerando cada uma das cinco competências avaliadas pelos corretores oficiais do Exame.

Em um momento posterior, e como segundo componente do programa, o texto do aluno e as devolutivas da inteligência artificial foram encaminhadas a corretores contratados pela empresa responsável pelo programa, que aprimoraram estas devolutivas, enfatizando aspectos semânticos que ainda representavam um desafio à correção completamente automatizada da inteligência artificial. A correção completa foi enviada aos alunos aproximadamente três dias úteis após o envio do texto na plataforma.

O terceiro componente do programa era um painel online para professores, que consolidava a informação individual e agregada dos alunos nas atividades de treino. No painel, o professor pôde acompanhar o progresso de seus alunos nas competências, e programar aulas usando essa informação.

Foram documentadas, no artigo para discussão listado na seção abaixo, as seguintes evidências a respeito do impacto causal do programa nos alunos matriculados nas escolas participantes:

• aumento de 28% (ou 1,4 redações) no número total de redações escritas para treino para o ENEM, durante o ano de implementação [1];
• aumento de 44% no número de redações que receberam correção ao longo do ano, de 40% no número de redações que receberam comentários ou anotações e de 32% no número de redações que receberam notas e foram, posteriormente, tópico de discussão entre o aluno e sua professora ou professor [1];
• aumento de 9,5% de um desvio-padrãoO desvio-padrão mede a dispersão de valores de uma variável —valores mais altos indicam maior ocorrência de valores longe da média e valores mais baixos refletem maior concentração de valores próximos à média. Uma forma de interpretar efeitos medidos na escala de desvios-padrão, que é usada para tornar comparáveis provas usadas em diferentes contextos, é: "A cada aumento de 10% de um desvio-padrão equivale, aproximadamente, um salto de 4 posições a partir do aluno mediano (isto é, na posição 50)". Um aumento de 30% de um desvio-padrão, por exemplo, equivaleria a passar da posição 50 para a posição 62 (isto é, 30%/10% x 4 posições). Essas aproximações se tornam menos precisas para efeitos muito grandes. na nota da redação oficial do ENEM [1];
• uma versão do programa que usava apenas inteligência artificial para correção teve impactos muito semelhantes em todas as dimensões descritas acima, embora existam evidências de que os alunos consideraram que a participação dos corretores humanos melhorou a qualidade das devolutivas [1].