Programa Escolar Letrus de Treino e Correção da Redação do ENEM e Desenvolvimento da Escrita no Espírito Santo

Aprimorar as habilidades de escrita de alunos ao final do ensino médio, tornando-os mais competitivos para os exames de ingresso na faculdade.

O programaVocê pode encontrar documentos com mais informações sobre o programa no material complementar! foi implementado em escolas da rede pública do Espírito Santo durante o ano de 2019, no contexto de um estudo experimentalOs estudos experimentais utilizam mecanismos aleatórios (isto é, sorteios) para definir quem será e quem não será contemplado por um determinado programa ou política pública, garantindo que as diferenças futuras entre estes grupos possam ser atribuídas com maior credibilidade à intervenção em si — e não a diferenças entre quem é e quem não é "tratado". de avaliação de impacto.

Com duração de um ano letivo e destinado a alunos do 3° ano do ensino médio, o programa se baseou em uma tecnologia educacional com dois componentes principais.

O primeiro componente era uma plataforma online de treino para a prova de redação no Exame Nacional do Ensino Médio (ENEM). Durante o ano letivo, foram propostos cinco temas de redação. A plataforma utilizou um software de correção composto por inteligência artificial – baseado em processamento de linguagem natural e aprendizado de máquina – para dar devolutivas rápidas sobre o desempenho dos alunos em textos de treino, considerando cada uma das cinco competências avaliadas pelos corretores oficiais do Exame.

Em um momento posterior, e como segundo componente do programa, o texto do aluno e as devolutivas da inteligência artificial foram encaminhadas a corretores contratados pela empresa responsável pelo programa, que aprimoraram estas devolutivas, enfatizando aspectos semânticos que ainda representaram um desafio à correção completamente automatizada da inteligência artificial. A correção completa foi enviada aos alunos aproximadamente três dias úteis após o envio do texto na plataforma.

O terceiro componente do programa era um painel online para professores, que consolidava a informação individual e agregada dos alunos nas atividades de treino. No painel, o professor pôde acompanhar o progresso de seus alunos nas competências, e programar aulas usando essa informação.

Foram documentadas, no artigo para discussão listado na seção abaixo, as seguintes evidências a respeito do impacto causal do programa nos alunos matriculados nas escolas participantes:

• aumento de 28% no número de redações escritas para treino para o ENEM durante o ano letivo [1];
• aumento de 42% no número de redações que receberam notas ao longo do ano, e de 39% no número de redações que receberam comentários ou anotações [1];
• aumento de 30% no número de redações que receberam notas e foram, posteriormente, tópico de discussão entre o aluno e sua professora ou professor [1];
• aumento de 10% de um desvio-padrãoO desvio-padrão mede a dispersão de valores de uma variável - valores mais altos indicam maior ocorrência de valores longe da média e valores mais baixos refletem maior concentração de valores próximos à média. Para a distribuição normal, ou para distribuições razoavelmente similares a uma normal, um aumento de 10% de um desvio-padrão equivale a um efeito de 4 percentis a partir do percentil 50 - isto é, a passar da posição 50 para a posição 54, em uma fila de 100. na nota da redação oficial do ENEM [1];
• uma versão do programa que usava apenas inteligência artificial para correção teve impactos muito semelhantes em todas as dimensões descritas acima, embora existam evidências de que os alunos consideraram que a participação dos corretores humanos melhorou a qualidade das devolutivas [1].