← voltar para plataforma impacto

Programa Escolar Letrus de Treino e Correção da Redação do ENEM e Desenvolvimento da Escrita no Espírito Santo

Publicado em 20/12/2022
Compartilhe:

Qual o objetivo?

Aprimorar as habilidades de escrita de alunos ao final do ensino médio, tornando-os mais competitivos para os exames de ingresso na faculdade.

Onde e quando foi implementado?

O programaVocê pode encontrar documentos com mais informações sobre o programa no material complementar! foi implementado em escolas da rede pública do Espírito Santo durante o ano de 2019, no contexto de um estudo experimentalOs estudos experimentais utilizam mecanismos aleatórios (isto é, sorteios) para definir quem será e quem não será contemplado por um determinado programa ou política pública, garantindo que as diferenças futuras entre estes grupos possam ser atribuídas com maior credibilidade à intervenção em si - e não a diferenças entre quem é e quem não é "tratado". de avaliação de impacto.

Como é o desenho?

Com duração de um ano letivo e destinado a alunos do 3° ano do ensino médio, o programa se baseou em uma tecnologia educacional com dois componentes principais.

O primeiro componente era uma plataforma online de treino para a prova de redação no Exame Nacional do Ensino Médio (ENEM). Durante o ano letivo, foram propostos cinco temas de redação. A plataforma utilizou um software de correção composto por inteligência artificial – baseado em processamento de linguagem natural e aprendizado de máquina – para dar devolutivas rápidas sobre o desempenho dos alunos em textos de treino, considerando cada uma das cinco competências avaliadas pelos corretores oficiais do Exame.

Em um momento posterior, e como segundo componente do programa, o texto do aluno e as devolutivas da inteligência artificial foram encaminhadas a corretores contratados pela empresa responsável pelo programa, que aprimoraram estas devolutivas, enfatizando aspectos semânticos que ainda representaram um desafio à correção completamente automatizada da inteligência artificial. A correção completa foi enviada aos alunos aproximadamente três dias úteis após o envio do texto na plataforma.

O terceiro componente do programa era um painel online para professores, que consolidava a informação individual e agregada dos alunos nas atividades de treino. No painel, o professor pôde acompanhar o progresso de seus alunos nas competências, e programar aulas usando essa informação.

O que aprendemos com o monitoramento e a avaliação?

Foram documentadas, no artigo para discussão listado na seção abaixo, as seguintes evidências a respeito do impacto causal do programa nos alunos matriculados nas escolas participantes:

  • aumento de 28% no número de redações escritas para treino para o ENEM durante o ano letivo [1];
  • aumento de 42% no número de redações que receberam notas ao longo do ano, e de 39% no número de redações que receberam comentários ou anotações [1];
  • aumento de 30% no número de redações que receberam notas e foram, posteriormente, tópico de discussão entre o aluno e sua professora ou professor [1];
  • aumento de 10% de um desvio-padrãoO desvio padrão mede a dispersão de valores de uma variável - números mais altos indicam maior ocorrência de valores longe da média; valores mais baixos refletem maior concentração de valores próximos à média. Para distribuição normal, um aumento de 10% de um desvio-padrão equivale a um efeito proporcional de aproximadamente 4 percentis a partir do percentil 50. na nota da redação oficial do ENEM [1];
  • uma versão do programa que usava apenas inteligência artificial para correção teve impactos muito semelhantes em todas as dimensões descritas acima, embora existam evidências de que os alunos consideraram que a participação dos corretores humanos melhorou a qualidade das devolutivas [1].

De onde vem essa informação?

  1. Ferman, B., Lima, L., & Riva, F. (2021). Artificial Intelligence, Teacher Tasks and Individualized Pedagogy. SocArXiv Working Paper.

Vídeos

Estamos trabalhando para que as páginas contemplem toda a evidência documentada sobre o tema e estejam sempre atualizadas. Se você quiser sugerir algum artigo, entre em contato.