Avaliação de Professores e Incentivos em Escolas Públicas no Programa IMPACT no Distrito de Columbia

O programa IMPACT foi implementado em 2009 pelo District of Columbia Public Schools (DCPS), nos Estados Unidos. Os resultados abaixo se referem a um estudo observacional que usa dados de 6.500 professores nos primeiros anos de implementação.

O IMPACT instaurou um novo sistema de avaliação de professores, conectando a performance nessa avaliação a prêmios salariais e punições. A nota na avaliação era composta pelos seguintes indicadores:

1. valor adicionado do professor em exames padronizados, utilizado apenas para os professores para os quais foi possível calcular, com peso de 50%;
2. nota após observação de 5 aulas por avaliadores externos e educadores mais experientes – levando em conta a extensão pela qual a aula era guiada por objetivos claros, compreensão dos alunos, explicação clara e uso do tempo de instrução de forma eficiente -, com peso de 35% a 75% da nota total, a depender da possibilidade de computar o valor adicionado associado ao professor;
3. valor adicionado da escola em exames padronizados, com peso de 5%, para ambos os grupos de professores;
4. nota da equipe de gestores da escola, nos critérios de suporte a iniciativas escolares, dedicação na consolidação de uma cultura escolar marcada por altas expectativas, e relações com as famílias dos alunos, com peso de 10%, também para ambos os grupos de professores.

As pontuações finais na avaliação, variando de 100 a 400 permitiram, então, dividir os professores em quatro categorias de efetividade (insuficiente, mínima, aceitável e alta).

Os professores com pontuações abaixo do corte de 250 foram classificados como de efetividade insuficiente ou mínima, e foram notificados pela autoridade educacional de que seriam demitidos se não alcançassem esse corte no ano seguinte.

Por outro lado, os professores que receberam a classificação de “efetividade alta” se qualificaram para receber um bônus salarial ao fim do ano, de 5.000, 7,500 e 10.000 dólares, a depender da taxa pobreza na escola em que o professor ensinava e se sua nota tinha sido computada usando medidas de valor adicionado. Além disso, nos casos em que estes professores alcançaram uma segunda classificação consecutiva de “altamente efetivos”, receberam um aumento permanente em seu salário-base.

Por fim, professores cuja pontuação ficou entre 250 e 349 foram classificados como “efetivos” e não sofreram consequências com respeito ao salário ou à segurança no emprego.

Foram documentadas, no artigo listado na seção abaixo, as seguintes evidências a respeito do monitoramento do programa e do seu impacto causal em professores e alunos de professores próximos aos cortes utilizados para definir os níveis efetividade mínima e alta descritos acima:

• nos dois primeiros anos de implementação, 2% dos professores foram considerados como de efetividade insuficiente e 14% como de efetividade mínima, 69% foram considerados com efetividade aceitável, e 14% como de efetividade alta [1];
• aumento de 17,5% a 30% (ou de 3,5 a 6,1 pontos percentuaisO efeito de um programa em termos percentuais (%) é diferente do efeito do programa em pontos percentuais! Por exemplo, se uma variável binária teria média de 10% na ausência da iniciativa, um impacto de 5 pontos percentuais representa um aumento de 50% (=5/10).) na taxa de professores logo abaixo do corte que delimitava o nível mínimo de efetividade que se desligaram do DCPS no ano subsequente, embora as estimativas sejam estatisticamente insignificantesChamam-se de estatisticamente significantes as estimativas de impacto que são distinguíveis de 0, após incorporadas à análise as incertezas associadas à generalização para outras amostras de indivíduos e estudos. [1];
• no segundo ano do programa, no entanto, houve aumentos estatisticamente significantes de 56% a 66% (ou de 9 a 11 pontos percentuais) na taxa de professores logo abaixo do corte que se desligaram do DCPS no ano subsequente [1];
• entre os que ficaram, houve aumento de 27% de um desvio-padrãoO desvio-padrão mede a dispersão de valores de uma variável —valores mais altos indicam maior ocorrência de valores longe da média e valores mais baixos refletem maior concentração de valores próximos à média. Uma forma de interpretar efeitos medidos na escala de desvios-padrão, que é usada para tornar comparáveis provas usadas em diferentes contextos, é: "A cada aumento de 10% de um desvio-padrão equivale, aproximadamente, um salto de 4 posições a partir do aluno mediano (isto é, na posição 50)". Um aumento de 30% de um desvio-padrão, por exemplo, equivaleria a passar da posição 50 para a posição 62 (isto é, 30%/10% x 4 posições). Essas aproximações se tornam menos precisas para efeitos muito grandes. no indicador utilizado para classificar os professores nos anos seguintes à implementação do sistema de incentivos, também nos dois primeiros anos de implementação [1];
• entre os professores que foram classificados como de alta efetividade, também houve aumento, de 24%, no indicador descrito imediatamente acima [1].