“Se aceitarmos que é possível de alguma forma definir a qualidade de um trabalho, devemos ainda assim reconhecer que a nota não é uma descrição do seu grau de qualidade, mas sim uma medição dessa qualidade, e uma das mais importantes maneiras pelas quais a aleatoriedade nos afeta é por meio de sua influência nas medições. Neste caso, o aparelho de medição era a professora e a avaliação de qualquer profiossional, como qualquer medição, está sujeita a variações e erros aleatórios.”
Ele conta o caso em que dois amigos do filho apresentaram trabalhos idênticos para a professora e ela, além de não ter notado, deu nota 9,0 para um e 7,9 para outro. Como é que pode?! Sim… pode.

“se uma professora dá notas numa escada de 0,0 a 10,0; essas minimas distinções entra as notas devem realmente significar alguma coisa. Mas se 10 editores puderam considerar que o manuscrito do primeiro Harry potter nao merecia ser publicado, como é possível que a professor conseguisse distinguir os trabalhos com tranta precisão, dando nota 9,2 a um e 9,3 a outro?”

E na verdade, quando um grupo de pesquisadores da universidade de Clarion distribuiu 120 monografias para serem avaliadas, independentemente, pasmem, por 80 professores; os conceitos resultantes, numa escala de A a F, por vezes apresentaram variações de 2 ou mais graus! Em média, a diferença foi de quase 1 grau. Treinar os professores em critérios de avaliação mais objetivos também não funciona! Um grupo de doutores em retórica e comunicação da universidade de Iowa foi treinado em 10 parâmetros de correção para dar notas de 1 a 4 em redações. O resultado foi que as notas de dois avaliadorespara uma mesma redação concordavam em apenas 50% dos casos. A lista de estudo desses tipo é enorme e todos chegam as mesmas conclusões.

Será que é assim que queremos corrigir os trabalhos de nossos alunos? Decidir se sabem ou não? Se aprenderam ou não? Se for pra corrigir assim, prefiro ensiná-los a fazer videos. Garanto que vão aprender melhor a contar histórias, se comunicar por escrito, responder questões de prova e perguntas em entrevistas de emprego.

Corrigir redações é um problema e uma preocupação em todo o mundo, já que os testes padronizados são uma importante ferramenta para a educação em massa, mas a capacidade de correção dos professores não é tão maciça assim. E por isso, todos os anos a fundação William and Flora Hewlett (sim, o ‘H’ da ‘HP’) lançam um concurso programas de computador para correção automatizada de redações (Automated Student Assessment Prize em inglês ou ASAP, o que é um jogo de palavras com a expressão ‘As soon as possible‘ que significa ‘o mais rápido possível’, que é exatamente quando queremos os resultados dos testes – qualquer teste).

No ano passado foi a primeira vez que o programa vencedor realmente chegou próximo aos resultados das correções por professores. “Este concurso me deu a oportunidade de pensar criativamente sobre como podemos usar a tecnologia para avaliar de maneira fácil, rápida e barata, qual a pontuação que um professor daria a uma redação corrigida a mão”, disse o vencedor do concurso, Jason Tigg, um físico de partículas inglês que tinha virado corretor de bolsas de apostas em esportes. “Eu adorei trabalhar em um problema real que tem o potencial de revolucionar a forma como a educação é oferecida.”

Para os organizadores do concurso, a finalidade não é substituir os professores, mas para dar  ferramentas para que possam passar mais trabalhos escritos nas salas de aula. Hoje, os alunos (nos EUA) escrevem uma média de três redações por semestre. Com até 40 alunos em cada classe, as redações levam tempo demais para serem corrigidas. Atualmente, o ASAP está sendo aplicado apenas em testes padronizados, como o ENEM e ENEAD deles, mas a idéia é levar essa tecnologia para sala de aula, para que os alunos pratiquem mais redações por ano, com feedback rápido e acurado sobre a sua escrita, antes de chegarem no momento do teste.