As máquinas de corrigir provas


Café quente deixa o professor mais bonzinho na correção

Vocês todos devem ter visto o caso dos alunos que publicaram receita de pizza na redação do ENEM e ganharam nota máxima. O MEC ficou na maior ‘saia justa’ e demitiram um monte de professores. Disseram também que a partir agora tem que ter doutorado para corrigir redação (um absurdo!) e as redações com nota máxima serão revisadas ainda mais uma vez.

Bom, eu tenho que confessar que fizemos algo parecido ao que esses estudantes fizeram uma vez na faculdade: “…porque as razões de fósforo e nitrogênio no lago ‘e se o professor ler esse trabalho vai ganhar uma caixa de cerveja‘ não responderam de maneira esperada…”.

Ele nunca veio cobrar o prêmio e tiramos 7 no trabalho. Se eu tivesse que apostar, apostaria que nesse caso específico da receita de pizza, os professores que corrigiram a redação na verdade não corrigiram nada.

Mas… e nos outros casos onde o professor realmente corrigiu a redação e há uma grande discrepância entre o que (a qualidade do que) o aluno escreveu e a nota, ou boa ou ruim, que ele tirou? Será que colocar mais de um corretor ou repetir a correção resolve a questão da discrepância entre notas?

O caso foi bem retratato por Leonard Modlinow em seu livro ‘O andar do bêbado’. Depois que uma professora de inglês deu 9,3 para um trabalho que ele, um escritor profissional, tinha feito no lugar do filho, ele se questionou sobre os erros de medição dos professores ao corrigir trabalhos:

“Se aceitarmos que é possível de alguma forma definir a qualidade de um trabalho, devemos ainda assim reconhecer que a nota não é uma descrição do seu grau de qualidade, mas sim uma medição dessa qualidade, e uma das mais importantes maneiras pelas quais a aleatoriedade nos afeta é por meio de sua influência nas medições. Neste caso, o aparelho de medição era a professora e a avaliação de qualquer profiossional, como qualquer medição, está sujeita a variações e erros aleatórios.”
Ele conta o caso em que dois amigos do filho apresentaram trabalhos idênticos para a professora e ela, além de não ter notado, deu nota 9,0 para um e 7,9 para outro. Como é que pode?! Sim… pode.

Outros estudos mostram que o ambiente que nos rodeia no momento de uma avaliação, influencia nessa avaliação.

“se uma professora dá notas numa escada de 0,0 a 10,0; essas minimas distinções entra as notas devem realmente significar alguma coisa. Mas se 10 editores puderam considerar que o manuscrito do primeiro Harry potter nao merecia ser publicado, como é possível que a professor conseguisse distinguir os trabalhos com tranta precisão, dando nota 9,2 a um e 9,3 a outro?”

E na verdade, quando um grupo de pesquisadores da universidade de Clarion distribuiu 120 monografias para serem avaliadas, independentemente, pasmem, por 80 professores; os conceitos resultantes, numa escala de A a F, por vezes apresentaram variações de 2 ou mais graus! Em média, a diferença foi de quase 1 grau. Treinar os professores em critérios de avaliação mais objetivos também não funciona! Um grupo de doutores em retórica e comunicação da universidade de Iowa foi treinado em 10 parâmetros de correção para dar notas de 1 a 4 em redações. O resultado foi que as notas de dois avaliadorespara uma mesma redação concordavam em apenas 50% dos casos. A lista de estudo desses tipo é enorme e todos chegam as mesmas conclusões.

Será que é assim que queremos corrigir os trabalhos de nossos alunos? Decidir se sabem ou não? Se aprenderam ou não? Se for pra corrigir assim, prefiro ensiná-los a fazer videos. Garanto que vão aprender melhor a contar histórias, se comunicar por escrito, responder questões de prova e perguntas em entrevistas de emprego.

Corrigir redações é um problema e uma preocupação em todo o mundo, já que os testes padronizados são uma importante ferramenta para a educação em massa, mas a capacidade de correção dos professores não é tão maciça assim. E por isso, todos os anos a fundação William and Flora Hewlett (sim, o ‘H’ da ‘HP’) lançam um concurso programas de computador para correção automatizada de redações (Automated Student Assessment Prize em inglês ou ASAP, o que é um jogo de palavras com a expressão ‘As soon as possible‘ que significa ‘o mais rápido possível’, que é exatamente quando queremos os resultados dos testes – qualquer teste).

No ano passado foi a primeira vez que o programa vencedor realmente chegou próximo aos resultados das correções por professores. “Este concurso me deu a oportunidade de pensar criativamente sobre como podemos usar a tecnologia para avaliar de maneira fácil, rápida e barata, qual a pontuação que um professor daria a uma redação corrigida a mão”, disse o vencedor do concurso, Jason Tigg, um físico de partículas inglês que tinha virado corretor de bolsas de apostas em esportes. “Eu adorei trabalhar em um problema real que tem o potencial de revolucionar a forma como a educação é oferecida.”

Para os organizadores do concurso, a finalidade não é substituir os professores, mas para dar  ferramentas para que possam passar mais trabalhos escritos nas salas de aula. Hoje, os alunos (nos EUA) escrevem uma média de três redações por semestre. Com até 40 alunos em cada classe, as redações levam tempo demais para serem corrigidas. Atualmente, o ASAP está sendo aplicado apenas em testes padronizados, como o ENEM e ENEAD deles, mas a idéia é levar essa tecnologia para sala de aula, para que os alunos pratiquem mais redações por ano, com feedback rápido e acurado sobre a sua escrita, antes de chegarem no momento do teste.

Discussão - 1 comentário

  1. Teve pizza também? O que fiquei sabendo foi de miojo.
    http://g1.globo.com/educacao/noticia/2013/03/entenda-por-que-redacao-do-enem-com-hino-e-miojo-nao-vale-nota-zero.html
    ----
    []s,
    Roberto Takata

Envie seu comentário

Seu e-mail não será divulgado. (*) Campos obrigatórios.

Sobre ScienceBlogs Brasil | Anuncie com ScienceBlogs Brasil | Política de Privacidade | Termos e Condições | Contato


ScienceBlogs por Seed Media Group. Group. ©2006-2011 Seed Media Group LLC. Todos direitos garantidos.


Páginas da Seed Media Group Seed Media Group | ScienceBlogs | SEEDMAGAZINE.COM