Chegamos novamente a uma das épocas mais estressantes na vida de um aluno do Ensino Médio, as provas do Exame Nacional do Ensino Médio, o famoso ENEM. Você já deve ter ouvido que para calcular as notas, os organizadores levam em consideração a dificuldade das questões, mas você já parou para pensar em como eles sabem se uma questão é difícil? Dificuldade não seria um critério subjetivo? Venha entender como o INEP calibra as questões de uma das provas mais importantes do país!
Na primeira parte deste texto, explico que para o ENEM não basta saber quantas questões você acertou, pois isto geraria muito empates e isso não é interessante para uma prova que pretenda ser classificatória. Para melhor separar os candidatos, devemos olhar se as questões acertadas e erradas eram “fáceis” ou “difíceis”, mas o que define a dificuldade da questão?
Quando uma questão de prova é boa?
O modelo adotado pela prova assume que para cada grande área abordada pela prova (Linguagens, Ciências Humanas, Matemática e Ciências da Natureza), existe uma única habilidade que diz a probabilidade de você acertar determinada questão. Claro que isto é uma hipótese simplificadora, mas já é suficiente para implementar o modelo.
Antes de falar das questões do ENEM propriamente, vamos discutir um pouco a ideia da Teoria de Resposta ao Item (TRI). A TRI tem por objetivo medir a habilidade do candidato com base nos acertos as perguntas propostas, assim uma questão ideal é aquela com a seguinte característica:
Se o candidato tem habilidade maior ou igual a um valor, ele sempre vai acertar a questão. Se a habilidade é pior, sempre vai errar. Vamos chamar este valor de “dificuldade” (d). De forma gráfica teríamos o seguinte:
Uma questão deste tipo seria ótima para avaliar valores mínimos de habilidade dos candidatos, porém sabemos que questões reais não possuem estas características. Em especial, sabemos que em provas de múltipla escolha, existe a chance de acerto ao acaso. Vamos definir uma grandeza chamada “chute” (c), que diz exatamente qual é esta probabilidade; Por exemplo, no ENEM, temos cinco alternativas, logo a chance é 20% (c = 0.2).
Outro ponto é que algumas vezes, os alunos com habilidade acima da dificuldade erraram a questão, independente do motivo e alguns com habilidade abaixo da dificuldade acertaram esta questão. Para modelar este efeito, usaremos uma quantidade que chamarei de “inclinação” (I).
Para o modelo do ENEM, o gráfico da probabilidade de acertar uma questão real tem a seguinte forma:
Perceba que a inclinação mostra o quão boa uma questão é para separar candidato com habilidade acima e abaixo da dificuldade, pois caso a inclinação seja baixa, haverá uma alta chance de alunos com habilidade acima errarem a questão! Caso a inclinação seja bastante alta, nos aproximamos do caso ideal apresentado anteriormente.
Não é necessário saber a formula matemática para entender esta função, mas apenas por curiosidade, neste modelo a probabilidade é dada pela seguinte expressão:
Uma tarefa importante do ENEM é encontrar a dificuldade e a inclinação das questões que serão usadas na prova. O procedimento de calibração das questões é um pouco complicado, por isso não entrarei em detalhes (Caso queira se aventurar, recomendo este livro), mas a ideia é que varias dessas questões são aplicadas a grupos teste e depois de analisadas e devidamente calibradas, vão para um banco de questões.
Noções probabilísticas: Eventos independentes
Sabendo agora um pouco sobre como são identificadas as questões difíceis (dificuldade alta) e fáceis (dificuldade baixa), podemos entender como eles calculam sua nota! Mas para tanto precisamos falar um pouco sobre probabilidade.
Na estatística, os chamados “eventos independentes” são um conceito importante. Isto é, dois eventos são independentes se o resultado de um deles não influencia o outro.
Um exemplo clássico são lançamentos em sequência de moedas. Jogue uma moeda, independente do resultado, a chance de tirar cara no próximo lançamento continua sendo 50%.
Este conceito é importante, pois quando eventos são independentes a probabilidade desses eventos pode ser multiplicada. Por exemplo: Qual a chance de ao lançar duas moedas, obter cara no primeiro lançamento e coroa no segundo? Basta multiplicar, a chance do primeiro evento é 50% e a do segundo é 50%, logo a chance dos eventos em conjunto é 25%.
E por que eu parei o texto sobre o ENEM para falar disso? Uma hipótese fundamental do modelo de TRI é que as questões da prova são independentes, isto é, acertar uma questão não influencia no acerto das demais questões.
Como sua nota é calculada e por que você não consegue calculá-la sozinho
Dada a importante hipótese de que as questões da prova são independentes, podemos fazer a seguinte pergunta: Sabendo quais questões foram acertadas e quais foram erradas, qual a probabilidade do candidato ter a habilidade igual a um valor h?
Para responder esta pergunta montamos uma função conhecida como “verossimilhança”, que dá a probabilidade em função da habilidade.
Como discutimos anteriormente cada item uma probabilidade P de ser acertada. E assim, a probabilidade de errar é (1-P). Logo a verossimilhança é obtida multiplicando as probabilidades de acerto e erro.
Vamos ver um exemplo para deixar isto mais claro. Considere uma prova com cinco questões, como dificuldades, inclinação e probabilidade de acerto ao acaso dada pela tabela abaixo:
| Número | dificuldade (d) | inclinação (I) | chance do chute (c) |
| 1 | 500 | 0.04 | 0.2 |
| 2 | 450 | 0.06 | 0.2 |
| 3 | 550 | 0.05 | 0.2 |
| 4 | 600 | 0.04 | 0.2 |
| 5 | 700 | 0.05 | 0.2 |
Se o candidato acertou a questão 2,3 e 4, a verossimilhança é dada por:
Sendo que adotamos a notação P1 = P(d1,I1,c,h), isto é a probabilidade de acertar o item 1 e a notação dos demais itens é análoga. Com o auxílio de um computador, podemos fazer o gráfico dessa função:
Note que esta função tem um valor máximo, isto é, um valor de habilidade mais provável para alguém que acertou essas questões. Esta será a habilidade inferida pela prova para este estudante. No nosso caso hipotético, o aluno teria tirado 481,36.
Para termos alguns valores de comparação, na tabela abaixo, deixo as habilidades inferidas para todas as possibilidades de dois acertos e três erros nesta prova, isto é, candidatos que estariam empatados caso considerássemos apenas o número de acertos.
Note que o candidato com a maior pontuação foi aquele que acertou as questões mais fáceis (questões 1 e 2)! Perceba a diferença por exemplo da menor pontuação, sendo que o candidato acerta a questão mais difícil e a segunda mais fácil (questões 5 e 1, respectivamente).
Outra coisa importante de se notar é: Apenas o INEP consegue calcular a nota do candidato pois tem os dados de calibração das questões, de forma que nós não consigamos montar a função de verossimilhança.
Considerações
A teoria de resposta ao item é um modelo que permite uma melhor distinção entre os candidatos e que torna um pouco mais justa a classificação pois consegue dar menos peso a questões acertadas ao acaso.
Entretanto, temos alguns pontos negativos, pois é bastante difícil explicar como a teoria funciona (Eu escrevi dois textos e cobri apenas o básico!), além disso, tiramos a autonomia do aluno em calcular sua própria nota.
Referências
[1]de Andrade, D. F., Tavares, H. R., & da Cunha Valle, R. (2000). Teoria da Resposta ao Item: conceitos e aplicações. ABE, Sao Paulo. (Disponível aqui)
[2] Entenda sua nota do ENEM: Guia do participante – INEP. Manual elaborado pelo ministério da educação para explicar a nota do ENEM para os participantes. (Disponível aqui)
Li a maioria dos meus livros de 2• Grau e consegui nota 1, de 1 a 10.
Fiquei triste, mas depois fiquei contente.