Entenda sua nota do ENEM! (parte 1): Medir habilidade ou medir acertos?

O resultado da última edição do ENEM será divulgado dia 18 de Janeiro de 2019 e sempre que isto ocorre começam a surgir várias dúvidas:

  • Como interpretar a nota?
  • Por que eu acertei menos questões de Matemática do que de Linguagens e a nota de Matemática é maior?
  • Qual a nota máxima?

Se você também tem estas e outras dúvidas está no lugar certo! Hoje vamos descobrir como interpretar a nota, o que ela significa e como compará-lá com as notas dos demais participantes do ENEM.  

O desafio do ENEM

O Exame Nacional do Ensino Médio (ENEM) é uma ferramenta para avaliar o desempenho dos alunos de ensino médio em nível nacional, mas além disso é também uma porta para ingressar no ensino superior através de programas como o SISU, o PROUNI e o FIES. 

Assim, o ENEM tem um grande desafio: Classificar os participantes em um ranking, isto é: Este é melhor que este, que é melhor que aquele outro, e assim por diante.  Empate não é um bom resultado para o ENEM, então será que somente contar o número de acertos é suficiente?

Outro problema é, a simples contagem de acertos não leva em consideração a dificuldade da questão. Todas as questões de uma determinada área devem ter o mesmo valor? Num mundo ideal, é certo que não pois é impossível fazer questões com exatamente a mesma dificuldade. 

A ideia de medir habilidade

Se o número de acertos não é a quantidade ideal para avaliar os candidatos, qual seria? Uma ideia é medir a habilidade dos avaliados nas quatro áreas do ENEM: Ciências da Natureza e suas Tecnologias, Ciências Humanas e suas Tecnologias, Linguagens e Códigos e Matemática. Uma grande vantagem deste método é que notas de anos diferentes podem ser comparadas, mesmo sendo obtidas por provas diferentes.

Mas como fazer isso?  A ideia é a seguinte: Considere uma prova com 10 questões, onde sabemos quais são as questões fáceis (verde), médias (amarelo) e difíceis (vermelho). E duas pessoas que acertaram 5 questões:

Veja que mesmo que as duas pessoas tenham o mesmo número de acerto, o candidato A acertou questões fáceis e médias, enquanto o candidato B acertou mais questões médias e difíceis. Existe uma probabilidade razoável que o candidato B tenha chutado uma ou mais das questões difíceis, pois caso conseguisse acertar as difíceis, também conseguiria acertar as médias e fáceis.

Podemos inferir que a habilidade do candidato A é superior a habilidade do candidato B, isto é, a habilidade é algo que privilegia alunos consistentes. O conceito de habilidade é ótimo para o ENEM, pois consegue mostrar esses nuances que o número de acertos não pode. 

Mas afinal: O que significa o valor numérico das notas que eu recebi? Pra começar, a nota não está em uma escala de 0 a 1000 como muitos acreditam (isso só vale pra redação), além disso, a escala não é uniforme, assim a diferença de 500 pra 600 pontos é diferente da distância de 600 pra 700.

Mas pra entender a habilidade medida pelo ENEM precisamos de algumas noções de estatística, então pega um café que eu vou contar uma história!

Um pouco de história e estatística: O que é um homem normal?

Apresento a vocês o personagem principal da nossa história: Adolphe Quetelet (1796-1874), astrônomo Belga que havia acabado de convencer o Governo do Reino Unido dos Países Baixos a financiar a construção de um telescópio, criando o Observatório de Bruxelas, do qual tornou-se o diretor.

Apresento também o cenário: A Europa no começo do século XIX, onde se acreditava que a sociedade era muito complexa e caótica para se estudar através de números.

Em 1830, começa a revolução Belga, que defendia a independência da Bélgica sobre os Países Baixos. O Observatório de Bruxelas é ocupado pelas tropas rebeldes e Quetelet vê sua carreira completamente ameaçada, sem saber quanto tempo a revolução duraria, se o observatório continuaria a ser financiado ou mesmo se continuaria no cargo de diretor do observatório.

Nosso personagem que até então nunca havia pensado muito sobre política e sociedade, começa a reclamar (como todos nós faríamos, hehe) e logo passa a flertar com a ideia de uma ciência para administrar sociedades, que evitasse situações de caos como a que afetava seu observatório. Mas havia um grande porém: A sociedade é complexa e não parece apresentar padrões, como fazer ciência nesta situação?

“Episódio da revolução belga de 1830” (1834), Pintura de Gustav Wappers. Museu de belas artes da Bélgica.

Quetelet passou a procurar desesperadamente padrões na sociedade, começando por calcular a média de várias coisas, como: A altura das pessoas, a circunferência do tórax, a idade com que as pessoas casam,etc.

Com isto, Quetelet descobriu uma coisa muito importante: Era bastante provável encontrar pessoas com alturas (ou qualquer outra das variáveis que ele estudou) próximas da média e conforme você se distanciava da média era cada vez mais raro encontrar alguém assim. Além do mais, essa probabilidade não caia de maneira linear, mas sim de uma maneira bastante conhecida pela astronomia, a chamada distribuição normal.

A distribuição normal é caracterizada por esta curva em formato de sino, que tem um pico de probabilidade na média e vai diminuindo conforme nos afastamos da média. Quetelet acreditava que a natureza tinha um “homem ideal”, que ele chamava de homem médio e que cada pessoa era uma tentativa de produzir este homem ideal, assim quem era muito diferente da maioria era uma aberração. Qualquer semelhança com a nossa ideia de pessoa normal não é mera coincidência! Levamos esta idealização até hoje… quem nunca disse “Ah, esse é o salário normal”, “Ele não é magro nem gordo, é normal”, ou outras?

E se você acha que a Influência do Quetelet não é tão importante, talvez já tenha ouvido falar do “Índice de Massa Corporal”(IMC), aquele mesmo que o seu nutricionista calcula dividindo sua massa pelo quadrado da sua altura, e que quanto mais perto de um determinado número, maior é o indicativo de um corpo saudável? Saiba que ele foi inventado pelo Quetelet, inclusive alguns o chamam de “Índice de Quetelet”.

Voltando ao ENEM

O que tudo isso tem haver com a nota do ENEM? Simples! a nota do ENEM é baseada na distribuição normal, assim 500 pontos é a média e a cada 100 pontos de diferença temos uma variação conhecida como desvio padrão, que mostra quão acima ou abaixo da média você está. Traduzindo em probabilidades temos a seguinte tabela:

Nota Significado
100 Habilidade abaixo de 49.997% da população a partir da média
200 Habilidade abaixo de 49.87% da população a partir da média
300 Habilidade abaixo de 47.73% da população a partir da média
400 Habilidade abaixo de 34.14% da população a partir da média
500 Habilidade igual a média da população
600 Habilidade acima de 34.14% da população a partir da média
700 Habilidade acima de 47.73% da população a partir da média
800 Habilidade acima de 49.87% da população a partir da média
900 Habilidade acima de 49.997% da população a partir da média

Existem algumas complicações: perceba que os 500 pontos dependem da habilidade da população em determinada área, assim as réguas usadas para classificar por exemplo Ciências da Natureza e Matemática são diferentes, e assim as notas não são comparáveis!

Outra coisa é que as réguas de pontuação foram construídas em 2009, na primeira edição depois da reformulação do ENEM, e sempre usamos a mesma régua para podermos comparar as notas de anos diferentes. Isto gerou alguns problemas, por exemplo: a prova de Matemática de 2009 foi bastante difícil, assim a média foi baixa, isto é 500 pontos de matemática é uma pontuação bastante fraca. Então em relação a média de 2009, os candidatos acabam indo melhor nos exames seguintes, fazendo suas notas serem bastante altas (chegando acima dos 800 pontos em alguns casos).

Uma observação final é sobre a nota máxima. Essa nota não é fixa e depende de quão difíceis são as questões de cada ano, pois quanto mais difíceis, maior é a habilidade que conseguimos inferir de um candidato que acerte todas as questões.

Ainda não acabou!

O texto de hoje fica por aqui, mas no próximo pretendo explicar o que o ENEM entende por uma questão fácil ou difícil e como eles usam essas questões para calcular a nota!

O que acharam? Deu pra entender como funciona a nota do ENEM? Ainda tem dúvidas? Deixe um comentário!

Referências e saiba mais:

[1] A invenção do normal – Canal Bláblálogia, série Top Models. Vídeo bastante didático sobre como a ideia do normal foi introduzida por Quetelet nas ciências humanas.

[2] How the idea of a “normal” person got invented – The Atlantic. Texto mais detalhado sobre a história do Quetelet. (Em inglês)

[3] Entenda sua nota do ENEM: Guia do participante – INEP. Manual elaborado pelo ministério da educação para explicar a nota do ENEM para os participantes.

6 thoughts on “Entenda sua nota do ENEM! (parte 1): Medir habilidade ou medir acertos?

  1. Olá Eduardo!

    Este ano vou terminar o ensino médio e este texto foi interessantíssimo para mim (além de divertido de ler) - espero que continue postando pois eu continuarei acompanhando!

    Att,
    Vinícius =)

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *