{"id":1029,"date":"2019-11-11T08:00:05","date_gmt":"2019-11-11T11:00:05","guid":{"rendered":"https:\/\/www.blogs.unicamp.br\/tortaprimordial\/?p=1029"},"modified":"2021-12-07T08:41:10","modified_gmt":"2021-12-07T11:41:10","slug":"entenda-sua-nota-no-enem-parte-2","status":"publish","type":"post","link":"https:\/\/www.blogs.unicamp.br\/tortaprimordial\/2019\/11\/11\/entenda-sua-nota-no-enem-parte-2\/","title":{"rendered":"Entenda sua nota no ENEM! (parte 2): O que \u00e9 uma quest\u00e3o “dif\u00edcil”?"},"content":{"rendered":"

\"\"<\/p>\n

Chegamos novamente a uma das \u00e9pocas mais estressantes na vida de um aluno do Ensino M\u00e9dio, as provas do Exame Nacional do Ensino M\u00e9dio, o famoso ENEM. Voc\u00ea j\u00e1 deve ter ouvido que para calcular as notas, os organizadores levam em considera\u00e7\u00e3o a dificuldade das quest\u00f5es, mas voc\u00ea j\u00e1 parou para pensar em como eles sabem se uma quest\u00e3o \u00e9 dif\u00edcil? Dificuldade n\u00e3o seria um crit\u00e9rio subjetivo? Venha entender como o INEP calibra as quest\u00f5es de uma das provas mais importantes do pa\u00eds!<\/p>\n

Na primeira parte<\/a> deste texto, explico que para o ENEM n\u00e3o basta saber quantas quest\u00f5es voc\u00ea acertou, pois isto geraria muito empates e isso n\u00e3o \u00e9 interessante para uma prova que pretenda ser classificat\u00f3ria. Para melhor separar os candidatos, devemos olhar se as quest\u00f5es acertadas e erradas eram “f\u00e1ceis” ou “dif\u00edceis”, mas o que define a dificuldade da quest\u00e3o?<\/p>\n

\"\"<\/p>\n

Quando uma quest\u00e3o de prova \u00e9 boa?<\/h3>\n

O modelo adotado pela prova assume que para cada grande \u00e1rea abordada pela prova (Linguagens, Ci\u00eancias Humanas, Matem\u00e1tica e Ci\u00eancias da Natureza), existe uma \u00fanica habilidade que diz a probabilidade de voc\u00ea acertar determinada quest\u00e3o. Claro que isto \u00e9 uma hip\u00f3tese simplificadora, mas j\u00e1 \u00e9 suficiente para implementar o modelo.<\/p>\n

Antes de falar das quest\u00f5es do ENEM propriamente, vamos discutir um pouco a ideia da Teoria de Resposta ao Item (TRI). A TRI tem por objetivo medir a habilidade do candidato com base nos acertos as perguntas propostas, assim uma quest\u00e3o ideal \u00e9 aquela com a seguinte caracter\u00edstica:<\/p>\n

Se o candidato tem habilidade maior ou igual a um valor, ele sempre vai acertar a quest\u00e3o. Se a habilidade \u00e9 pior, sempre vai errar. Vamos chamar este valor de “dificuldade” (d). De forma gr\u00e1fica ter\u00edamos o seguinte:<\/p>\n

\"\"<\/p>\n

Uma quest\u00e3o deste tipo seria \u00f3tima para avaliar valores m\u00ednimos de habilidade dos candidatos, por\u00e9m sabemos que quest\u00f5es reais n\u00e3o possuem estas caracter\u00edsticas. Em especial, sabemos que em provas de m\u00faltipla escolha, existe a chance de acerto ao acaso. Vamos definir uma grandeza chamada “chute” (c), que diz exatamente qual \u00e9 esta probabilidade; Por exemplo, no ENEM, temos cinco alternativas, logo a chance \u00e9 20% (c = 0.2).<\/p>\n

Outro ponto \u00e9 que algumas vezes, os alunos com habilidade acima da dificuldade erraram a quest\u00e3o, independente do motivo e alguns com habilidade abaixo da dificuldade acertaram esta quest\u00e3o. Para modelar este efeito, usaremos uma quantidade que chamarei de “inclina\u00e7\u00e3o” (I).<\/p>\n

Para o modelo do ENEM, o gr\u00e1fico da probabilidade de acertar uma quest\u00e3o real tem a seguinte forma:<\/p>\n

\"\"<\/p>\n

Perceba que a inclina\u00e7\u00e3o mostra o qu\u00e3o boa uma quest\u00e3o \u00e9 para separar candidato com habilidade acima e abaixo da dificuldade, pois caso a inclina\u00e7\u00e3o seja baixa, haver\u00e1 uma alta chance de alunos com habilidade acima errarem a quest\u00e3o! Caso a inclina\u00e7\u00e3o seja bastante alta, nos aproximamos do caso ideal apresentado anteriormente.<\/p>\n

\"\"<\/p>\n

N\u00e3o \u00e9 necess\u00e1rio saber a formula matem\u00e1tica para entender esta fun\u00e7\u00e3o, mas apenas por curiosidade, neste modelo a probabilidade \u00e9 dada pela seguinte express\u00e3o:<\/p>\n

\"\"<\/p>\n

Uma tarefa importante do ENEM \u00e9 encontrar a dificuldade e a inclina\u00e7\u00e3o das quest\u00f5es que ser\u00e3o usadas na prova. O procedimento de calibra\u00e7\u00e3o das quest\u00f5es \u00e9 um pouco complicado, por isso n\u00e3o entrarei em detalhes (Caso queira se aventurar, recomendo este livro<\/a>), mas a ideia \u00e9 que varias dessas quest\u00f5es s\u00e3o aplicadas a grupos teste e depois de analisadas e devidamente calibradas, v\u00e3o para um banco de quest\u00f5es.<\/p>\n

No\u00e7\u00f5es probabil\u00edsticas: Eventos independentes<\/h3>\n

Sabendo agora um pouco sobre como s\u00e3o identificadas as quest\u00f5es dif\u00edceis (dificuldade alta) e f\u00e1ceis (dificuldade baixa), podemos entender como eles calculam sua nota! Mas para tanto precisamos falar um pouco sobre probabilidade.<\/p>\n

Na estat\u00edstica, os chamados “eventos independentes” s\u00e3o um conceito importante. Isto \u00e9, dois eventos s\u00e3o independentes se o resultado de um deles n\u00e3o influencia o outro.<\/p>\n

Um exemplo cl\u00e1ssico s\u00e3o lan\u00e7amentos em sequ\u00eancia de moedas. Jogue uma moeda, independente do resultado, a chance de tirar cara no pr\u00f3ximo lan\u00e7amento continua sendo 50%.<\/p>\n

\"\"
Cena do seriado “How I Met Your Mother” (CBS)<\/figcaption><\/figure>\n

Este conceito \u00e9 importante, pois quando eventos s\u00e3o independentes a probabilidade desses eventos pode ser multiplicada. Por exemplo: Qual a chance de ao lan\u00e7ar duas moedas, obter cara no primeiro lan\u00e7amento e coroa no segundo? Basta multiplicar, a chance do primeiro evento \u00e9 50% e a do segundo \u00e9 50%, logo a chance dos eventos em conjunto \u00e9 25%.<\/p>\n

E por que eu parei o texto sobre o ENEM para falar disso? Uma hip\u00f3tese fundamental do modelo de TRI \u00e9 que as quest\u00f5es da prova s\u00e3o independentes, isto \u00e9, acertar uma quest\u00e3o n\u00e3o influencia no acerto das demais quest\u00f5es.<\/p>\n

Como sua nota \u00e9 calculada e por que voc\u00ea n\u00e3o consegue calcul\u00e1-la sozinho<\/h2>\n

Dada a importante hip\u00f3tese de que as quest\u00f5es da prova s\u00e3o independentes, podemos fazer a seguinte pergunta: Sabendo quais quest\u00f5es foram acertadas e quais foram erradas, qual a probabilidade do candidato ter a habilidade igual a um valor h?<\/p>\n

Para responder esta pergunta montamos uma fun\u00e7\u00e3o conhecida como “verossimilhan\u00e7a”, que d\u00e1 a probabilidade em fun\u00e7\u00e3o da habilidade.<\/p>\n

Como discutimos anteriormente cada item uma probabilidade P de ser acertada. E assim, a probabilidade de errar \u00e9 (1-P). Logo a verossimilhan\u00e7a \u00e9 obtida multiplicando as probabilidades de acerto e erro.<\/p>\n

Vamos ver um exemplo para deixar isto mais claro. Considere uma prova com cinco quest\u00f5es, como dificuldades, inclina\u00e7\u00e3o e probabilidade de acerto ao acaso dada pela tabela abaixo:<\/p>\n\n\n\n\n\n\n\n\n
N\u00famero<\/td>\ndificuldade (d)<\/td>\ninclina\u00e7\u00e3o (I)<\/td>\nchance do chute (c)<\/td>\n<\/tr>\n
1<\/td>\n500<\/td>\n0.04<\/td>\n0.2<\/td>\n<\/tr>\n
2<\/td>\n450<\/td>\n0.06<\/td>\n0.2<\/td>\n<\/tr>\n
3<\/td>\n550<\/td>\n0.05<\/td>\n0.2<\/td>\n<\/tr>\n
4<\/td>\n600<\/td>\n0.04<\/td>\n0.2<\/td>\n<\/tr>\n
5<\/td>\n700<\/td>\n0.05<\/td>\n0.2<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n

Se o candidato acertou a quest\u00e3o 2,3 e 4, a verossimilhan\u00e7a \u00e9 dada por:<\/p>\n

\"\"<\/p>\n

Sendo que adotamos a nota\u00e7\u00e3o P1<\/sub> = P(d1<\/sub>,I1<\/sub>,c,h), isto \u00e9 a probabilidade de acertar o item 1 e a nota\u00e7\u00e3o dos demais itens \u00e9 an\u00e1loga. Com o aux\u00edlio de um computador, podemos fazer o gr\u00e1fico dessa fun\u00e7\u00e3o:<\/p>\n

\"\"<\/p>\n

Note que esta fun\u00e7\u00e3o tem um valor m\u00e1ximo, isto \u00e9, um valor de habilidade mais prov\u00e1vel para algu\u00e9m que acertou essas quest\u00f5es. Esta ser\u00e1 a habilidade inferida pela prova para este estudante. No nosso caso hipot\u00e9tico, o aluno teria tirado 481,36.<\/p>\n

Para termos alguns valores de compara\u00e7\u00e3o, na tabela abaixo, deixo as habilidades inferidas para todas as possibilidades de dois acertos e tr\u00eas erros nesta prova, isto \u00e9, candidatos que estariam empatados caso consider\u00e1ssemos apenas o n\u00famero de acertos.<\/p>\n

\"\"<\/p>\n

Note que o candidato com a maior pontua\u00e7\u00e3o foi aquele que acertou as quest\u00f5es mais f\u00e1ceis (quest\u00f5es 1 e 2)! Perceba a diferen\u00e7a por exemplo da menor pontua\u00e7\u00e3o, sendo que o candidato acerta a quest\u00e3o mais dif\u00edcil e a segunda mais f\u00e1cil (quest\u00f5es 5 e 1, respectivamente).<\/p>\n

Outra coisa importante de se notar \u00e9: Apenas o INEP consegue calcular a nota do candidato pois tem os dados de calibra\u00e7\u00e3o das quest\u00f5es, de forma que n\u00f3s n\u00e3o consigamos montar a fun\u00e7\u00e3o de verossimilhan\u00e7a.<\/p>\n

Considera\u00e7\u00f5es<\/h3>\n

A teoria de resposta ao item \u00e9 um modelo que permite uma melhor distin\u00e7\u00e3o entre os candidatos e que torna um pouco mais justa a classifica\u00e7\u00e3o pois consegue dar menos peso a quest\u00f5es acertadas ao acaso.<\/p>\n

Entretanto, temos alguns pontos negativos, pois \u00e9 bastante dif\u00edcil explicar como a teoria funciona (Eu escrevi dois textos e cobri apenas o b\u00e1sico!), al\u00e9m disso, tiramos a autonomia do aluno em calcular sua pr\u00f3pria nota.<\/p>\n

Refer\u00eancias<\/h3>\n

[1]de Andrade, D. F., Tavares, H. R., & da Cunha Valle, R. (2000). Teoria da Resposta ao Item: conceitos e aplica\u00e7\u00f5es.\u00a0ABE, Sao Paulo<\/i>. (Dispon\u00edvel aqui<\/a>)<\/p>\n

[2] \u00a0Entenda sua nota do ENEM: Guia do participante \u2013 INEP. Manual elaborado pelo minist\u00e9rio da educa\u00e7\u00e3o para explicar a nota do ENEM para os participantes. (Dispon\u00edvel aqui<\/a>)<\/p>\n","protected":false},"excerpt":{"rendered":"

Chegamos novamente a uma das \u00e9pocas mais estressantes na vida de um aluno do Ensino M\u00e9dio, as provas do Exame Nacional do Ensino M\u00e9dio, o famoso ENEM. Voc\u00ea j\u00e1 deve ter ouvido que para calcular as notas, os organizadores levam em considera\u00e7\u00e3o a dificuldade das quest\u00f5es, mas voc\u00ea j\u00e1 parou para pensar em como eles […]<\/p>\n","protected":false},"author":252,"featured_media":1046,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_monsterinsights_skip_tracking":false,"_monsterinsights_sitenote_active":false,"_monsterinsights_sitenote_note":"","_monsterinsights_sitenote_category":0,"pgc_sgb_lightbox_settings":"","_vp_format_video_url":"","_vp_image_focal_point":[],"footnotes":""},"categories":[21,18],"tags":[65,64,49,35,41,66],"class_list":["post-1029","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-aconteceu-recentemente","category-divulgacao-cientifica","tag-avaliacao","tag-educacao","tag-enem","tag-estatistica","tag-matematica","tag-prova"],"jetpack_featured_media_url":"https:\/\/www.blogs.unicamp.br\/tortaprimordial\/wp-content\/uploads\/sites\/136\/2019\/11\/Entenda-sua-nota-no-ENEM-p.2-O-que-\u00e9-uma-quest\u00e3o-_dif\u00edcil__-1.png","_links":{"self":[{"href":"https:\/\/www.blogs.unicamp.br\/tortaprimordial\/wp-json\/wp\/v2\/posts\/1029","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.blogs.unicamp.br\/tortaprimordial\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.blogs.unicamp.br\/tortaprimordial\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.blogs.unicamp.br\/tortaprimordial\/wp-json\/wp\/v2\/users\/252"}],"replies":[{"embeddable":true,"href":"https:\/\/www.blogs.unicamp.br\/tortaprimordial\/wp-json\/wp\/v2\/comments?post=1029"}],"version-history":[{"count":17,"href":"https:\/\/www.blogs.unicamp.br\/tortaprimordial\/wp-json\/wp\/v2\/posts\/1029\/revisions"}],"predecessor-version":[{"id":1173,"href":"https:\/\/www.blogs.unicamp.br\/tortaprimordial\/wp-json\/wp\/v2\/posts\/1029\/revisions\/1173"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.blogs.unicamp.br\/tortaprimordial\/wp-json\/wp\/v2\/media\/1046"}],"wp:attachment":[{"href":"https:\/\/www.blogs.unicamp.br\/tortaprimordial\/wp-json\/wp\/v2\/media?parent=1029"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.blogs.unicamp.br\/tortaprimordial\/wp-json\/wp\/v2\/categories?post=1029"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.blogs.unicamp.br\/tortaprimordial\/wp-json\/wp\/v2\/tags?post=1029"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}