Código ENEM – o padrão secreto da prova

No domingo dia 03 de novembro de 2019, mais de 3.900.000 pessoas realizaram a primeira prova do famoso ENEM (Exame Nacional do Ensino Médio) e se preparavam para a segunda prova que ocorreria no domingo seguinte, dia 10 de novembro de 2019. Esta discussão foi desenvolvida neste período com o intuito de auxiliar aqueles que fariam a prova ou outras provas semelhantes, sobre padrões em alternativas utilizadas em testes de múltipla escolha como aquele, e que poderiam se manter na segunda aplicação da prova.

Para produção deste estudo, nos baseamos no caderno amarelo e no gabarito extra-oficial que lançaram um dia após a prova. Fizemos nossas análises considerando as 5 questões de inglês junto com as 5 questões de espanhol, assim tratamos de uma prova de 95 questões.

Distribuição das alternativas

É de se esperar que em uma prova “equilibrada” caso escolhamos uma mesma alternativa e marquemos ela em todas as questões, atinjamos um placar aproximado de 1/(número de opções), no caso do ENEM que são 5 opções, seria esperado então marcarmos 1/5 das respostas certas.

Pois bem, o ENEM é uma prova cujas alternativas são bem distribuídas e isto é muito favorável para quem não consegue tempo de resolver todas as questões da prova. Se a distribuição das questões fosse bem “equilibrada”, deveríamos observar que as alternativas ficam em torno da média com um desvio padrão para mais ou para menos.

Analisando a distribuição das questões da primeira prova, chegamos nas seguintes quantidades de ocorrências para cada alternativa:

A

B

C

D

E

20

22

22

15

16

Sendo a média dada por 95/5 = 19, e sua variância é dada por:

(19-20)² + (19-22)² + (19-22)² + (19-15)² + (19-16)²
(número de opções)

=

44
5

=

8,8

Dessa forma, calculando o desvio-padrão (raiz-quadrada-da-variância), chegamos em 2,96 (arredondemos para 3). Ou seja, o intervalo esperado de ocorrências para cada alternativa da primeira prova era entre 16 e 22 vezes. Se este padrão de comportamento se manter para a segunda prova, com 90 questões a serem consideradas, podemos esperar com a média dada por 90/5 = 18, que as ocorrências de alternativas variarem entre 15 e 21 vezes.

Com isso, se você precisa entregar a prova e não tiver tempo suficiente para resolver as questões que faltam, conte quantas vezes cada alternativa já apareceu no seu gabarito. Na hora de chutar, dê preferência para aquelas alternativas que estiverem com menos de 15 ocorrências, e evite aquelas alternativas que passam de 21 ocorrências.

Contagem de caracteres

Uma outra estratégia é contar os caracteres de cada alternativa. Sim, é trabalhoso, mas na hora do desespero eles escondem um padrão valioso. Para preparar esta dica. contamos os caracteres com e sem espaço das 95 questões do ENEM e então verificamos como seria seu resultado na prova seguindo dois padrões de escolha: A) Alternativas com mais caracteres; B) Alternativas com menos caracteres.

A) Mais caracteres com ou sem espaço: acerta 12 de 95.

B) Menos caracteres com ou sem espaço: acerta 25 de 95.

Mas não paramos por aqui… lembra do conceito de mediana? Para encontrar a mediana, você precisa listar os valores do maior pro menor (ou o contrário) e escolher aquele que se encontra na metade da lista. No caso das alternativas do ENEM, seria na 3a posição.

Exemplo: a questão 90 do caderno amarelo teve as alternativas divididas por caracteres da seguinte maneira.

A) 21 caracteres;

B) 20 caracteres;

C) 24 caracteres;

D) 30 caracteres;

E) 30 caracteres.

Ordenando pela quantidade de caracteres chegamos em B-A-C-D-E ou B-A-C-E-D, em ambas as situações, a alternativa na mediana é a C, que neste caso coincide com a resposta correta da questão.

Assim, verificamos como seria seu resultado na primeira prova escolhendo as alternativas com quantidades medianas de caracteres (com e sem espaço).

Quantidade mediana de caracteres com espaço: acerta 30 de 95.

Quantidade mediana de caracteres sem espaço: acerta 33 de 95.

Dessa forma, este segundo padrão de escolhas te proporcionaria um índice de acerto de aproximadamente 34,5%. Pode não parecer muito, mas são 14,5% a mais do que se fizer uma escolha ao acaso. No caso, diante questões com alternativas duvidosas, usar a primeira e segunda dicas deste texto podem ajudá-lo a conseguir aquele pontinho a mais.

14 thoughts on “Código ENEM – o padrão secreto da prova

    • 7 de novembro de 2019 em 23:24
      Permalink

      Q bom q gostou Leo, eu imagino q isso tenha mais a ver com o modus operanti de quem desenvolve as alternativas ... De acreditar q mantendo as alternativas corretas nem tão curtas e nem tão longas, evite que as pessoas acertem por sorte.

      Resposta
  • 9 de novembro de 2019 em 21:13
    Permalink

    Acredito que coloquem mais nas respostas medianas pois um padrão de chute que era muito utilizado era chutar nas mais curtas pois teoricamente quem fez a prova evitaria respostas mais longas que seriam mais suscetíveis a erros e anulações de questões. É só um palpite...

    Resposta
    • 10 de novembro de 2019 em 10:53
      Permalink

      Interessante, a preocupação na resposta mais longa ser suscetível a anulação eu não havia pensado 🙂 isto geraria uma tendencia de respostas curtas, e por consequência, sua eventual evitação...

      Resposta
  • 11 de novembro de 2019 em 17:18
    Permalink

    O padrão encontrado em que há uma diferença em dois grupos de itens {A, B,C} e {D,E} não deve se repetir nas outras provas, pois os geradores dos itens randomizam as escolhas certas, ou deveriam fazer isto. Já o padrão de contagem de caracteres pode revelar as dificuldades dos examinadores em inventar respostas erradas. Muito interessante a sua observação.

    Resposta
    • 12 de novembro de 2019 em 01:23
      Permalink

      Realmente, randomizar a quantidade de caracteres das respostas é algo bem mais complexo do que embaralhar os rótulos das alternativas. Também os padrões de mais ou menos caracteres devem ser facilmente identificados e por isto evitados pelos desenvolvedores das questões... o que provoca este outro comportamento padrão.

      Resposta
  • 18 de abril de 2020 em 11:04
    Permalink

    Uma alternativa que pensei é tentar a previsibilidade binárias das questões.
    Afinal de contas, tudo são bits.

    Resposta
    • 18 de abril de 2020 em 15:42
      Permalink

      Oi Cronox, no caso a previsibilidade das questões seria da 0,2 para cada questão. A sugestão 1 propõe que faltando poucas questões a responder e n tenhamos ideia da resposta, optemos pelas opções abaixo da média - desviopadrao e evitemos respostas acima da média + desviopadrao. Mas essa estratégia parte do pressuposto de q o candidato tenha acertado quase todas as que ele acha ter certeza

      Resposta
  • 4 de agosto de 2020 em 16:41
    Permalink

    Achei muito legal seu estudo.
    Eu havia feito um estudo, mas não tão detalhado e bem feito como seu e havia descoberto que a mesma alternativa não se repete mais do que três vezes e eu não sabia o por que, mas com a sua explicação eu agora sei.
    Obrigado.

    Resposta
    • 5 de agosto de 2020 em 11:52
      Permalink

      Olá Alexandre, fico feliz que tenha gostado deste post 🙂

      É esperado que a estratégia de chutar uma mesma alternativa em todas as questões te deem uma pontuação próxima de 1/total-de-alternativas, isso mais ou menos um desvio-padrão.

      Essa ideia te permite por exemplo, tendo a certeza sobre uns 80% da prova, chutar com "alguma segurança" os outros 20%.

      Resposta
    • 22 de outubro de 2020 em 18:11
      Permalink

      Apesar de raro, pode acontecer. A prova azul de 2017 (1°dia) apresenta 4 questões C seguidas (85-88).

      Resposta
      • 22 de outubro de 2020 em 21:11
        Permalink

        Boa noite jovem,

        não sei se podemos afirmar que "4 respostas C seguidas" seja realmente raro em um contexto probabilistico...

        No livro “El azar en la vida cotidiana” de Alberto Rojo, há um famoso experimento de aleatoriedade no qual um professor pede para um grupo de estudantes lançar 100 vezes uma moeda e anotar os resultados e para o outro grupo inventar 100 resultados para o lançamento de uma moeda. Após completarem as duas listas, sem que o professor saiba qual é qual, entregam-no ambas. Ele então analisa a quantidade de resultados iguais seguidos.

        Na primeira lista os resultados iguais seguidos variavam de 1 a 5. Enquanto na segunda lista os resultados iguais seguidos variavam de 1 a 8. Com isto o professor aposta que a segunda lista descreve os lançamentos da moeda e a primeira lista foi inventada. Pois é improvável em 100 lançamentos não obtermos mais do que 5 resultados iguais seguidos. Ou seja, pensar de forma verdadeiramente aleatória é difícil.

        Eu fiz um algoritmo agora para sortear 90 vezes números de 1 a 5, e ver quantas vezes seguidas o mesmo número aparece, tipo, das 10 vezes que repeti o algoritmo, metade delas teve 4 resultados iguais seguidos. Então acho q isso não é tão incomum... mas precisaria calcular certinho para dizer quantos % de chance tem disso acontecer em uma situação autenticamente aleatória.

        Resposta
        • 22 de outubro de 2020 em 22:20
          Permalink

          Sim, eu postei isso pelo comentário do Alexandre Antonello acima: "Achei muito legal seu estudo. Eu havia feito um estudo, mas não tão detalhado e bem feito como seu e havia descoberto que a mesma alternativa não se repete mais do que três vezes e eu não sabia o por que, mas com a sua explicação eu agora sei. Obrigado.", não sei qual estudo ele tinha feito sobre, ele não apresentou maiores detalhes. Falei da raridade baseado nas provas e gabaritos mesmo, sou leigo em estatística.

          Obrigado pelo feedback.

          Resposta
          • 23 de outubro de 2020 em 12:58
            Permalink

            Ahw, tranquilo... As vezes a gente fala *estudo* mas na verdade é apenas uma supervalorização da nossa experiência diária.
            Do tipo, fiz esse fds um estudo sobre a inserção de pães de queijos congelados em uma lasanha pronta a ser colocada no forninho... Resultado: borrachas na minha lasanha (true history)

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *