Confesso que… aprendi.
Como eu disse, há duas razões para trocarmos as provas por desafios (quizzes) de múltipla escolha. A segunda razão também é simples: Além de funcionar melhor, o quizz permite mais justiça na avaliação! Separar de verdade quem sabe de quem não sabe ou quem acertou por acaso.
A questão é simples de entender mas difícil de explicar (pelo menos para mim), já que envolve alguma estatística. É que apenas tentando muitas vezes, você vai conseguir escapar da sorte, de ter acertado ‘por acaso’, para saber se realmente aprendeu ou não.
O que eu vou falar agora é em grande parte baseado no que aprendi sobre A ‘lei dos grande números’ de Bernoulli (no livro ‘O andar do bebado’). Os estatísticos de plantão fiquem a vontade para me corrigir se eu estiver errado.
“Em certas situações de ignorância, nas quais as probabilidades dos diversos resultados poderiam ser inferinidas em princípio mas na prática eram desconhecidas, […] seria insano imaginar que poderíamos ter uma espécie de ‘conhecimento prévio’ ou a priori sobre as probabilidades. Deveríamos dicerní-las por meio da observação: dado que observamos um certo número de eventos, com que precisão podemos determinar as probabilidades subjascentes e com que nível de confiança?”
Essa é a forma como ele imaginou que o jovem Bernoulli teria imaginado um dos problemas que a teoria das probabilidades vigente (que tinha sido toda criada em torno de jogos de azar) não podia explicar. Outros estudiosos já haviam abordado essa questão anteriormente, e previsto que a precisão com que probabilidades subjacentes refletiriam os resultados reais deveria aumentar com o número de observações, em função das freqüências mais observadas. Até ai, tudo bem, até eu. O que Bernoulli conseguiu fazer e que ninguém antes tinha feito, foi colocar tudo isso em um teorema. O teorema dos grandes números de Bernoulli explica quantas observações são necessárias para que possamos estimar, com alta confiança, a probabilidade subjacente de um evento acontecer no futuro dado que aconteceu no passado.
É nesse método que se baseiam, por exemplo, as pesquisas de opinião para políticos. Dado que 60% da população prefere um candidato, qual o número de pessoas que deveríamos amostrar para estimar que o resultado da eleição (representará o conjunto real) que indicará a vitória desse candidato com 60% dos votos? De acordo com a primeira lei de Bernoulli, esse número é possível de ser calculado. E se nossa necessidade de segurança for baixa, digamos, permitirmos 5% de erro, esse número é até baixo (comparado com o tamanho de toda a população).
E foi ai que eu me toquei: é assim que poderíamos também avaliar nossos alunos! Na verdade, foi um pouco depois.
Modlinow ainda disse que, “na vida real, não costumamos observar o desempenho de alguém, ou de alguma coisa, ao longo de milhares de provas. Assim, enquanto Bernoulli exigia um padrão de certeza excessivamente estrito, nas situações da vida real, costumamos cometer o erro oposto: presumimos que uma amostra ou série de provas é representativa da situação subjacente, quando na verdade, a série é pequena demais para ser confiável.”
Isso se parece com alguma coisa que você conhece? Sim, justamente, com a avaliação através de provas bimestrais (ou prova final, ou qualquer variação dessas).
O problema é complicado e eu mesmo tenho que ler e reler sempre com muita atenção para, por um breve instante, compreender o que ele está dizendo (para dizer a verdade, só agora que estou escrevendo sobre isso, depois de ler várias vezes esse mesmo trecho, entendo um pouco mais).
O texto de Modlinow ajuda: “A concepção ou intuição equivocada de que uma amostra pequena reflete precisamente as probabilidades subjacentes é tão disseminada que Kahneman e Tversky lhe deram um nome: a lei dos pequenos números: um nome sarcástico para a tentativa de aplicar a lei dos grandes números a amostras pequenas.[…] Como em ações humanas nunca poderemos avaliar mais do que uns poucos eventos (ou anos) de sucesso ou fracasso de uma pessoa, jamais poderemos aplicar a lógica do teorema de Bernoulli, sob pena de incorrermos no erro dos pequenos números. Segundou Bernoulli, não deveríamos avaliar as ações humanos com base nos resultados”. É mais confiável julgarmos as pessoas analisando suas habilidades em vez de apenas o placar dos seus acertos e erros.”
A conclusão para mim é muito clara: jamais teremos tempo hábil para avaliar de maneira justa e eficiente a aprendizagem do aluno.
Pronto Mauro? É isso? Mais nada? Nenhuma proposta?
Na verdade tenho sim: não vamos mais avaliar o quanto o aluno aprendeu, mas vamos usar o que a neurociência tem mostrado que funciona: pequenos testes que ajudam o aluno a aprender enquanto estuda! A melhor coisa que podemos fazer é aumentar as oportunidades de auto-avaliação, ajudar o aluno a pensar sobre o conteúdo e desenvolver critério.
E quantas oportunidades temos que dar? Quantos exercícios temos que fazer?
Um monte! Quanto mais, melhor! Afinal, uns vão preferir um tipo de exercício, outros… outro.
Só que nao dá pra passar o dia todo preparando e corrigindo exercício não é? E ao mesmo tempo não dá pra deixar aluno sem resposta de exercício. Então nós TEMOS que passar para um método automatizado de correção. Que não tem problema nenhum!!!! Não é porque é multipla escolha e não discursivo, que é ruim. (aliás, é até bom que não seja, como você verá no próximo post). No final das contas, o discursivo não tem funcionado mesmo, porque nossos alunos estão tão ruim de conteúdo, e tão desacostumados com relatar e descrever coisas (e professores também), que, novamente, as provas discursivas são uma tortura para alunos e professores. Sem contar que, não se aprende NADA com a correção. E para ter um número grande de exercícios, precisaríamos ter uma equipe de assistentes. mas… nào temos, ai? E ai?! E porque não utilizar os próprios alunos?
Isso! O que era tarefa agora é estudo, e o que é a nova tarefa, é o que antes era estudar. É só transformar a concepção do exercício na tarefa. O principio é simples: ensinar é a atividade que mais te faz aprender! Transformar todos os alunos em professores é a melhor forma de fazê-los aprender! Cada um que viu o conteúdo, pode ter prestado atenção mais em uma coisa do que outra. Se interessado mais por uma coisa do que outra, ter ficado curioso mais sobre uma coisa do que outra. Isso leva cada um a preparar um exercício diferente. Mas na hora de testar o que aprendeu do vídeo, você tem uma ampla gama diversificada de exercícios para fazer. Só que pode voltar ao video, a aula, quantas vezes quiser. Pode tentar resolver o exercício também quantas vezes quiser. Seus pontos são acumulados de acordo com o seu desempenho, mas são tantos exercícios, tantas oportunidades de aprender, que qualquer nota ‘baixa’ é diluida. É uma grande saída!
Discussão - 1 comentário
Li um livro recentemente chamado Ensinar na Universidade, de Markus Brauer, onde ele comenta sobre o uso de testes de múltipla escolha com 3 questões antes das aulas para "dar um incentivo" à leitura obrigatória. Tem uma referência sobre o uso de quizzes por J. Ruscio no ensino da psicologia. Não li, mas o título é: "Administering quizzes at random to increase students's reading." Talvez vc conheça.