Poucas coisas em ciência são mais frustrantes do que investir meses de trabalho de um aluno brilhante num projeto no qual você acredita, passar dias polindo o texto da melhor maneira possível, quem sabe até gastar recursos próprios na tradução ou edição do texto do artigo para, após submetido o manuscrito, receber uma revisão de baixa qualidade. O primeiro revisor tem uma opinião claramente enviesada baseada em uma interpretação discordante de evidências pretéritas, mas que nada têm a ver com o que seus dados mostram. O segundo revisor considera os dados desinteressantes e sem valor para aquele periódico. O terceiro tem expectativas irreais sobre os resultados que ele gostaria que você apresentasse. Não apenas você está desapontado, mas seu aluno, que precisa atender a prazos e expectativas alheias a você, está ameaçado.

O peer-review é nosso principal filtro de qualidade, mas padece de diversos problemas. (Imagem: grcorporate.com.br)

Por outro lado, nós estamos trabalhando com a próxima geração de revisores, quiçá de nossos próprios artigos e pedidos de financiamento. Quantos de nós dedicamos tempo e energia para treiná-los a fazer revisões críticas como devem ser, mas honestas e produtivas? A maioria dos estudantes de pós e dos profissionais recém integrados aos cargos de pesquisa em universidades nunca recebeu treinamento formal para essa função que, mais cedo ou mais tarde, integrará suas atribuições.

A análise por pares é, frequentemente, uma tarefa árdua que pode nem receber um agradecimento como retribuição, já que a maioria das revistas mantém seus revisores no anonimato. A revisão é, no entanto, um dos pilares de sustentação do pensamento científico atual. A taxa de rejeição de artigos por revisores gira entre 50 e 90%, dependendo do status do periódico (Clarke, 2006). O revisor é aquele que personifica o caráter autocorretivo da ciência. Daí sua enorme importância.

Longe de nós, que já fomos avaliados e avaliadores, sugerir a perfeição do peer review. Ela é o nosso principal filtro de qualidade, mas padece de amadorismo, tem falhas na detecção de erros, é lento, falha em flagrar alguns problemas de ética e fraude e abre espaço para o abuso de poder. As críticas ao sistema por parte de cientistas são frequentes e uma paráfrase da frase de Churchill sobre a democracia tem sido frequentemente repetida: “A revisão por pares é a pior forma de determinar qual pesquisa deve ser financiada ou publicada exceto todas as outras que já foram testadas.” Cabe a nós que somos parte do sistema, aprimorá-lo de maneira a nos aproximar de um processo melhor. A revisão é uma condição necessária, mas não suficiente para garantir a qualidade de uma pesquisa.

Pseudocientistas das mais diversas áreas atacam justamente a revisão por pares na busca por reconhecimento. Aqueles que advogam pelo bicarbonato como a cura para o câncer, energias cósmicas misteriosas e a existência de seres fantásticos frequentemente alegam que o círculo dos cientistas estabelecidos não lhes dá voz justamente no processo de análise por pares. Fica claro, no entanto, que essas críticas sugerem não uma melhoria ou reforma do sistema, mas sua extinção, o que não traria bem nenhum à ciência.

Outra vantagem pode derivar da análise por pares. Um estudo sobre artigos rejeitados num primeiro periódico demonstrou que artigos rejeitados uma vez recebem mais citações do que aqueles publicados na primeira tentativa (Calcagno et al. 2012). Os autores observaram até upgrades entre a faixa de fator de impacto do periódico que rejeitou inicialmente e o que publicou no final o trabalho. O papel do editor e do revisor fica claro.

Já foi sugerido que a revisão por pares fosse um serviço pago. Eu discordo da proposta tanto ideologicamente quanto economicamente. Em termos ideológicos a revisão por pares me parece um serviço prestado pelo cientista para a própria ciência, algo que eventualmente retornará em seu favor. Em termos econômicos, um autor em início de carreira teria um custo a mais para publicar seus trabalhos, já que alguém precisaria cobrir os custos do serviço. Um autor mais experiente, no entanto, poderia ganhar dinheiro graças a sua produtividade, por outro lado, gastaria na mesma proporção se mantivesse sua produtividade alta. Em outras palavras, o que você ganhasse revisando, gastaria pagando revisores.

Nos próximos textos falaremos sobre a revisão ideal, anonimato nas revisões, motivos para aceitar ou rejeitar um parecer, uma proposta de formulário a ser preenchido numa revisão, o que uma revisão não deve pedir, novidades da tecnologia para a revisão por pares e pareceres em projetos de pesquisa. A cada mês um assunto será abordado até o fim do ano. Não percam.