Positive-Paper Bias Unequivocally Demonstrated
Muito interessante o que um ortopedista americano fez. Escreveu um artigo fictício sobre a eficácia de um antibiótico com dois resultados diferentes, um positivo – sim, o tratamento com a droga é melhor que o que temos hoje – e um negativo – não, o tratamento com a droga é igual aos tratamentos atuais -, e os enviou a várias revistas médicas. Teve o cuidado de colocar 5 erros metodológicos em ambas versões, exatamente no mesmo lugar. Erros não óbvios, mas que um revisor experiente com certeza notaria. Aguardou então, as respostas das revistas.
O resultado estava de acordo com sua hipótese inicial. Os artigos que demonstravam um efeito positivo do antibiótico sobre os tratamentos convencionais tiveram uma facilidade de publicação significantemente maior que os artigos que não evidenciaram diferença alguma. Pior, mesmo a metodologia dos artigos positivos foi menos criticada que a dos negativos, sugerindo que os revisores deram mais importância à novidade do que a própria metodologia. Um verdadeiro “pecado” para um cientista!
Essa é uma comprovação inequívoca de um viés (bias) de publicação conhecido como positive-paper bias. As revistas médicas são empresas. Geram recursos vendendo separatas para a indústria farmacêutica, publicando anúncios (da indústria farmacêutica) e, finalmente, faturam alguns caraminguás com assinaturas. O “Ibope” de uma revista é o fator impacto. Quanto mais um artigo da revista é citado, mais seu fator impacto tenderá a ser empurrado para cima. Artigos positivos tendem a ser mais citados e lidos que os negativos. Até para serem desmentidos. Conclusão: as revistas médicas publicam muito mais artigos nos quais um efeito é demonstrado do que artigos nos quais nenhuma diferença se demonstra, mesmo que a metodologia desse artigo seja de pior qualidade.
Triste? Há outros tipos de viéses de publicação, alguns dos quais já falamos aqui, como por exemplo, o da língua e o da nacionalidade dos pesquisadores. O próprio positive-paper bias já foi abordado. Dá um certo desânimo quando essas coisas vêm à tona novamente. Isso porque acreditamos na ciência e é difícil vê-la servindo a outros interesses que não o do conhecimento. Ainda bem que essa semana tivemos uma grande notícia!
Agradecimentos à maria do C&I, pela notícia e links.