Replicação e publicação: A atual tentativa de auto-correção na psicologia

Cientistas como Brian Nosek estão empenhados na valorização da replicação

Um antigo problema tem direcionado os holofotes da mídia para a psicologia atualmente: o da replicabilidade. Replicar um estudo significa que outros pesquisadores são capazes de reproduzir o procedimento de um estudo publicado e encontrar resultados semelhantes. A replicação é muito importante na ciência. Ela pode funcionar como um filtro da própria comunidade, pois os colegas de área de um pesquisador podem averiguar se o efeito relatado em um estudo é reproduzível, generalizável ou se é limitado. O problema da replicação na psicologia, e em outras áreas da ciência, não é novo, mas tem chamado a atenção atualmente os esforços de diversos cientistas para priorizá-la.

A inquietação na comunidade foi se agravando na medida em que diversos pesquisadores, como o professor Brian Nosek da Universidade da Virginia (na imagem acima), um importante pesquisador na área de cognição social, não conseguiam obter, em seus próprios laboratórios, os efeitos relatados nos artigos de seus colegas, e como não tinham para onde mandar estes dados, eles eram engavetados [1]. A este problema, têm sido dado o nome de The File Drawer Problem (o problema da gaveta de arquivo). Isto pode representar um considerável problema para uma área da ciência, principalmente se o que você está tentando fazer é uma ciência que produza conhecimentos que possam se embasar em estudos anteriores e aprimorar sucessivamente a compreensão de um fenômeno, ou seja, uma ciência cumulativa. Muitos psicólogos têm promovido cada vez mais iniciativas visando uma auto-correção em relação a diversos problemas da área relacionados à replicabilidade, às políticas editoriais das revistas científicas e aos incentivos de agências de financiamento.

Alguns eventos foram críticos para que estas iniciativas tomassem força, como alguns casos recentes de fraudes envolvendo pesquisadores trabalhando em grande universidades (ex: Stapel e Hauser); a polêmica publicação do artigo de Daryl Bem em uma das mais conceituadas revistas de psicologia social, relatando evidências de supostas capacidades pré-cognitivas humanas e as subsequentes tentativas de replicação; além da polêmica envolta da tentativa sem sucesso de replicação de um importante estudo de John Bargh, professor na Universidade de Yale. Artigos recentes nas revistas Nature [1], Science [2] e The Psychologist ilustram como este debate tem ganhado grandes repercussões. A revista The Psychologist publicou um volume especial sobre a importância da replicação e os atuais problemas enfrentados na psicologia para averiguar os efeitos encontrados em seus estudos.

ResearchBlogging.org

Apesar do foco atual, o problema da replicação não é novo na ciência e vai na verdade muito além da psicologia. Em 2005, por exemplo, Ionnadis publicou um provocante artigo intitulado “Why Most Published Research Findings Are False” (Porque a maior parte dos achados de pesquisa publicados são falsos) [3]. No artigo, o autor tenta demonstrar que problemas como o vivenciado pela psicologia, além de outros, são comuns em muitas outras áreas da ciência, como a biomedicina, por exemplo.

E a despeito dos alardes, a questão da replicabilidade deve ser analisada com precaução, já que existem diversas razões pelas quais um grupo de pesquisadores pode falhar em replicar um estudo, sendo apenas uma delas, entre outras possíveis, que o efeito relatado no artigo original seja fictício. Outras possibilidades são, por exemplo, diferenças no procedimento em relação ao procedimento original que não foram consideradas ou relatadas, variação cultural da amostra e flutuações estatísticas. Existem evidências de que até o momento do semestre no qual os dados são coletados pode ter efeito no resultado obtido em um estudo, ao menos para uma amostra de estudantes, um tipo de amostra extremamente comum na psicologia [4]. Mais do que isso, Daryl Bem descreve na última edição da revista The Psychologist outras confusões comuns em relação às replicações. Uma delas é que é comum haver uma estimativa exagerada de quão provável é que uma tentativa de replicação será bem sucedida, mesmo que o efeito seja genuíno.

Com o intuito de começar a faxina na casa, muitos cientistas têm se organizado para avaliar rigorosamente as evidências em sua área. Uma das iniciativas, a Open Science Framework (OSF) tem como organizador o professor Brian Nosek, citado no início do texto. A proposta básica deste projeto é averiguar o quão replicáveis são os estudos na área. Para isso, uma amostra de estudos recentes em importantes revistas foram selecionados para que pesquisadores ao redor do mundo tentem replicar. A iniciativa já conta com diversos pesquisadores ao redor do mundo, incluindo o Brasil. Os resultados destas tentativas serão prontamente disponibilizados para conhecimento público em plataformas como o PsychFileDrawer, outra iniciativa que visa oferecer um espaço para armazenar e disponibilizar tentativas de replicação (nesta plataforma, já é possível ter acesso gratuito a algumas tentativas de replicação de estudos).

As revistas científicas de maior impacto também representam entraves para estas iniciativas, pois as grandes revistas atualmente têm se preocupado mais em publicar estudos inovadores e contra-intuitivos, enquanto algo que parece menos valorizado é o quanto os efeitos relatados nestes estudos são robustos e podem ser replicados por outros cientistas. Isto resulta em uma avaliação injusta que só prejudica o próprio campo de pesquisa, pois apenas estudos que encontram efeitos são divulgados amplamente pelas revistas, enquanto que estudos que não encontram os tais efeitos são engavetados. O resultado disso pode ser dinheiro e tempo gasto investigando fenômenos que se tivessem sido apropriadamente interrogados anteriormente, teriam se mostrado menos robustos ou estáveis e então poderíamos nos preocupar em estudar outras coisas.

Para crescer diante destes problemas, os guardiões dos nossos portões (e.g. editores de revistas) precisam ficar mais espertos e se atualizar. É necessário que a comunidade discuta sobre possíveis mudanças mais amplamente acerca da maneira como nosso processo editorial ocorre, sendo possível que utilizemos ferramentas como a revisão pós-publicação e a replicação como critérios de avaliação de artigos. Outra possibilidade é exigir, ao menos de estudos muito surpreendentes, que laboratórios independentes tentem replicar o estudo e que estas replicações tenham seu espaço garantido. Todas essas mudanças provavelmente acarretarão esforços e recursos que muitos na comunidade talvez não estejam dispostos ainda a oferecer. Afinal de contas, é quase sempre mais cômodo manter práticas que já se tornaram estáveis do que promover mudanças e convencer colegas de que estas mudanças valem a pena. Isso pode ser bem frustrante, mesmo se seus colegas forem cientistas comprometidos com produzir o melhor conhecimento que somos capazes de produzir. O fato é que, se já temos evidências claras de que existem formas mais racionais e precavidas de fazermos nossa ciência, o número de pesquisadores incomodados e engajados nestas mudanças deveria ser ainda maior, mas não o é por vários motivos, como os que citei.

Este momento na psicologia ilustra, ao mesmo tempo, algumas das maiores fragilidades e forças da ciência. Uma de muitas outras fragilidades está no fato de esta ser conduzida por nós, que somos altamente suscetíveis a vieses cognitivos e influências sociais; já uma das suas maiores forças está na sua capacidade de auto-correção, resultante dos próprios fundamentos básicos que subjazem o seu funcionamento (embora às vezes este processo seja mais lento do que deveria ser). Muitos frutos poderão ser coletados deste importante momento que a psicologia vive, e tomara que pesquisadores de outras áreas da ciência vejam neste episódio uma motivação para fazerem o mesmo com as suas respectivas áreas. Aguardem os próximos episódios desta novela…

Referências:

[1] Yong, E. (2012). Replication studies: Bad copy. Nature, 485 (7398), 298-300 DOI: 10.1038/485298a

[2] Carpenter, S. (2012). Psychology’s Bold Initiative. Science, 335 (6076), 1558-1561 DOI: 10.1126/science.335.6076.1558

[3] Ioannidis, J. (2005). Why Most Published Research Findings Are False. PLoS Medicine, 2 (8) DOI: 10.1371/journal.pmed.0020124

[4] Neuberg, S., & Newsom, J. (1993). Personal need for structure: Individual differences in the desire for simpler structure. Journal of Personality and Social Psychology, 65 (1), 113-131 DOI: 10.1037/0022-3514.65.1.113

Discussão - 8 comentários

  1. Bruno Feitosa disse:

    Muito interessante o post, estive discutindo o assunto com um colega pesquisador que após os últimos 10 meses se empenhando em uma pesquisa e na hora de publicar por seus resultados não estarem "completamente" de acordo com a literatura seu trabalho foi rejeitado, certo até ai achei uma situação comum, como lhe disse make science não é uma garantia de publicação nem a publicação é seu objetivo último, lhe disse "O que dos resultados e da conclusão da sua pesquisa vai lhe favorecer e direcionar para suas futuras pesquisas?" e isso o deixou meio atordoado, mas o que me surpreendeu não foi sua atitude de ficar meio que pasmo com minha pergunta, foi quando ele me falou que o editor disse que se fosse a um ano atrás a pesquisa de'le com certeza teria sido publicada, mas hoje aquele já não era o "foco".
    Aguardo mais posts como esse!
    Desde já abraços

  2. André Rabelo disse:

    Bruno,

    obrigado pelo comentário. Interessante o ocorrido que vc relatou. Nosso processo de publicação científica ainda precisa melhorar muito, e uma resposta editorial como essa foi muito infeliz mesmo. É por conta de episódios como esse que uma ciência com processos editoriais mais abertos é tão necessária.

    Abraço!

  3. [...] No vídeo acima, o psicólogo Daniel Kahneman propõe que cientistas adversários deveriam cooperar pelo bem da ciência e deixar de lado seus destemperos. Kahneman chamou a atenção da mídia mês passado, com direito a aparição na revista Nature, por ter enviado um email a um grupo de pesquisadores convocando-os a cooperarem para mostrar ao público e à comunidade acadêmica a robustez dos seus resultados (se quiser entender um pouquinho mais sobre isso, leia aqui). [...]

  4. [...] a psicologia tem sido colocada a teste por um número crescente de cientistas na sua área. Eles querem saber o quão realmente [...]

  5. [...] que as replicações na psicologia continuam dando o que falar (para ler mais sobre o assunto, ver aqui e aqui). Dessa vez, um grupo de pesquisadores tentaram replicar outro estudo clássico de [...]

  6. [...] discussão sobre replicação na psicologia, que ainda é o assunto mais quente do momento, ver aqui e aqui). Resumindo, contrariamente ao que se poderia esperar, os seus resultados que “não [...]

  7. […] a imagem da área e levantando suspeitas acerca das suas pesquisas (para saber mais sobre isso, ver aqui e aqui). Mas os resultados que acabam de ser divulgados do projeto de […]

  8. […] Entrevista com Brian Nosek sobre a replicabilidade na psicologia (em português) http://scienceblogs.com.br/socialmente/2012/06/psicologia-acordando-para-ciencia-aberta/ […]

Deixe um comentário para Adversários precisam cooperar | SocialMente Cancelar resposta

Seu e-mail não será divulgado. (*) Campos obrigatórios.