Replicação na psicologia: Uma entrevista com Brian Nosek

Imagem retirada do blog Not Exactly Rocket Science

Imagem retirada do blog Not Exactly Rocket Science

Recentemente, a psicologia tem sido colocada a teste por um número crescente de cientistas na sua área. Eles querem saber o quão realmente replicáveis são os seus resultados, considerando a dificuldade que muitos deles tem vivido ao tentar repetir os procedimentos dos seus colegas e encontrar as mesmas coisas.

Liderando este movimento, o professor Brian Nosek da Universidade da Virginia tem conduzido o Open Science Framework (OSF), uma iniciativa que tem como objetivo produzir dados sobre a replicabilidade de pesquisas recentes na psicologia. E é com uma grande honra que hoje eu trago a vocês uma entrevista exclusiva com o próprio Brian Nosek que, apesar da sua agenda totalmente lotada, gentilmente aceitou responder a algumas perguntas sobre os seus esforços entusiasmados em investigar perguntas ainda não respondidas sobre o valor das pesquisas recentes na psicologia.

Brian, qual é o problema com a psicologia recentemente que te fez pensar que a Open Science Framework (OSF) era necessária e porque nós deveríamos nos preocupar com ele?

Na minha opinião, o desafio básico que a ciência enfrenta é que os incentivos para cientistas individuais não são bem alinhados com a construção de uma ciência precisa e reproduzível. Eu sou recompensado por publicar, não importando se o que eu publico é preciso ou não. E, como nós sabemos que certos tipos de resultados são mais publicáveis do que outros – tais como resultados positivos, novos e “limpos” – é do meu interesse fazer os meus resultados parecerem positivos, novos e limpos mesmo que isso seja uma representação menos precisa daquilo que nós encontramos. A ciência estaria em uma posição muito mais forte se as suas práticas diárias fossem mais consistentes com os valores científicos de abertura e reprodutibilidade. Nós discutimos os problemas com os incentivos científicos e as práticas de comunicação em dois artigos sobre uma “Utopia Científica” que foram publicados em 2012. Jeff Spies e eu começamos a OSF como uma maneira de começar a ajustar os incentivos e a tornar mais fácil para pesquisadores documentarem e compartilharem as suas pesquisas para que nós possamos trabalhar de maneira mais próxima aos nossos valores.

Recentemente, a OSF tem crescido e deu origem também ao Centro para a Ciência Aberta (Center for Open Science). Por favor, compartilhe conosco essa boa notícia e outras atualizações.

Sim o Centro para a Ciência Aberta é uma organização sem fins lucrativos que irá dar suporte à construção e extensão do Open Science Framework, trabalhar na construção dos interesses e padrões de práticas de ciência aberta da comunidade e conduzir pesquisas metacientíficas. Metaciência é a ciência aplicada às práticas científicas. O projeto mais importante que o Centro está dando suporte é o Projeto Replicabilidade. Esse é um esforço para avaliar a reprodutibilidade da ciência psicológica por meio da replicação de uma amostra de estudos de três das maiores revistas de psicologia. Mais de 100 pesquisadores ao redor do mundo estão participando e outros continuam a voluntariar o seu tempo para contribuir. Esse é um projeto muito excitante. A pergunta é interessante e importante, e o processo de buscar uma solução de larga escala fomentada por várias pessoas é um desafio interessante.

Você e o seus colaboradores já foram capazes de perceber algum padrão de replicabilidade?

Ainda não. Esse projeto ainda está em andamento. Nós estamos todos interessados em aprender com ele.

Como outros pesquisadores podem ajudar o OSF?

De muitas maneiras! As atividades do Centro só serão um sucesso se uma grande parte da comunidade científica se envolver. Aqui estão algumas possibilidades:

  1. Crie uma conta na OSF e comece a usá-la para administrar a sua própria pesquisa: http://openscienceframework.org/
  2. Se você tem experiência com a ciência psicológica, junte-se ao Projeto Replicabilidade para conduzir uma replicação. Você pode até mesmo solicitar uma verba financeira para conduzir uma replicação!  http://openscienceframework.org/project/EZcUj/wiki/home
  3. Se você for um desenvolvedor de software, junte-se à comunidade de acesso aberto que está construindo a infraestrutura.

Qual é a sua expectativa sobre o Projeto Replicabilidade? Iremos encontrar que os nossos resultados são geralmente replicáveis ou não?

Eu realmente não sei. Eu tenho evitado olhar os resultados porque eu ainda estou tentando recrutar contribuidores adicionais e promover esse esforço. Eu tenho preocupações sobre uma baixa taxa de replicabilidade como todos os outros, mas eu acho que isso é muito importante para ignorar. Portanto, eu quero encarar isso ao invés de me esconder disso.

Muitos cientistas jovens dirão que, embora eles entendam a necessidade de replicações, eles precisam ganhar reputação e um emprego, e as replicações não os ajudarão com isso. Você discordaria?

É acurado afirmar que um resultado novo é mais valorizado do que uma replicação. E, na verdade, isso é provavelmente como deveria ser. Resultados novos contribuem mais para impulsionar o conhecimento  a novas fronteiras. O fato de que resultados novos são valorizados mais do que replicações não é o problema com a ciência. O problema é que as replicações são percebidas como possuindo um valor de zero. Nós queremos fazer que o seu valor seja maior do que zero. Essa é uma meta modesta, mas uma com implicações substanciais. Deveria ser possível publicar um estudo de replicação – com sucesso ou não. Se nós pudermos mudar isso, muitas outras mudanças vão se seguir.

Você acredita que as revistas de psicologia (e os seus editores) estão mudando quanto à questão de aceitar replicações para publicação?

Alguns estão, outros não. Eu sou otimista em relação à isso. Eu penso que editores inovadores vão mostrar que abraçar a replicação como uma parte pequena de suas práticas de publicações vão na verdade melhorar e elevar as suas revistas. Existem tantos pressupostos e tão poucos dados. Nós apenas precisamos testar algumas práticas novas e ver o que funciona. Isso é ciência!

Muitas pesquisas que a OSF está engajada em replicar foram feitas nos Estados Unidos da América (EUA). As diferenças culturais e linguísticas entre os EUA e o Brasil poderiam ser um obstáculo para que psicólogos brasileiros se engajem com projetos de replicação? Em outras palavras, nós podemos ajudar o Projeto Replicabilidade a despeito das diferenças culturais e linguísticas?

Sim, eu adoraria ter mais psicólogos Brasileiros envolvidos com o projeto. É verdade que algumas pesquisas podem ser dependentes da cultura, mas muitas outras não fazem qualquer pressuposição sobre os resultados serem aplicáveis apenas a uma população que foi estudada. Eu acredito que a comunidade psicológica Brasileira poderia fazer uma contribuição substancial à ciência aberta – particularmente ajudando os pesquisadores dos EUA a pensar mais cuidadosamente sobre o quão generalizáveis são as suas perguntas e resultados de pesquisa entre contextos culturais. Dos meus poucos dias em São Paulo, eu posso expressar alguma confiança de que os pressupostos da perspectiva dos EUA precisa de alguma melhora. Nós não podemos contar com cientistas dos EUA – como eu – para entender isso. Nós precisamos que todos contribuam com o corpo de conhecimento para que ele represente a humanidade e não apenas alunos de graduação dos EUA.

Discussão - 6 comentários

  1. Jairo disse:

    André, parabéns pela iniciativa da entrevista. Jairo

  2. André Rabelo disse:

    Obrigado, Jairo!

  3. […] e a condução de estudos de replicação por laboratórios independentes (leia mais sobre isso aqui, aqui e aqui). Outra dificuldade se refere a vieses de publicação que favorecem que […]

  4. […] da área e levantando suspeitas acerca das suas pesquisas (para saber mais sobre isso, ver aqui e aqui). Mas os resultados que acabam de ser divulgados do projeto de […]

  5. […] Aqui no blog, nós já falamos algumas vezes sobre a replicabilidade na psicologia (nesse texto aqui, aqui e aqui). […]

  6. […] Aqui no blog, nós já falamos algumas vezes sobre a replicabilidade na psicologia (nesse texto aqui, aqui e aqui). […]

Envie seu comentário

Seu e-mail não será divulgado. (*) Campos obrigatórios.