Como saber se um tratamento é realmente eficaz?

Como saber se um tratamento médico realmente cura uma doença? Ou saber em que nível jogos eletrônicos são capazes de influenciar o comportamento agressivo das pessoas? Quando cientistas tentam responder a essas perguntas, normalmente são feitas diversas pesquisas ao redor do mundo. Alguns encontram que “sim”, o tratamento médico realmente parece curar a doença, enquanto outros encontram que “não”, o tratamento tem um efeito muito pequeno na melhora dos pacientes, só funciona para um grupo específico de pacientes ou não tem efeito nenhum.

Se alguns estudos concluem que “sim” e outros que “não”, algo comum na ciência, como podemos chegar a uma conclusão sobre se, por exemplo, um tratamento médico é realmente eficaz no tratamento de uma doença? Considerando as importantes implicações práticas que uma conclusão como essa pode gerar (e.g. implantação do tratamento na rede pública, gastos do governo), seria importante que tivéssemos algum método confiável em mãos para enxergar o que todo um conjunto de estudos tem a dizer sobre a eficácia de um tratamento (por exemplo, a eficácia de antidepressivos no tratamento da depressão). Felizmente, a estatística, a ciência do significado dos dados e de como usá-los para entender como as coisas funcionam, dispõe de uma poderosa ferramenta para avaliar o que um conjunto maior de evidências produzidas em diferentes estudos mostra. Essa ferramenta se chama meta-análise. Agora calma, respire funde e não pare de ler esse texto ainda! Prometo que você não verá nenhuma equação aqui! Eu sei que o nome não é muito atraente… mas a ideia básica não é difícil de entender e a sua utilidade é tão grande que vale a pena tentar entender pelo menos um pouco do que é uma meta-análise. Quem sabe depois disso você mesmo não pense em fazer uma meta-análise (ou, mais provavelmente, cortar os seus pulsos) sobre algum assunto que te interessa!

Uma meta-análise pode ser entendida como uma “análise das análises”, literalmente. Sim, é só isso, eu disse que não doía! Ela consiste em uma análise das análises feitas em diferentes estudos visando identificar o que esses estudos mostram sobre a associação entre duas ou mais variáveis. Com essa técnica, podemos comparar e sintetizar o que esses estudos indicam quando são considerados de maneira conjunta. Para isso, normalmente uma meta-análise se foca em analisar a força de associação entre duas ou mais variáveis, algo conhecido como tamanho de efeito, encontrada nos estudos realizados sobre algum assunto. É por considerar o que um conjunto de evidências¹ tem a dizer sobre uma relação entre variáveis, em oposição a considerar o que apenas um estudo específico diz, que a meta-análise é uma ferramenta tão importante e que nos permite chegar a conclusões mais razoáveis sobre a eficácia de tratamentos, a relação entre jogos eletrônicos e violência ou a relação entre religiosidade e moralidade, por exemplo.

A realização de uma meta-análise envolve um planejamento muito detalhado e cuidadoso, já que para comparar diferentes estudos é necessário que haja boas justificativas explícitas – você não vai querer, por exemplo, misturar alhos com bugalhos, certo? Depois de uma definição dos critérios que serão usados para selecionar os estudos que serão considerados pela meta-análise, é feita a busca de tais estudos e então o registro das informações mais importantes daquele estudo, tais como os resultados encontrados, bem como informações que podem ajudar a explicar as diferenças nos resultados encontrados em diferentes estudos, tais como o país onde a pesquisa foi feita, a época e os métodos usados – algo conhecido como variáveis moderadoras. A análise de tais dados pode permitir uma compreensão mais profunda da magnitude de associação entre as variáveis de interesse, bem como das variáveis moderadoras que explicam a variação de resultados entre os estudos, o que pode ser útil para o próprio desenvolvimento futuro daquela área.

Há ainda a possibilidade de realizar uma “meta-análise das meta-análises”, ou seja, uma meta-análise na qual as informações primárias usadas são as obtidas a partir de meta-análises ao invés de estudos individuais. Como você já pode ter concluído, esse tipo de estudo nos permite chegar a conclusões ainda mais interessantes, pois considera um conjunto ainda maior de dados sobre determinado fenômeno. Um exemplo disso foi uma meta-análise das meta-análises sobre eficácia da acupuntura, publicada em 2011 na revista Pain (escrevi um texto mais detalhado sobre essa meta-análise aqui). Esse estudo indicou que, quando os dados de 57 meta-análises são considerados em conjunto (o que significa considerar os dados de MUITOS estudos individuais), a acupuntura demonstra pouca e inconsistente eficácia para diferentes casos (e.g. dor crônica).

Obviamente, como toda ferramenta usada na ciência, a meta-análise tem as suas vantagens, desvantagens e limitações. Ela nem sempre será útil. Problemas metodológicos básicos com os estudos de uma área irão se refletir na qualidade da informação que a meta-análise será capaz de produzir – algo representado pela famosa expressão “garbage in garbage out” – se você inserir lixo na meta-análise, vai encontrar lixo. Em situações onde além desse problema o fenômeno de interesse é estudado por um grupo muito pequeno de pesquisadores, os resultados de uma meta-análise seriam provavelmente muito enviesados. As meta-análises realizadas sobre a existência de supostos fenômenos “parapsicológicos”, por exemplo, incluem diversos estudos com problemas metodológicos sérios (e.g. ausência de informações cruciais para replicação, ausência de grupos-controle) e foram conduzidos por um grupo restrito de pesquisadores. Nesse caso, diferentes meta-análises chegaram a conclusões bem diferentes sobre o fenômeno. Nesses casos, o mais indicado seria o planejamento cuidadoso e a condução de estudos de replicação por laboratórios independentes (leia mais sobre isso aqui, aqui e aqui). Outra dificuldade se refere a vieses de publicação que favorecem que determinados tipos de estudos se tornem públicos (estudos que alcançam, por exemplo, a famosa “significância estatística”). Sem uma busca sistemática por dados não publicados, por exemplo, uma meta-análise pode produzir um retrato muito enviesado da área.

Apesar de vastamente usada e valorizada ao redor do mundo em diferentes áreas da ciência, o uso da meta-análise por pesquisadores brasileiros ainda é tímido e raro, principalmente em áreas como as ciências humanas e sociais. Se a própria estatística é muitas vezes desprezada por essas áreas, que dirá a meta-análise. Certamente quem perde com isso são as próprias áreas de conhecimento e as gerações de novos pesquisadores que são privados de conhecer tais ferramentas poderosas ao longo de suas formações, muitas vezes, mais focadas na socialização de ideologias e linhas de pensamento defendidas por autoridades filosóficas do que em conhecer a diversidade de métodos, técnicas e tecnologias que existem hoje em dia disponíveis para pesquisadores das ciências humanas e sociais.

Nota de rodapé

¹Quando me refiro a “um conjunto de dados”, significa que uma meta-análise pode ser feita usando-se como base desde os dados presentes em dois estudos até os presentes em duzentos estudos ou mais.

Referências

Bem, D. J. & Honorton, C. (1994). “Does psi exist?” Psychological Bulletin, Vol. 115, No. 1, 4-18.

Card, N. A. (2012). Applied meta-analysis for social science research. Guilford: New York.

Ernst, E., Lee, M., & Choi, T. (2011). Acupuncture: Does it alleviate pain and are there serious risks? A review of reviews. PAIN, 152 (4), 755-764 DOI: 10.1016/j.pain.2010.11.004

Milton, J. and R.Wiseman (1999). Does psi exist? Lack of replication of an anomalous process of information transfer. Psychological Bulletin, 125, 387-391.

Storm L, Tressoldi PE, & Di Risio L (2010). Meta-analysis of free-response studies, 1992-2008: Assessing the noise reduction model in parapsychology. Psychological Bulletin, 136 (4), 471-85 PMID: 20565164

—

Fonte: Periódico Bule

Autor: André Rabelo