Não sou um cientista cientologista. Mas de vez em quando arrisco aqui uns pitacos.

Não sei se todo mundo sabe mas a importância de um jornal científico é dada por alguns índices sendo talvez, o mais importante, o Fator Impacto (em inglês, Impact Factor – IF). Existem muitas críticas a isso. Uma delas é que o FI pertence a uma empresa privada com ações da bolsa de valores e teria, por essa razão, conflitos de interesse com uma ciência, digamos, desinteressada. Não quero ser purista, mas o dinheiro de agências de fomento à pesquisa – a grande maioria, públicas no Brasil – é distribuído tendo como base publicações ranqueadas, em última instância, pelo FI. Vai daí…

Outra crítica frequentemente disparada contra a “ditadura do FI” é que se ele é razoável para jornais científicos, é muito ruim para bons artigos. (Veja aqui a apresentação da bib. Suely Soares a quem cito na sequência). A validade do FI está diretamente associada à aceitação de duas premissas: a) as publicações relevantes são freqüentemente citadas (quantitativa); b) o conjunto de publicações indexadas (pelo ISI, no caso) é suficiente para apreender os resultados das pesquisas a serem avaliadas (quantitativa). E isso não é sempre verdade. Há vários fatores interferentes que vão desde a densidade de citações (número de referências por artigo, maior nos estudos biomédicos) à velocidade de obsolescência da área em questão (menor nas áreas exatas, por exemplo). Isso faz com que a produção de determinado autor seja “desviada” (skewed) e impede que se faça uma análise mais fidedigna. Além de, e talvez por isso, o FI é calculado apenas a partir dos dois últimos anos. Outro erro bastante comum é usar o FI da revista para dizer que um artigo publicado nela é bom. O próprio Eugene Garfield, criador do FI, disse na referência que cito abaixo, que isso é um erro teórico crasso.

Pensando em todas essas confusões e mais algumas (ver leitura adicional no final do post) o prof. Maurício Rocha e Silva publicou um artigo interessante na Clinics, a revista do Hospital das Clínicas da USP. O artigo me chamou a atenção e comecei a escrever esse post no final de 2011. Como que numa transmissão telepática a Revista Pesquisa FAPESP publica em seu número de Janeiro de 2012 (que ainda não está no sítio, para os apressadinhos) uma sensacional entrevista com o professor Rocha e Silva. Eu confesso que tive muita dificuldade para entender o artigo original. A entrevista, entretanto, é muito simples e faz o artigo brilhar. Vamos a eles.

O principal alvo de Rocha e Silva é o sistema Qualis. (Para um dos “defeitos” do Qualis veja aqui). O raciocínio é o seguinte. “Todas as revistas têm uma distribuição de citações assimétrica. Quer dizer, 20% dos artigos concentram 50% das citações e os 20% mais baixos concentram 3% das citações. De maneira que no New England Journal Medicine, a revista médica de mais alto impacto do mundo, por exemplo, tem 20% de artigos que são muito pouco citados. Isso vale para qualquer revista.” O argumento da Capes por intermédio do sistema Qualis é simples e direto: se você publica numa revista com fator impacto alto, você é bom. Ponto. Isso é um erro de lógica de acordo com os cálculos acima.

Para ele, o Qualis penaliza alguns autores por publicarem em revistas brasileiras. De acordo com o raciocínio acima “se eu publico numa revista A1, ganho a nota de A1. Mas, 70% dos artigos que saem na revista A1 não têm aquele bom nível de citação, que vem de 30% dos artigos. Por isso, 70% dos artigos ali publicados recebem um upgrade.” Talvez isso não seja um problema maior pois estamos no topo, tratando de revista com altíssimo FI. Que mal tem em elevarmos o nível de maioria dos artigos de uma grande revista? Contudo, no Brasil, de acordo com a classificação da Capes, não temos revistas A1. Numa categoria intermediária esse problema aumenta muito porque as revistas têm um limite inferior e um superior – uma faixa. Vamos de novo. Publico um artigo numa revista, digamos, B3 da Qualis o que me garante aparecer na prestigiosa Pubmed, e ganho a nota da revista como pesquisador. Se meu artigo for “meia-colher” talvez eu seja “puxado” pelos outros bons artigos da revista (upgrade). Mas se meu artigo for muito bom, eu tenho a chance de 20-30% de estar sendo rebaixado pelos restantes. Note que a Capes deu a nota para a revista – até aí, tudo bem – mas está usando essa nota para qualificar o artigo do pesquisador e, por fim, o próprio pesquisador! Nas palavras do prof. Maurício Rocha e Silva “…na hora em que a Capes atribui uma classificação baixa a uma revista, eles estão dizendo para os pós-graduandos e seus orientadores, ‘Não publiquem nessa revista se você puder publicar em uma com o FI mais alto”.

“Se o Qualis não tivesse esse problema interno, daqui a 10 anos teríamos uma coleção de grandes revistas internacionais brasileiras porque haveria um estímulo à publicação.” Qual o problema de não termos revistas nacionais? Preconceito científico contra publicações latinoamericanas cientificamente demonstrado. É um círculo vicioso cuja solução passa necessariamente pela melhoria do nível das revistas nacionais que, por sua vez, precisam de uma política diferente de incentivo à publicação. A adoção de outros critérios que não o simples FI para qualificar os pesquisadores é, portanto, prioritária.

Leitura adicional

1. Fator de impacto: Importância e influência no meio editorial, acadêmico e científico (pdf) Ruiz et al.

2. The Agony and the Ecstasy— The History and Meaning of the Journal Impact Factor. (pelo criador da criatura, Eugene Garfield)

3. A vez das Revistas Científicas? – Ecce Medicus

Mauricio Rocha e Silva (2011). Continuously Variable Rating: a new, simple and
logical procedure to evaluate original scientific publications CLINICS, 66 (12), 2099-2104: 0.1590/S1807-59322011001200016

Meneghini, R., Packer, A., & Nassi-Calò, L. (2008). Articles by Latin American Authors in Prestigious Journals Have Fewer Citations PLoS ONE, 3 (11) DOI: 10.1371/journal.pone.0003804

Clique na figura para ver a origem. Autorizado segundo as regras do autor. Agradecimentos à Maria Guimarães pelo exemplar da revista FAPESP em primeira mão.

Atualização

A interessante entrevista do prof. Maurício Rocha e Silva na Pesquisa Fapesp.