Qualis o Quê?!!

N√£o sou um cientista cientologista. Mas de vez em quando arrisco aqui uns pitacos.

N√£o sei se todo mundo sabe mas a import√Ęncia de um jornal cient√≠fico √© dada por alguns √≠ndices sendo talvez, o mais importante, o¬†Fator Impacto (em ingl√™s, Impact Factor¬†– IF). Existem muitas cr√≠ticas a isso. Uma delas √© que o FI pertence a uma empresa privada com a√ß√Ķes da bolsa de valores e teria, por essa raz√£o, conflitos de interesse com uma ci√™ncia, digamos, desinteressada. N√£o quero ser purista, mas o dinheiro de ag√™ncias de fomento √† pesquisa – a grande maioria, p√ļblicas no Brasil – √© distribu√≠do tendo como base publica√ß√Ķes ranqueadas, em √ļltima inst√Ęncia, pelo FI. Vai da√≠…

Outra cr√≠tica frequentemente disparada contra a “ditadura do FI” √© que se ele √© razo√°vel para jornais cient√≠ficos, √© muito ruim para bons¬†artigos. (Veja aqui a apresenta√ß√£o da bib. Suely Soares a quem cito na sequ√™ncia). A¬†validade do FI¬†est√° diretamente associada √† aceita√ß√£o¬†de duas premissas:¬†a) as publica√ß√Ķes relevantes¬†s√£o freq√ľentemente citadas (quantitativa);¬†b) o conjunto de publica√ß√Ķes indexadas (pelo ISI, no caso)¬†√© suficiente para apreender os resultados¬†das pesquisas a serem avaliadas (quantitativa). E isso n√£o √© sempre verdade. H√° v√°rios fatores interferentes que v√£o desde a densidade de cita√ß√Ķes (n√ļmero de refer√™ncias por artigo, maior nos estudos biom√©dicos) √† velocidade de obsolesc√™ncia da √°rea em quest√£o (menor nas √°reas exatas, por exemplo). Isso faz com que a produ√ß√£o de determinado autor seja “desviada” (skewed) e impede que se fa√ßa uma an√°lise mais fidedigna. Al√©m de, e talvez por isso, o FI √© calculado apenas a partir dos dois √ļltimos anos. Outro erro bastante comum √© usar o FI da revista para dizer que um artigo publicado nela √© bom. O pr√≥prio Eugene Garfield, criador do FI, disse na refer√™ncia que cito abaixo, que isso √© um erro te√≥rico crasso.

Pensando em todas essas confus√Ķes e mais algumas (ver leitura adicional no final do post) o prof. Maur√≠cio Rocha e Silva publicou um artigo interessante na Clinics, a revista do Hospital das Cl√≠nicas da USP. O artigo me chamou a aten√ß√£o e comecei a escrever esse post no final de 2011. Como que numa transmiss√£o telep√°tica a Revista Pesquisa FAPESP publica em seu n√ļmero de Janeiro de 2012 (que ainda n√£o est√° no s√≠tio, para os apressadinhos) uma sensacional entrevista com o professor Rocha e Silva. Eu confesso que tive muita dificuldade para entender o artigo original. A entrevista, entretanto, √© muito simples e faz o artigo brilhar. Vamos a eles.

O principal alvo de Rocha e Silva √© o sistema Qualis. (Para um dos “defeitos” do Qualis veja¬†aqui). O racioc√≠nio √© o seguinte. “Todas as revistas t√™m uma distribui√ß√£o de cita√ß√Ķes assim√©trica. Quer dizer, 20% dos artigos concentram 50% das cita√ß√Ķes e os 20% mais baixos concentram 3% das cita√ß√Ķes. De maneira que no New England Journal Medicine, a revista m√©dica de mais alto impacto do mundo, por exemplo, tem 20% de artigos que s√£o muito pouco citados. Isso vale para qualquer revista.” O argumento da Capes por interm√©dio do sistema Qualis √© simples e direto: se voc√™ publica numa revista com fator impacto alto, voc√™ √© bom. Ponto. Isso √© um erro de l√≥gica de acordo com os c√°lculos acima.

Para ele, o Qualis penaliza alguns autores por publicarem em revistas brasileiras. De acordo com o racioc√≠nio acima “se eu publico numa revista A1, ganho a nota de A1. Mas, 70% dos artigos que saem na revista A1 n√£o t√™m aquele bom n√≠vel de cita√ß√£o, que vem de 30% dos artigos. Por isso, 70% dos artigos ali publicados recebem um upgrade.” Talvez isso n√£o seja um problema maior pois estamos no topo, tratando de revista com alt√≠ssimo FI. Que mal tem em elevarmos o n√≠vel de maioria dos artigos de uma grande revista? Contudo, no Brasil, de acordo com a classifica√ß√£o da Capes, n√£o temos revistas A1. Numa categoria intermedi√°ria esse problema aumenta muito porque as revistas t√™m um limite inferior e um superior – uma faixa. Vamos de novo. Publico um artigo numa revista, digamos, B3 da Qualis o que me garante aparecer na prestigiosa Pubmed, e ganho a nota da revista como pesquisador. Se meu artigo for “meia-colher” talvez eu seja “puxado” pelos outros bons artigos da revista (upgrade). Mas se meu artigo for muito bom, eu tenho a chance de 20-30% de estar sendo rebaixado pelos restantes. Note que a Capes deu a nota para a revista – at√© a√≠, tudo bem – mas est√° usando essa nota para qualificar o artigo do pesquisador e, por fim, o pr√≥prio pesquisador! Nas palavras do prof. Maur√≠cio Rocha e Silva “…na hora em que a Capes atribui uma classifica√ß√£o baixa a uma revista, eles est√£o dizendo para os p√≥s-graduandos e seus orientadores, ‘N√£o publiquem nessa revista se voc√™ puder publicar em uma com o FI mais alto”.

“Se o Qualis n√£o tivesse esse problema interno, daqui a 10 anos ter√≠amos uma cole√ß√£o de grandes revistas internacionais brasileiras porque haveria um est√≠mulo √† publica√ß√£o.” Qual o problema de n√£o termos revistas nacionais? Preconceito cient√≠fico contra publica√ß√Ķes latinoamericanas¬†cientificamente demonstrado. √Č um c√≠rculo vicioso cuja solu√ß√£o passa necessariamente pela melhoria do n√≠vel das revistas nacionais que, por sua vez, precisam de uma pol√≠tica diferente de incentivo √† publica√ß√£o. A ado√ß√£o de outros crit√©rios que n√£o o simples FI para qualificar os pesquisadores √©, portanto, priorit√°ria.

Leitura adicional

1. Fator de impacto: Import√Ęncia e influ√™ncia no meio editorial, acad√™mico e cient√≠fico¬†(pdf) Ruiz et al.

2.¬†The Agony and the Ecstasy‚ÄĒ¬†The History and Meaning of the Journal Impact Factor. (pelo criador da criatura, Eugene Garfield)

3. A vez das Revistas Científicas? РEcce Medicus

ResearchBlogging.orgMauricio Rocha e Silva (2011). Continuously Variable Rating: a new, simple and
logical procedure to evaluate original scientific publications CLINICS, 66 (12), 2099-2104: 0.1590/S1807-59322011001200016

ResearchBlogging.org Meneghini, R., Packer, A., & Nassi-Calò, L. (2008). Articles by Latin American Authors in Prestigious Journals Have Fewer Citations PLoS ONE, 3 (11) DOI: 10.1371/journal.pone.0003804

Clique na figura para ver a origem. Autorizado segundo as regras do autor. Agradecimentos à Maria Guimarães pelo exemplar da revista FAPESP em primeira mão.

Atualização

A interessante entrevista do prof. Maurício Rocha e Silva na Pesquisa Fapesp.