Qualis o Quê?!!

Não sou um cientista cientologista. Mas de vez em quando arrisco aqui uns pitacos.

Não sei se todo mundo sabe mas a importância de um jornal científico é dada por alguns índices sendo talvez, o mais importante, o Fator Impacto (em inglês, Impact Factor – IF). Existem muitas críticas a isso. Uma delas é que o FI pertence a uma empresa privada com ações da bolsa de valores e teria, por essa razão, conflitos de interesse com uma ciência, digamos, desinteressada. Não quero ser purista, mas o dinheiro de agências de fomento à pesquisa – a grande maioria, públicas no Brasil – é distribuído tendo como base publicações ranqueadas, em última instância, pelo FI. Vai daí…

Outra crítica frequentemente disparada contra a “ditadura do FI” é que se ele é razoável para jornais científicos, é muito ruim para bons artigos. (Veja aqui a apresentação da bib. Suely Soares a quem cito na sequência). A validade do FI está diretamente associada à aceitação de duas premissas: a) as publicações relevantes são freqüentemente citadas (quantitativa); b) o conjunto de publicações indexadas (pelo ISI, no caso) é suficiente para apreender os resultados das pesquisas a serem avaliadas (quantitativa). E isso não é sempre verdade. Há vários fatores interferentes que vão desde a densidade de citações (número de referências por artigo, maior nos estudos biomédicos) à velocidade de obsolescência da área em questão (menor nas áreas exatas, por exemplo). Isso faz com que a produção de determinado autor seja “desviada” (skewed) e impede que se faça uma análise mais fidedigna. Além de, e talvez por isso, o FI é calculado apenas a partir dos dois últimos anos. Outro erro bastante comum é usar o FI da revista para dizer que um artigo publicado nela é bom. O próprio Eugene Garfield, criador do FI, disse na referência que cito abaixo, que isso é um erro teórico crasso.

Pensando em todas essas confusões e mais algumas (ver leitura adicional no final do post) o prof. Maurício Rocha e Silva publicou um artigo interessante na Clinics, a revista do Hospital das Clínicas da USP. O artigo me chamou a atenção e comecei a escrever esse post no final de 2011. Como que numa transmissão telepática a Revista Pesquisa FAPESP publica em seu número de Janeiro de 2012 (que ainda não está no sítio, para os apressadinhos) uma sensacional entrevista com o professor Rocha e Silva. Eu confesso que tive muita dificuldade para entender o artigo original. A entrevista, entretanto, é muito simples e faz o artigo brilhar. Vamos a eles.

O principal alvo de Rocha e Silva é o sistema Qualis. (Para um dos “defeitos” do Qualis veja aqui). O raciocínio é o seguinte. “Todas as revistas têm uma distribuição de citações assimétrica. Quer dizer, 20% dos artigos concentram 50% das citações e os 20% mais baixos concentram 3% das citações. De maneira que no New England Journal Medicine, a revista médica de mais alto impacto do mundo, por exemplo, tem 20% de artigos que são muito pouco citados. Isso vale para qualquer revista.” O argumento da Capes por intermédio do sistema Qualis é simples e direto: se você publica numa revista com fator impacto alto, você é bom. Ponto. Isso é um erro de lógica de acordo com os cálculos acima.

Para ele, o Qualis penaliza alguns autores por publicarem em revistas brasileiras. De acordo com o raciocínio acima “se eu publico numa revista A1, ganho a nota de A1. Mas, 70% dos artigos que saem na revista A1 não têm aquele bom nível de citação, que vem de 30% dos artigos. Por isso, 70% dos artigos ali publicados recebem um upgrade.” Talvez isso não seja um problema maior pois estamos no topo, tratando de revista com altíssimo FI. Que mal tem em elevarmos o nível de maioria dos artigos de uma grande revista? Contudo, no Brasil, de acordo com a classificação da Capes, não temos revistas A1. Numa categoria intermediária esse problema aumenta muito porque as revistas têm um limite inferior e um superior – uma faixa. Vamos de novo. Publico um artigo numa revista, digamos, B3 da Qualis o que me garante aparecer na prestigiosa Pubmed, e ganho a nota da revista como pesquisador. Se meu artigo for “meia-colher” talvez eu seja “puxado” pelos outros bons artigos da revista (upgrade). Mas se meu artigo for muito bom, eu tenho a chance de 20-30% de estar sendo rebaixado pelos restantes. Note que a Capes deu a nota para a revista – até aí, tudo bem – mas está usando essa nota para qualificar o artigo do pesquisador e, por fim, o próprio pesquisador! Nas palavras do prof. Maurício Rocha e Silva “…na hora em que a Capes atribui uma classificação baixa a uma revista, eles estão dizendo para os pós-graduandos e seus orientadores, ‘Não publiquem nessa revista se você puder publicar em uma com o FI mais alto”.

“Se o Qualis não tivesse esse problema interno, daqui a 10 anos teríamos uma coleção de grandes revistas internacionais brasileiras porque haveria um estímulo à publicação.” Qual o problema de não termos revistas nacionais? Preconceito científico contra publicações latinoamericanas cientificamente demonstrado. É um círculo vicioso cuja solução passa necessariamente pela melhoria do nível das revistas nacionais que, por sua vez, precisam de uma política diferente de incentivo à publicação. A adoção de outros critérios que não o simples FI para qualificar os pesquisadores é, portanto, prioritária.

Leitura adicional

1. Fator de impacto: Importância e influência no meio editorial, acadêmico e científico (pdf) Ruiz et al.

2. The Agony and the Ecstasy— The History and Meaning of the Journal Impact Factor. (pelo criador da criatura, Eugene Garfield)

3. A vez das Revistas Científicas? – Ecce Medicus

ResearchBlogging.orgMauricio Rocha e Silva (2011). Continuously Variable Rating: a new, simple and
logical procedure to evaluate original scientific publications CLINICS, 66 (12), 2099-2104: 0.1590/S1807-59322011001200016

ResearchBlogging.org Meneghini, R., Packer, A., & Nassi-Calò, L. (2008). Articles by Latin American Authors in Prestigious Journals Have Fewer Citations PLoS ONE, 3 (11) DOI: 10.1371/journal.pone.0003804

Clique na figura para ver a origem. Autorizado segundo as regras do autor. Agradecimentos à Maria Guimarães pelo exemplar da revista FAPESP em primeira mão.

Atualização

A interessante entrevista do prof. Maurício Rocha e Silva na Pesquisa Fapesp.

Discussão - 8 comentários

  1. Fabiana disse:

    Posso dizer? Eu JAMAIS diria melhor!!!! Vesti a carapuça, os chinelos, as calças e tudo o mais que vc possa pensar, Karl...

    Odeio a ditadura das Qualis from the guts, acho o fim dos tempos ser quantificada pra ser qualificada!
    Nas Humanidades, isso é ainda pior, sabe? Porque acabamos sendo quantificados por números e ritmos que nem são nossos. Não poderiam ser. E sofremos ameaças, e recebemos punições. Complicado, isso.

    Ó: não sou de ficar enchendo muito a bola, vc sabe - mas eu AMEI este post cheio de números!! 🙂 Me senti um pouco vingada...

  2. Sibele disse:

    "Cientologista" ou "Cientometrista"?

    Continue dando seus pitacos, são "òtemos", Karl! #Adoro! 🙂

    Agora falta na Revista Fapesp disponibilizar a entrevista de Rocha e Silva no site...

    • Helena Neviani disse:

      aí Sibele! ~> O segredo da visibilidade - Rocha e Silva conta como fazer uma revista científica d nível internacional http://tinyurl.com/77qxuo6 @pesquisafapesp

  3. Bruno disse:

    O pior é ver a CAPES falando que as PGs devem publicar em revistas nacionais e em outra momento falando que tem q publicar em revistas qualis A1 ou 2. Sem dizer que a avaliação feita por eles das PGs é 90% em cima da produção científica dos docentes sem incentivar a publicação nacional e das revistas de pequeno tamanho.
    Ao menos eles estão "financiando" um upgrade em todas as areas pra elevar o qualis das revistas.

    Espero que algum dia apareça um algorítimo que consiga mensurar a qualidade individual do artigo. O autor e o leitor ficariam muito mais norteados.

    • Karl disse:

      Assim que o exemplar de Janeiro de 2012 sair, eu linko aqui.
      @Bruno. Vc resumiu em uma sentença todo o post. É isso. Talvez esse algoritmo que você cobra seja a Continuously Variable Rating do professor. A ver.

      Obrigado por todos os comentários.

  4. Geraldo disse:

    Concordo cm diversos pontos. O qualis tem DIVERSOS problemas, que pra mim vão além desses citados. Mas... "Qual o problema de não termos revistas nacionais?"
    Bom, 1) revistas nacionais em português serão lidos por quem? Temos razoaveis revistas que publicam em inglês. As que são em português serão sempre péssimas revistas. Inglês é a lingua da ciência, ponto.
    2) Infelizmente não há profissonalismo em muitas revistas brasileiras. Minha experiência me diz que quando envio artigos para revistas de bom IF internacional a resposta é rápida, as vezes na mesma semana. Ao passo que ao enviar em revista nacional a espera por qualquer resposta é vergonhasamente longa.

    • Karl disse:

      @Geraldo. Não sei em que área vc trabalha, mas pelo menos em relação à medicina, temos boas revistas em inglês, com rápidas avaliações de submissão. A Clinics é um exemplo. Quanto ao inglês, também acho que é melhor mas gostaria de salientar alguns pontos.
      1. O inglês é a linguagem da ciência por uma questão econômica e não devido a características específicas da língua. Veja esse post.
      2. Acho que o único país que consegue alguma coisa publicando em língua própria é a França. Talvez a Espanha, ok. O resto é tudo em inglês mesmo. Isso cria barreiras culturais muito importantes. Nós ainda temos o mesmo alfabeto, mas imagine os russos, gregos e asiáticos que além de terem que aprender a gramática da língua ainda utilizam alfabetos diferentes! Há um artigo na Pesquisa Fapesp que faz esse diagnóstico muito bem. Há também, várias tentativas em suplantar essas barreiras. O Rogério Meneghini, criador da Scielo (aliás, na mesma época da Pubmed!), publicou este interessante artigo sobre as barreiras linguisticas.

      Enfim, a coisa é bem complicada e o importante, a meu ver, é que tentativas estão sendo feitas no sentido de suplantar as dificuldades.
      Obrigado pelo comentário.

  5. […] as publicações de seus bolsistas – o sistema QUALIS – do qual já falamos aqui e aqui, e no qual o fator impacto (FI) tem grande importância, gerou uma “adição” dos […]

Envie seu comentário

Seu e-mail não será divulgado. (*) Campos obrigatórios.