Qualis o Quê?!!
Não sou um cientista cientologista. Mas de vez em quando arrisco aqui uns pitacos.
Não sei se todo mundo sabe mas a importância de um jornal científico é dada por alguns índices sendo talvez, o mais importante, o Fator Impacto (em inglês, Impact Factor – IF). Existem muitas críticas a isso. Uma delas é que o FI pertence a uma empresa privada com ações da bolsa de valores e teria, por essa razão, conflitos de interesse com uma ciência, digamos, desinteressada. Não quero ser purista, mas o dinheiro de agências de fomento à pesquisa – a grande maioria, públicas no Brasil – é distribuído tendo como base publicações ranqueadas, em última instância, pelo FI. Vai daí…
Outra crítica frequentemente disparada contra a “ditadura do FI” é que se ele é razoável para jornais científicos, é muito ruim para bons artigos. (Veja aqui a apresentação da bib. Suely Soares a quem cito na sequência). A validade do FI está diretamente associada à aceitação de duas premissas: a) as publicações relevantes são freqüentemente citadas (quantitativa); b) o conjunto de publicações indexadas (pelo ISI, no caso) é suficiente para apreender os resultados das pesquisas a serem avaliadas (quantitativa). E isso não é sempre verdade. Há vários fatores interferentes que vão desde a densidade de citações (número de referências por artigo, maior nos estudos biomédicos) à velocidade de obsolescência da área em questão (menor nas áreas exatas, por exemplo). Isso faz com que a produção de determinado autor seja “desviada” (skewed) e impede que se faça uma análise mais fidedigna. Além de, e talvez por isso, o FI é calculado apenas a partir dos dois últimos anos. Outro erro bastante comum é usar o FI da revista para dizer que um artigo publicado nela é bom. O próprio Eugene Garfield, criador do FI, disse na referência que cito abaixo, que isso é um erro teórico crasso.
Pensando em todas essas confusões e mais algumas (ver leitura adicional no final do post) o prof. Maurício Rocha e Silva publicou um artigo interessante na Clinics, a revista do Hospital das Clínicas da USP. O artigo me chamou a atenção e comecei a escrever esse post no final de 2011. Como que numa transmissão telepática a Revista Pesquisa FAPESP publica em seu número de Janeiro de 2012 (que ainda não está no sítio, para os apressadinhos) uma sensacional entrevista com o professor Rocha e Silva. Eu confesso que tive muita dificuldade para entender o artigo original. A entrevista, entretanto, é muito simples e faz o artigo brilhar. Vamos a eles.
O principal alvo de Rocha e Silva é o sistema Qualis. (Para um dos “defeitos” do Qualis veja aqui). O raciocínio é o seguinte. “Todas as revistas têm uma distribuição de citações assimétrica. Quer dizer, 20% dos artigos concentram 50% das citações e os 20% mais baixos concentram 3% das citações. De maneira que no New England Journal Medicine, a revista médica de mais alto impacto do mundo, por exemplo, tem 20% de artigos que são muito pouco citados. Isso vale para qualquer revista.” O argumento da Capes por intermédio do sistema Qualis é simples e direto: se você publica numa revista com fator impacto alto, você é bom. Ponto. Isso é um erro de lógica de acordo com os cálculos acima.
Para ele, o Qualis penaliza alguns autores por publicarem em revistas brasileiras. De acordo com o raciocínio acima “se eu publico numa revista A1, ganho a nota de A1. Mas, 70% dos artigos que saem na revista A1 não têm aquele bom nível de citação, que vem de 30% dos artigos. Por isso, 70% dos artigos ali publicados recebem um upgrade.” Talvez isso não seja um problema maior pois estamos no topo, tratando de revista com altíssimo FI. Que mal tem em elevarmos o nível de maioria dos artigos de uma grande revista? Contudo, no Brasil, de acordo com a classificação da Capes, não temos revistas A1. Numa categoria intermediária esse problema aumenta muito porque as revistas têm um limite inferior e um superior – uma faixa. Vamos de novo. Publico um artigo numa revista, digamos, B3 da Qualis o que me garante aparecer na prestigiosa Pubmed, e ganho a nota da revista como pesquisador. Se meu artigo for “meia-colher” talvez eu seja “puxado” pelos outros bons artigos da revista (upgrade). Mas se meu artigo for muito bom, eu tenho a chance de 20-30% de estar sendo rebaixado pelos restantes. Note que a Capes deu a nota para a revista – até aí, tudo bem – mas está usando essa nota para qualificar o artigo do pesquisador e, por fim, o próprio pesquisador! Nas palavras do prof. Maurício Rocha e Silva “…na hora em que a Capes atribui uma classificação baixa a uma revista, eles estão dizendo para os pós-graduandos e seus orientadores, ‘Não publiquem nessa revista se você puder publicar em uma com o FI mais alto”.
“Se o Qualis não tivesse esse problema interno, daqui a 10 anos teríamos uma coleção de grandes revistas internacionais brasileiras porque haveria um estímulo à publicação.” Qual o problema de não termos revistas nacionais? Preconceito científico contra publicações latinoamericanas cientificamente demonstrado. É um círculo vicioso cuja solução passa necessariamente pela melhoria do nível das revistas nacionais que, por sua vez, precisam de uma política diferente de incentivo à publicação. A adoção de outros critérios que não o simples FI para qualificar os pesquisadores é, portanto, prioritária.
Leitura adicional
1. Fator de impacto: Importância e influência no meio editorial, acadêmico e científico (pdf) Ruiz et al.
2. The Agony and the Ecstasy— The History and Meaning of the Journal Impact Factor. (pelo criador da criatura, Eugene Garfield)
3. A vez das Revistas Científicas? – Ecce Medicus
Mauricio Rocha e Silva (2011). Continuously Variable Rating: a new, simple and
logical procedure to evaluate original scientific publications CLINICS, 66 (12), 2099-2104: 0.1590/S1807-59322011001200016
Meneghini, R., Packer, A., & Nassi-Calò, L. (2008). Articles by Latin American Authors in Prestigious Journals Have Fewer Citations PLoS ONE, 3 (11) DOI: 10.1371/journal.pone.0003804
Clique na figura para ver a origem. Autorizado segundo as regras do autor. Agradecimentos à Maria Guimarães pelo exemplar da revista FAPESP em primeira mão.
Atualização
A interessante entrevista do prof. Maurício Rocha e Silva na Pesquisa Fapesp.
Um Pouco da Pós-Graduação em Medicina
Para publicar de forma regular e sustentada no Brasil, em geral é preciso estar vinculado a um serviço de pós-graduação. Esses serviços têm uma avaliação da CAPES que é muito respeitada. A CAPES dividiu a ciência médica em 3 grandes áreas. Medicina I, II e III, conforme as especificações abaixo.
Essa divisão tem por base a forma como é conduzida a pesquisa em cada área. Notemos pois, que as áreas cirúrgicas, para dar um exemplo, ficaram todas reunidas na Medicina III. A CAPES classifica os cursos de pós-graduação na grande área da saúde de acordo com os seguintes critérios e respectivos pesos: corpo docente (30%), corpo discente (30%), produção intelectual (30%) e inserção social (10%). A produção intelectual é a que nos interessa nesse momento. Constitui 30% da nota de uma pós-graduação e é constituída pelo número de publicações qualificadas do Programa por Docente Permanente (50%), pela distribuição de publicações qualificadas em relação ao corpo docente do programa (40%) e por outras produções, exceto à artística (técnica, patentes, produtos, etc) (10%).
Nesses quesitos, para atingir o conceito excelente (7,0) é necessário que o docente publique 6 ou mais artigos em Qualis internacional A ou B, sendo que pelo menos 03 sejam em Qualis A. Mas que é Qualis Internacional? “Qualis é o conjunto de procedimentos utilizados pela CAPES para estratificação da qualidade da produção intelectual dos programas de pós-graduação”. Para isso, a CAPES hierarquizou os meios de divulgação da pesquisa da pós-graduação (ou seja, os jornais científicos). “A classificação de periódicos é realizada pelas áreas de avaliação e passa por processo anual de atualização. Esses veículos são enquadrados em estratos indicativos da qualidade – A1, o mais elevado; A2; B1; B2; B3; B4; B5; C – com peso zero”. Obviamente, o fator de qualidade de cada revista é o seu fator impacto.
O problema é que a divisão das revistas é desigual de acordo com as subáreas, medicina I, II e III. Por exemplo, em levantamento realizado por um professor e apresentado em Porto de Galinhas – PE no III Encontro Nacional de Pós-Graduação na área de Ciências da Saúde em outubro de 2009, a Medicina III tem o seguinte Qualis e respectivos fatores impacto conforme a tabela abaixo.
Já a Medicina I tem a seguinte classificação de periódicos (tabela abaixo):
Como é fácil notar, as revistas de áreas clínicas para serem classificadas no nível A1, necessitam de um fator impacto bem maior. A que se deve essa diferença? Ao tipo de ciência que serve de base a cada especialidade, provavelmente. Algumas áreas sofrem períodos de expansão rápidos, em especial quando se criam novas ferramentas e tecnologias. Nesses períodos, os jornais estão propensos a aceitar determinados assuntos. Pesquisadores experientes detectam essas ondas, aproveitando para “encaixar” papers em revistas de impacto maior. Mas há outras fontes de desigualdades. Um docente tem uma classificação de publicações de acordo com a tabela abaixo.
Mas isso não dependerá apenas da competência do pesquisador médico. Depende, como vimos, da subárea a qual ele pertence (se medicina I, II ou III) e também da facilidade que ele tem para publicar. Podemos imaginar que quanto mais periódicos tivermos com fator impacto A1, mais fácil será a esse pesquisador divulgar seus resultados. Mas quem é que disse que o número de periódicos obedece a essa classificação da CAPES? Vejamos a tabela abaixo.
No caso da medicina III que, como vimos, tem o nível A1 com revistas de fator impacto maior que 2,85, temos uma diferença enorme entre as especialidades. A Urologia tem 26% de suas revistas com a classificação A1, enquanto que a Otorrino tem ZERO! Eu pergunto, como um docente da Otorrino pode ganhar o conceito muito bom e assim melhorar o conceito do próprio programa de pós-graduação ao qual é vinculado? Só se publicar seus dados em outras revistas de fator impacto maior, mas isso não é nada fácil! A linguagem de cada revista é própria pois ela se dirige a um público-alvo que é relativamente específico. Os pesquisadores reclamam da dificuldade em publicar em revistas de outras áreas, como por exemplo, um cirurgião publicar os resultados de um tratamento cirúrgico inovador para o câncer gástrico em uma revista de Oncologia (que têm, em geral, elevado fator impacto). Se pensarmos que as verbas de fomento à pesquisa também são distribuídas de acordo com regras parecidas, ou no mínimo, são levados em consideração todos esses conceitos CAPES, temos um sistema que não é assim, um primor de igualdade.
