O Esquema Brasileiro de Citações e a Vira-Latice

Citation Stacking

Figura do artigo da Nature citado abaixo.

A Clinics, revista do Hospital das Clínicas da Faculdade de Medicina da USP teve, juntamente com outras 4 revistas brasileiras, conforme noticiado aqui há 2 meses, a divulgação de seu fator impacto suspensa por 1 ano por práticas de citação anômalas. O professor Maurício Rocha e Silva, editor-chefe da revista, enviou uma carta-resposta a este blog, publicada em 27 de Junho do corrente ano, dando suas explicações. Desde então, nenhuma outra manifestação foi ouvida ou publicada; ao menos ao que nos foi dado saber. Até que, em 29 de Agosto, o jovem e ativo editor-assistente de notícias da fleumática NatureRichard Van Noorden, publicou um artigo em tom não muito elogioso, sobre o que foi chamado de “esquema brasileiro de citações”. O artigo mostra o processo de stacking citation (citação cruzada) utilizado pelas revistas brasileiras para inflar suas avaliações (ver figura acima). Deixa também claro que a forma com a qual a CAPES julga as publicações de seus bolsistas – o sistema QUALIS – do qual já falamos aqui e aqui, e no qual o fator impacto (FI) tem grande importância, gerou uma “adição” dos pesquisadores brasileiros ao alucinógeno FI. Segundo Van Noorden deixa transparecer por intermédio de declarações escolhidas de Rocha e Silva, tais distorções seriam fruto dessa política de avaliação da CAPES.

Não acho, particularmente, que uma coisa justifique a outra, nem, tampouco, a explique e esse é o verdadeiro problema. Além disso, nessa discussão ninguém citou o fato de que há um preconceito velado contra publicações latino-americanas. É muito difícil para um pesquisador brasileiro publicar seus estudos em jornais internacionais de grande impacto, mesmo quando o estudo é bom. Pior, mesmo que tal façanha ocorra, seu índice de citações é mais baixo do que o de seus pares do hemisfério norte, como mostra o interessante estudo dos professores Rogério Meneghini e Abel Packer citado abaixo (e que também já comentei). Por outro lado, fiquei sabendo, oficialmente, que o prof. Rocha e Silva não era mais o editor-chefe da Clinics pela Nature. Isso é um absurdo! Em todos os três posts nos quais divulguei e discutimos a notícia sobre a suspensão das revistas brasileiras venho cobrando uma manifestação oficial dos editores. Essa manifestação ainda não havia ocorrido até onde sei.

Hoje, 30 de setembro, recebi o email que publico integralmente abaixo (no original, em inglês):

POSITION STATEMENT

Wagner Farid Gattaz, Edmund Chada Baracat

In the light of the recent facts, we are working together with the Governing Council of Hospital das Clínicas and the Dean of Faculdade de Medicina da Universidade de São Paulo, on implementing a new structure for the Editorial Board, which will consist of a joint Editorial leadership shared by a Scientific Editor, an Administrative Editor, and Associate Editors. Area Editors and the Editorial Office structure will not be altered.

All efforts are being made to ensure that Clinics continues to be one of the most important Brazilian scientific journals, and to reaffirm our commitment to high level scientific research, ethics, and transparency. CLINICS citation data will be permanently monitored and made available to all.

We look forward to returning to the Journal Citation Report (JCR) in June 2014, and to receiving a promising Impact Factor for 2013.

Esta carta está estampada na homepage da Clinics. Nenhuma menção à saída do prof. Rocha e Silva foi feita. Apenas um evasivo “à luz dos recentes fatos…” e uma declaração de compromissos com o batido “todos os esforços estão sendo feitos…” Eu insisto em uma explicação mais declarada do ocorrido, um pedido de desculpas, uma revolta contra a miséria intelectual do fator impacto, um libelo contra a Thomson Reuters, a exemplo aliás do boicote contra sua rival a Elsevier, um manifesto contra a CAPES e o QUALIS, um ode ao Open Access, ao modelo PLoS, sei lá…  Muita gente utilizou o artigo do Van Noorden como a pá de cal no FI. Eu vi nesse lastimável episódio de “falcatruas citacionais” a possibilidade de uma reação, de uma exposição de nossa situação terceiro-mundista frente as grandes potências científicas e suas “reservas de mercado”. O Brasil poderia liderar um grupo de vozes contra o monopólio das editoras e índices que nos dizem o quanto um pesquisador é bom ou mau, que estabelecem o preço absurdo das assinaturas de revistas e que, por fim, são quem determinam o maior viés de publicação.

Uma carta desenxabida e colonizada como esta só faz crer mesmo no pior.

Referências

Van Noorden R (2013). Brazilian citation scheme outed. Nature, 500 (7464), 510-1 PMID: 23985850

Meneghini R, Packer AL, Nassi-Calò L (2008) Articles by Latin American Authors in Prestigious Journals Have Fewer Citations. PLoS ONE 3(11): e3804. DOI:10.1371/journal.pone.0003804

 

Carta-Resposta do Prof. Maurício Rocha e Silva

5548-revistas_800

Segue a carta do prof. Maurício Rocha e Silva sobre a suspensão de revistas médicas brasileiras pelo JCR, conforme publicado neste blog. As opiniões do autor não são necessariamente as mesmas do editor do blog. Esperamos, entretanto, que isso possa fomentar um debate salutar sobre as publicações científicas brasileiras, debate de importância maior para amadurecermos no nosso papel de relevância científica que conquistamos a duras penas. Todas as perguntas dirigidas ao autor do texto lhe serão encaminhadas por email e me comprometo a publicar integralmente, tanto as questões, quanto suas respostas. (Me reservarei, contudo, no direito de editar eventuais textos ofensivos e em “caps lock” abusivo).

Ainda a propósito da suspensão de revistas pelo JCR

Mauricio Rocha e Silva

Editor, Clinics

Clinics foi suspensa por um ano do Journal Citation Reports (JCR) 2012. A suspensão foi provocada por dois artigos publicados em 2011. A suspensão significa que CLINICS não teve Fator de Impacto divulgado para 2012 pelo JCR. Este é responsável pela publicação do fator de impacto de 8.841 periódicos científicos mundiais. Mas não é a única agência avaliadora no mundo, como veremos adiante.

O Hospital das Clínicas e a Editoria de Clinics estão examinando determinados aspectos do ato de suspensão e entendem que não existem fundamentos dentro das regras JCR em vigor que justifiquem esse ato.

Há que notar que, até hoje, o site JCR continua a afirmar que “Suppressed titles were found to have anomalous citation patterns resulting in a significant distortion of the Journal Impact Factor.” (Títulos suprimidos apresentaram padrões anômalos de citação, que resultam numa distorção significativa do Fator de Impacto da Revista). Isto só pode significar que a condição obrigatória para suspensão é uma distorção significativa do Fator de Impacto.

E qual foi a distorção significativa provocada em nosso fator de impacto? Clinics foi suspensa pela publicação de dois artigos na Revista da Associação Médica Brasileira sobre pesquisa científica brasileira em áreas específicas do conhecimento: aparelhos cardiorrespiratório e locomotor. Estes artigos citam 330 artigos brasileiros, dos quais 127 publicados pela CLINICS. Estas 127 citações representam apenas 18% de todas as citações recebidas pela CLINICS em 2011 (total 704 citações) Como consequência, o Fator de Impacto de Clinics elevou-se em 22% (de 1,687 para 2,058). Como é que esta distorção de fator Impacto é comparada com outras no sistema ISI? Para isso realizamos uma avaliação por amostragem pesquisando 200 revistas não suspensas pelo JCR e escolhidas randomicamente. Convidamos qualquer leitor a fazer o mesmo: escolha o seu método de randomização e veja o que aparece. Esta análise revelou 31 revistas (15,5%) com elevações de Fator de Impacto iguais ou superiores aos 22% da Clinics. Estendendo esta amostragem para o universo de 8841 revistas pode-se esperar encontrar cerca de 1300 revistas com “distorções” iguais ou superiores às da CLINICS. Nenhuma dessas foi suspensa. Entenda-se: não estou acusando de distorção estas revistas semelhantes à CLINICS e não suspensas. Estou simplesmente mostrando que o que não é infração ética para tantas, subitamente virou infração para Clinics.

Como notei, o JCR não havia instituído essa modalidade de impropriedade de citação em 2011, quando os artigos foram publicados. As primeiras revistas suspensas por stacking o foram em Junho de 2012. Três revistas foram suspensas por citações circulares. Só então é que se ficou sabendo que esta modalidade passara a existir. Consequentemente, a nova regra foi aplicada retroativamente à Clinics. Mesmo agora, junho de 2013, as regras continuam obscuras e dão a JCR margem para ações discriminatórias.

Vale repetir: o JCR não detém monopólio mundial de avaliação de impacto. Duas outras grandes instituições também o fazem. (1) A editora científica Elsevier, a maior do mundo, sediada na Holanda, possui um site  www.scimagojr.com, que divulga um impacto entendido pela CAPES, pela FAPESP e pelo CNPq como equivalente ao da JCR. Continuamos ali representados e quem quiser saber quanto será o nosso impacto Scimago 2012 só precisa esperar até o próximo mês de julho. (2) SCIELO, uma das mais importantes experiências de catalogação científica do mundo, sediada em São Paulo, publica também um Fator de Impacto. Continuamos ali representados. A suspensão de Clinics no JCR choca de frente com a não suspensão no Scimago e na SCIELO.

Mesmo que comentaristas inseridos neste e noutros blogs prefiram discordar de nossa posição, seria muito mais conveniente evitar a indecorosa e anônima pressa de criminalizar um evento entendido pela própria JCR como mera decisão técnica. CLINICS foi apenas excluída do JCR em 2011. Tudo o mais referente a ela continua incluído no sistema JCR e decorre normalmente.

Aproveito para reafirmar e renovar nosso compromisso com a informação ética e verdadeira da ciência, dentro do conceito de dignidade da atividade científica.

Ainda sobre as Revistas Suspensas

Este texto é a continuação desse e, de certa forma, também um esclarecimento sobre alguns conceitos que, ou foram colocados de forma errônea no anterior, ou ficaram ambíguos. Então, vamos lá.

BlockedAparentemente, no dia 19/06/13, a Thomson Reuters publicou uma nota na qual suspendia 4 revistas brasileiras de sua principal metapublicação: o Journal Citation Reports® (JCR). Isso significa que as publicações ficarão sem o fator impacto do ano de 2012, conforme esclarece carta enviada pelos editores a assinantes e revisores das revistas, publicada no post anterior. As revistas, mais uma vez, são, em ordem alfabética: Acta Ortopédica BrasileiraClinics, Jornal Brasileiro de Pneumologia e Revista da Associação Brasileira de Medicina.

A razão alegada para suspensão parece ter sido a prática de stacking, mas a nota da Thomson Reuters não deixa isso claro, falando apenas “em padrões de citação anômalos que resultaram em distorção dos respectivos fatores impacto”. Entretanto, os editores das revistas devem ter recebido uma notificação mais específica, dado que a prática de stacking foi citada na carta e também pelo prof. Maurício Rocha e Silva em comentário neste blog.

Autocitação e stacking são práticas condenadas pela Thomson Reuters porque aumentam o fator impacto das publicações artificialmente, dando a elas uma relevância irreal. Segundo Paul Jump do portal britânico THE (Times Higher Education) sobre educação superior, a Thomson Reuters começou a procurar no ano de 2012 o que ela chamou de “citation stacking“. Marie McVeigh, diretora do JCR, definiu a prática como “um específico e anômalo padrão de troca de citações entre dois jornais”, ou seja, “O Jornal A cita excessivamente um Jornal B” durante o período do cálculo do impacto. Naquele ano, três revistas – Cell Transplantation, Medical Science Monitor e The Scientific World Journal – foram excluídas do JCR referente a 2011 devido a tais comportamentos. Em 2012, a lista aumentou para 66 publicações de países como Espanha, China, EUA e Brasil. A Autocitação é uma prática considerada mais grave e é punida pela agência com dois anos de banimento.

Os editores das quatro revistas brasileiras contestam a validade da suspensão, talvez por intermédio de recurso enviado à Thomson Reuters; não sei. Do ponto de vista ético, tudo isso é muito desagradável. O Brasil teve uma ascensão grande no cenário científico mundial nos últimos anos e nossas revistas ganharam muito em importância. Situações como essa só vêm confirmar o preconceito que sofremos quando tentamos publicar nossos estudos em revistas internacionais, em especial, as anglófonas. Nesse caso, o melhor é esclarecermos tudo, doa a quem doer. Por isso, aguardo ainda manifestações dos editores das revistas, a quem ofereço o espaço deste humilde blog, de pessoas envolvidas nas publicações ou de qualquer um que possa nos ajudar jogar um pouco de luz nessa escuridão desconfortável.

 

PS. Agradeço aos leitores Sibele Fausto, Raptor e Suzana Silva pelos esclarecimentos.

Suspensão de Revistas Médicas Brasileiras

Bandeira Vermelha

Em um documento datado de 18/06/2013 (não consegui checar a data com certeza), a Thomson Reuters, proprietária de índices cientométricos como o Fator Impacto (FI), por meio do seu Journal Citation Reports®, divulgou uma lista de jornais suspensos de sua principal indexação. A lista pode ser vista aqui, no item Editorial Information, Title Suppressions. Uma apresentação em pdf (de onde tirei a foto acima) que explica as razões da “supressão” pode ser baixada aqui e por qualquer um que digitar “suppression journals” no oráculo buscador. A explicação para a punição vai abaixo, em tradução livre do inglês.

As métricas para os títulos listados abaixo não são publicadas no JCR 2012. Foram encontrados padrões de citações anômalos resultando em uma signifante distorção do Fator Impacto de revistas, de modo que o rank não reflete precisamente a performance da respectiva publicação na literatura. O fator impacto proporciona uma medida importante e objetiva da contribuição da revista na comunicação acadêmica e sua distorção e concentração excessiva de citações é uma questão séria. A equipe do JCR monitorará tais revistas que poderão ser incluídas em edições vindouras quando o problema das citações for resolvido. A cobertura das revistas na Web of Science e outros produtos da Thomson Reuters não será imediatamente afetada pela suspensão no JCR entretanto, o títulos podem ser objeto de revisão no intuito de determinar se os padrões de qualidade e publicação necessários para inclusão na Web of Science são atingidos.

Em outras palavras, as revistas foram suspensas por auto-citação. Uma estratégia que faz com que o FI aumente artificialmente. No exemplo da apresentação, uma revista teria FI 10, caso fossem consideradas as auto-citações. Ao retirá-las, o FI cai para 2. A tabela abaixo (clique para aumentar) mostra as 4 revistas brasileiras “suspensas” do repositório (CLINICS, J BRAS PNEUMOL, ACTA ORTOP BRAS e REV ASSOC BRAS MED).

tabela clinics

A primeira delas é a antiga revista do Hospital das Clínicas da FMUSP, agora denominada CLINICS, cujo FI é maior que 2. Na lista há ainda outras revistas brasileiras importantes na área médica como os Arquivos Brasileiros de Cardiologia e o Jornal Brasileiro de Pneumologia. O texto ficou ambíguo e devo enfatizar que os Arquivos Brasileiros de Cardiologia não foram suspensos do repositório, caso não tenha ficado claro.

Ainda não localizei manifestações das revistas defendendo-se ou justificando-se, nem sei quantificar o quanto isso prejudicará a imagem delas e a nossa. Também não sei se dá para colocar todas as revistas no mesmo balaio. Vou monitorar isso e se houver novidades, publicarei. Se algum leitor mais bem informado tiver algo a acrescentar, por favor, faça-o. Se precisar sigilo, é só pedir.

Atualização 24/06/13 23:15

Publico, na íntegra, carta dos editores das 4 revistas que acabei de receber.

24-Jun-2013

Dear Dr,

As you may know, Acta Ortopedica Brasileira, Clinics, Jornal Brasileira de Pneumologia and Revista da Associação Médica Brasileira have been suspended for one year from the Journal Citation Reports (JCR) 2012. This means these journals have no published Impact Factor for 2012. However, they continue indexed in the ISI Web of Science and consequently, all citations to and from articles in these journals continue to be counted by ISI. The suspensions do not affect the Impact Factor of any other JCR periodical. It should also be noted that we are indexed in Scimago (www.scimagojr.com) with impacts similar to those normally posted in JCR. A new edition of Scimago is scheduled for July, 2013.
According to information provided by Thomson Reuters, the four journals have been suspended for allegedly performing “stacking”, defined by Thomson Reuters as an accumulation of citations to one journal in articles published in a different journal. This was instituted by ISI as a form of inappropriate usage of citation in 2012. The alleged breach occurred in 2011. Therefore, ISI has used this retroactively to suspend the four journals. We confirm that we published articles to highlight specific aspects of Brazilian Science in 2011. These articles covered topics in the highlighted theme published by a large number of different Brazilian Science Journals. This is a common practice in the entire world and comes under the name of review articles. Unfortunately this new modality of ISI policy prevents us from continuing to perform this service to the community, namely the reporting of information relating to recently published Brazilian Science. We regret the inconvenience caused by this new ISI policy. Acta Ortopedica Brasileira, Clinics, Jornal Brasileira de Pneumologia and Revista da Associação Médica Brasileira wish to take this opportunity to reaffirm and renew their commitment with ethical and truthful reporting of science, within the dignified concept of scientific activity.

Olavo Pires de Camargo
Editor, Acta Ortopedica Brasileira

Mauricio Rocha e Silva
Editor, Clinics

Carlos Roberto Ribeiro de Carvalho
Editor, Jornal Brasileiro de Pneumologia

Bruno Caramelli
Editor, Revista da Associacao Medica Brasileira

Parece que o problema são os artigos de revisão e/ou de comentários sobre artigos publicados por/em revistas brasileiras que, na nova política, são considerados auto-citações. Aguardaremos os novos desdobramentos.