Essa semana um burburinho está rolando na comunidade científica, se ainda não chegou até você, fique em dia aqui. Numa reunião em Dezembro passado a Associação Americana de Biologia Celular lançou uma campanha que ganhou publicidade essa semana com editoriais em periódicos científicos e veículos de massa. A ideia da declaração sobre a avaliação da pesquisa, DORA na sigla em inglês, é derrubar a ditadura do fator de impacto, que inclui não só o fator de impacto oficial, que é a métrica mais conhecida, mas outras métricas com cálculo similar. O fator de impacto é a divisão do número de citações recebidas por um periódico pelo número de artigos publicados num triênio e é usado como indicador da qualidade do periódico, partindo do pressuposto que ser citado indica a utilidade, popularidade e importância da informação ali contida. Nós concordamos em parte com as demandas do DORA. Por favor, argumentem nos comentários. Queremos ‘ouvir’ a opinião dos leitores.

A silenciosa voz dos oprimidos Fonte: CBN

Os signatários do DORA dão as seguintes recomendações:

1) Não usem o fator impacto de impacto em jornais como substituto da qualidade do artigo, para medir o desempenho do pesquisador e tomar decisões de promoção e contratação.

2) Agências de fomento e instituições contratando pesquisadores devem ser claras quanto ao critério de avaliação dos candidatos e devem considerar fatores diversos de qualidade do pesquisador, como emissão de patentes e fundamentação de políticas públicas, além de considerar outras medidas de qualidade do artigo.

3) Editoras de periódicos científicos devem reduzir a ênfase no fator de impacto e incluir outras métricas como o tempo de processamento e o índice H, além de aplicar métricas específicas de cada artigo em vez de métricas do periódico. Devem ainda reforçar as políticas de autoria responsável. Devem, por fim, dar livre acesso às referências bibliográficas dos artigos, mesmo daqueles com acesso fechado e incentivar a citação das fontes originais em vez de revisões.

4) Órgãos que calculam índices de qualidade das publicações devem ser abertos sobre como os índices são calculados e permitir acesso aos dados originais. Devem ainda deixar claro que manipulações dos índices são inaceitáveis, explicar o que é manipular os índices e punir transgresões. E devem distinguir entre tipos de artigos (revisão, artigo de pesquisa, editorial etc) e áreas (comportamento animal, astronomia, mudanças climáticas, câncer etc) na hora de calcular e comparar índices.

5) Pesquisadores envolvidos em comitês de avaliação e bancas devem se basear na qualidade do trabalho, não no impacto da revista. Pesquisadores devem divulgar aspectos diferentes de seu desempenho além do fator de impacto das revistas onde publicaram e devem ensinar e estimular seus alunos em formação a procurar outras formas de promoção além do fator de impacto.

Os signatários alegam que essa ditadura do fator de impacto tem levado a diversos problemas. Pesquisadores incorrem frequentemente em práticas desonestas. Estudantes travam uma busca desesperada por periódicos mais pontuados. Esses periódicos e seus revisores acabam sobrecarregados com manuscritos que não deveriam avaliar. Editores praticam ginásticas, muitas vezes desonestas, em busca de aumentar as pontuações de suas revistas. Alega-se também que ditadura do fator de impacto, assim como muitas antes dela, inibe a criatividade e o investimento em inovações arriscadas.

Se você concorda com isso tudo, não deixe de juntar seu nome à lista de signatários clicando aqui, mas antes leia nossa opinião. Acreditamos que o fator de impacto, como todo indicador, é frágil e limitado. Indicadores são isso: indicadores. Não são a coisa indicada em si. O fator de impacto é um indicador de qualidade de uma pesquisa, não é a qualidade da pesquisa em si. Desde que se entenda isso, fica bem mais fácil domar a fera.

Ele certamente não pode ser o único indicador usado para inúmeras avaliações, mas não achamos que ele deva ser simplesmente descartado. O fator de impacto é bem menos vilão do que os usos que fazemos dele. Nós mesmos já passamos por ocasiões de periódicos bons, conceituados, nos pedirem para citar seus próprios artigos para garantir o fator de impacto. Mesmo que se mude o indicador, sempre haverá um modo de manipulá-lo. O fator de impacto é um indicador eficiente e deve continuar sendo utilizado entre diversos outros indicadores. Precisamos de indicadores que nos ajudem a fazer uma avaliação inicial rápida para ser posteriormente aprofundada.

Obrigado ao Rodrigo Hirata pela pauta.