Nos próximos dias 21 e 22/08, terei o prazer de apresentar um seminário sobre divulgação científica na internet. Em parte, vou tratar sobre o impacto dessa divulgação na forma como medimos o impacto da pesquisa, assunto que explico aqui.

O que você faz com o artigo que lê? Fonte: Goobledygook.

 
Mudamos a forma como lemos o artigo científico
Por muito tempo, uma das poucas medidas disponíveis sobre a importância de um trabalho científico foram as citações. Em um tempo em que não se podia saber quantas cópias foram feitas do artigo impresso, ou quantas vezes a revista foi lida na biblioteca, a forma de se medir o impacto de um artigo – ou melhor, de um periódico, já que medir artigos até então era muito complicado – era contar o número de vezes em que ele era citado em outras publicações. Conte as citações durante um certo período de tempo, faça as contas e magia negra uma análise que ninguém consegue reproduzir, e você tem o Fator de Impacto de uma revista.
Mas a forma como a ciência é publicada e divulgada mudou muito desde então. A última vez que entrei em uma biblioteca para copiar um artigo foi em 2006, para conseguir os trabalhos clássicos de HIV que não estavam disponíveis pela Capes e pela universidade, mas que a biblioteca havia assinado. Isso antes de conhecer amigos que podem me mandar por email. De lá para cá, todos os artigos que consumi foram baixados pela versão online dos periódicos. E quase sempre foram adicionados a um organizador de referências: inicialmente o Zotero, e depois o Mendeley, desde a grande diáspora de 2009 do Firefox para o Chrome. Não me lembro da última vez que imprimi um artigo.
Meu uso para os artigos também mudou durante o doutorado. Muitos deles foram relevantes, apesar de não serem usados diretamente na minha pesquisa, e não são citados nos trabalhos publicados. Foram importantes para nortear ideias, e estão adicionados no Mendeley, não só por mim, como por vários pesquisadores com interesses em comum. Outros possuem figuras completas e explicativas que foram usadas em apresentações e aulas. Alguns são tão abrangentes e interessantes que foram compartilhados por mim no Twitter, por saber que podem ser aproveitados por pessoas de diferentes áreas com as quais interajo, por mais que também não sejam citáveis. Além disso, muitos dos artigos com os quais tive contato não vieram de ferramentas de busca como o PubMed ou Google Scholar, e sim de blogs que acompanho pelo Research Blogging (que agrega posts sobre artigos científicos) e mesmo do podcast This Week in Virology.
Por que não mudar a forma como medimos?
Todas estas ações geram marcas, impressões que podem ser coletadas e computadas para informar sobre os diferentes tipos de impacto dos artigos que li. O impacto do artigo, e não só do periódico onde ele foi publicado. Sim, pois por mais que o fator de impacto de uma revista informe muito sobre as chances dos seus artigos serem citados por outros, a correspondência não é direta. Meu supervisor, por exemplo, publicou em 1996 um trabalho na PNAS bem mais citado do que o trabalho publicado no mesmo ano na Nature, uma revista com maior fator de impacto. Aliás, medir o impacto do artigo, e não do periódico, é uma forma bastante eficiente de qualificar o trabalho publicado em revistas sem tema fechado onde o fator de impacto não faz muito sentido, como a PLoS One, onde trabalhos de biologia molecular dividem espaço com artigos sobre psicologia humana – e podem ser lidos por pesquisadores de áreas completamente diferentes: nosso artigo sobre redes sociais e hepatite C foi citado em um trabalho sobre formigas e outro sobre riscos de predação.
O número de citações que um trabalho recebe é uma métrica fundamental sobre sua relevância no mundo acadêmico, mas não é o único tipo de impacto que ele tem. Artigos lidos por serem inspiradores, ou muito utilizados em aulas, ambos sem muitas citações medidas normalmente, podem ser tão ou mais relevantes. Agora, podemos saber que o artigo “How to choose a good scientific problem”, por mais que tenha apenas 10 citações, é muito popular no Mendeley e tem mais de 3600 leitores. Também podemos medir quantas vezes uma figura usada para aulas foi baixada diretamente no formato para apresentação com o botão Download for PowerPoint presentation, ou quantas vezes o artigo fonte é citado nos slides compartilhados no SlideShare.
Quando a informação era impressa, e precisava ser resgatada para ser processada, não tínhamos como saber que colaboradores muito citados nos agradecimentos, que não participaram diretamente do trabalho mas contribuíram com sugestões e críticas valiosas, podem contribuir para 10 a 20% da produtividade de seus colegas, conforme medido para pesquisadores de imunologia falecidos. Hoje, a PLoS fornece todo tipo de métrica de acesso e compartilhamento de seus artigos, tentando se distanciar cada vez mais do Fator de Impacto. Até a Amazom tem muito mais informação sobre os hábitos de leitura dos seus consumidores através do Kindle do que o livro impresso permitia.
Este conjunto de métricas alternativas, apelidado de Altmetrics, agrega uma série de ferramentas que ajudam a entender estes diferentes tipos de impacto que um artigo pode ter, além de agregarem informação sobre aquele trabalho, como as palavras-chave associadas pelos leitores. E mesmo se você estiver interessado na medida mais usada, tais métricas podem explicar em pouco tempo tendências de citações que levam anos para serem vistas, preenchendo o espaço entre a publicação de um trabalho e a constatação de seu impacto. O número de compartilhamentos de um artigo nos dias após sua publicação, por exemplo, prediz bem as chances dele ser mais citado no futuro – o que não implica que ele será mais citado por que foi mais divulgado, o trabalho pode ser bastante divulgado por ser relevante e portanto mais citável.
Por que não mudar a forma como medimos a produtividade?
Assim, em concursos interessados em medir diferentes aspectos da carreira de um candidato, ou mesmo a avaliação da Capes sobre a produtividade dos pesquisadores, ao invés de medirem apenas participações em bancas de defesa e números similares como a relevância do docente fora de sua pesquisa, poderiam contar quantas apresentações ele(a) tem disponibilizadas e quantas vezes os slides foram compartilhados e lidos. Ou quantas pessoas adicionaram seus artigos no Mendeley. Medidas simples, atualizadas constantemente, que poderiam ser incorporadas automaticamente na plataforma Lattes, não dependem do preenchimento correto das várias categorias de produção acadêmica e ainda evitam currículos enormes que contém pouco conteúdo relevante.
Nas palavras de Jason Priem, um dos autores de um trabalho bastante completo sobre altmetrics, não podemos confundir o tipo de uso de um artigo que pode ser medido com o uso de fato. Precisamos levar em conta muito mais do que as citações para julgar a importância de um trabalho.
 
[update] Como lembrou o Karl, vale ler o post dele de 2009 sobre o tema:
http://scienceblogs.com.br/eccemedicus/2009/07/a_vez_das_revistas_cientificas/