Discutindo indicadores em financiamento à pesquisa: Qual o papel das altmetrias?

Em qualquer extensão, altmetrias, ou métricas alternativas, estão ganhando força no ensino superior. Este post é baseado em minha dissertação de mestrado, que explora o uso de altmetria com foco em financiamento à pesquisa. As altmetrias rastreiam e contam as menções de citações acadêmicas em mídias sociais, sites de notícias, documentos de política e sites de bookmarkingsocial. Em seguida, os provedores de dados altmétricos agregam o número de menções. Isso permite uma observação de quantas vezes a pesquisa foi visualizada, discutida, seguida, compartilhada e baixada.

Seguindo esta linha de pensamento, pode-se relacionar estas menções ao impacto ou atenção no público em geral ou na sociedade fora da comunidade científica. Desta forma, todos com uma conexão à Internet poderiam se engajar com a produção acadêmica online, mesmo que apenas uma fração do número total de usuários o faça. No entanto, é importante notar que estas menções não se correlacionam com a qualidade da produção acadêmica, elas geralmente visualizam uma comunidade de atenção, ou seja, usuários da Internet que participam de alguma maneira ou de outra com uma produção acadêmica, como um artigo de periódico. Altmetria é uma inovação com potencial para futuro desenvolvimento .

Na sequência deste desenvolvimento, as altmetrias atingiram os níveis mais elevados nos debates políticos europeus e foram discutidas, por exemplo, durante o Open Science Mutual Learning Exercise MLE) pelo Horizon 2020 Policy Support Facility. As MLEs são realizadas no âmbito do Joint Research Centre Research and Innovation Observatory (RIO) e visam fornecer exemplos de melhores práticas dos Estados Membros da União Europeia (UE) e Países Associados. Outras evidências podem ser encontradas em grupos de especialistas de alto nível da UE que assessoram a Comissão Europeia, entre outros, em ciência, pesquisa e inovação. De 2016 a 2017, as altmetrias foram discutidas em vários relatórios desses órgãos consultivos de alto nível.

Principais conclusões
Para este estudo, representantes de uma organização de financiamento à pesquisa e formuladores de políticas foram primeiramente entrevistados. Segundo, os revisores de uma organização de financiamento à pesquisa e pesquisadores registrados com um sistema de altmetria institucional foram convidados a responder a uma pesquisa online. No geral, os entrevistados e aqueles que responderam à pesquisa não sabiam sobre o uso de altmetrias. Os dados também sugerem que alguns dos entrevistados estavam bastante cientes dos debates sobre a altmetria. Se seguirmos de perto os debates internacionais sobre o uso da altmetria, pode ser uma surpresa que o conceito seja tão amplamente subutilizado nesta amostra. Esperava-se que mais entrevistados estivessem cientes sobre o uso de altmetrias. Em particular, se altmetrias fossem discutidas em debates de alto nível sobre políticas de pesquisa da UE, os pesquisadores precisam estar cientes disso, pois isso também poderia afetar sua carreira acadêmica, até certo ponto.

Recomendações
Como discutido anteriormente, a altmetria parece estar em ascensão nos artigos sobre políticas e em outras iniciativas internacionais, como no nível da política da UE. Por sua vez, os resultados que podem ser extraídos desta amostra de partes interessadas sugerem que as altmetrias ainda não estão amplamente difundidas. Na verdade, elas eram desconhecidas para a grande maioria dos participantes do estudo. Além disso, os resultados das entrevistas também mostraram que diferentes tipos organizacionais, disciplinas acadêmicas e outras categorias devem ser tratados de maneira diferente. Como comprovado em vários estudos técnicos, as altmetrias ainda não estão prontas para uso rotineiro em avaliações de pesquisas, e vários desafios devem ser abordados. No entanto, através da altmetria, é possível causar certo impacto visível na sociedade ou visualizar a atenção. A forma como este impacto é interpretado e colocado no contexto é essencial.

Além disso, alguns entrevistados sugeriram que as altmetrias poderiam ter um papel maior no relato de pesquisas financiadas, em vez de demonstrar impacto em aplicações de financiamento à pesquisa. Foram apresentadas críticas por alguns entrevistados sobre altmetria. Além disso, altmetrias só devem ser vistas como uma medida complementar em comparação com as contagens de citações e, especialmente, a avaliação por pares. Por exemplo, o impacto do compartilhamento de um conjunto de dados de pesquisa pode se tornar visível em tempo hábil, em comparação com as contagens de citações de um artigo de periódico. O contexto de dados de altmetria e pontuações agregadas precisa ser analisado, como sugerido por vários estudiosos. Como mencionado anteriormente, os resultados do estudo para esta amostra de partes interessadas sobre financiamento à pesquisa indica que a altmetria é praticamente desconhecida. Isso precisa ser considerado se e quando o uso da altmetria for proposto pelos formuladores de políticas.

Este post de blog é baseado na dissertação de mestrado do autor, “Valuation of altmetrics in research funding”1.

Nota
1. FRAUMANN, G. Valuation of altmetrics in research funding. Tampere: University of Tampere, 2017. Available from: http://tampub.uta.fi/bitstream/handle/10024/101653/GRADU-1498478872.pdf?...

Referências
BORNMANN, L. Do altmetrics point to the broader impact of research? An overview of benefits and disadvantages of altmetrics. Journal of Informetrics [online]. 2014, vol. 8, no. 4, pp. 895–903 [viewed 11 may 2018]. DOI: 10.1016/j.joi.2014.09.005. Available from: http://doi.org/10.1016/j.joi.2014.09.005

CWTS Research Line in Altmetrics [online]. CWTS. 2017 [viewed 11 may 2018]. Available from: https://www.cwts.nl/research/working-groups/societal-impact-of-research/...

ERDT, M., et al. Altmetrics: an analysis of the state-of-the-art in measuring research impact on social media. Scientometrics [online]. 2016, vol. 109, no. 2, pp. 1117–1166 [viewed 11 may 2018]. DOI: 10.1007/s11192-016-2077-0. Available from: http://doi.org/10.1007/s11192-016-2077-0

EUROPEAN COMMISSION. Europe’s future – open innovation, open science, open to the world: reflections of the Research, Innovation and Science Policy Experts (RISE) High Level Group. Brussels: European Commission, 2017.

EUROPEAN COMMISSION. Mutual Learning Exercise on Open Science: Altmetrics and Rewards under the Horizon 2020 Policy Support Facility (PSF). Second Workshop on “How to use Altmetrics in a context of Open Science [online]. RIO – H2020 | Research and Innovation Observatory – Horizon 2020 Policy Support Facility. 2017 [viewed 11 may 2018]. Available from: https://rio.jrc.ec.europa.eu/sites/default/files/Agenda MLE Open Science_Meeting 31 May 2017_Helsinki.pdf

FRAUMANN, G. Valuation of altmetrics in research funding. Tampere: University of Tampere, 2017.

HOLMBERG, K. Altmetrics for information professionals: Past, present and future. Waltham: Chandos Publishing, 2016.

LIU, J. and ADIE, E. New perspectives on article-level metrics: Developing ways to assess research uptake and impact online. Insights: The UKSG Journal [online]. 2013, vol. 26, no. 2, pp. 153–158 [viewed 11 may 2018]. DOI: 10.1629/2048-7754.79. Available from: http://doi.org/10.1629/2048-7754.79

PIWOWAR, H. Altmetrics: Value all research products. Nature [online]. 2013, vol. 493, no. 7431, 159 [viewed 11 may 2018]. DOI: 10.1038/493159a. Available from: http://doi.org/10.1038/493159a

PRIEM, J., et al. (2010). Altmetrics: a manifesto [online]. 2010 [viewed 11 may 2018]. Available from: http://www.altmetrics.org/manifesto

ROBINSON-GARCÍA, et al. New data, new possibilities: exploring the insides of Altmetric.com. El Profesional de La Informacion [online]. 2014, vol. 23, no. 4, pp. 359–366 [viewed 11 may 2018]. DOI: 10.3145/epi.2014.jul.03. Available from: http://doi.org/10.3145/epi.2014.jul.03

THELWALL, M., et al. Do Altmetrics Work? Twitter and Ten Other Social Web Services. PLoS ONE[online]. 2013, vol. 8, no. 5, e64841 [viewed 11 may 2018]. DOI: 10.1371/journal.pone.0064841. Available from: http://doi.org/10.1371/journal.pone.0064841

Links externos
Grischa Fraumann <https://www.researchgate.net/profile/Grischa_Fraumann2>

Artigo original em inglês
https://era.ideasoneurope.eu/2017/12/15/discussing-indicators-research-f...

Traduzido do original em inglês por Lilian Nassi-Calò.

Esta matéria foi orifinalmente publicada no blog SciELO em Perspectiva.