Impacto além da academia

 O físico e biólogo Uri Alon, pesquisador do Instituto de Ciência Weizmann, de Israel, publicou em 2009 um artigo na revista Molecular Cell em que sugere uma série de fatores a serem considerados por pesquisadores e estudantes na hora de escolher um objeto de pesquisa. Em poucas páginas e com certo tom de autoajuda, ele faz recomendações aos que começam na carreira, tais como só se comprometer para valer com um tema depois de três meses de reflexão ou tentar identificar entre assuntos emergentes de seu campo de pesquisa aquele que mais desperta interesse pessoal. O trabalho foi pouco mencionado em outros artigos: recebeu apenas 14 citações, de acordo com a base de dados Web of Science, da empresa Thomson Reuters. Mas, ao contrário do que parece, teve um impacto notável. É um dos trabalhos mais populares do Mendeley, uma rede social acadêmica por meio da qual os usuários podem armazenar e compartilhar artigos em seus perfis e saber que papers estão despertando interesse de outros pesquisadores.

No Mendeley, o ensaio de Alon já foi baixado por 130 mil pessoas. Situação semelhante envolveu o presidente norte-americano, Barack Obama. Em julho, ele assinou um artigo sobre a reforma do sistema de saúde dos Estados Unidos no Journal of the American Medical Association (Jama). Recebeu apenas sete citações em trabalhos acadêmicos, mas foi mencionado em mais de 8 mil posts no Twitter e em 197 páginas no Facebook. “Esses casos são indicativos de que a forma como a ciência é publicada e divulgada está mudando com a expansão das mídias sociais”, avalia o biólogo Atila Iamarino, um dos criadores da rede de blogs científicos ScienceBlogs Brasil.

O número de citações que um artigo recebe em outros papers ou o fator de impacto de uma publicação são parâmetros consagrados para avaliar a relevância da produção científica. Nos últimos anos, contudo, despontaram novos indicadores dedicados a registrar o alcance da ciência entre públicos variados. Essa tendência fez surgir a altmetria (do inglês altmetrics, ou métricas alternativas), um ramo da cientometria que busca medir a influência da produção científica por meio da análise de menções em sites, redes sociais, número de downloads, compartilhamento de apresentações científicas em PowerPoint, entre outros exemplos.

O termo foi proposto pela primeira vez em um tuíte de setembro de 2010 por Jason Priem, então doutorando de ciência da informação da Universidade da Carolina do Norte, em Chapel Hill, nos Estados Unidos, e um dos criadores de uma ferramenta de código aberto que fornece dados altmétricos, o ImpactStory. Atualmente, vários serviços agrupam informações desse tipo. Antes mesmo de o termo ser cunhado, em março de 2009, a editora de periódicos de acesso aberto Public Library of Science (PLOS) criou o PLOS Article Level Metrics (PLOS ALM), sistema que utiliza uma variedade de indicadores, tais como estatísticas de uso, citações acadêmicas, menções em blogs ou em verbetes na Wikipedia e compartilhamento em redes sociais, para monitorar a influência de papers publicados em suas revistas sobre diferentes audiências.

Outras editoras seguiram o mesmo caminho. A holandesa Elsevier comprou em 2013 a Mendeley, que hoje reúne mais de 5 milhões de usuários. Recentemente, adquiriu a Social Science Research Network (SSRN), repositório de acesso aberto no qual mais de 300 mil pesquisadores de ciências sociais e humanas já divulgaram artigos e trabalhos ainda não publicados, os preprints (ver Pesquisa FAPESP nº 245). As duas aquisições buscaram ampliar os negócios da editora no mercado digital e fornecer novos indicadores a seus clientes.

O interesse crescente por métricas alternativas levou a Organização Nacional de Normas de Informação dos Estados Unidos (Niso, em inglês) a lançar um guia com diretrizes para a produção e disseminação das métricas alternativas. O documento, divulgado em fevereiro, enfatiza a preocupação em gerar indicadores precisos e estabelece que a origem das informações e a metodologia adotada para interpretá-las devem ser transparentes. O Wellcome Trust, fundação que financia pesquisa biomédica no Reino Unido, adotou parâmetros altmétricos para complementar a avaliação de pesquisas que financia. Um documento publicado no ano passado pela fundação ressalta que esses indicadores permitem acompanhar a repercussão de um artigo científico instantaneamente e mensurar um tipo de impacto das pesquisas no campo da saúde que costuma ser ignorado. Segundo o texto, a detecção precoce do interesse de cidadãos e de tomadores de decisão por certos temas de pesquisa ajuda o Wellcome Trust a encontrar pontos de conexão nas agendas da ciência e da política. “Há muita gente que lê e utiliza artigos científicos sem que isso resulte em citações, como profissionais da saúde, divulgadores científicos, estudantes, jornalistas e gestores públicos”, ressalta Iara Vidal Pereira de Souza, doutoranda do Programa de Pós-graduação em Ciência da Informação do Instituto Brasileiro de Informação em Ciência e Tecnologia (Ibict) e da Escola de Comunicação da Universidade Federal do Rio de Janeiro.

As novas formas de avaliar o alcance de uma pesquisa nem de longe substituem os meios tradicionais de medir a sua relevância. Sérgio Salles-Filho, professor do Departamento de Política Científica e Tecnológica da Universidade Estadual de Campinas (DPCT-Unicamp) e coordenador adjunto de Programas Especiais da FAPESP, ressalta que iniciativas como a do Wellcome Trust ainda são pontuais. “Em 2009, o Reino Unido adotou um novo sistema de avaliação da pesquisa, o Research Excellence Framework [REF], que segue fazendo grande uso de indicadores bibliométricos, como o número de citações, e é bastante baseado em avaliação por pares”, exemplifica.

Heterogeneidade
O espanhol Rodrigo Costas, pesquisador do Centro de Estudos para a Ciência e Tecnologia (CWTS) da Universidade de Leiden, na Holanda, chama a atenção para a heterogeneidade das fontes de indicadores da altmetria. “O Mendeley é basicamente um gerenciador de referências bibliográficas on-line utilizado por pesquisadores. O tipo de interação que observamos nessa plataforma é muito diferente de como os conteúdos são compartilhados no Twitter e no Facebook, que são mais propícios à disseminação de pesquisas de interesse do público em geral”, diz Costas. Para Fábio Castro Gouveia, pesquisador do Museu da Vida da Fundação Oswaldo Cruz (Fiocruz), mesmo entre o Facebook e o Twitter há nuanças que devem ser levadas em consideração. “No Facebook, as pesquisas que repercutem mais são aquelas com apelo popular. Já o Twitter é o mais utilizado por pesquisadores”, afirma.

Gouveia analisou, da perspectiva de métricas alternativas, os trabalhos publicados por pesquisadores da Fiocruz na revista PLOS One. No total, foram examinados 416 artigos, publicados entre 2007 e 2015, utilizando o sistema da Altmetric, empresa fundada em 2011 pelo especialista em bioinformática britânico Euan Adie, que oferece ferramentas para monitorar referências na internet a pessoas, corporações e artigos científicos. Também foi selecionada aleatoriamente uma amostra de controle de 500 artigos publicados na mesma revista, para efeito de comparação. Quando observado o desempenho dos artigos em páginas no Facebook, notou-se que o percentual de menções nessa plataforma foi de 15,4% para trabalhos da Fiocruz e 14,8% para a amostra de controle. Já no caso do Twitter, 56,5% dos artigos da Fiocruz receberam ao menos uma menção, diante de 46,6% dos artigos da amostra de controle. Apenas 2,4% dos artigos da Fiocruz foram citados em blogs, ante 5,4% da amostra de controle. “O de-sempenho altmétrico da Fiocruz parece acompanhar a tendência global. Por outro lado, impressionou o percentual de tuítes obtidos”, diz Gouveia. Em outro estudo publicado em fevereiro na revista Scientometrics, pesquisadores alemães utilizaram dados da Altmetric para identificar os países com o maior número de artigos compartilhados no Twitter. Os três primeiros no ranking são Dinamarca, Finlândia e Noruega. O Brasil aparece na 14ª posição (de um total de 22) à frente de países como China, Coreia do Sul, Índia e Japão. Segundo os autores, o Twitter é uma das redes sociais mais utilizadas por pesquisadores e, por isso, propõem a criação de um índice próprio para medir o impacto da produção nessa plataforma.

Pesquisa concluída recentemente analisou os 100 artigos com maiores escores altmétricos, a partir da base de dados SciELO, utilizando a ferramenta da Altmetric. Em vez de analisar os dados dos artigos, João de Melo Maricato, professor da Universidade de Brasília (UnB), debruçou-se sobre os perfis das pessoas que compartilharam os trabalhos no Facebook e no Twitter. Os perfis foram organizados em dois grupos: impacto acadêmico, que concentrou pessoas que se identificam como pesquisadores em seus perfis, e impacto social, reunindo aqueles que não se identificam como pesquisadores. Maricato observou fortes indícios de que o impacto medido pela altmetria ainda se concentra na relação entre cientistas. “Ainda assim, é interessante observar que 36% das ações de divulgação dos artigos foram feitas por perfis de não acadêmicos”, diz.

Outro resultado do estudo mostra que os artigos com maiores pontuações altmétricas foram os das áreas de ciências da saúde (57%), seguidos pelos das ciências sociais aplicadas (14%), ciências biológicas (13%), ciências humanas (11%) e ciências agrárias (5%). Segundo Maricato, as métricas alternativas parecem ajudar na avaliação da produção científica de pesquisadores que atuam em áreas sem muita tradição na publicação de artigos em periódicos internacionais, como é o caso das ciências humanas e sociais aplicadas. “Nessas áreas, os pesquisadores publicam mais em livros ou capítulos de livros e tendem a se concentrar em assuntos locais ou nacionais”, explica Maricato.

Pontuação
O sistema desenvolvido pela Altmetric é hoje um dos mais utilizados por pesquisadores que buscam gerar conhecimento a partir de indicadores alternativos. A empresa desenvolveu um sistema de pontuação, o Altmetric Attention Score, que indica o volume de atenção que o trabalho recebeu em diversas plataformas. Isso é medido pela quantidade de menções e compartilhamentos na internet e ponderado pelo peso atribuído ao perfil que dissemina o artigo nas redes sociais. Por exemplo, uma menção na página de um jornal de grande circulação pontua bem mais do que um tuíte.

De acordo com Euan Adie, da Altmetrics, uma alta pontuação não significa necessariamente que o artigo repercutiu de forma positiva, tampouco isso atesta sua qualidade. “Há casos de papers que foram muito comentados nas redes sociais devido a erros ou fraudes detectadas após a publicação”, lembra ele. Em outros casos, o artigo é amplamente disseminado na internet porque o assunto tratado é polêmico. Em 2014, por exemplo, Philippe Grandjean, da Universidade Harvard, nos Estados Unidos, e Philip Landrigan, pesquisador do Centro Médico Monte Sinai, em Nova York, publicaram um controverso paper na revista The Lancet que obteve uma alta pontuação, segundo a metodologia da Altmetric. No artigo, os autores sugerem que a humanidade enfrenta uma pandemia silenciosa causada por neurotoxinas encontradas em produtos de uso diário, como cosméticos, capazes de afetar o desenvolvimento do cérebro e contribuir para o aumento da prevalência de doenças como autismo e dislexia. O paper foi recebido com alarme na imprensa e seus resultados foram contestados por pesquisadores e sociedades científicas.

As métricas alternativas ainda estão em desenvolvimento, mas já apontam caminhos para mensurar melhor o impacto da ciência na sociedade. “A altmetria abre oportunidades para estudar novas perspectivas do acesso e da disseminação de publicações científicas em plataformas sociais na internet, alcançando audiências mais amplas”, conclui o pesquisador Rodrigo Costas.

Esta matéria foi originalemente publicada na Revista  Pesquisa Fapesp. 
​