Analisando dados Altmetric em citações de pesquisa na literatura política - o caso da Universidade de Sheffield

Compartilhe!
LSE Impact Blog      uma das fontes de atenção que Altmetric.com rastreia é o número de vezes que os resultados da pesquisa foram citados na literatura política. " data-share-imageurl="http://observatorio.fiocruz.br/sites/default/files/photo-1416397202228-6b2eb5b3bb26.jpg">

Por LSE Impact Blog

Uma das fontes de atenção que Altmetric.com rastreia é o número de vezes que os resultados da pesquisa foram citados na literatura política. Andy Tattersall e Chris Carroll exploraram o caso da Universidade de Sheffield e o que os dados dizem sobre o impacto de sua pesquisa na política nacional e internacional. A porcentagem de resultados com pelo menos uma menção de política compara-se favoravelmente com estudos prévios, enquanto grandes variações foram encontradas entre o momento da publicação e o tempo da primeira citação política. No entanto, alguns problemas com a qualidade dos dados foram identificados, destacando a necessidade de um exame minucioso e corroboração.

Altmetrics oferece todos os tipos de insights sobre como uma pesquisa foi comunicada e citada. Em 2014, a Altmetric.com adicionou o acompanhamento de documentos de política a suas fontes de atenção, oferecendo uma outra visão valiosa sobre como os resultados da pesquisa são usados ​​pós-publicação. Na Universidade de Sheffield, pensamos que seria útil explorar os dados Altmetric.com para citações de documentos de políticas para ver o impacto que o nosso trabalho está tendo na política nacional e internacional.

Analisamos todas as pesquisas publicadas de autores da Universidade de Sheffield indexadas no banco de dados Altmetric.com; um total de 96.550 resultados da pesquisa, dos quais fomos capazes de identificar 1.463 obras publicadas citadas entre uma e 13 vezes na política. Isso representou 0,65% de nossos resultados de pesquisa. Destes 1.463 artefatos, 21 foram citados em cinco ou mais documentos de política, com a grande maioria - 1.185 documentos - tendo sido citados apenas uma vez. Nossa amostra comparou muito bem com estudos anteriores de Haunschild e Bornmann , que analisaram documentos indexados na Web of Science e descobriram que 0,5% foram citados em política, e Bornmann, Haunschild e Marx, que encontraram 1,2% das publicações de pesquisa sobre mudanças climáticas com pelo menos uma menção política. Na nossa amostra, encontramos 92 artigos de pesquisa citados em três ou mais documentos de política. Desses 92, descobrimos que a medicina, a odontologia e a saúde tiveram o maior impacto político, seguido pela ciência social e pela ciência pura.

Também queríamos explorar se a pesquisa publicada pela Universidade de Sheffield tinha um período de tempo limitado entre publicação e citação de políticas. Nós olhamos para o intervalo de tempo e descobrimos que variou de apenas três meses a 31 anos. Isso destacou uma longa discussão das publicações que influenciam a política, algo que teríamos lutado para identificar antes da Altmetric.com sem arrasto manual. A primeira pesquisa da nossa amostra a ser citada na política foi publicada em 1979 e levou até 2010 antes de receber sua primeira citação política. Verificamos manualmente os registros, pois encontramos muitas publicações pré-1979 que foram publicadas muito mais tarde, muitas vezes neste século. Isso é provável devido a dados mal informados no conjunto de dados institucional, dando uma data falsa; destacando a necessidade de verificar manualmente esses registros para autenticidade.

Os relatórios Altmetric.com são tão bons quanto os dados que analisam e nossa pesquisa revelou alguns erros. Olhando para esses 21 documentos com mais de cinco citações de documentos políticos, achamos que sete não eram adequados para inclusão. Um desses exemplos foi identificado quando descobrimos que trabalhos de pesquisa foram atribuídos à Universidade de Sheffield quando os autores não estavam, de fato, afiliados à universidade. Como esses dados são provenientes de nosso sistema de publicações de pesquisa, assumimos que este foi um erro cometido pelo autor; Isso pode acontecer quando os autores aceitam incorretamente como seus próprios documentos sugeridos pelo sistema. Embora este tenha sido quase certamente um erro genuíno, e talvez tenha sido corrigido mais tarde, o sistema ainda não havia atualizado para ter em conta tais correções. Outro desses documentos foi atribuído equivocadamente a um autor que não tinha envolvimento direto no trabalho, mas que fazia parte de um projeto de pesquisa mais amplo. Outra das publicações foi excluída devido a isso não, na verdade, tendo sido citado no documento político relevante. Um dos documentos que incluíram pertencia a um autor que não estava em Sheffield no momento da publicação, mas quem já se juntou à instituição. Isso mostrou que as atualizações regulares da Altmetric.com puderam descobrir informações institucionais atualizadas e realojar autores com seu empregador atual.

Os dois trabalhos mais citados vieram de nosso próprio departamento, da Escola de Saúde e Pesquisa Relacionada (ScHARR), no campo da economia da saúde. Apenas duas das 14 publicações mais citadas estavam em um campo diferente da economia da saúde ou economia pura, ambos em estudos ambientais. No total, os 14 resultados de pesquisa mais citados foram citados por 175 documentos de política, mas identificamos 9% (16) destes como duplicatas. Das 175 citações, encontramos que 61% (107) eram nacionais, ou seja, do Reino Unido e 39% (68) eram internacionais, ou seja, de países que não do Reino Unido ou de organismos internacionais, como as Nações Unidas ou a Organização Mundial da Saúde.

Altmetric.com continua a adicionar outras fontes de políticas ao seu banco de dados para redes de arrasto para citações. Como resultado, deve seguir-se que nossa amostra de 1.463 resultados da pesquisa não só crescerá com citações de políticas mais novas, mas como citações de pesquisa mais antigas são identificadas através de novas fontes políticas de atenção. Este trabalho também destaca a importância de resultados de pesquisa com identificadores únicos para que possam ser rastreados através de plataformas altmetric; é certo que mais de nossa pesquisa será citada na política, mas se nenhum identificador exclusivo for anexado, especialmente para saídas antigas, é improvável que o sistema Altmetric.com o apanhe.
 

Altmetric.com é um indicador muito útil de interesse e influência da pesquisa dentro da política global. No entanto, há problemas claros com a qualidade dos dados e como é atribuído aos dados subseqüentes da Altmetric.com. Descobrimos que um terço da nossa amostra dos 21 resultados de pesquisa mais citados foi erroneamente atribuído a uma instituição ou autor. Se isso é representativo de todo o conjunto de dados, apenas estudos adicionais serão descobertos. Por conseguinte, é essencial que as futuras explorações dos resultados das pesquisas e das citações dos documentos políticos sejam verificadas duas vezes e não tenham sido avaliadas.

Esta publicação no blog é baseada no artigo dos autores, " O que a Altmetric.com pode nos informar sobre as citação de políticas da pesquisa? Uma Análise de Dados Altmetric.com para Artigos de Pesquisa da Universidade de Sheffield ", publicado em Frontiers in Research Metrics and Analytics (DOI: 10.3389 / frma.2017.00009).

Crédito de imagem em destaque:  Andrea Enríquez Cousiño , via Unsplash (licenciado sob uma   licença CC0 1.0 ).

Nota: Este artigo dá as opiniões dos autores e não a posição do LSE Impact Blog, nem da London School of Economics. Por favor, reveja nossa política de comentários se você tiver alguma preocupação em publicar um comentário abaixo.

Sobre os autores


Andy Tattersall
 é um Especialista em Informação na Escola de Saúde e Pesquisa Relacionada (ScHARR) e escreve, ensina e fala sobre academia digital, tecnologia, comunicações acadêmicas, pesquisa aberta, ciência da web e da informação, aplicativos, altmetrics e redes sociais. Em particular, suas aplicações para pesquisa, ensino, aprendizagem, gerenciamento de conhecimento e colaboração. Andy recebeu um Prêmio do Senado da Universidade de Sheffield pelo seu trabalho pioneiro sobre MOOCs em 2013 e é um membro sênior da Academia de Educação Superior. Ele também é presidente do Instituto Agrícola de Professores de Biblioteca e Informação - Comitê de Mídia e Tecnologia da Informação. Andy foi listado como uma das Top 10 Superstars de Social Media de Jisc para 2017 no Ensino Superior. Ele editou um livro sobre altmetricspara Facet Publishing, destinado a pesquisadores e bibliotecários. Ele tweets @Andy_Tattersall e seu ID ORCID é 0000-0002-2842-9576 .


Chris Carroll
 é leitor na revisão sistemática e síntese de evidências na Universidade de Sheffield. Seu papel envolve principalmente a sintetização de dados publicados para ajudar a elaborar políticas, particularmente nos campos da medicina e da saúde, bem como o desenvolvimento de métodos para realizar esse trabalho. O ID de ORCID de Chris é 0000-0002-6361-6182 .

*Texto publicado originalmente no LSE Impact Blog

blogs.lse.ac.uk/impactofsocialsciences/2018/02/12/analysing-altmetric-data-on-research-citations-in-policy-literature-the-case-of-the-university-of-sheffield/

Tipo de em foco: 
Compartilhe!
LSE Impact Blog      uma das fontes de atenção que Altmetric.com rastreia é o número de vezes que os resultados da pesquisa foram citados na literatura política. " data-share-imageurl="http://observatorio.fiocruz.br/sites/default/files/photo-1416397202228-6b2eb5b3bb26.jpg">