Medindo o impacto societal da pesquisa: referências à pesquisa sobre mudanças climáticas na literatura política relevante

Uma nova métrica oferece uma visão sobre o impacto social da pesquisa acadêmica, acompanhando as menções de publicações acadêmicas em documentos de políticas.Lutz Bornmann , Robin Haunschild e Werner Marx estudaram a utilidade dessa métrica, tomando como exemplo a pesquisa sobre mudanças climáticas e descobriram que apenas uma baixa porcentagem de artigos foi referenciada na literatura pertinente. Isso significa que a pesquisa não é relevante? Ou é um pouco um reflexo de baixos níveis de interação entre acadêmicos e formuladores de políticas? E o que mais os dados nos dizem sobre a probabilidade de a pesquisa acadêmica ser citada na literatura política?

Nos últimos anos, as medidas de impacto social da pesquisa acadêmica tornaram-se cada vez mais importantes. Esta tendência não é apenas visível pela sua consideração nos sistemas nacionais de avaliação (por exemplo, o Research Excellence Framework do Reino Unido), mas também no sucesso comercial dos fornecedores que fornecem dados altmétricos (por exemplo Altmetric ) que propõem que as pontuações altétricas podem ser usadas para medir o impacto social.

Em nosso recente estudo lidamos com uma forma relativamente nova de medição do impacto social. Recentemente, a Altmetric desenvolveu uma solução de mineração de texto (o Altmetric Policy Miner) para descobrir menções de publicações acadêmicas em documentos de política, a fim de descobrir a interação entre ciência e política. Por um lado, os governos destinam grandes quantias de dinheiro público a várias unidades (por exemplo, pesquisadores ou instituições) para várias formas de pesquisa. Em muitos países, o dinheiro público é distribuído pelo sistema de soft money, por meio do qual os pesquisadores formulam propostas de projetos e órgãos de financiamento decidem se devem aceitá-los ou rejeitá-los. Para os governos, a ciência acadêmica é uma seção de um sistema de pesquisa e desenvolvimento (P & D) vagamente definido, que abrange desde a ciência básica até o desenvolvimento tecnológico de mercado próximo. Por outro lado, cientistas independentes e ainda ativos aconselham as partes interessadas na área de política. O aconselhamento científico pode ser feito em interações diretas face-a-face ou indiretamente, pois os artigos escritos por cientistas (atualmente escritos para seus pares) são lidos por atores políticos e mencionados em documentos relacionados a políticas. O último tipo de interação pode ser medido pela nova fonte de dados oferecida pela Altmetric.

Crédito: Aquecimento Global por Paul VanDerWerf. Este trabalho está licenciado sob uma licença CC BY 2.0 .

Tomando um conjunto abrangente de publicações sobre mudanças climáticas como nosso exemplo, estudamos a utilidade da nova fonte de dados da Altmetric para medir o impacto social. Nós escolhemos a literatura sobre mudanças climáticas porque:

1. sites de políticas correspondentes são continuamente analisados ​​por Altmetric

2. Esperávamos observar muitas referências à literatura científica em documentos de política, uma vez que a mudança climática tem sido um tópico relevante para a política há muitos anos.

3. documentos políticos podem ser uma boa proxy para o impacto na seção da sociedade relacionada à política.

Estivemos especialmente interessados ​​nas características dos documentos mencionados nos documentos de política: esses trabalhos são publicados em determinados periódicos (por exemplo, periódicos populares como Nature e Science ), em certos anos de publicação (por exemplo, anos mais recentes) ou com certos tipos de documentos ( por exemplo, revisões)?

Construímos um conjunto de 222.060 artigos (artigos e resenhas apenas) sobre mudanças climáticas publicados entre 1980 e 2014 por meio de um sofisticado método de busca chamado 'formulação de consulta interativa' (uma explicação detalhada do procedimento).está disponível). Os DOIs (n = 191.276; 86,1% do conjunto completo de publicações) foram usados ​​para recuperar informações sobre menções de políticas da Altmetric através de sua interface de programação de aplicativos (API). Somente 1,2% (n = 2.341) dos artigos foram capazes de encontrar pelo menos uma menção de política. Este baixo percentual pode ser devido ao fato de que a Altmetric só recentemente começou a analisar documentos de políticas e a cobertura da literatura permanece baixa (mas deve ser estendida). No entanto, o baixo percentual também pode demonstrar que apenas uma pequena parte da literatura é realmente relevante para a política e a maioria dos trabalhos é relevante apenas para outros pesquisadores que estudam a mudança climática. Outras razões para a baixa porcentagem podem ser que os documentos de políticas não mencionam todos os documentos importantes nos quais um documento de política é baseado,

O baixo número de menções em documentos de políticas levanta ainda mais a questão sobre o que essa medida em particular realmente mede. É a relevância dos trabalhos acadêmicos? As menções refletem os esforços dos pesquisadores para interagir com os formuladores de políticas? Um relacionamento contínuo entre pesquisadores e formuladores de políticas? Ou os esforços de organizações políticas para fazer referência à pesquisa em documentos políticos?

A fim de descobrir que tipos de documentos são mais ou menos interessantes no contexto das políticas, comparamos a distribuição de artigos entre todos os documentos sobre mudanças climáticas (CCP) com os documentos sobre mudança climática mencionados pelo menos uma vez em documentos de política (CCP_P). Os resultados mostraram que a literatura sobre políticas tende a citar pesquisas publicadas há mais tempo do que os pesquisadores em seus artigos. Assim, os trabalhos de pesquisa parecem precisar de mais tempo para produzir impacto na política do que na própria pesquisa.

Como esperado, os artigos de revisão estão sobre-representados entre o CCP_P: o valor CCP_P observado é maior que o valor esperado entregue pela distribuição do CCP. Os artigos de revisão resumem os resultados de muitos trabalhos de pesquisa primários e conectam linhas de pesquisa de diferentes grupos de pesquisa. Em nosso estudo, revelamos ainda que trabalhos publicados em periódicos de alto impacto, como Nature e Science , bem como nas áreas "Terra e ciências ambientais relacionadas" e "Geografia social e econômica" são especialmente relevantes no contexto das políticas.

Nosso estudo foi uma primeira tentativa de estudar menções de publicações científicas em documentos de política; nós encorajaríamos estudos empíricos adicionais. Será interessante ver se mais artigos serão usados ​​nos documentos de políticas nos próximos anos (conforme aumenta a cobertura da literatura sobre políticas da Altmetric). Além disso, seria interessante gerar resultados de outras áreas de pesquisa relevantes para a política, a fim de fazer comparações com a pesquisa sobre mudanças climáticas. Em outros campos de pesquisa, mais ou menos de 1,2% das publicações serão mencionadas nos documentos de políticas? Os documentos de políticas de outros campos se concentram mais na literatura recente do que no caso das mudanças climáticas? Aguardamos as descobertas com interesse.

Esta postagem de blog é baseada no artigo dos autores,  'Documentos de políticas como fontes para medir o impacto social: com que frequência a pesquisa sobre mudança climática é mencionada em documentos relacionados a políticas?' , publicado em Scientometrics (DOI: 10.1007 / s11192-016-2115-y).

Sobre os autores:

Lutz Bornmann trabalha como sociólogo da ciência na Divisão de Estudos de Ciência e Inovação na Sede Administrativa da Sociedade Max Planck em Munique, Alemanha.

Robin Haunschild é químico e bibliométrico no Centro Científico para a Recuperação de Informações da Seção de Química Física Técnica da Sociedade Max Planck no Instituto Max Planck de Pesquisa do Estado Sólido em Stuttgart, Alemanha.

Werner Marx é aposentado, mas ainda trabalha como especialista em informação e convidado no Instituto Max Planck de Pesquisa do Estado Sólido em Stuttgart, na Alemanha.

Esta matéria foi originalmente publicada no LSE Impact Blog.