Os pesquisadores de artigos acadêmicos consideram como significativos aqueles que não são altamente citados

Compartilhe!
LSE Impact Blog*   Por muitos anos, a academia tem contado com a contagem de citações como a principal maneira de medir o impacto ou a importância da pesquisa." data-share-imageurl="http://observatorio.fiocruz.br/sites/default/files/photo-1490599919369-8de48796218f_1_0.jpg">

Por LSE Impact Blog*
 

Por muitos anos, a academia tem contado com a contagem de citações como a principal maneira de medir o impacto ou a importância da pesquisa, informando métricas como o Fator de Impacto e o índice-h. Mas até que ponto essas métricas se alinham de fato com a avaliação subjetiva de impacto e significância dos pesquisadores? Rachel Borchardte Matthew R. Hartings relatam um estudo que compara as percepções dos pesquisadores sobre significância, importância e o que é altamente citado com os dados reais de citação. Os resultados revelam uma discrepância surpreendentemente grande entre as percepções de impacto e a métrica que usamos atualmente para medi-lo.

Academia, nós temos um problema. O que começou como uma tentativa de quantificar a qualidade da pesquisa se afastou de nós e assumiu vida própria. Esse problema não é particularmente novo; tem sido amplamente reconhecido por estudiosos e pesquisadores e, como resultado, está sendo discutido de forma mais aberta. O problema se resume em definir e medir o impacto.

Uma descrição simples para uma pesquisa impactante é uma pesquisa que é usada. Algumas pesquisas têm a capacidade de transformar a sociedade por meio de descobertas inovadoras, para impactar a política social e a regulamentação governamental por meio da análise de abertura de olhos e da capacidade de atrair a atenção pública com pesquisas relevantes para suas vidas, meio ambiente ou bem-estar. Ligadamente encadernados, tendemos a nos referir a esse tipo de pesquisa como “de alto impacto”, e isso se tornou o foco de muitas universidades, centros de pesquisa e administradores competindo pelo financiamento de subsídios, para atrair os melhores e mais brilhantes estudantes, e por prestígio e rankings.

No entanto, designar pesquisas como de alto impacto não é tão simples quanto parece. Por muitos anos, a academia tem contado com a contagem de citações como a principal maneira pela qual medimos o impacto ou a importância da pesquisa. Como resultado, a contagem de citações é uma das principais métricas usadas na avaliação de pesquisadores. As contagens de citações também formam a base para outras métricas, mais notavelmente o Fator de Impacto do Clarivate, bem como o índice h , que avalia respectivamente a qualidade / prestígio do periódico e o renome do pesquisador.

Citações, JIF e h-index têm servido como triunvirato de avaliação de impacto por muitos anos, particularmente em campos STEM, onde os artigos de periódicos são frequentemente publicados. Muitos estudos apontaram várias falhas com a confiança nessas métricas e, ao longo do tempo, uma infinidade de métricas baseadas em citações complementares foram criadas para tentar abordar várias proficiências. Ao mesmo tempo, vemos a altmetrics emergindo como uma alternativa ou complemento potencial para as citações, onde podemos coletar dados diferentes sobre as maneiras pelas quais a pesquisa é visualizada, salva e compartilhada on-line.

No entanto, o que é discutido com menos frequência é o quão bem todas essas métricas se alinham com a avaliação subjetiva de impacto e significado em si. Todos nós vemos as métricas como sinônimos de impacto e, por procuração, importância. Mas eles são?

Decidimos responder a essa pergunta pesquisando pesquisadores de química para avaliar suas percepções de importância, importância e materiais altamente citados. Em um post sobre o blog orientado a química de Matt, pedimos aos leitores que analisassem 63 artigos de uma edição do Journal of American Chemical Society e considerassem o #JACSChallenge . Pedimos a eles que identificassem até três artigos na edição que eles achavam que eram: os mais significativos (permitindo-lhes definir a significância que julgavam adequada); o mais altamente citado; os artigos que eles compartilham com outros químicos; e os artigos que eles compartilham mais amplamente. Analisamos dados de mais de 350 entrevistados.

Os resultados , apesar de não serem verdadeiramente surpreendentes, foram uma clara ilustração de como esses conceitos são diferentes. Para começar, os entrevistados escolheram artigos diferentes para cada uma das quatro questões, embora algumas questões tenham se correlacionado mais do que outras. Artigos significativos e altamente citados tiveram a maior correlação em 0,9, enquanto artigos para compartilhar com químicos e artigos para compartilhar amplamente tiveram a menor correlação em 0,64. Isso nos diz que nossos entrevistados vêem diferenças nessas diferentes abordagens para o que todos poderiam ser chamados de “pesquisa impactante”.

Tabela 1: Correlações entre as respostas dadas para cada questão. Esta tabela é retirada do artigo co-escrito pelos autores “ Percepção da importância dos documentos de pesquisa em química e comparação com as taxas de citação ” e é publicada sob uma licença CC BY 4.0 .

Mas talvez a descoberta mais surpreendente tenha sido quando começamos a comparar essas respostas às citações. Ao comparar as quatro questões com as contagens de citações 10 e 13 anos após a publicação dos artigos, as correlações variaram de 0,06 (artigos para compartilhar com os químicos) a 0,33 (artigos altamente citados). Isso mostra uma discrepância surpreendentemente grande entre as percepções de impacto dos pesquisadores e a métrica que usamos atualmente para medir o impacto.

Figura 1: Avaliações dos respondentes e citações (2013) por artigo. O painel superior mostra as seleções compostas de nossos entrevistados para a pergunta que pergunta quais documentos eles acham que tiveram mais citações (azul) e o número real de citações em 2013 (cinza). Os outros painéis também incluem o número de citações (cinza) juntamente com: seleções para mais significativo (verde), seleções para as quais devem ser compartilhadas com químicos (amarelo), que devem ser amplamente compartilhados (laranja) e índice h do autor correspondente (vermelho) para cada um dos manuscritos na edição do periódico. Este valor é retirado do artigo co-escrito pelos autores “ Percepção da importância dos documentos de pesquisa em química e comparação com as taxas de citação ” e é publicado sob uma licença CC BY 4.0 .

Por que essas correlações são tão baixas? Existem várias razões pelas quais a prática real de citação não está mais alinhada com a percepção do pesquisador, mas destaca como a percepção divorciada é da prática atual.

E agora? Acreditamos que este trabalho destaca claramente uma questão importante com métricas - eles não estão medindo o que todos comumente presumem que estamos medindo ou, pelo menos, não representando com precisão as percepções mais abstratas de impacto e importância que medimos em nossa pesquisa.

Como sugerido anteriormente, acreditamos que nossa pesquisa mostra que o impacto vai além da contagem de citações e além do impacto acadêmico. Artigos recentes, como o da PLoS Biology and Nature , também apresentam modelos de avaliação atuais para pesquisadores. Mas o que podemos fazer para mudar a prática atual?

Parte da responsabilidade recai sobre os avaliadores - os administradores, os “benchmarkers” dos rankings de prestígio universitário, os financiadores de subsídios. Mas a responsabilidade também recai sobre os pesquisadores e suas respectivas sociedades profissionais. Muitas sociedades profissionais têm declarações amplas e abrangentes sobre o papel das métricas na avaliação de pesquisadores nesse campo, mas achamos que há mais trabalho a ser feito.

Para a química, o campo de Matt, isso significa descrever melhor os tipos de impacto que os químicos podem ter, na academia e além, e colocá-los em um documento em que os químicos podem confiar quando solicitados a enviar seus corpos de trabalho para revisão, como durante posse e promoção. Para a biblioteconomia, o campo de Rachel, eles estão dando um passo adiante ao criar uma estrutura de avaliação que comunica claramente os tipos de resultados de pesquisa criados por bibliotecários acadêmicos e modelos para sua avaliação. Este tipo de estrutura é melhor demonstrado pelo Modelo Becker , criado para a comunidade biomédica, que destaca cinco diferentes áreas de impacto, incluindo impacto econômico e político, e descreve claramente os resultados da pesquisa e os modelos de avaliação para cada área de impacto.

Toda disciplina acadêmica seria bem servida ao dar uma boa olhada na produção da disciplina e fornecer uma orientação significativa sobre sua importância dentro das comunicações acadêmicas dessa disciplina, juntamente com as melhores práticas para sua avaliação apropriada. Simultaneamente, os pesquisadores também podem advogar por mudanças nas práticas de avaliação de pesquisa em suas instituições na forma de documentos de políticas atualizadas, incluindo diretrizes departamentais para posse e promoção, que reflitam com mais precisão suas pesquisas disciplinares e seu impacto.

Só então começaremos a preencher a lacuna entre a prática impactante “real” e a avaliação significativa da pesquisa.

Esta postagem de blog é baseada no artigo co-escrito pelos autores, “ Percepção da importância dos trabalhos de pesquisa em química e comparação com as taxas de citação ”, publicado no PLoS ONE (DOI: 10.1371 / journal.pone.0194903).

Crédito da imagem em destaque:  Dmitri Popov , via Unsplash (licenciado sob uma   licença CC0 1.0 ).

Nota: Este artigo fornece os pontos de vista dos autores, e não a posição do LSE Impact Blog, nem da London School of Economics. Por favor, reveja nossa  política de comentários  se você tiver alguma dúvida em postar um comentário abaixo.

Sobre os autores:


Rachel Borchardt
 é a bibliotecária científica da American University. Seus interesses de pesquisa concentram-se na interseção do impacto da pesquisa, métricas e bibliotecas, e ela é coautora do livro de 2015 da OA Métricas Significativas . Rachel espera ajudar a preencher a lacuna entre a pesquisa impactante e as práticas de avaliação de pesquisa.


Matthew R. Hartings
 é professor associado de Química na American University. Seus interesses de pesquisa incluem o desenvolvimento de novos materiais para biomineralização e impressão 3D. Matthew também investiu profundamente no avanço das maneiras pelas quais a ciência é comunicada pela comunidade química. Esses interesses se manifestam em uma variedade de atividades, desde o estudo da percepção de artigos de pesquisa até o envolvimento de não-químicos com alimentos e química culinária. Matthew publicou recentemente um livro, Chemistry in Your Kitchen , no qual ele explora a fascinante química que as pessoas fazem todos os dias em suas próprias casas.

*Texto publicado originalmente pelo LSE Impact Blog

http://blogs.lse.ac.uk/impactofsocialsciences/2018/05/14/the-academic-pa...

Tipo de em foco: 
Compartilhe!
LSE Impact Blog*   Por muitos anos, a academia tem contado com a contagem de citações como a principal maneira de medir o impacto ou a importância da pesquisa." data-share-imageurl="http://observatorio.fiocruz.br/sites/default/files/photo-1490599919369-8de48796218f_1_0.jpg">