Onde estão as estrelas em ascensão da pesquisa a trabalhar?: rumo a um olhar baseado em impulso sobre a excelência da pesquisa

Os rankings universitários tradicionais e os quadros de classificação são em grande parte um indicador do desempenho passado da equipe acadêmica, alguns dos quais conduziram a pesquisa para a qual eles são mais famosos em outros lugares. Paul X. McCarthy analisou dados bibliométricos para ver quais instituições de pesquisa estão acelerando mais rápido em termos de produção e impacto. Os mesmos dados também oferecem um vislumbre do futuro, ajudando a identificar os acadêmicos que podem ser as estrelas da pesquisa de amanhã.

Atualmente, verificamos o sucesso e o desempenho na pesquisa e no ensino superior através de um espelho retrovisor. E, como qualquer visão de um espelho retrovisor, os objetos podem parecer cada vez mais grandes do que realmente são. Instituições e estudiosos com fama e reputação de décadas atrás, muitas vezes continuam a dominar os principais rankings, reafirmando o que já sabemos: o status quo.

Ler muitos rankings da universidade pode ser um pouco como stargazing. Devido ao atraso na informação que atinge a Terra, buscamos as estrelas que passaram a sua antiga glória ou ainda não estão queimando. E, ao mesmo tempo, sentimos as estrelas emergentes e jovens que já estão ou estarão em breve. A maioria dos rankings universitários são representações mais precisas do passado do que o desempenho recente ou atual, pois são pesadamente ponderadas para incluir coisas como pesquisas de reputação que realmente refletem o impacto do trabalho realizado há muitos anos, ou o Prêmio Nobel e a Medalha de Campos contam onde o tempo entre os O trabalho avançado está sendo feito e o prêmio é muitas vezes mais de 20 anos.

Sir Andre Geim (foto) ganhou o Prêmio Nobel de Física 2010 por seu trabalho em grafeno, apenas nove anos depois de ser contratado como cientista na Universidade de Manchester. 
Crédito: Per Henning pela NTNU Faculdade de Ciências Naturais. Este trabalho está licenciado sob uma licença CC BY 2.0 .

E se houvesse outra maneira? Todas as instituições e estudiosos estão em movimento. Todos estão avançando, mas alguns mais rápidos do que outros. Como as coisas pareceriam se você enquadrasse a questão não em termos de quem mais publicou ou quem teve o maior impacto no passado recente, mas sim quem está acelerando o mais rápido e, portanto, é mais provável superar as classificações de amanhã?

Com base em uma coleção crescente de fontes de dados on-line emergentes e cada vez mais abrangentes, como Google Scholar, Microsoft Academic e League of Scholars, esta publicação mostra como o uso de novos dados e métricas pode iluminar o desempenho atualizado dos pesquisadores e instituições. Há também indícios de como podemos até mesmo vislumbrar aqueles pesquisadores e instituições com o maior potencial futuro.

Introduzido em 2004, o Google Scholar é um índice global abrangente de pesquisas e bolsas de estudo. Um estudo de comparação longitudinal e interdisciplinar publicado no ano passado mostrou que o Google Scholar era uma fonte mais abrangente de publicação e dados de citações em todas as disciplinas do que a Web of Science do Clarivate Analytics e os bancos de dados Scopus da Elsevier - as duas fontes tradicionais usadas nos três principais rankings universitários ( Classificação acadêmica das universidades mundiais , rankings universitários mundiais do Times Higher Education e rankings universitários mundiais QS ).

Figura 1: Web of Science, Scopus e cobertura de citação do Google Scholar por domínio. Fonte de dados: Harzing, AW. & Alakangas, S. (2016)
" Google Scholar, Scopus e a Web of Science: uma comparação longitudinal e interdisciplinar ",  Scientometrics .

A Microsoft Academic foi criada em 2006 como concorrente do Google Scholar e oferece um índice on-line aberto semelhante do trabalho acadêmico do mundo. A Microsoft Academic mostrou ser mais abrangente do que os índices bibliométricos tradicionais e recentemente sofreu uma revitalização enorme . A League of Scholars é um novo edifício de serviços on-line no Google Scholar e outras fontes para criar um índice atualizado do topo de um milhão de pesquisadores em todo o mundo, cada um classificado em desempenho recente e potencial futuro em 15.000 campos e tópicos.

Quais universidades têm o maior impulso? Uma nova abordagem para analisar o desempenho da pesquisa institucional

Considere como os investidores olham para o mercado imobiliário. Na maioria dos mercados, na maioria dos anos, a propriedade se valoriza em todos os lugares, mas alguns subúrbios crescem mais rápido do que outros. E é a mudança no crescimento ou na aceleração que muitos investidores clued-up procuram. Locais populares de beira-mar e rios, aldeias a uma distância razoável de cidades prósperas e subúrbios do interior da cidade submetidos à renovação urbana muitas vezes exigem prémios de crescimento maciço em comparação com o subúrbio médio.

Academia, como o mercado imobiliário, também tem a sua quota de superstars. Um pequeno número de acadêmicos excepcionais - os prêmios Nobel, por exemplo - são semelhantes a propriedades com fachada do rio ou vista para a praia e, naturalmente, nem sempre são representativas de toda a instituição. Por esse motivo, o crescimento nos valores médios (ou aqueles das casas de nível médio) é frequentemente citado como um guia melhor do que as médias, pois estes tendem a ser inflado pela presença de um punhado de superstars.

Figura 2: Momento do grupo Russell 2017 - crescimento anual na saída e impacto do mediano autor (tamanho do índice h-index da mediana). 
Dados provenientes do Google Scholar / League of Scholars.

Usando a análise da League of Scholars com base nos dados do Google Scholar, a Figura 2 mostra o crescimento do impacto e da produção dos autores médios das 24 universidades do Grupo Russell, em comparação com a mediana para autores em todas as universidades do Reino Unido. Aqui você pode ver o resultado e o impacto de todas as universidades do Grupo Russell crescendo generosamente, mas alguns - notadamente a Universidade de Exeter, a Universidade de Oxford, o Imperial College de Londres e a UCL - estão avançando mais rápido do que seus pares em termos de impacto e Queen's University Belfast, University of Southampton, University of Liverpool e University of Leeds estão superando as demais em resultados.

Esta abordagem também é valida quando comparada com os exercícios de avaliação de pesquisa do Reino Unido. Analisando os resultados do Exercício de Avaliação de Pesquisa de 2008 e os da mais recente Estrutura de Excelência em Pesquisa (o exercício de avaliação de pesquisa nacional de 2014), cada uma das universidades do Grupo Russell que aparece no maior quadrante de produção / impacto do índice momentum melhorou ou manteve sua classificação, com Exeter, King's College London, Southampton e Queen's University Belfast entre os maiores vencedores.

Figura 3: Classificações do exercício de avaliação de pesquisa das universidades do Grupo Russell 2008-2014.

Essas posições também se alinham com outros dados, incluindo o índice da Liga dos Estudiosos da localização de muitas das estrelas da pesquisa de amanhã. Usando a análise de dados e seu próprio índice Whole-of-Web (ou "WoW") - um ranking de estudiosos em mais de 15.000 tópicos de pesquisa, com o objetivo de prever seu potencial impacto futuro na pesquisa nessas áreas - não só para descobrir quem Os líderes de pesquisa de hoje são, além disso, também identificar pesquisadores de início de carreira com alto potencial para o futuro, muitos dos quais se tornarão líderes de pesquisa de amanhã. A Universidade de Exeter, em particular, tem uma proporção muito maior de estrelas "futuras" do que a média universitária do Reino Unido.

Figura 4: Onde as estrelas da pesquisa de amanhã chamam de casa? Porcentagem de autores de alto potencial (WoW-classificado). Dados provenientes do Google Scholar / League of Scholars.

Oportunidades futuras

O pesquisador bibliotecário líder e o co-fundador da Publish or Perish , Anne-Wil Harzing, descreveram como as métricas poderiam ser usadas para substituir os processos de revisão de pesquisa nacionais muito manual, longos e dispendiosos (por exemplo, o REF) com resultados semelhantes e, muitas vezes, melhores. Em duas horas, usando o software de publicação ou perecão gratuito para usar dados de citação de origem da Microsoft Academic, a Harzing conseguiu criar uma classificação baseada em citações de universidades do Reino Unido que se correlaciona com 97% com os rankings de poder REF 2014 .

Muitos outros, incluindo as cadeiras de cada um dos sub-painéis REF 2014, fizeram avisos públicos severos sobre as limitações das métricas e argumentam que a revisão pelos pares, apesar de seus desafios e custos, continua sendo a melhor maneira de avaliar a qualidade da pesquisa. E para algumas áreas onde as métricas atuais são escassas e mais fracas - especialmente nas artes, humanidades e algumas ciências sociais - isso ainda pode ser o caso por algum tempo.

No entanto, à medida que dados cada vez mais detalhados, atempados e globais estão disponíveis a partir de fontes on-line, incluindo Google Scholar, Microsoft Academic e League of Scholars, os líderes de pesquisa poderão obter perspectivas e idéias sobre o mundo móvel cada vez mais rápido e móvel pesquisar e pesquisar talentos de maneiras até então impossíveis.

Crédito de imagem em destaque: Árvores contra o céu roxo da noite  por Ryan Hutton, via Unsplash (licenciado sob uma   licença CC0 1.0 ).

Nota: Este artigo dá as opiniões do autor e não a posição do LSE Impact Blog, nem da London School of Economics. 

Sobre o autor

 Paul X. McCarthy é professor adjunto de informática na UNSW Sydney e co-fundador da League of Scholars. Seu livro Online Gravity (Simon & Schuster) explica como a web mudou as leis fundamentais da economia e dos negócios.

Esta matéria foi originalmente publicada no LSE Impact Blog.