Prova sobre promessa: movendo sistemas métricos de citação além do impacto de revista para uma abordagem de impacto na carreira

A publicação em uma revista de alto impacto traz a promessa implícita de que o artigo também será altamente citado. Mas a prova dessa lógica permanece sem fundamentação. Ao combinar métricas de citação mais precisas, como o índice hIa e a métrica citação por autor, por ano,  Anne-Wil Harzing e  Wilfred Mijnhardt  fornecem uma alternativa mais substancial à métrica restrita baseada em revista. Esta métrica combinada fornece uma comparação mais confiável entre acadêmicos, em diferentes disciplinas e em diferentes estágios de carreira.

Os economistas adoram classificar. Mesmo uma pesquisa casual de literatura de cinco minutos revela literalmente centenas de publicações sobre rankings de produtividade e impacto acadêmico. Os economistas holandeses não são uma exceção. Na verdade, eles produziram o que, para nosso melhor conhecimento, é o ranking mais antigo no campo: um ranking nacional de Economistas (The Economics top-40) que entrou em sua quarta década. No entanto, esse ranking é baseado no volume de publicação em revistas listadas no ISI, ponderadas pelo fator de impacto da revista ou pela pontuação de influência do artigo, e não pelo impacto real das publicações em questão.

Neste blog, explicaremos o valor agregado de um foco de impacto na carreira e vislumbraremos algumas implicações práticas para as escolas de negócios. Vamos mostrar que uma abordagem orientada por impacto usando o Google Scholar cria uma avaliação mais democrática e inclusiva.

Prova (impacto) e Promessa (revistas)

Em média, as publicações em periódicos de alto impacto, por definição, são citadas com mais freqüência do que publicações em revistas de baixo impacto, pois o fator de impacto da revista é baseado em citações comuns. Esta ainda é a lógica fundamental por trás da criação e manutenção da lista Journals por escolas de negócios e associações como o ABS. Chamamos esse princípio de "promessa", ou seja, a publicação em uma revista de alto impacto traz a promessa implícita de que o artigo também será altamente citado. No entanto, nem todos os trabalhos individuais publicados nessas revistas de alto impacto atenderão a essa promessa. Em nosso documento Prova sobre promessa: Rumo a um ranking mais inclusivo de acadêmicos holandeses em Economia e Negócios, portanto, criamos um ranking baseado em "prova", ou seja, ao invés de olhar para o número prometido de citações implícitas no fator de impacto da revista ou na pontuação de influência do artigo, analisamos citações reais para o trabalho de um autor.

Crédito da imagem: George Peabody Library de  Matthew Petroff   (Wikimedia,  CC BY-SA 3.0 )

​Apresentando duas novas métricas de impacto com foco individualizado na carreira

Em nosso artigo, usamos duas métricas relativamente novas, as citações por autor, por ano (CAY) e o índice anual individual h (hIa, veja Harzing, Alakangas & Adams, 2014 para detalhes). Essas duas métricas são os equivalentes individualizados e anualizados das citações totais, respectivamente, e o índice h tradicional, duas importantes medidas bibliométricas. Corrigimos nossas métricas para o número de co-autores, pois o número de co-autores influenciam positivamente tanto o número de publicações que um acadêmico é capaz de publicar quanto o número de citações. Uma correção para o número de anos que um acadêmico tem atuado é importante, já que as citações continuam a aumentar ao longo de uma carreira acadêmica.
 

Impacto na carreira: foco independente do campo na contribuição

Neste blog, focamos o índice hIa, que é calculado dividindo o índice h individual (um índice h corrigido pelo número de co-autores) pelo número de anos que um acadêmico tem estado ativo, ou seja, o número de anos que caducaram desde sua primeira publicação. A métrica representa assim o número médio de artigos "impactantes" de autor único que um acadêmico publicou por ano e, portanto, permite uma interpretação intuitiva. Com base em um exemplo empírico de 146 acadêmicos em cinco disciplinas principais em diferentes estágios de carreira, Harzing, Alakangas & Adams (2014)mostrou que o índice hIa atenua as diferenças do índice h que são puramente atribuíveis a práticas de co-autoria e práticas (disciplinares) e comprimentos de carreira. Como tal, esta métrica fornece uma comparação mais confiável entre acadêmicos em diferentes disciplinas e em diferentes estágios de carreira do que o h-index.

Um segundo aspecto do nosso foco na prova sobre a promessa é o uso do Google Scholar em vez do ISI como fonte de dados. Embora a lista de ISI seja vista por muitos como implicando um selo de qualidade, na nossa opinião não deve importar onde a pesquisa seja publicada. Se um produto de pesquisa específico é altamente citado, ele influencia claramente o campo e isso deve ser mais importante do que o jornal no qual ele é publicado. Como Google Scholar por si só não é muito adequado para análises bibliométricas, Publish or Perish ( Harzing 2007 ) foi usado para coletar dados de citações do Google Scholar. Atualmente, existem mais de 500 artigos publicados referentes ao programa Publish or Perish. Isso indica que - apesar de suas limitações - o Google Scholar é percebido como uma fonte útil de dados bibliométricos.

Classificação resultante da Economia e Negócios na Holanda

O ranking resultante de acadêmicos em Economia e Negócios nos Países Baixos (ver Harzing & Mijnhardt, na imprensa para detalhes) é substancialmente diferente do ranking original baseado em publicações e é mais inclusivo em termos de disciplinas, idade e afiliação.

• Considerando que, na Economia original baseada em publicação, mais de dois terços dos trabalhos acadêmicos listados em Ciências Econômicas e de Gestão, essa proporção é reduzida para 43% no ranking hIa. A mudança na composição disciplinar é particularmente impressionante no top-20. Na revista Economics top-40, três quartos dos acadêmicos do top-20 eram economistas, no PoP hIa top-40, isso é reduzido para pouco mais de um terço.

• Aos 47 anos, a idade média no hIa top-40 é menor do que no ranking original (50), mas o mais notável é a adição de cinco acadêmicos adicionais abaixo de 40 e outros cinco entre 40 e 45 anos. De fato, todos, exceto três dos acadêmicos recém-listados neste top-40 com idade igual ou inferior a 45 anos.

• Nos primeiros 40 acadêmicos originais afiliados com Erasmus e Tilburg inventaram um pouco mais ou menos da metade da lista, no hIa top-40, isso é reduzido para um terceiro. Além da Universidade de Utrecht, todas as universidades estão representadas no hIa top-40. Maastricht, Eindhoven e a UvA (Universidade de Amesterdão), em particular, fazem muito melhor em rankings baseados em citações do que nos top-40 originais baseados em publicação.

 Argumentamos que nossa abordagem de "prova sobre promessas" é mais "democrática" / inclusiva do que a economia original dos top-40. Em primeiro lugar, expandindo o tipo de resultados de pesquisa considerados além do escopo estreito de publicações em revistas listadas no ISI, removemos o viés disciplinar contra Gestão, Marketing e Contabilidade e Finanças, disciplinas em que uma menor proporção de revistas de alta qualidade é ISI- listados do que na Ciência da Economia e Gestão ( Harzing & van der Wal, 2009 ).

Em segundo lugar, as métricas de desempenho baseadas em citações podem ser argumentadas como sendo mais democráticas, pois seu "veredicto" é baseado na recepção do artigo pela comunidade acadêmica como um todo, enquanto a aceitação em uma revista de alto impacto depende apenas de um punhado de gatekeepers (o editor e os revisores).

Em terceiro lugar, nosso ranking foi conduzido com um programa de software gratuito (Publish or Perish) e um banco de dados disponível publicamente (Google Scholar). Portanto, qualquer leitor pode facilmente replicar o ranking sem a necessidade de bancos de dados baseados em assinatura. Isso também significa que qualquer acadêmico pode procurar seu próprio registro de citações e descobrir facilmente onde eles marcam no ranking atual.

Em quarto lugar, os rankings baseados em citações e, em particular, o ranking hIa provavelmente fornecerão classificações mais dinâmicas em termos de mudanças ao longo dos anos. Os acadêmicos mais jovens podem entrar mais facilmente no ranking da HIa se eles tiverem um bom desempenho em relação ao seu comprimento de carreira em termos de documentos impactantes equivalentes de autor único.

Quanto a outras métricas de pesquisa, o índice CAY ou hIa nunca deve ser usado como o único critério para avaliar acadêmicos. Outra questão crucial que sempre deve ser feita é: "O estudioso fez uma pergunta importante e a investigou de tal maneira que tenha potencial para promover a compreensão e o bem-estar da sociedade?" (Veja, por exemplo, Adler e Harzing, 2009 ). No entanto, argumentamos que o índice hIa fornece uma perspectiva adicional importante além de uma classificação baseada exclusivamente em publicações em revistas de alto impacto sozinhas.

Implicações para escolas de negócios

Usando métricas como CAY e hIa, as escolas de negócios podem se afastar da lógica baseada em diário e começar a pensar a partir de uma lógica de impacto. Isso poderia ter consequências importantes para as políticas de incentivo, principalmente para professores seniores. Recomendamos que os deaneses das escolas de negócios comecem a avaliar seus professores seniores desde uma perspectiva de impacto, em vez da avaliação estreita baseada em revista. Esta abordagem não é apenas mais inclusiva, também é mais democrática e dá mais oportunidades para que a diversidade floresça, especialmente nas escolas de negócios com um histórico diversificado de ciências sociais.

Mais detalhes: Harzing, AW; Mijnhardt, W. Proof over promise: Rumo a um ranking mais inclusivo de acadêmicos holandeses em Economia e Negócios, em imprensa para Scientometrics, DOI: 10.1007 / s11192-014-1370-z, versão prépublicação disponível em  http: //www.harzing. com / papers.htm # top40

Sobre os autores

Anne-Wil Harzing é professora de pesquisa e consultora de desenvolvimento de pesquisa da ESCP Europe e professora de gestão internacional da Universidade de Middlesex. Os seus interesses de pesquisa incluem relações internacionais de GRH, HQ-subsidiária, o papel da linguagem nos negócios internacionais e a qualidade e impacto da pesquisa acadêmica. Desde 1999, ela mantém um extenso site ( www.harzing.com ) com recursos para administração internacional e publicação acadêmica.

Wilfred Mijnhardt é Diretor de Políticas na Rotterdam School of Management e Diretor Executivo do Erasmus Research Institute of Management (ERIM) na Erasmus University Rotterdam, um dos principais institutos de pesquisa da Research in Management in Europe. Ele publica um weblog " Research Management in Management Research " e compartilha suas idéias em mídias sociais @wmijnhardt

Esta matéria foi originalmente publicada no LSE Impact Blog.