Tornar visível o impacto de pesquisadores que trabalham em outros idiomas além do inglês: desenvolvendo o índice PLOTE

Compartilhe!
LSE Impact Blog*   conforme descrito no Manifesto de Leiden, se o impacto é entendido em termos de citações a publicações internacionais, é criado um viés contra a pesquisa que é regionalmente focada e envolvida com problemas da sociedade local." data-share-imageurl="http://observatorio.fiocruz.br/sites/default/files/download_1.jpeg">

Por LSE Impact Blog*

 

Conforme descrito no Manifesto de Leiden, se o impacto é entendido em termos de citações a publicações internacionais, é criado um viés contra a pesquisa que é regionalmente focada e envolvida com problemas da sociedade local. Isso é particularmente crítico para pesquisadores que trabalham em contextos com outros idiomas além do inglês. Peter Dahler-Larsen desenvolveu o índice PLOTE, um novo indicador que espera capturar variações na capacidade dos pesquisadores de espalhar seu impacto para além da área da língua inglesa.

Todos estão tão interessados ​​no impacto da pesquisa que os dilemas e conflitos subjacentes entre as várias formas de impacto são ignorados. Como o Manifesto de Leiden afirma, se o impacto é entendido como o número de citações de publicações internacionais no Web of Science, um viés é criado contra a pesquisa que é regional e localmente envolvida na resolução de problemas da sociedade. Esse dilema, que muitas vezes não é debatido, pode ser particularmente pertinente nas ciências sociais e humanas e ainda mais crítico para pesquisadores que trabalham em contextos com outras línguas além do inglês (LOTE).

Existem razões convincentes para publicar em inglês. Revistas internacionais têm alta reputação, árbitros sofisticados e circulação mais ampla. No entanto, existem formas respeitáveis ​​de impacto que ocorrem nos contextos LOTE. Os pesquisadores se engajam em influenciar os formuladores de políticas, avaliar políticas, fazer recomendações de políticas, informar debates locais, desenvolver capacidades em governos locais e ONGs, educar os cidadãos no pensamento científico e manter uma linguagem local capaz de lidar com questões societárias complexas. Eu me perguntei se um novo indicador poderia ser construído, o que exibe variações no impacto da pesquisa nas áreas de linguagem. Como os pesquisadores espalham seu impacto em inglês e LOTE?

Eu inventei um índice simples: o índice PLOTE . Mede a porcentagem de citações que fluem de publicações no LOTE, em comparação com citações de todas as publicações. Empiricamente, a maioria dos pesquisadores trabalhando em contextos LOTE terá pontuação entre 0 e 100; quanto maior a pontuação, mais suas citações fluem de publicações no LOTE. Na prática, as variações no PLOTE revelam variações na capacidade dos pesquisadores de espalhar seu impacto para além da área da língua inglesa (aquela normalmente aceita como certa).

Para mostrar a relevância prática dessas variações, calculei o índice PLOTE para 40 professores de ciência política na Dinamarca. Na Figura 1, você pode ver as pontuações do PLOTE plotadas em relação ao número total de citações do Google Acadêmico. O trade-off entre os dois é fácil de ver, como a maioria dos pesquisadores são encontrados perto da base de um dos eixos. A maioria dos pesquisadores que buscam altos números de citações rasteja ao longo do eixo horizontal. Isso não é difícil de entender. (Uma publicação em inglês obtém 18 citações em média, enquanto uma na LOTE recebe apenas duas.) No entanto, não sabemos se as publicações em inglês são citadas mais por causa de sua qualidade ou por causa de sua circulação mais ampla. Talvez ambos.


Figura 1: Citações e índice PLOTE. Este número é retirado do artigo do autor, “ Disponibilização de citações de publicações em outras línguas além do inglês: Sobre a viabilidade de um índice PLOTE ”, publicado em Research Evaluation (2018).

A maioria dos pesquisadores com altos índices de PLLO não possui muitas citações. Se você olhar com cuidado, no entanto, você encontrará um punhado com pontuações altas no PLOTE (cerca de 40) que ainda têm um número total de citações na faixa de 2.000 a 5.000. A conclusão é que o caminho para o reconhecimento internacional geralmente passa por uma baixa pontuação PLOTE, enquanto um pequeno grupo de pesquisadores tenta ser bem-sucedido em ambas as dimensões.

Ao mesmo tempo, paralelamente ao forte foco bibliométrico na publicação internacional, existe uma agenda política de pesquisa contemporânea que enfatiza a importância da interação com os atores locais e nacionais, a pesquisa colaborativa, a participação em assuntos públicos e assim por diante. À luz desta última preocupação, um índice PLOTE alto pode ser um resultado de ser responsivo a esta agenda.

O dilema se intensifica se você observar as pontuações do PLOTE nos subcampos da ciência política (Tabela 1). Em subcampos que já são tematicamente internacionais (como relações internacionais e estudos da UE), o PLOTE é esperado baixo (3-5%). Em contraste, os pesquisadores da administração pública têm um índice PLOTE médio de 32, quase dez vezes maior do que os grupos mencionados anteriormente. Isso não é surpreendente, pois os pesquisadores da administração pública escrevem livros-texto, relatórios de avaliação e documentos cinzentos no LOTE, bem como manuais e guias para organizações públicas. Uma divisão de trabalho entre subdisciplinas não é em si um problema. No entanto, se a avaliação da pesquisa, as decisões de recrutamento e as estratégias departamentais forem baseadas em medidas bibliométricas convencionais, a vida será sistematicamente mais difícil para pesquisadores em subdisciplinas com altos escores de PLOTE. A menos, claro, que eles busquem um perfil mais internacional, talvez à custa de sua pontuação PLOTE.

 
Subcampo No. de professores Plotagem Média
Relações Internacionais 10 3,06
Estudos da UE 4 5,04
Comportamento político e instituições 6 11,29
Políticas comparativas 10 13,75
Estudos de bem-estar e mercado de trabalho 5 15,21
Administração pública 4 32,36
Tabela 1: Índice de PLOTE médio em subcampos da ciência política entre 39 professores. Nota: inclui professores que poderiam ser agrupados em subcampos com mais de quatro membros. Ninguém poderia ser colocado em tal grupo. Dados retirados do trabalho do autor, “ Disponibilização de citações de publicações em outros idiomas além do inglês: Sobre a viabilidade de um índice PLOTE ”, publicado em Research Evaluation (2018).

Diante de dilemas tão genuínos, não creio que haja qualquer número mágico em particular que represente a pontuação perfeita do PLOTE. No entanto, se o PLOTE for medido e as variações mostradas, os dilemas para pesquisadores trabalhando em contextos LOTE podem ser apreciados e levados em conta na avaliação de pesquisa, recrutamento e elaboração de estratégias.


Como o PLOTE é calculado

Para calcular as pontuações reais do PLOTE, usei o Google Acadêmico. Uma objeção justa é que o Google Acadêmico não mede todo o impacto, apenas algumas citações de publicações. Isso é verdade. No entanto, muitas vezes descobri que minhas publicações no LOTE (no meu caso, em dinamarquês) são veículos para minhas tentativas de influenciar um debate, avaliar iniciativas públicas, construir capacidade, educar cidadãos etc. Se essas publicações são citadas, pelo menos elas são notado. O Google Scholar capta uma gama muito mais ampla de citações do que os mecanismos bibliométricos convencionais. Portanto, o Google Scholar também faz um trabalho relativamente melhor ao descrever citações em várias áreas de idiomas. O Google Scholar sacrifica a validade e a confiabilidade para alcançar a abrangência, mas funciona bem para o índice PLOTE, já que não estou interessado na precisão de um dado número,


Esta postagem de blog é parcialmente baseada no artigo do autor, “ Disponibilização de citações de publicações em outros idiomas além do inglês: Sobre a viabilidade de um índice PLOTE ”, publicado em Avaliação de Pesquisa (DOI: 10.1093 / reseval / rvy010).

Crédito da imagem em destaque: mapa da biblioteca de Stanford do mundo na projeção de Mercatorpelo Centro de Mapas Norman B. Leventhal (licenciado sob uma licença CC BY 2.0 ).

Nota: Este artigo fornece as opiniões do autor e não a posição do Blog de Impacto do LSE, nem da London School of Economics. Por favor, reveja nossa  política de comentários  se você tiver alguma dúvida em postar um comentário abaixo.

Sobre o autor:
 


Peter Dahler-Larsen
  é professor do Departamento de Ciências Políticas da Universidade de Copenhague, onde é o líder do CREME (Centro de Pesquisa em Avaliação, Medição e Efeitos). Ele é o autor de  The Evaluation Society  (Stanford University Press, 2012).

*Texto publicado originalmente pelo LSE Impact Blog

http://blogs.lse.ac.uk/impactofsocialsciences/2018/06/13/making-visible-...

 

Tipo de em foco: 
Compartilhe!
LSE Impact Blog*   conforme descrito no Manifesto de Leiden, se o impacto é entendido em termos de citações a publicações internacionais, é criado um viés contra a pesquisa que é regionalmente focada e envolvida com problemas da sociedade local." data-share-imageurl="http://observatorio.fiocruz.br/sites/default/files/download_1.jpeg">