Onde estamos com métricas responsáveis? E para onde podemos ir depois? Reflexões de dois eventos recentes

O ceticismo generalizado e a preocupação entre pesquisadores, universidades, órgãos representativos e sociedades científicas sobre o uso mais amplo de métricas na avaliação e gestão da pesquisa levou a esforços consertados para promover o "uso responsável" de tais métricas. Mas com que eficácia as instituições de ensino superior do Reino Unido estão envolvidas com essa agenda? Lizzie Gadd reflete sobre dois eventos recentes com métricas responsáveis. Embora seja claro que o setor permanece em estágio inicial, alguns progressos foram feitos, com o aumento dos signatários para a DORA sendo particularmente notável. No entanto, ainda há um caminho a seguir e muito a ser examinado, com as pessoas em última análise sendo a chave para conseguir isso.

Os eventos de métricas responsáveis ​​são como ônibus, parece. Nada por nove meses, e depois três no espaço de dez dias. Consegui chegar a dois deles (infelizmente, o workshop de métricas responsáveis ​​da Associação de Planificadores Estratégicos de Ensino Superior, chocados - sofisticados, dois ônibus no mesmo dia). O primeiro foi em 30 de janeiro, onde a Altmetric.com foi o anfitrião do evento Bibliometrics Responsável na prática da Lis-Bibliometrics  . O segundo, em 8 de fevereiro, foi Universidades do Reino Unido e HEFCE's  Turning the Tide: Mudando a Cultura de Métricas Responsáveis. David Price, presidente extrovertido do Fórum para Métricas Responsáveis, forneceu o discurso inicial no primeiro, e David Sweeney abriu o último, destacando-se Paul Ayris, apresentando os resultados do levantamento do Forum for Responsible Metrics sobre como o setor de ensino superior do Reino Unido foi envolvendo-se com esta agenda.

Não é meu propósito fornecer uma contagem de quem disse o que, como isso seria tedioso para nós. No entanto, queria oferecer minhas reflexões sobre onde eu penso que estamos e onde, na minha opinião não solicitada, podemos ir em frente.
 

1. As instituições de ensino superior do Reino Unido estão numa fase inicial com isto - ainda 

Se a pesquisa do Fórum nos mostrou qualquer coisa, foi que o Reino Unido, em geral, ainda não se envolve com frameworks para o uso responsável de métricas. Eu não quero roubar seu trovão enquanto planejam publicar os resultados de sua pesquisa em seu  site. No entanto, 75 dos 96 entrevistados (78%) disseram que não tinham uma política de métricas de pesquisa e, na opinião do Fórum, apenas quatro entrevistados haviam realizado um "conjunto abrangente de ações" para implementar métricas de pesquisa responsáveis ​​em suas instituições. O evento Lis-Bibliometrics mostrou uma tendência similar. Quando solicitado a se agrupar em grupos de "pássaros de uma pena", aqueles que estavam apenas "empacotando suas malas" para embarcar em uma métrica de métricas responsável formada pelo grupo maior. Dito isto, há claramente um grande interesse nisso. Ambos os eventos foram totalmente reservados com listas de espera, e eu entendo o evento Turning the Tide esgotado em 24 horas.

2. Quando as pessoas falam sobre métricas responsáveis, elas falam principalmente de bibliometria

O evento Lis-Bibliometrics foi, sem surpresa, focado em bibliometria responsável. Então eu estava interessado em ver como as conversas difeririam ao discutir o tema mais amplo de métricas de pesquisa responsável no evento UUK / HEFCE. Na verdade, as conversas dificilmente diferiram - especialmente quando os pesquisadores da carreira inicial tomaram o cenário. Houve uma discussão muito pequena sobre metas de renda de doação responsáveis ​​ou o Quadro de Excelência em Ensino ou Pesquisa Nacional de Estudantes. As principais métricas não biblio para obter uma transmissão foram os rankings universitários mundiais, mas, claro, as publicações e as métricas de citação desempenham um papel considerável nessas. Isso foi particularmente interessante para mim, já que a Universidade de Loughborough deliberadamente se concentrou em bibliometria responsável, com base no Manifesto de Leiden, ao desenvolver sua política. Outras instituições, como a Bath, optaram por ser mais amplas, de acordo com a abordagem da Metric Tide que abrangeu todas as formas de avaliação da pesquisa. No entanto, os três quadros foram algo confundidos nas discussões. Parece que, para a maioria das pessoas, é o uso de bibliometria para avaliação de pesquisa que pode causar mais danos. No entanto, como observou Evelyn Welch, não é apenas bibliometria ou mesmo métricas de pesquisa que podem levar a resultados ruins; As métricas de intercâmbio de ensino e conhecimento podem ser tão ruins.

Crédito: 23, 24 por Rob Shenk. Este trabalho está licenciado sob uma licença CC BY-SA 2.0 .

3. O aumento infatigável de DORA

No dia anterior ao evento Turning the Tide Event Research Councils UK, anunciou que se tornou o mais recente de uma longa fila de signatários cada vez mais importantes para a DORA. No dia em que David Sweeney confirmou que a Pesquisa e Inovação do Reino Unido não ficaria muito atrasada. Os dados do levantamento mostraram que outras 31 instituições estavam considerando assinar DORA, embora 12 considerassem isso e decidiram não prosseguir. Não acho que a pesquisa perguntou se as IES estavam considerando abordagens alternativas - como Leiden ou a Metric Tide -, embora fossem perguntadas se eles concordavam com seus princípios (resposta: amplamente sim). Como alguém que há muito expressou suas preocupações quanto à abrangência da DORA (apenas tem dois de seus princípios nas instituições, enquanto Leiden tem dez), devo confessar ficar um pouco desconcertada por isso. Para mim, DORA não tem a profundidade do Manifesto de Leiden e largura da The Metric Tide’s. Penny Andrews, estudante de doutorado na Universidade de Sheffield,

Eu só posso realmente colocar a ascensão de DORA para protagonistas e investimentos de alto perfil (DORA tem sua própria pessoa de marketing, Leiden não). Não é ruim. É melhor do que nada. E eu acho que a maioria dos signatários está vendo isso como um compromisso de alto nível para uma direção de viagem em métricas responsáveis ​​ao invés de um itinerário detalhado. (Na verdade, em um tweet recente, Stephen Curry sugeriu o primeiro sinal da HEI e pensa depois!)

No entanto, na minha opinião, nunca será o melhor produto no mercado, e é isso. Mas estou ciente de que eu possa começar a parecer um proponente solitário da Betamax, com o risco de terminar meus dias balançando em uma cadeira de escritório, soluçando "mas era uma solução muito melhor ..."

4. Não são apenas as IES que precisam se envolver com isso. Os financiadores, os rankings e os fornecedores devem estar todos sob escrutínio

OK - de mãos dadas, esse era o meu ponto. Mas certamente obteve algum tempo de antena em discussões reais e virtuais. Talvez seja porque eu trabalho para uma instituição que eu me sinto sensível ao empurrão de dedos pelo setor de HE tem sido sujeito a não se envolver com esta agenda, não assinar DORA e não publicar critérios de promoção. No entanto, as universidades apenas medem porque são medidas. Se os financiadores estão usando métricas estranhas ou - pior - desempenho de ranking mundial para alocar financiamento ou bolsas de estudos, as universidades podem acabar fazendo coisas estranhas.

Da mesma forma, ferramentas bibliométricas podem ser muito fáceis de usar de forma irresponsável e isso está fora da nossa jurisdição. No evento Lis-Bibliometrics, o fundador e diretor da Altmetric, Euan Adie, falou sobre dois "cop-outs" de fornecedores neste espaço, um dos quais foi "vamos apenas disponibilizar os dados e deixar a comunidade decidir o que fazer com ele ". Eles não vão, disse ele. Os fornecedores precisam garantir que seus produtos estejam de acordo com os princípios de métricas responsáveis ​​e sejam transparentes sobre suas limitações. Um tema em ambos os eventos foi a importância de métricas e dos fornecedores de serviços que co-projetaram com os usuários finais. Lis-Bibliometrics planeja começar a coletar feedback da comunidade sobre isso no futuro próximo.

5. Precisamos medir o que valorizamos

Em relação ao ponto anterior, ambos os eventos desceram rapidamente sobre a importância de  medir o que valorizamos e o fato de que nem tudo o que valoramos pode ser medido atualmente. Em termos de impacto na pesquisa, as citações não são a única fruta. Os membros do painel da Early-career em Turning the Tide foram rápidos em apontar que seu "melhor" trabalho não estava nos "melhores" periódicos e, muitas vezes, os resultados acadêmicos tiveram um impacto na indústria que nunca resultaria em citações. Penny Andrews deu um exemplo de uma peça que escreveu recentemente para a publicação Prospectcom uma circulação de milhares que foi tweetada por Harriet Harman -, mas não avaliada por figuras seniores em sua instituição da mesma maneira que um artigo em uma revista de alto impacto. No evento Lis-Bibliometrics, Katie Evans levantou a questão importante sobre como podemos encorajar a abertura de colegas com carreira inicial quando enfrentam tais pressões para publicar em periódicos geralmente fechados de "alto impacto". David Price sentiu que colegas seniores tiveram que liderar o caminho. Na UCL, apontou Paul Ayris, os critérios de promoção agora incluíam métricas de abertura. Os desafios de medir a abertura e as medidas abertas foram reconhecidos. Curiosamente, Lis-Bibliometrics planeja dar uma olhada nisso com mais detalhes em um evento futuro.

6. A crescente importância da revisão parental responsável

Todos os três quadros existentes para métricas responsáveis ​​falam sobre a necessidade de métricas para apoiar, não suplantar, avaliações de pares experientes - e é difícil argumentar com isso. No entanto, isso dá origem a duas questões: 1) o que o equilíbrio entre as métricas e a revisão pelos pares realmente pode ser? E 2) o quão responsável é a revisão por pares de qualquer maneira? Em Loughborough, realizamos recentemente um workshop de estratégia de publicação para acadêmicos de estágio, muitos dos quais eram novos no Reino Unido. Quando explicamos a abordagem de revisão por pares da REF, literalmente, ficaram chorando com o pensamento de que poderia realmente oferecer uma revisão de especialistas por especialistas no tempo disponível no intervalo de disciplinas cobertas. "Dê-nos métricas!", Gritou um, com base em pelo menos eles saberiam o que estavam lidando. Quando perguntado se alguma vez tinha tido orientação como revisores de periódicos muito poucos levantaram as mãos. Não surpreendentemente, então, temos situações como Daniel Graziotin, onde um único resultado de revisão de pares de periódicos variou de rejeitar, através de grandes correções para pequenas correções.

Se confiarmos na avaliação por pares como o "padrão-ouro" de avaliação de pesquisa para quais métricas devem curvar o joelho, acho que deveria estar sujeito ao mesmo nível de controle de uso responsável como métricas.

No evento Lis-Bibliometrics, David Price falou sobre o desafio que os painéis da REF enfrentaram ao lidar com viés inconsciente, incluindo a influência inconsciente da reputação da revista, e sugeriu que talvez os painéis fossem fornecidos apenas com o DOI, e não com a referência bibliográfica. Uma ideia excelente, penso eu. Como resultado da política de acesso aberto da REF , temos milhares de manuscritos aceitos pelo autor sem marca, sentados em repositórios institucionais - por que não fazemos uso deles?

7. É muito importante obter esse direito

Sou um grande fã deste ponto. O Adam Wright da Royal Society nos lembrou muito claramente os desafios de saúde mental enfrentados pelos acadêmicos. Ele citou um estudo da Universidade de Leeds, no qual 26% dos estudantes de doutorado relataram problemas de saúde mental no primeiro ano do seu doutorado, cifra que subiu para 48% ao ano. Evelyn Welch falou sobre a economia de prestígio em que os acadêmicos se sentem, e como eles estão constantemente avaliando-se e uns aos outros de forma explícita e implícita. Todos estamos conscientes das pressões da carga de trabalho e do fardo de quatro vezes (pesquisa, ensino, impacto, administração) que os acadêmicos têm. Neste ambiente altamente carregado e altamente pressionado, as conseqüências de obter métricas erradas podem, literalmente, ser fatais.

8. As pessoas são a chave para fazê-lo direito

O meu ponto final nos eventos Lis-Bibliometrics e UUK / HEFCE foi, em poucas palavras, que as métricas não podem ser responsáveis, apenas as pessoas podem. Esse sentimento ressoou claramente quando acabou como o tweet mais retweeted depois que Cameron Neylon o pegou:

Para usar os cinco princípios da Metric Tide, precisamos de pessoas robustas, humildes, diversas, transparentes e reflexivas, fazendo métricas. E o proprietário de qualquer política de métricas responsáveis ​​(e eles precisam de um proprietário) deve ser o mais responsável de todos. Como eu disse no evento Lis-Bibliometrics, uma organização só pode ser tão responsável como o tomador de decisões mais importante neste espaço. Tenho uma outra publicação no blog sobre isso, então não vou demorar no tópico aqui, mas basta dizer que as métricas responsáveis ​​são tão importantes quanto difíceis. Isso precisa ser a responsabilidade de pessoas bem informadas, bem conectadas e sábias - em universidades, financiadores, organizações de ranking e fornecedores - que realmente se importam com as vidas preciosas que ficam atrás dos números que estão agitando em suas planilhas.

Esta publicação do blog apareceu originalmente sob um título diferente no  blog do Bibliomagician e é publicada sob uma licença CC BY 4.0 .
 

Sobre o autor

Elizabeth Gadd  é Gerente de Política de Pesquisa (Publicações) na Universidade de Loughborough. Ela tem experiência em bibliotecas e pesquisas de pesquisa acadêmica. Ela é co-fundadora do Lis-Bibliometrics Forum e é o campeão do grupo de interesse especial ARMA Metrics.

Esta matéria foi originalmente publicada no LSE Impact Blog.