Os revisores de pares precisam de mais nutrição

Compartilhe!
Richard Catlow - Nature       Richard Catlow explica por que três sociedades científicas nacionais estão pedindo que os avaliadores da pesquisa sejam altamente valorizados e treinados." data-share-imageurl="http://observatorio.fiocruz.br/sites/default/files/esquema-revisc3a3o-por-pares.gif">

Por Richard Catlow - Nature 


 

Quando a revisão por pares está quebrada, o mesmo acontece com a ciência. É por isso que esta semana, três academias científicas nacionais - a Academia Francesa de Ciências, a Leopoldina alemã e a Sociedade Real do Reino Unido - estão emitindo uma declaração conjunta sobre como garantir que a avaliação da pesquisa seja bem feita. Esta é a primeira vez que as sociedades falaram sobre o assunto, e fazem isso a pedido de Carlos Moedas, o comissário da União Européia para pesquisa, ciência e inovação. Como secretário estrangeiro da Royal Society, ajudei a juntar esta declaração. Espero que isso influencie todos os envolvidos na avaliação de cientistas para promoção, posse e prêmios.

Nossa principal recomendação é que a revisão por pares continue a ser a pedra angular da avaliação. Deve ser realizada por pessoas que são colegas competentes - e que são reconhecidas como tal. Esses revisores precisam de tempo e treinamento para examinar cuidadosamente as contribuições científicas, sem depender de resumos bibliométricos. Para fazer isso acontecer, devemos tratar a experiência de avaliação como um recurso valioso.

Se a avaliação for para funcionar bem, é importante não avaliar demais. Muito tempo é gasto revisando e revendo. No Reino Unido, por exemplo, vimos um crescimento das revisões intercalares para grandes projetos. É claro que precisamos verificar se esses projetos estão no bom caminho, mas avaliações intensas drenam o tempo de cientistas seniores, tornando-os menos disponíveis para avaliações mais importantes. Precisamos ter mais confiança nas pessoas escolhidas para liderar grandes projetos. Verificações modestas podem avaliar se o trabalho está a decorrer bem e desencadear investigações mais completas quando existem sinais de problemas.

A confiança nos revisores também é importante. Os selecionados para realizar uma revisão por pares devem ser estimados pelos indivíduos e comunidades que avaliam. A especialização relevante deve ser o principal critério - os cientistas devem sentir que suas propostas ou contribuições foram avaliadas com precisão porque os revisores vieram da disciplina correta. E os especialistas chamados para realizar avaliações não podem ser um clube fechado, cujos membros podem estar inclinados a escolher pessoas como elas mesmas . A excelência é a qualificação principal, de modo que gênero, raça, etnia, deficiência, orientação sexual, idade e assim por diante não devem ser barreiras à inclusão em um painel de avaliadores. Aumentar o número de pessoas que são convidadas a rever também assegurará que os revisores não estejam tão estreitos numa linha de pensamento.

As sociedades e as instituições devem tomar medidas para criar conhecimentos de revisão. Nosso sistema atual pressupõe que os cientistas simplesmente aproveitarão as habilidades necessárias. Mas os revisores precisam ser treinados em como pensar sobre a contribuição conflitante dos árbitros e como comparar projetos e propostas em diferentes campos. Eles também devem ser avisados ​​contra temas muito gratificantes que estão atualmente na moda. Eles devem ser ensinados sobre viés inconscientes e técnicas para se protegerem contra eles. Alguns programas para isso já estão em vigor: o Conselho de Pesquisa de Engenharia e Ciências Físicas do Reino Unido, por exemplo, executou mesas simuladas e pediu aos revisores novatos para avaliar projetos usando propostas e informações de painéis anteriores.

Seguir estas recomendações nos prepararia para enfrentar o que, a meu ver, é o aspecto mais preocupante da avaliação da pesquisa: a excessiva dependência das métricas. Isso distorce os programas de pesquisa de cientistas da carreira inicial. Eu vi colegas mais jovens, no que deveria ser um estágio altamente criativo de suas carreiras, incline suas pesquisas em tópicos que acreditam que irão acumular um grande número de citações e aparecerão em revistas com fatores de alto impacto. A evidência sugere que questões importantes são negligenciadas como resultado.

Eu tive sorte. Quando eu comecei minha carreira científica na década de 1970, não tinha um senso real de como meu trabalho foi citado. Minha disciplina - química de materiais computacionais - foi apenas reconhecida pelos químicos convencionais. Se eu tivesse sido conduzido por citação, eu poderia ter abandonado um campo que é agora central para o desenvolvimento de materiais sofisticados, incluindo catalisadores porosos, cerâmicas eletrônicas e materiais ionicamente condutores. Na década de 1990, quando os dados de citações se tornaram proeminentes, eu já era professor titular.

As métricas não podem ser um proxy de expertise . Eu presidi o painel de química do 2014 Research Excellence Framework, que avaliou as unidades de pesquisa nas universidades do Reino Unido. Os revisores leram os trabalhos reais, bem como analisando os dados de citações. A bibliometria deve ser apenas uma vertente de evidência.

Da mesma forma, os fatores de impacto nos dizem sobre uma revista; eles não podem ser usados ​​como uma medida da qualidade de um artigo individual nessa revista. Foi há cinco anos atrás, neste mês, que membros da comunidade científica lançaram o que agora é conhecido como a Declaração de São Francisco sobre Avaliação de Pesquisa, argumentando contra o uso de métricas baseadas em revistas para defender a qualidade de cientistas individuais. Quase 900 organizações assinaram, mas mudanças reais de comportamento têm sido lentas. Eu vi casos recentes em que os candidatos à promoção foram obrigados pela sua universidade a dar os fatores de impacto das revistas que publicaram. Os revisores examinados e inseguros alcançam a bibliometria porque são fáceis e quantitativos. O ímpeto para a mudança não virá de mais argumentos contra eles, mas de libertar e criar mais capacidade humana para avaliação de pesquisa. Espero que a Declaração das Três Academias deste mês incentivem líderes acadêmicos e financiadores científicos a fazê-los.

doi: 10.1038 / d41586-017-08289-z

*Texto publicado originalmente pela Nature 

https://www.nature.com/articles/d41586-017-08289-z?utm_source=FBK_Nature...

Tipo de em foco: 
Compartilhe!
Richard Catlow - Nature       Richard Catlow explica por que três sociedades científicas nacionais estão pedindo que os avaliadores da pesquisa sejam altamente valorizados e treinados." data-share-imageurl="http://observatorio.fiocruz.br/sites/default/files/esquema-revisc3a3o-por-pares.gif">