A quantidade é importante porque o impacto da citação aumenta com a produtividade

Muitos estudiosos são encorajados a concentrar-se na qualidade, não na quantidade de suas publicações, sendo a lógica que se torna muito focada em riscos de produtividade, reduzindo a qualidade do trabalho. Mas isso é, de fato, o caso? Peter van den Besselaar e Ulf Sandström estudaram uma grande amostra de pesquisadores e descobriram que, embora os resultados variam de campo, existe uma relação positiva e mais forte do que linear entre produtividade e qualidade (em termos dos artigos mais citados). Este mesmo padrão parece ser aplicado tanto a instituições quanto a pesquisadores individuais.

Parece óbvio que a ciência é sobre qualidade, não quantidade. Como conseqüência, os processos de avaliação não levam em consideração a produtividade, com a atual tendência de limitar o número de publicações por pesquisador em questão. Desta forma, um painel pode avaliar a qualidade sem ser confrontado com listas de publicações enormes que não seriam de avaliação. Assim, os estudiosos podem ser encorajados a se concentrar na qualidade, não na quantidade. De fato, dessa perspectiva, a qualidade e a quantidade são características opostas da atividade de pesquisa, e focar a quantidade não é apenas um erro, mas também terá efeitos perversos, pois reduzirá a qualidade do trabalho. No entanto, essas ideias podem ser equivocadas. O nosso entendimento, desenvolvido em uma recente PLoS ONE paper  é que existe uma relação positiva e mais forte do que linear entre produtividade e qualidade (em termos dos principais artigos citados).

A Figura 1 mostra as várias relações possíveis entre "qualidade" e "quantidade" que podem existir: (i) pode haver um "teto de impacto", o que significa que após um certo número de artigos o número de artigos altamente citados se estabiliza; poderia haver (ii) diminuir; (iii) constante; ou mesmo (iv) aumentar os "retornos de impacto" da produtividade; e, finalmente, (v) "pequeno pode ser bonito", no sentido de que o número de artigos de alto impacto diminui quando os autores se tornam muito produtivos, a qualidade comercial para a quantidade. O bom é que isso pode ser investigado empiricamente.

Figura 1: Possíveis pontos de vista sobre a relação entre quantidade e qualidade. Nota: x-axis = # papers; eixo dos eixos = impacto da citação. Clique para ampliar.

Mostramos nossas descobertas por campo, apresentadas da mesma forma que as possíveis relações acima. Utilizamos um conjunto de dados desambiguados de mais de 40.000 pesquisadores suecos (2008-2011). Para cada pesquisador, calculamos o número total de publicações (campo-normalizado e parcialmente contado) e também o número dessas publicações que figuram nos artigos citados mais alto (2,5%). A Figura 2 mostra os resultados: nas ciências naturais e na engenharia, nas ciências da vida e da medicina e na psicologia e educação, encontramos o padrão de "retornos crescentes". Na agricultura, biologia, estudos ambientais e geografia, o padrão "constante" domina. Nas ciências sociais, o padrão (ligeiramente) de "retornos decrescentes" parece dominar; Considerando que o padrão de "teto de impacto" foi encontrado para ciência da computação e matemática e para as humanidades.

Figura 2: Relação real entre quantidade e qualidade com base em dados suecos 2008-2011 por área de disciplina. Nota: x-axis = # papers; eixo dos eixos = impacto da citação (eixo esquerdo - ciências naturais e médicas, eixo direito - ciências humanas e sociais). Fonte: Web of Science Online. 

Curiosamente, o padrão "pequeno é bonito" não ocorre. A questão permanece quanto ao motivo pelo qual o padrão nas ciências da computação e nas ciências humanas é tão diferente de outros campos. Isso provavelmente está relacionado à natureza desses campos, que, mais do que em outros lugares, tem várias audiências além de seus pares científicos. Sugerimos que os autores prolíficos das ciências da computação e das humanidades se movam para escrever mais para outras partes interessadas além do público-alvo, uma vez que sua produção acadêmica está acima de um limite (razoavelmente alto). No entanto, para resolver isso, seria necessário pesquisar mais.

Como podemos explicar os padrões que encontramos? Em primeiro lugar, a pesquisa mostra que os estudiosos são geralmente altamente motivados e comprometidos, portanto, não há boas razões para esperar que eles tentariam maximizar a produção em detrimento da qualidade. Em segundo lugar, as teorias da criatividade científica sugerem o contrário: quanto mais criativa é a pessoa, quanto mais idéias novas alguém gera, mais potenciais e (como nossos resultados sugerem) realizaram documentos que o pesquisador tem. É claro que nem todas as ideias são boas ideias, mas quanto mais ideias se tem, maior a probabilidade de que algumas sejam boas. Trata-se de tentar, experimentar, aprender: quanto mais se faz, melhor se torna, em média.

Este efeito de tamanho também se mantém no nível organizacional, algo que não abordamos no documento PLoS ONE , mas testado depois que um revisor reivindicou o oposto: "o ranking CWTS Leiden, por exemplo, não mostra um relacionamento tão linear como os autores afirmam entre o número de trabalhos produzidos por uma universidade e a porcentagem de trabalhos altamente citados produzidos por essa universidade ". Nós testámos isso usando o Leiden Ranking 2014 , que detalha o número de artigos e a quantidade de artigos pertencentes aos 10 artigos altamente citados para todas as universidades incluídas. Como mostra a Figura 3, a relação entre quantidade e qualidade / impacto também segue o padrão de "retornos positivos" ao nível das universidades e organizações públicas de pesquisa.

Figura 3: Relação entre o número de documentos por universidade e impacto em termos de artigos Top10%. Fonte: The Leiden ranking 2014.

Em conclusão, o que vimos é que, em geral, há um retorno de qualidade positivo do aumento da produtividade. Um número maior de documentos resulta em números ainda maiores de artigos citados. Em outras palavras, a questão estimulante da produção e parece ser um incentivo positivo e não negativo para os pesquisadores. Sendo assim, os níveis de produção devem ser levados em consideração na avaliação de pesquisadores e organizações. Isto, é claro, não implica que a produção seja o único critério de avaliação relevante; mas é relevante parece indiscutível.

Esta publicação no blog é baseada no artigo dos autores, " Quantidade e / ou Qualidade? A importância de publicar muitos artigos ", publicado em PLoS ONE (DOI: 10.1371 / journal.pone.0166149).

Imagem em destaque: Kansas Sunflowers by Ben Smith. Este trabalho está licenciado sob uma licença CC BY 2.0 .

Nota: Este artigo dá as opiniões dos autores e não a posição do LSE Impact Blog, nem da London School of Economics. 

Sobre os autores

Peter van den Besselaar é Professor de Ciências da Organização na Vrije Universiteit Amsterdam, Países Baixos, Faculdade de Ciências Sociais. Sua pesquisa centra-se na organização, governança e dinâmica da ciência. Nos últimos anos, ele se envolveu em uma equipe interdisciplinar desenvolvendo a plataforma SMS , uma infra-estrutura para integração e enriquecimento de dados heterogêneos.

Ulf Sandström é docente sênior da Universidade Linköping e pesquisadora afiliada do KTH Royal Institute of Technology em Estocolmo. Atualmente, ele está trabalhando com a equipe Gedii que estuda a diversidade de gênero em equipes de pesquisa . Ele se concentra em questões relacionadas à política de pesquisa, muitas vezes com métodos bibliométricos. Alguns dos seus últimos relatórios e artigos podem ser encontrados no site forskningspolitik .

Esta matéria foi originalmente publicada no  LSE Impact Blog.