Dificuldade dos países em desenvolvimento na avaliação da produção científica: Entrevista com Rogério Mugnaini

Rogério Mugnaini é graduado em Estatística, mestre e doutor em Ciência da Informação com estágios de pesquisa na Universidad Carlos III de Madrid (Espanha) e Leiden University (Holanda). Há cerca de 15 anos tem se dedicado a estudar e analisar os mecanismos de monitoramento e avaliação no campo da Bibliometria. Seu trabalho como pesquisador, porém, não se limita ao estudo teórico destes mecanismos. Foi responsável pelo desenvolvimento de um Módulo de Bibliometria do Projeto SciELO, como parte de seu trabalho como Analista de Informação na BIREME/OPAS/OMS e de diversos aplicativos online para avaliação de periódicos por meio de indicadores bibliométricos. Atualmente desenvolve o projeto Fapesp (Avaliação de produção científica no Brasil: estudo da comunicação científica nas diversas áreas e desenvolvimento de infraestrutura institucional) voltado a estudar os indicadores de produtividade e impacto científicos e propor critérios mais adequados para avaliação da ciência no Brasil. Mugnaini também compõe o corpo docente do Departamento de Biblioteconomia e Documentação da Escola de Comunicações e Artes (ECA) da Universidade de São Paulo (USP) e participa da Associação Nacional de Pesquisa e Pós-Graduação em Ciência da Informação (ANCIB) e International Society of Scientometrics and Informetrics (ISSI).

Em sua tese “Caminhos para Adequação da produção científica brasileira: impacto nacional versus internacional” e também na pesquisa que coordena atualmente com financiamento da Fapesp, o pesquisador Rogério Mugnaini coloca a dificuldade dos países em desenvolvimento consolidarem suas próprias fontes de informação para avaliação da produção científica, ao mesmo tempo, indica alguns caminhos alternativos que poderiam ajudar a modelar um sistema de avaliação próprio. A sua descrição e levantamento de dados sobre os periódicos científicos também nos aproxima das concepções, estrutura e modo de funcionamento por trás dos indicadores bibliométricos e de impacto e dos índices mais utilizados no Qualis/Capes, como o Fator de Impacto (Tomson Reuters).

A seguir entrevista realizada com o pesquisador para o Observatório de Ciência, Tecnologia e Inovação em Saúde da Fiocruz.

Observatório – Quais os principais componentes e/ou características do sistema de avaliação da produção científica bibliográfica vigente atualmente no Brasil (seguido pelas agências de fomento e instituições produtora de pesquisa)?

Rogério Mugnaini - Dentre as agências brasileiras, a Avaliação Trienal da Capes é a única que se pode identificar critérios de avaliação de maneira detalhada. A avaliação é ampla e abrange diversos aspectos da vida acadêmica: orientação de pós-graduandos, publicação em diversos tipos de documentos, e coautoria (com pares e alunos).
 
 Observatório – Este sistema apenas reproduz ou se diferencia do standart utilizado internacionalmente? Poderia citar alguma iniciativa em vigor em países ou mesmo propostas teóricas de modelagem de sistemas de avaliação da produção científica bibliográfica que sigam outros parâmetros distintos de número de citações e fator de impacto, estes exemplos existem?

Mugnaini - Sem citar um caso internacional específico, mas o que tem sido discutido entre os grupos que estudam estes processos avaliativos, vale mencionar a avaliação de pesquisadores individualmente, contrapondo-se á prática brasileira de avaliação de Programas de Pós-Graduação. Na análise de pesquisadores os modelos de avaliação mais inovadores buscam analisar a produção no nível do artigo, ao invés de se basear em indicadores da revista onde se deu a publicação. Uma característica que vale mencionar, da prática espanhola, é que o pesquisador seleciona 5 (se não me engano) artigos para avaliação, no período (que lá é de 6 anos).

Observatório  – A pesquisa que coordena atualmente pela Fapesp mostra o funcionamento do sistema de avaliação de periódicos pela Qualis/Capes e o que produz/reproduz. Em sua aula na Fiocruz (Indicadores quantitativos e critérios qualitativos) você apontou algumas distorções deste sistema, como o desestimulo a publicação em revistas nacionais, embora estas revistas sejam as mais utilizadas pela comunidade de pesquisadores nacionais para publicação de sua produção em algumas áreas. Nesta mesma aula você demonstrou ainda uma postura bastante crítica em relação à capacidade de avaliação da qualidade e relevância das revistas por meio do Qualis/Capes que, conforme declarou, funcionaria não como um critério de avaliação de periódicos, mas da determinação de característica que se quer ver alcançadas pelos periódicos. Poderia desenvolver esta ideia e falar sobre os impactos positivos e negativos do Qualis para a produção das publicações científicas nacionais?

Mugnaini - Dentre os tipos de critério utilizados para classificação dos periódicos nos estratos, a pesquisa que desenvolvo identificou três: indicador, indexação em bases de dados e características dos periódicos (MUGNAINI, 2015). Os indicadores são normalmente aqueles baseados em citações (principalmente o Fator de Impacto da Thomson Reuters e com menor ocorrência, o Índice h). A exigência de que o periódico esteja indexado em determinadas bases torna-se também um critério, uma vez que a maioria das bases são seletivas (por essa razão bases como Web of Science, Scopus e SciELO são as mais utilizadas) e exigem o atendimento a critérios de qualidade (tanto no que diz respeito à pontualidade e agilidade de publicação, quanto ao caráter científico do que se publica). Por outro lado, áreas como Direito, Arquitetura, Música (para citar algumas), cujos periódicos mais utilizados pela comunidade não estão nas bases, criam critérios baseados naqueles exigidos pelas bases, para futuramente, poderem conseguir indexação.
Tais critérios parecem ser mais adequados para  editores do que para os pesquisadores, e esta discussão é aprofundada por Mugnaini (2015).
 
Observatório – A mentalidade do “quanto mais publicar melhor”, ou seja, a excessiva valorização da velocidade e da produtividade nos coloca diante de uma inversão de valores - produzir papers se torna mais importante que produzir conhecimento e cada vez mais o paper se afasta de sua função de sistematizar e difundir conhecimento de qualidade e relevância?

Mugnaini - O quanto mais melhor parece ser o problema. Não necessariamente o paper, mas sim o particionamento excessivo da publicação da pesquisa, pelo fato do sistema pontuar o produtivismo. Este excesso de publicações acaba onerando todo o sistema, sobrecarregando autores, editores, pareceristas, o que parece que tem efeito direto na baixa da qualidade.
 
Observatório  – Que propostas ou caminhos suas pesquisas atuais apontam para desenvolvimento e adoção de novos critérios para avaliação da produção bibliográfica no Brasil? É possível adotar mecanismos que considerem nossa realidade de produção e de circulação de conhecimento científico e as necessidades nacionais, regionais e específicas das diferentes áreas de conhecimento?

Mugnaini - O primeiro aspecto é que nossa produção não é bem representada quando levantada em uma base como a Web of Science (WoS). Para se ter uma ideia, ao considerarmos nossa produção na WoS e na SciELO, temos que num período de 15 anos (1998-2012) o percentual de artigos originais e de revisão publicados na periódicos estrangeiros WoS é de 60%, enquanto que 17,6% é publicado em periódicos indexados apenas na SciELO, e os 21,8 % restantes em periódicos indexados em ambas as bases. Consiredando-se apenas o triênio mais recente (2010-2012), o percentual WoS cai 2,8%, o pencentual SciELO cai 2%, e o percentual de periódicos SciELO/WoS ganha 4,7% (sendo este fruto da expansão da cobertura da Thomson entre 2008 e 2010. (MUGNAINI et al.,2014)
É preciso considerar que se cerca de 40% dos artigos de brasileiros são publicados por periódicos nacionais, é preciso basear-se em indicadores mais compreensivos da produção nacional. O Brasil, no Projeto SciELO, tem a possibilidade de utilizar indicadores de impacto que incluam suas citações. Neste sentido o projeto de pesquisa que venho desenvolvendo propõe a criação de um sistema de indicadores compreensivo, capar de oferecer um parâmetro sobre a importância dos periódicos nacionais e internacionais para a ciência brasileira, complementando assim os indicadores das bases internacionais que se baseiam no impacto internacional.
 
Observatório – Poderia apontar algum resultado relevante das suas pesquisas na área específica de saúde, que contribuam, por exemplo, para a definição de um perfil de publicações e autores? Quais as revistas onde os pesquisadores nacionais mais publicam e quais são as mais utilizadas como fonte de informação nesta área? Acredita que são necessárias ações específicas para avaliação da produção e qualidade neste segmento?

Mugnaini - No estágio atual da pesquisa não observo artigo/autores individuais, mas permitem observar (MUGNAINI et al.,2014) que os periódicos mais utilizado pela área de Medicina Clínica (área do Essencial Science Indicators que agrega a maioria das áreas da Saúde) são prioritariamente nacionais, representando entre 90 e 100% da produção dentro do período mencionado; no outro extremo, as publicações em periódicos com baixo índice de publicação, pelos pesquisadores da área, os periódicos são predominantemente internacionais; e para os periódicos de uso moderado, o percentual em periódicos nacionais oscilou entre 35 e 58% no período.
Este cenário sugere a urgência de se ter indicadores de impacto que expressem a importância dos periódicos nacionais para cada área da ciência brasileira. Estes são os resultados do projeto que estão sendo calculados, e serão publicados proximamente.

 
​Referências 
MUGNAINI, R.. Ciclo avaliativo de periódicos no Brasil: caminho virtuoso ou colcha de retalhos?. In: Encontro Nacional de Pesquisa em Pós-Graduação em Ciência da Informação, 2015, João Pessoa. XVI ENANCIB 2015 - Informação, Memória e Patrimônio: do documento às redes, 2015. http://www.ufpb.br/evento/lti/ocs/index.php/enancib2015/enancib2015/pape...
MUGNAINI, R.; DIGIAMPIETRI, L. A. ; MENA-CHALCO, J. . Comunicação científica no Brasil (1998-2012): indexação, crescimento, fluxo e dispersão. Transinformação  , v. 26, p. 239-252, 2014.
http://www.scielo.br/pdf/tinf/v26n3/0103-3786-tinf-26-03-00239.pdf