Livro reúne recomendações sobre métricas de avaliação das universidades

Livro traz análises sobre métricas de avaliação para a USP, Unesp e Unicamp . Crédito: Marcos Santos/USP Imagens

O projeto Indicadores de Desempenho nas Universidades Estaduais Paulistas, apoiado pela Fapesp, no âmbito do programa Pesquisa em Políticas Públicas, realizará o seu terceiro workshop, em 8 de agosto, no Instituto de Física Teórica da Universidade Estadual Paulista (Unesp).

O encontro dará continuidade aos debates que resultarão, até meados de 2019, em um conjunto de propostas de novas métricas de avaliação para a USP, Unicamp e Unesp.

No evento, será lançado o livro Repensar a Universidade: desempenho acadêmico e comparações internacionais, organizado por Jacques Marcovitch, ex-reitor da USP e responsável pelo projeto, com conteúdos orientadores e resultados das primeiras análises e recomendações de especialistas no tema.

Editado pela ComArte com apoio da Fapesp, o livro tem sua apresentação assinada pelos reitores das três universidades – Vahan Agopyan (USP), Marcelo Knobel (Unicamp) e Sandro Valentini (Unesp) –, em nome do Conselho de Reitores das Universidades Estaduais Paulistas (Cruesp), instituição parceira no projeto.

A iniciativa de reavaliar as métricas de desempenho, afirmam os reitores, resulta da necessidade de adequar as universidades aos “novos tempos”, sem tirar o foco da produção científica e da formação de recursos humanos, levando em conta também “uma efetiva prestação de contas aos contribuintes”.

“Este livro expõe as bases de uma política pública inovadora no âmbito das três universidades estaduais de São Paulo”, afirma Marcovitch na introdução da publicação.

Uma das proposições dessa obra “coletiva”, ele sublinha, é a substituição do modelo de avaliação institucional centrado em um Anuário Estatístico, acessado pelos rankings globais – “em boa parte comerciais ou privados” –, pela implantação de Unidades de Inteligência.

Trata-se de unidades “capazes de monitorar, analisar e difundir, em tempo real, a performance da instituição a que pertencem, para prestar contas à sociedade e manter a contínua interface com entidades que promovem comparações internacionais”. Marcovitch reconhece que o tema é “provocativo”, mas que nunca as três universidades estiveram tão próximas de um “consenso”.

A primeira parte do livro – Indicadores de Desempenho e Comparações Internacionais – reúne seis artigos, o primeiro deles de José Goldemberg, professor da USP e presidente da Fapesp. Sob o título “Ciência, Desenvolvimento e Universidade”, Goldemberg analisa a importância histórica das métricas na aferição do avanço da ciência e da tecnologia e a importância da escolha de indicadores que identifiquem as causas dos problemas e apontem soluções. A mesma estratégia, segundo ele, é válida na escolha de métricas para medir o desempenho das universidades.

Goldemberg reconhece que aferir a qualidade das universidades e ranqueá-las é um exercício difícil, uma vez que “a função das universidades pode não ser a mesma em todos os países”. Ele recomenda que os indicadores de qualidade propostos captem essa “diversidade regional e cultural, além dos indicadores tradicionais como trabalhos publicados e seu impacto.”

A primeira parte do livro traz também artigos de Justin Axel-Berg, da USP; Sabine Righetti, da Folha de S. Paulo, e Solange Maria dos Santos, do Scielo.

A segunda parte do livro – Indicadores de Desempenho e Comparações Internacionais: temas e práticas – traz 13 artigos, entre eles o de Carlos Henrique de Brito Cruz, diretor científico da Fapesp, que trata do tema “Indicadores sobre Interação Universidade-Empresa em Pesquisa em São Paulo”.

Brito Cruz considera que, apesar das limitações, os rankings “estimulam as universidades a se conhecer melhor” e a melhorar sua performance. Mas, mesmo entre as métricas atualmente utilizadas, faltam indicadores que permitam avaliar a colaboração das universidades com empresas. “Na falta de indicadores de resultado, acaba-se usando como métrica de sucesso o volume de dinheiro do contribuinte que o governo aplica na área”, disse.

Ele sugere que se busque pelo menos mais dois indicadores que poderiam ser também considerados em rankings universitários: o dispêndio em pesquisa e desenvolvimento realizado pela universidade com recursos recebidos de empresas e a quantidade e intensidade de coautorias universidades-empresas em artigos científicos.

No caso dos recursos obtidos de empresas, Brito Cruz mostra que, proporcionalmente ao apoio oriundo de agências de financiamento, os valores contabilizados por universidades como USP e Unicamp são comparáveis aos das dez universidades norte-americanas que mais obtêm recursos de empresas para apoio a suas pesquisas.

A comparação indica que, nesse indicador, a performance das duas universidades estaduais paulistas é competitiva com a das maiores universidades de pesquisa norte-americanas.

Quanto aos resultados, medidos pelas coautorias de artigos científicos, que indicam a medida das ideias desenvolvidas de forma colaborativa por empresas e universidades, tem havido notável crescimento em São Paulo. A quantidade de artigos com coautoria entre universidades e empresas cresceu por um fator 10 entre 2000 e 2017.

A segunda parte do livro reúne também artigos de Marcovitch; Luiz Nunes de Oliveira, da Coordenação de Programas Especiais e Colaborações em Pesquisa da Fapesp, e Nina Ranieri, ambos professores da USP; Maria Claudia Cabrini Grácio, Fábio Sampaio Rossi e José Augusto Chaves Guimarães, da Unesp; Renato Pedrosa, da Coordenação de Programas Especiais: Indicadores da Fapesp; e Micael Waldhelm Pereira, da Unicamp.

Na terceira parte do livro – A Experiência da USP, Unicamp e Unesp: resultados e impactos –, três artigos trazem informações sobre planejamento, ferramentas de coleta de informações, sistemas de avaliação institucional, sistemas integrados de dados, entre outras estratégias – já implementados ou em fase de implantação –, que alimentam os atuais indicadores de desempenho das universidades e que também são utilizados em rankings internacionais.

Os artigos são assinados por Karen Shimizu, João Eduardo Ferreira, Raul Machado e Aluisio Cotrim Segurado, da USP; Marisa Masumi Beppu, da Unicamp, e Helber Holland e José Augusto Chaves Guimarães, da Unesp.

O lançamento do livro será às 16 horas. A programação do workshop terá início às 10h30 do dia 8 de agosto, com participação restrita aos pesquisadores associados ao projeto. Das 13h30 às 17h30, o encontro será aberto ao público interessado, que deverá inscrever-se previamente neste site.

O Instituto de Física Teórica da Unesp está localizado na Rua Dr. Bento Teobaldo Ferraz, 271, na Barra Funda, em São Paulo.

O quarto workshop do projeto Indicadores de Desempenho nas Universidades Estaduais Paulistas será realizado na Unicamp, em março de 2019, e o último workshop ocorrerá em junho, na Fapesp, quando então serão apresentadas as conclusões finais do projeto e lançado o segundo livro sobre o tema.

Claudia Izique/ Agência Fapesp

Esta matéria foi originalmente publicada no Jornal da USP.