Questões relacionadas ao modelo brasileiro de avaliação de cursos de pós-graduação: o sistema CAPES

Compartilhe!

Por Michely Jabala Mamede Vogel e Nair Yumiko Kobashi

As atividades de pesquisa científica são submetidas, em nível mundial, a parâmetros universalizados de avaliação, apoiados em indicadores que pretendem ser objetivos. Segundo Dahler-Larsen (2011) a avaliação é um processo quase sagrado. No entanto, a atividade científica, como toda atividade social, é um campo concorrencial, estruturado segundo o peso do capital científico dos agentes individuais ou institucionais que nele atuam (Bourdieu, 1983; 2004).
 
A avaliação requer “a coleta sistemática de informações sobre as atividades, características, e resultados de programas de pesquisa, para tecer julgamentos sobre eles, melhorar sua eficácia, ou informar decisões sobre programações futuras” (Patton, 1997 citado por Dahler-Larsen, 2011).
 
É importante levar em consideração que o sistema de avaliação produz efeitos colaterais (Dahler-Larsen, 2011). É impossível afirmar que o uso intenso dessas ferramentas levou a uma fadiga da própria avaliação. Torna-se essencial melhorar o processo de avaliação em si e fazê-lo mais ético.

O modelo de avaliação da CAPES

O Sistema de avaliação da CAPES (Coordenação de Aperfeiçoamento do Pessoal do Ensino Superior) tem amplia aplicação no Brasil. Este modelo, criado entre 1976-1977 para registrar a memória da pós-graduação brasileira, atualmente passou a ser empregado para avaliar o desempenho dos cursos de pós-graduação.
 
Embora tenha sido criado para avaliar cursos de pós-graduação, tanto para o credenciamento de um novo curso quanto para o recredenciamento dos já existentes, as instituições de ensino superior vêm utilizando-o de forma crescente, para avaliar indivíduos – ou seja, os pesquisadores de universidades. O uso desse modelo é criticado uma vez que se baseia em critérios aplicáveis às ciências duras (as Hard Sciences). Portanto, o sistema de avaliação da CAPES é, de fato, um marco regulatório que estrutura a vida acadêmica, de forma abrangente. A análise do modelo CAPES pode esclarecer os limites do seu uso, como esta breve apresentação mostra.

Os itens avaliados pelo CAPES são:

a) Proposta do Programa;
b) Corpo docente;
c) Corpo discente, teses e dissertações;
d) Produção intelectual;
e) Inserção social e
f) Inserção internacional.

O que a CAPES avalia? 

Critério Peso
Proposta do programa 0% -
Corpo docente 15 – 20% 30%
Inserção social 10 – 15%
Corpo discente, teses e dissertações 30 – 35 % 70%
Produção intelectual 35 – 40%
* Inserção internacional Apenas para notas 6 e 7

Fonte: as autoras. As notas são: 1 ou 2: não aprovado, 3 suficiente para funcionar, 4 muito bom, 5 alto nível, 6 excelência internacional, e 7 programa de pós-graduação proeminente.

Comentários da comunidade acadêmica sobre os critérios de avaliação da CAPESa) Proposta do programa: avalia o alinhamento entre os curso e suas linhas de pesquisa, bem como a infraestrutura oferecida ao corpo docentes e ao corpo discente. É um item obrigatório, que em teoria, contextualiza a avaliação como um todo.
b) Corpo docente: avalia a composição, a diversidade educacional e de experiência dos docentes. Este item requer indicadores quantitativos e qualitativos. Porém, essencialmente, o item é avaliado por parâmetros quantitativos.
c) Corpo discente, teses e dissertações: avalia o fluxo de entrada e saída de alunos e os produtos de pesquisa gerados pelos estudantes. É um item problemático porque não se avalia a qualidade das dissertações e teses em termos de indicadores confiáveis.
d) Produção intelectual: avalia o número de publicações: artigos, livros, relatórios de pesquisa, produção técnica e tecnológica, e produção artística. É um desafio estabelecer indicadores para áreas tão diversas como ciências exatas, ciências da saúde, ciências sociais, humanidades e artes. O critério dominante é o da publicação em revistas consagradas internacionalmente (alto fator de impacto), ignorando em demasia a cultura de publicação das diferentes áreas de conhecimento.
e) Inserção social: mede os impactos dos programas de pós-graduação em relação às demandas sociais. Não há indicadores claramente estabelecidos para medir e avaliar este item. De fato, nota-se a necessidade de uma melhor definição do conceito de inserção social.
f) Inserção internacional: também um item controverso. É, certamente, um trabalho desafiador medir em abordagens quantitativas e qualitativas a mobilidade de docentes e estudantes, publicações internacionais, reputação internacional, entre outros. Por outro lado, os rankings internacionais de universidades são cada vez mais usados, porém é necessário considerar os objetivos e métodos de elaboração desses rankings para poder usá-los adequadamente (Vogel & Kobashi, 2015).
 
Em levantamento desenvolvido entre 2013 e 2014, foi encontrado que 70% das críticas da comunidade acadêmica relacionam-se à avaliação da Produção intelectual (Vogel, 2015). Para se obter uma avaliação justa, é necessário criar critérios adequados aplicáveis a diferentes áreas científicas, e expressos em indicadores qualitativos. De fato, muitos aspectos da avaliação dos seis itens mencionados acima têm sido deixados em segundo plano devido à dificuldade de criar indicadores confiáveis.

Considerações finais 

O uso de indicadores bibliométricos para avaliação da atividade científica, em franca expansão no Brasil, apoia-se, via de regra, em modelos ditados por áreas internacionalizadas, ditas áreas duras. Uma mudança da cultura de avaliação mostra ser imprescindível. Nessa medida, o Manifesto de Leiden (Hicks, Wouters, Waltman, de Rijcke & Rafols, 2015) indica opções e caminhos que permitam fortalecer, efetivamente, a pesquisa científica brasileira. Como indica o referido manifesto, a avaliação, para ter pertinência, deve construir modelos de indicadores inclusivos, de modo a valorizar e dar proteção às pesquisas socialmente relevantes, promover a transparência dos processos de avaliação, reconhecer e respeitar as práticas de pesquisa, publicação e citação dos diferentes campos do conhecimento, reconhecer os efeitos sistêmicos dos indicadores (Hicks et al, 2015). Finalmente, é preciso avaliar a própria avaliação, adequando os modelos às mudanças contínuas que ocorrem na vida em sociedade. No caso brasileiro, depender menos dos critérios dominantes, amplamente baseados nas relações econômico-políticas Norte-Sul. É desejável dar prioridade às relações Sul-Sul ou, mais especificamente, compreender a pesquisa científica como uma atividade que requer avaliação focada na relevância e equidade social.

Referências

Bourdieu, P. (1983). O campo científico. In P. Ortiz, R. (Ed.), Pierre Bourdieu: sociologia (pp.122-155). São Paulo: Ática.
Bourdieu, P. (2004). Os usos sociais da ciência: por uma sociologia clínica do campo científico. São Paulo: Unesp.
Dahler-Larsen, P. (2011). The evaluation society. Standford, CA: Standford Business Book.
 Hicks, D., Wouters, P., Waltman, L., de Rijcke, S. & Rafols, I. (2015). Bibliometrics: the Leiden Manifesto for research metrics. Nature, 520, 429-431. Retrieved from http://www.nature.com/news/bibliometrics-the-leiden-manifesto-for-resear...
 Vogel, M. J. M. (2015). Avaliação da pós-graduação brasileira: análise dos quesitos utilizados pela CAPES e das críticas da comunidade acadêmica. (PhD thesis), Universidade de São Paulo, São Paulo.
 Vogel, M. J. M. & Kobashi, N.Y. (2015) avaliação da pós-graduação no Brasil: seus critérios. In Proceedings of the 16th Encontro Nacional da ANCIB, (ENANCIB’2015), João Pessoa, PB. Retrieved from http://www.ufpb.br/evento/lti/ocs/index.php/enancib2015/enancib2015/paper/viewFile/3124/1150
 

Conteúdo Barra lateral: 
Como avaliar as ciências com uma deficiente ciência da avaliação científica?
Caminhos para adequação da avaliação da produção científica brasileira: impacto nacional versus internacional
Avaliação da produção científica: considerações sobre alguns critérios
Produção científica: avaliação da qualidade ou ficção contábil?
O rei está nu, mas segue impávido: os abusos da bibliometria na avaliação da ciência
O desafio de avaliar o impacto das ciências para além da bibliometria
The Practice of Evaluation in Innovation Policy in Europe
Compartilhe!

Relacionados