Disciplina discute questões de avaliação da C&T em Saúde

Compartilhe!

   Por Márcia Tait 

O Observatório de Ciência, Tecnologia e Inovação em Saúde da Fiocruz atua no sentido de fortalecer o ensino e pesquisa no campo dos Estudos Sociais da Ciência e Tecnologia em Saúde, principalmente, questões teóricas e metodológicas sobre os modelos de monitoramente e avaliação da C&T. Com este objetivo foi concebida a proposta da disciplina Tópicos em Estudos Sociais da Ciência e da Sociedade, oferecida no primeiro semestre de 2016 junto ao Programa de Pós-Graduação Stricto Sensu em Informação e Comunicação em Saúde (PPGICS) do Instituto de Comunicação e Informação Científica e Tecnológica (Icict).  A disciplina foi coordenada por três pesquisadoras envolvidas no Observatório - Maria Cristina Soares Guimarães, Paula Xavier dos Santos e Rebeca Feltrin - e esteve voltada a promover a discussão sobre o modelo vigente de monitoramento e avaliação da Ciência & Tecnologia em Saúde.

“A nossa proposta na disciplina foi possibilitar trocas e debates que ajudem a identificar e discutir modelos alternativos de avaliação da ciência, especialmente aqueles com foco no impacto social da ciência sobre a sociedade. Este também é um dos grandes desafios sobre o qual o Observatório pretende atuar, no sentido de construir propostas para superar a adoção restritiva dos padrões de avaliação preconizados pelos modelos vigentes, pautados nos indicadores tradicionais da ciência”, explicou Paula, coordenadora de Informação e Comunicação da VPEIC/Fiocruz.  
 
O programa da disciplina foi composto de modo a reunir pesquisadores renomados em diferentes áreas do conhecimento a fim de discutir possíveis alternativas e estratégias para superar as limitações desse modelo de avaliação de C&T, agregando debates dos Estudos Sociais da Ciência e da Tecnologia, Gestão do Conhecimento, Metodologias e Métricas para monitoramento e avaliação da C&T. Para abordar cada um destes temas as aulas contaram com a participação de professores convidados, pesquisadores com pesquisas e trajetória relevantes nas áreas.  
 
Uma das aulas, ministrada por Carlos Fidelis, historiador e pesquisador da Casa Owaldo Cruz (COC), trouxe aspectos da abordagem sociológica e histórica sobre as ciências, centralizando em seus temas de pesquisa: história das políticas de saúde; história institucional da Fiocruz; trajetória do Instituto de Pesquisa em Imunobilógicos (Bio-Manguinhos); e memória e informação na pesquisa em saúde.   
 
Carlos lembrou que no momento da sua constituição a Fiocruz esteve voltada à busca de soluções para problemas concretos de saúde, baseadas na visão do próprio fundador Oswaldo Cruz de que a ciência e a pesquisa em saúde das instituições públicas deviam voltar-se para a solução dos problemas do subdesenvolvimento e para melhoria da qualidade de vida das populações e regiões excluídas. “Neste momento não tinha sentido para o trabalho realizado aqui a distinção entre ciência básica e aplicada”. Este modelo em parte original, em parte tomando como modelo instituições de renome como Instituto Pasteur, foi um diferencial da criação da Instituição no Brasil.

Ampliar o debate - Da medição à avaliação que considere qualidade e impacto societal

As últimas três aulas da disciplina foram abertas e tiveram como temas:

“Indicadores quantitativos e critérios qualitativos”,aula de Rogério Mugnaini;
“Modelos alternativos para avaliação de CT&I: impacto social da Ciência”,
com Maurício Barreto e Kenneth de Camargo Jr; e
“Política baseada em evidência: iniciativas nacionais e internacionais”, com Jorge Barreto.

A aula do estatístico e doutor em Ciência da Informação Rogério Mugnaini (veja aqui a entrevista com o pesquisador) centrou-se em outra história também crucial para pensar sobre o funcionamento da ciência hoje - a história da Bibliometria e dos instrumentos de avaliação da produção científica baseados em publicações e citações. Estes instrumentos conformam o modelo dominante de avaliação da ciência na atualidade em todo mundo. O autor lembrou que embora a importância atual da medição da informação científica seja grande, começa a ganhar importância entre às décadas de 60 e 70, quando surge o termo bibliometria, os índices de citação e a área da ciência da informação ganha impulso com aplicação de tecnologias de informação e comunicação.
 
Para o pesquisador a medição do número de citações de um artigo ou determinar o local de sua publicação (em qual revista/periódico) na verdade informam pouco sobre a qualidade e relevância do conteúdo do artigo. Também ressaltou que a adoção de critérios homogêneos para medição da produção científica em papers não dão conta da diversidade de formas e culturas de produção de conhecimento de cada área do conhecimento e nem de refletir a produção nacional e que circula nacionalmente.
 
Na aula dos pesquisadores Maurício Barreto e Kenneth de Camargo foram apresentadas críticas ao modelo de avaliação da atividade científica e propostas para pensar sobre formas de incluir o impacto societal, ou seja, que pensem em formas de medir e avaliar os processos, a produção e os resultados da ciência que não se limitem a quantidade de publicações, a suposta qualidade da revista publicada e o número de citações.
 
O médico epidemiologista Maurício Barreto lembrou que as críticas sobre como os indicadores bibliométricos são utilizados na avaliação da produção científica têm sido cada vez mais frequentes e contundentes e partem da própria comunidade de pesquisadores, inclusive, daqueles que se dedicam diretamente à pesquisa e ao desenvolvimento dos indicadores. Como o caso do Manifesto de Leiden , produzido durante a 19ª Conferência Internacional de Indicadores em Ciência e Tecnologia (STI 2014) realizada em setembro de 2014, em Leiden, Holanda.
 
O Manifesto traz dez princípios para nortear o uso de métricas em avaliação da ciência e coibir abusos do uso de indicadores numéricos. O primeiro deles aborda a complementaridade entre avaliação quantitativa e qualitativa, ressaltando a impossibilidade de substituir a segunda (feita pelos pares, caso a caso) pela primeira (numérica e estatística).  Em sua aula Maurício Barreto enfatizou a importância do conceito de pesquisa translacional para a saúde, entendida como aquela pesquisa capaz de transformar descobertas científicas (resultantes de estudos laboratoriais, clínicos ou populacionais) em aplicações que reduzam a incidência, morbidade e mortalidade das doenças.
 
Kenneth de Camargo, doutor em Saúde Coletiva, iniciou sua exposição apresentando alguns pressupostos (“metafísica”) da avaliação da ciência, os dois mais influentes: “É possível medir a qualidade da produção científica por meio de medidas de citação” e “Um enunciado expresso numericamente é inerentemente mais confiável”. Esses pressupostos, segundo o pesquisador, alimentam o sistema de avaliação vigente que atribui qualidade e relevância de um resultado de pesquisa de acordo com o número de citações dos autores ou de citações recebidas pelas revistas. Apesar do uso abusivo da medição de citações com critério de qualidade, Camargo ressaltou a pouca confiabilidade da citação para este tipo de avaliação da qualidade da produção.
 
Por exemplo, pesquisas sobre citações utizando análise de conteúdo apontam que um quarto das citações são irrisórias, até 40% relativas a livros ou capítulos e 10% autorreferências e ainda um elevado percentual de “citações erradas” (atribuidas a autores equivocados).  O pesquisador falou também sobre as distorções causadas por associar o valor da pesquisa à revista onde o trabalho está publicado (ao invés do conteúdo do trabalho) e pelo próprio modelo atual da indústria de publicação científica.
 
A última aula aberta foi ministrada por Jorge Barreto, um dos fundadores da Rede para Políticas Informadas por Evidências (EVIPnet/Brasil ). O pesquisador trouxe conceitos e metodologias da abordagem da Política Informada por Evidências (PIE) e falou sobre a importância de agregar evidências científicas aos processos de tomadas de decisão política. Segundo Jorge Barreto, os principais desafios para ampliar o uso de evidências são estabelecer um processo de confiança e reconhecimento entre os cientistas e os gestores públicos; e uma preocupação maior dos cientistas com a tradução ou translação do conhecimento. Seriam necessárias ações conscientes e estratégicas voltadas a produzir resultados que possam ser comunicados de forma adequada aos tomadores de decisão por meio de um processo que envolve síntese, disseminação, intercâmbio e aplicação do conhecimento científico.

A disciplina Tópicos em Estudos Sociais da Ciência e da Sociedade mostrou sua relevância pelo interesse dos alunos e público geral e conseguiu proporcionar um espaço privilegiado para a reflexão sobre a avaliação da ciência e uso dos indicadores quantitativos; e sobre a necessidade desenhar modelos mais adequados de monitoramento e avaliação da C&T. As gravações das aulas abertas da disciplina estão disponíveis diretamente pelo site <http://webconf2.rnp.br/p8agq819v6j/>.
 

Tipo de em foco: 
Compartilhe!