Uma breve história de impacto da pesquisa: como a avaliação de impacto evoluiu no Reino Unido e na Austrália?

Ao longo das últimas décadas, houve um impulso internacional em torno da avaliação do impacto societal mais amplo da pesquisa. Kate Williams e Jonathan Grant documentam a evolução da avaliação de impacto da pesquisa no Reino Unido e na Austrália, e como as políticas nos dois países foram aparentemente interdependentes, um processo de ida e volta desenvolvido através da aprendizagem internacional. O compromisso político contínuo com a avaliação do impacto é provável em ambos os países, com o debate centrado em reduzir os custos e o fardo através do uso de métricas de impacto.

Nos últimos anos, a universidade sofreu uma mudança desde a primeira função como o principal lugar de aprendizagem e bolsa de estudo, até seu papel contemporâneo como prestador de serviços em uma paisagem comercial complexa. Neste contexto, houve um impulso internacional recente em torno da avaliação do impacto societal mais amplo da pesquisa. Com base na impressão inicial que se aproxima na Austrália e no Reino Unido foram sinérgicas, documentamos a evolução da avaliação do impacto da pesquisa nos dois países. Em nosso trabalho de pesquisa , realizamos uma análise sistemática de documentos de políticas públicas, comentários de jornal e literatura acadêmica em ambos os países. Identificamos quatro fases de desenvolvimento de políticas, detalhadas abaixo (e resumidas na figura do nosso artigo). Argumentamos que as políticas de avaliação do impacto da pesquisa nos dois países foram interdependentes.
 

Fase 1: a Austrália desenvolve, mas abandona a avaliação de impacto

A gênese da avaliação de impacto na Austrália remonta aos compromissos políticos assumidos em 2001 para fortalecer os vínculos entre a indústria e as universidades. Esses compromissos foram formalizados em 2005, com o estabelecimento de um grupo de consultoria especializada para fornecer orientações sobre o desenvolvimento do quadro de qualidade de pesquisa (RQF) proposto, focado tanto na qualidade da pesquisa como no seu impacto ou uso mais amplo.

Em janeiro de 2006, foi solicitado um grupo de trabalho recentemente formado sobre o impacto da pesquisa para fazer recomendações sobre uma metodologia ótima para avaliar o impacto. Em vez de uma abordagem de indicador, recomendava-se que a avaliação dependesse de declarações de impacto baseadas em evidências contendo informações tanto qualitativas como quantitativas. Esperava-se que o componente de impacto constituísse pelo menos 10% de uma fórmula para alocar fundos para as universidades. A avaliação estava programada para começar em julho de 2008, com a implementação do financiamento em 2009.

Apesar desses planos, o desenvolvimento do RQF terminou com uma mudança de governo em dezembro de 2007, com o governo trabalhista Rudd de centro-esquerda entrar no poder. Pouco depois da eleição, foi anunciado que o RQF não prosseguiria porque era mal concebido, caro e com base em medidas de impacto inadequadas.

Fase 2: o Reino Unido "rouba" a abordagem australiana

O interesse precoce no impacto da pesquisa no Reino Unido é evidente nos documentos de política de 1993, defendendo que os benefícios da pesquisa científica sejam gerados para a sociedade em geral. No entanto, o compromisso genuíno ocorreu em março de 2006 com o plano de substituição do Exercício de Avaliação da Pesquisa (RAE) por um sistema mais barato e mais simplificado baseado em medidas quantitativas. Esta proposta enfrentou oposição generalizada . Uma consulta sobre a substituição do RAE destacou que uma abordagem de métricas seria incapaz de obter uma imagem adequada do valor e impacto do usuário e indicou uma preferência pela revisão por pares sobre as métricas.

A proposta para o quadro revisado (agora denominado Marco de Excelência em Pesquisa ou REF) incluiu um novo objetivo estratégico de que a pesquisa deveria contribuir para a prosperidade econômica, o bem-estar nacional e a disseminação do conhecimento. Em fevereiro de 2009, uma revisão comissionada das abordagens internacionais de avaliação de impacto descobriu que o RQF australiano forneceu a melhor base para o desenvolvimento de um quadro de impacto. Durante 2010, o Reino Unido desenvolveu uma metodologia preliminar que adotou o uso do RQF de uma abordagem de estudo de caso, com critérios adicionais. No entanto, a introdução de uma medida de impacto para a REF foi controversa. Os políticos vacilaram em torno da questão, e os críticos enfatizaram a direção explícita de pesquisadores e universidades.

Em março de 2011, a incorporação do impacto na REF foi confirmada , representando 20% da avaliação total (os resultados da pesquisa representaram 65% eo ambiente de pesquisa em 15%). Em 2013, 154 instituições de ensino superior apresentaram 6.975 estudos de caso de impacto. Panels avaliaram submissões ao longo de 2014, e os resultados foram publicados no final desse ano.

Fase 3: a Austrália coloca a avaliação de impacto na agenda

Apesar de o governo trabalhista australiano recém-eleito abandonar a avaliação de impacto em dezembro de 2007, voltou à agenda quatro anos depois, quando um mecanismo de impacto da pesquisa foi recomendado em uma revisão da pesquisa financiada publicamente. Um estudo de viabilidade sobre possíveis formas de avaliar os benefícios da pesquisa financiada publicamente foi realizado em 2012 e uma avaliação de impacto de teste foi realizada simultaneamente por universidades selecionadas.

Em dezembro de 2015, foi anunciada a avaliação nacional de Engajamento e Impacto (EI), a fim de examinar a tradução da pesquisa universitária em benefícios econômicos, sociais e outros e incentivar uma maior colaboração com a indústria e os usuários finais. No entanto, uma consulta sobre o EI destacou críticas generalizadas relacionadas à falta de trabalho conceitual e metodológico subjacente em comparação com o feito antes da REF do Reino Unido.

Um piloto de EI ocorreu no primeiro semestre de 2017, que testou uma abordagem de métodos mistos envolvendo uma matriz de indicadores métricos com uma narrativa acompanhante e estudos de caso de impacto. Esta abordagem , que será implementada em todo o país em 2018, é uma inovação da REF do Reino Unido. Primeiro, diferencia o "engajamento" do "impacto", o que potencialmente cria confusão nas terminologias e sugere uma hierarquia de tipos de impacto, que o Reino Unido busca evitar. Em segundo lugar, utiliza diferentes processos para avaliar o engajamento e o impacto. Ao contrário do modelo britânico, o sistema australiano usa indicadores métricos, complementados com estudos de caso narrativos. A divergência dos dois sistemas nacionais possibilita uma maior separação no futuro.

Fase 4: o Reino Unido demonstra compromisso contínuo de impacto

Na sequência da REF 2014, o Reino Unido encomendou uma série de avaliações para informar o futuro desenvolvimento de políticas. Uma avaliação em duas etapas delineou uma série de vantagens e confiança relativamente alta no aumento do foco no impacto, mas um fardo correspondente e significativo para as IES e uma série de incertezas e preocupações não resolvidas . Uma conclusão chave das avaliações REF 2014 foi que os indicadores de impacto métrico não são suficientemente desenvolvidos para serem usados ​​para tomar decisões de financiamento, reafirmando o uso de estudos de caso narrativos.

Em 2016, Lord Stern liderou uma revisão independente da REF , que identificou uma série de questões relacionadas à avaliação de impacto. O relatório recomendou uma ampliação significativa e aprofundamento da noção de impacto, e que a ponderação total para o impacto não compreende menos de 20% no próximo exercício.

Após uma consulta, as decisões iniciais sobre a próxima REF foram publicadas em setembro de 2017, que incluíram um aumento da ponderação de impacto de 20% para 25%. O aumento foi formulado na linguagem de apoio à estratégia industrial , refletindo a ênfase australiana no engajamento empresarial e na troca de conhecimento. Permanecem vários desafios, mas a avaliação de impacto foi amplamente considerada um sucesso pelo governo e pelos conselhos de financiamento, sugerindo o compromisso contínuo de impactar no futuro desenvolvimento de políticas.

Conclusão

Embora o Reino Unido seja amplamente considerado o líder em avaliação de pesquisa, é claro que a evolução da avaliação de impacto tem sido um processo de ida e volta entre a Austrália e o Reino Unido. O desenvolvimento de políticas de cada país foi desenvolvido através da aprendizagem internacional. É provável que vejamos um compromisso político contínuo para avaliar o impacto em ambos os países, com o debate central em torno da redução de custos e o fardo através do uso de métricas de impacto.

A Austrália é mais provável que lidere o desenvolvimento de sistemas baseados em métricas de baixo custo, porque sua avaliação não está associada a incentivos financeiros diretos. Os custos de avaliação do impacto da pesquisa no Reino Unido podem ser justificados devido ao alto nível de financiamento que se segue, mas essa justificativa é mais difícil na Austrália. No entanto, dado o desenvolvimento da política iterativa até à data, esta abordagem baseada em métricas pode ser posteriormente capturada pelo Reino Unido. Assim, os dois países provavelmente continuarão a co-dependência no desenvolvimento de políticas e procedimentos para avaliar o impacto da pesquisa.
 

Esta publicação do blog baseia-se no artigo dos autores " Uma revisão comparativa de como a política e os procedimentos para avaliar o impacto da pesquisa evoluiu na Austrália e no Reino Unido ", publicado em Research Evaluation (DOI: 10.1093 / reseval / rvx042).

Nota: Este artigo dá as opiniões dos autores e não a posição do LSE Impact Blog, nem da London School of Economics. Por favor, reveja nossa  política de comentários  se você tiver alguma preocupação em publicar um comentário abaixo.

Sobre os autores

Kate Williams é uma membra do Conselho de Pesquisa Econômica e Social do Future Research Leaders no Departamento de Sociologia e uma pesquisadora da Lucy Cavendish College. Ela também é atualmente uma Associada Pós-Doutora no Weatherhead Center, Universidade de Harvard. Sua pesquisa centra-se na produção, uso e avaliação do conhecimento das políticas, particularmente nos novos métodos digitais de avaliação de impacto. Originalmente da Austrália, Kate mudou-se para Cambridge em 2012 para completar seu PhD.

Jonathan Grant é vice-presidente / vice-diretor (serviço) no King's College de Londres. O serviço foi identificado como uma das cinco prioridades estratégicas da Visão Estratégica 2029 do King, ao lado de Educação, Pesquisa, Londres e Internacional. O serviço encapsula o compromisso do rei com a sociedade além da educação e da pesquisa e contribuirá para a realização de sua visão para tornar o mundo um lugar melhor. Além disso, Jonathan é Professor de Política Pública no Policy Institute do King's. Jonathan foi diretor do Policy Institute entre fevereiro de 2014 e 2017.

Esta matéria foi originalmente publicada no LSE Impact Blog.