Os elementos criativos de engajamento significam que o uso de métricas para medir o impacto nem sempre é possível

Compartilhe!
LSE Impact Blog         as atividades de engajamento freqüentemente são observadas para criar caminhos claros e descritivos para impactar." data-share-imageurl="http://observatorio.fiocruz.br/sites/default/files/photo-1500672860114-9e913f298978.jpg">

Por LSE Impact Blog   


As atividades de engajamento freqüentemente são observadas para criar caminhos claros e descritivos para impactar. No entanto, a falta de métricas e medidas padronizadas significam que o monitoramento e a avaliação das atividades de engajamento continuam difíceis. Sarah Evans e Clare Deane incentivam os pesquisadores a pensar de forma criativa sobre como medir o engajamento; considerando os resultados, e garantindo que os indicadores sejam verdadeiramente relevantes para o público e compreendendo como demonstrar adequadamente a atribuição.

O engajamento é uma parte essencial da geração de impactos da pesquisa. É também uma parte cada vez mais importante de exercícios de avaliação de pesquisa e distribuição de financiamento, com a orientação inicial do HEFCE sobre REF2021, sugerindo uma maior ênfase no engajamento na próxima rodada de estudos de caso de impacto. Na Universidade de Cardiff, analisamos os levantamentos de estudo de caso de impacto REF2014 e observamos como a capacidade de se envolver criou um caminho claro e descritivo para impactar.

Um desafio fundamental ao se envolver é a falta de métricas e medidas padronizadas para monitoramento e avaliação. Isso é relevante para avaliar tanto o engajamento (o caminho, portanto, tipicamente uma avaliação formativa que pode melhorar a prática) e o impacto (muitas vezes de natureza mais sumativa). Os pesquisadores geralmente desejam métricas que podem permitir avaliar o engajamento e o impacto rapidamente e facilmente para o REF2021.

E essa é uma solicitação muito simples. Os estudos de caso de impacto REF bem sucedidos evidenciaram os benefícios de seu envolvimento totalmente. Eles usaram medidas robustas que contaram sua história ou teoria da mudança. No entanto, o monitoramento e a avaliação não são uma tarefa fácil e os elementos criativos de engajamento significam que o uso de métricas padronizadas para medir o impacto nem sempre é possível. Isso ocorre porque a REF é amplamente definida e os dados e indicadores quantitativos são altamente específicos para o tipo de impacto em questão. A rota de engajamento para a pesquisa impactante, sem dúvida, varia de acordo com a disciplina acadêmica.

Pode ser que seja hora de pensar de forma criativa sobre como você vai medir o seu envolvimento, considerando algumas das seguintes questões para ajudar a adaptar adequadamente seus meios de mensuração:
 

Por que você está envolvido e qual o impacto que deseja alcançar?

Ter um propósito claro, saber por que você se envolve e o que deseja alcançar irá ajudá-lo a medir o impacto que você teve. Você precisa ter uma compreensão direta do objetivo do seu envolvimento, a fim de coletar dados relevantes que contribuam para a compreensão das mudanças resultantes; ou seja, o que mudou, por que mudou, como as mudanças se relacionam com o engajamento e como essas mudanças se encaixam no objetivo do seu envolvimento e do que deseja alcançar.
 

Quais resultados e resultados você gostaria de ver?

Embora seja mais fácil medir apenas os resultados (resultados diretos e mensuráveis) das atividades realizadas, é necessário entender os resultados (as mudanças resultantes) dessas atividades. Por exemplo, se um evento de aprendizagem como uma conferência é organizado, é mais fácil medir os números de atendimento (o resultado), em vez disso, a aprendizagem que ocorreu como resultado do evento (o resultado). No entanto, seria mais útil saber quais impactos o evento teve (ou seja, se o público aprendeu alguma coisa) e entender a qualidade deste não só de forma binária (por exemplo, aumento / diminuição da aprendizagem), mas da experiência das pessoas. Pense em como você pode medir o que é importante, ao invés de só fazer coisas fáceis de medir. Articular e capturar os resultados e impactos dos projetos proporcionará um entendimento mais rico das conquistas do engajamento.
 

Que medidas ou indicadores você usará?

Você precisa fazer suas medidas, indicadores e atividades de avaliação relevantes para suas partes interessadas / público e específicas para o que você deseja alcançar. Por exemplo, se você estiver envolvido com formuladores de políticas, a forma como você mede os benefícios do seu envolvimento será completamente diferente quando você se envolver com as crianças da escola. Fale com as pessoas, compreenda quais medidas são melhores para quem trabalha e trabalhe em colaboração para criar indicadores criativos que avaliem seu impacto.
 

Como você pode provar a atribuição?

Como você saberá de que maneira você influenciou a mudança, e quanto disso foi atribuído a você / seu trabalho? Como você reparte o crédito? Ao construir uma narrativa de como ocorreu a mudança, os estudos de caso de impacto REF permitem evidenciar uma conexão causal que suporte sua contribuição para os resultados. Uma maneira de ajudá-lo a falar sobre isso pode ser através do cenário "negativo"; Se você / seu trabalho não estivesse envolvido ou tivesse influência, qual seria o resultado?
 

Nota: Este artigo dá as opiniões dos autores e não a posição do LSE Impact Blog, nem da London School of Economics. Por favor, reveja nossa  política de comentários  se você tiver alguma preocupação em publicar um comentário abaixo.

Crédito de imagem em destaque: The Centre Pompidou, Paris, França por Curtis MacNewton, via Unsplash (licenciado sob uma   licença CC0 1.0 ).

Sobre os autores

Sarah Evans é agente de engajamento da Universidade de Cardiff. Ela oferece um programa de treinamento para funcionários acadêmicos e de serviços profissionais que visa aumentar habilidades e confiança para oferecer um envolvimento efetivo, comprovado e de alta qualidade.
 

Clare Deane é Diretora de Desenvolvimento de Pesquisa para Ciências Sociais na Universidade de Cardiff. Ela atualmente trabalha para apoiar os pesquisadores para identificar oportunidades de financiamento e desenvolver e enviar propostas de pesquisa de alta qualidade e desempenhou funções anteriores para desenvolver capacidade de impacto e engajamento em pesquisadores de várias disciplinas.

*Texto publicado originalmente pelo LSE Impact Blog

blogs.lse.ac.uk/impactofsocialsciences/2018/02/06/the-creative-elements-of-engagement-mean-that-using-metrics-to-measure-impact-is-not-always-possible/

 

Tipo de em foco: 
Compartilhe!
LSE Impact Blog         as atividades de engajamento freqüentemente são observadas para criar caminhos claros e descritivos para impactar." data-share-imageurl="http://observatorio.fiocruz.br/sites/default/files/photo-1500672860114-9e913f298978.jpg">