Atingir o ponto de QR: as novas regras REF2021 levam a um tipo diferente de jogo?

Compartilhe!
LSE Impact Blog*      hoje, marca 999 dias até o prazo esperado para submissão à REF 2021." data-share-imageurl="http://observatorio.fiocruz.br/sites/default/files/photo-1502886315456-e6c2e728db92.jpg">

Por LSE Impact Blog


Crédito de imagem em destaque: Tabuleiro de xadrez de Luiz Hanfilaque, via Unsplash (licenciado sob uma   licença CC0 1.0 ).
 

Hoje, marca 999 dias até o prazo esperado para submissão à REF 2021. Os preparativos das universidades já estão em andamento, com orientação adicional publicada no outono passado sob a forma de novas regras REF, projetadas para reduzir os comportamentos de jogo entre as instituições. No entanto, como observa Simon Kerridge , as alterações de regra podem ter introduzido, ou melhorou, alguns perigos ocultos em torno do FTE das universidades e das submissões de impacto. As projeções na alocação de financiamento demonstram por que as instituições apresentadoras podem dar uma pausa para pensar, com o motorista para excluir o pessoal para ficar abaixo de um limite de estudo de caso de impacto possivelmente ainda maior que a última vez.

Stern Review procurou reduzir os comportamentos de jogo entre as instituições, recomendando a dissociação dos resultados dos indivíduos, a fim de reduzir a divisão potencial causada pela não seleção para a Estrutura de Excelência da Pesquisa. Esses princípios informaram certas regras REF2021, que parecem razoáveis, mas depois de uma pequena análise ter revelado ter introduzido, ou melhorou, alguns perigos ocultos.

O componente de impacto da pesquisa foi introduzido como parte da REF2014 como uma segunda sub-área com seus próprios elementos discretos - estudos de caso de impacto e, nesse momento, um modelo de impacto também. Crucialmente, ao contrário dos resultados da pesquisa, não foram necessários pedaços adicionais (estudos de caso) para cada pessoa adicional ou FTE. Isso significava que, enquanto a adição de uma pessoa a uma submissão de unidade significaria fornecer mais resultados, não exigiria necessariamente outro estudo de caso de impacto - um extra só era necessário para que todo décimo FTE fosse retornado. Como mostrado em outro lugar (veja também o slide 54 aqui), isso teve um efeito marcado no tamanho das submissões. Para envios entre 10 e 110 FTE, aqueles de um tamanho apenas sob o requisito de um estudo de caso adicional foram cerca de 7,5 vezes mais comuns do que aqueles que apenas exigiam um estudo de caso adicional a ser enviado (olhando um FTE de qualquer maneira). Este não foi o caso do exercício de avaliação de pesquisa de 2008, quando não havia nenhum elemento de estudo de caso; a distribuição FTE foi mais uniforme (ver Figura 1).

Figura 1: Distribuição de tamanhos de submissão (módulo 10) para RAE2008 e REF2014. A maior barra única - em 4 no eixo x - é o ponto imediatamente abaixo do limite que exigiria envios para fornecer um estudo de caso de impacto adicional. Clique para ampliar.


Parece que o impacto potencial (trocadilhos) de um estudo de caso de impacto fraco diminuindo um perfil de qualidade e potencialmente diminuindo a alocação de recursos QR foi um poderoso desincentivo para aumentar o tamanho da submissão para além do próximo limite. 
Só podemos imaginar o efeito sobre os 15 
th , 25 th , 35 th membros (e assim por diante) do pessoal que não foram selecionados para a apresentação.

Deve-se notar que, em termos da alocação global de recursos QR, um estudo de caso de impacto foi, em média, de 4,37 resultados na REF2014, um pouco mais de uma contribuição de saída do FTE.

Para REF2021, temos uma mudança de regras . Os estudos de caso de impacto agora valem 25% do perfil geral (acima de 16% na última vez, aumento de 56,25%), com resultados que valem um pouco menos em 60% (abaixo de 65%, queda de 7.69%). No entanto, também há uma redução nos números exigidos de cada um - para compensar o aumento esperado nas submissões do FTE, pois " todos os funcionários com responsabilidade significativa pela pesquisa " devem ser devolvidos. Então, em vez da (média de 2014) de 3,67 resultados por FTE, a média REF2021 será 2,5. Isso significa que o valor médio de um produto individual aumentará em 46,87%, o que, quando combinado com a queda de 7,69% mencionado acima, dá um aumento geral líquido no valor de saída de 35,57%.

No entanto, sob os novos requisitos para estudos de caso de impacto (um por apresentação " mais um estudo de caso adicional por até 15 funcionários do FTE retornados ") o valor relativo de cada estudo de caso (para envios de 25 FTE ou mais) também aumenta, mesmo antes do aumento da ponderação do componente de impacto é tido em conta. Em média, este efeito composto seria de 70,10% (para a mesma distribuição de tamanhos de submissão como REF2014, é claro que o requisito de "todos os funcionários" significará mais envios de 25+ FTE, fazendo 70,10% na verdade uma estimativa mais baixa). Assim, usando esta estimativa mais baixa, o valor relativo dos estudos de caso de impacto para as saídas para REF2021 funciona em 5,48: 1; ou dizer de outra forma, as saídas de mais de duas pessoas. A metodologia para esses cálculos é descrita aquiDeve-se notar que os cálculos são baseados em uma série de premissas sobre financiamento, incluindo a mesma unidade básica de recursos. Como o FTE total deverá aumentar com "todos os funcionários" enviados, a unidade de recursos do FTE diminuirá (a menos que haja um aumento significativo no financiamento global!) Mas o principal impulso do argumento deve permanecer consistente: que o valor relativo de Estudos de caso de impacto, em comparação com os resultados, devem ser aumentados.

Talvez um exemplo melhor ilustre o ponto. Usando números para uma submissão no meio do alcance médio, podemos extrapolar o efeito das novas regras REF no perfil de qualidade e, portanto, no financiamento QR. Novamente, há, é claro, uma grande quantidade de pressupostos aqui que todos os outros fatores permanecerão iguais; sendo o principal o multiplicador de qualidade, com um prêmio de 4 * que vale quatro vezes o de 3 * em termos de financiamento na última vez.

Como nosso exemplo, vamos fazer uma submissão de 29-FTE e usar os valores de HEFCE QR para History a partir de 2017/18. Assumindo perfis de qualidade de 4 *: 3 *: ≤2 * (para simplificar, agruparei tudo abaixo de 3 * na categoria 2 *) para Saídas de 24%: 43%: 33% (e o mesmo para Ambiente), o O GPA desses elementos é 2.91 e manteremos isso fixo em todos os cenários descritos abaixo. Digamos que também temos a nossa disposição quatro estudos de caso de impacto classificados em 4 *, 3 *, 3 * e 2 *. Isso significa que, para uma apresentação de 29 FTE, selecionaremos os melhores três estudos de caso e, portanto, obteremos um perfil de impacto de 33%: 67%: 0% (GPA 3.33). Isso contribui para um GPA geral de 3.02 e um resultado de pesquisa linear (GPA multiplicado pelo número de ETF submetido) de 87.44.

Mas se essa submissão incluísse um FTE adicional e assumimos que o perfil médio de saída (e ambiente) permanece o mesmo - de fato, o perfil de saída presumivelmente cairá - então o FTE atinge 30 e, portanto, o quarto estudo de caso de impacto é necessário. Isso significa que o estudo de caso 2 * agora também deve ser enviado e, portanto, o perfil de impacto cai para 25%: 50%: 25% (um GPA de 3.00). Combinando isso com os mesmos perfis de saída e ambiente, o GPA geral cai para 2,93 e, enquanto o poder de pesquisa sobe para 87,95 (devido ao FTE aumentado), devido à diluição de 4 *, a alocação de QR seria realmente baixa! Na verdade, neste cenário, mesmo aumentando para 31 FTE ainda nos deixa com menos QR do que a submissão de 29-FTE. Ao contrário, uma apresentação de 28-FTE também resultará em mais QR do que enviar 30 FTE (ver Tabela 1 e Figura 2).


Tabela 1: Efeito do FTE em QR, GPA e poder de pesquisa linear. Clique para ampliar.

Figura 2: Efeito do FTE em QR e na Média do ponto de classificação. Clique para ampliar.

Assim, enquanto o poder de pesquisa geralmente aumenta com o FTE (embora não seja enganado, por simplicidade, eu usei somente FTEs de número inteiro aqui; 29.9 FTE, por exemplo, dá um poder de pesquisa de 90.15 - maior do que para a submissão de 30-FTE ), o GPA é gravemente afetado, e mesmo o QR demora um pouco para se recuperar. Para colocar isso em contexto, em de REF2014 História AOU uma gota de GPA de 3,02 (30 th ) para 2,93 (38 th ) significou uma queda de oito lugares - simplesmente adicionando um estudo de caso mais fraco. Um cenário ainda pior seria um estudo de caso quarta falta ou não classificados, que cairia o GPA perfil impacto para 2,50 eo total a 2,82 (= 49 th). Seria realmente uma instituição valente que estaria disposta a arriscar isso. A perda de £ 18k por ano - a diferença entre os envios 29-FTE e 30-FTE no exemplo acima - parece pálida em insignificância.

Então, isso significa que o motorista para excluir o pessoal para ficar abaixo de um limite de estudo de caso de impacto será ainda maior que a última vez. Anteriormente, o pessoal não submetido teve que carregar o estigma de não ter sido selecionado. Desta vez, o "mecanismo" para não submissão provavelmente terá que ser uma mudança contratual para o status de ensino; certamente mais prejudicial?

As instituições se elevarão acima dessas questões? Ou a análise pós-submissão novamente revelará uma falta distinta de envios com tamanhos FTE nos limiares (por exemplo, 30, 45, 60, etc.)? História, se você desculpa outro trocadilho, sugere que será o último.

Nota: Este artigo representa as opiniões do autor, e não a posição do LSE Impact Blog, nem da London School of Economics. Por favor, reveja nossa  política de comentários  se você tiver alguma preocupação em publicar um comentário abaixo.

Sobre o autor:
 


Simon Kerridge
 é Diretor de Serviços de Pesquisa da Universidade de Kent. Ele é o atual presidente da ARMA e a atual presidente da CASRAI , e está redigindo o projeto RAAAP , que examina a profissão de gerenciamento e administração de pesquisas em todo o mundo. Você pode encontrá-lo no twitter @SimonRKerridge .

*Texto publicado originalmente pelo LSE Impact Blog

http://blogs.lse.ac.uk/impactofsocialsciences/2018/03/07/hitting-the-qr-...

Tipo de em foco: 
Compartilhe!
LSE Impact Blog*      hoje, marca 999 dias até o prazo esperado para submissão à REF 2021." data-share-imageurl="http://observatorio.fiocruz.br/sites/default/files/photo-1502886315456-e6c2e728db92.jpg">