Métodos de mensuração de impacto social

Compartilhe!
Rafael Camelo   Avaliar o impacto social é um desafio enfrentado em diversos campos, que apesar das especificidades, é reiterada a necessidade de quantificar mudanças em populações, comunidades ou território causadas por uma intervenção, como um programa público ou projeto social.  " data-share-imageurl="http://observatorio.fiocruz.br/sites/default/files/img_2387.jpg">

Por Rafael Camelo

Foto: Juliana ReisMedir ou avaliar impacto social tem sido um desafio enfrentado em diversos campos, desde políticas públicas até a atuação de empresas privadas com propósitos sociais.
Apesar das especificidades de cada campo, a busca por medidas de impacto social têm sempre o mesmo objetivo: quantificar mudanças em populações, comunidades ou território causadas por uma intervenção, como um programa público, projeto social etc.
Dentro do modelo lógico de projetos, a mensuração de impacto social está sempre associada aos resultados (outcomes) da intervenção (Figura 1). É importante diferenciar aqui dois conceitos que, por vezes, geram confusão: outputs e outcomes.
O primeiro termo está associado aos “produtos” que se entrega em um projeto social. Em um programa de qualificação profissional, por exemplo, o output em um modelo lógico é o próprio curso oferecido. Este output então poderia ser medido por meio de indicadores de frequência e conclusão do curso.
Medidas de output, no entanto, não alcançam as mudanças que uma intervenção pode gerar no público atendido. Estas mudanças são captadas nos outcomes. No exemplo acima, os outcomes poderiam estar associados ao conhecimento adquirido pelos alunos qualificado ou às consequências futuras desse conhecimento, como conquista de um emprego, retorno aos estudos formais etc.

   
Figura 1: Componentes de um modelo lógico.


   Fonte: adaptado de Kellogg, 1998.
 
Assim, quando se pretende medir o impacto social de uma intervenção o foco deve ser sempre em mudanças em dimensões da vida das pessoas ou comunidades atendidas. E a escolha dessas dimensões varia com a natureza da intervenção. Antes de iniciar um processo de avaliação de impacto é necessário ter clareza, a partir de um marco lógico e uma tese de mudança, de quais são os potenciais alcances e limitações da intervenção em questão. Em outras palavras, que aspectos da vida das pessoas atendidas se pretende transformar.

Métodos de avaliação de impacto social

Uma vez definido o escopo da mensuração do impacto social é necessário escolher a metodologia a ser empregada. Como o objetivo é medir as mudanças sociais causadas por uma intervenção, os métodos de mensuração de impacto devem sempre estabelecer relações de causalidade entre a intervenção e seus outcomes.
Em termos lógicos, podemos dizer que uma intervenção A causou uma mudança social B se na ausência de A, B não teria acontecido[1]:

Na maioria dos fenômenos sociais A não deve ser a única causa de B, mas um dos diversos fatores causais. Portanto, o maior desafio dos métodos de mensuração de impacto social é separar o impacto da intervenção dos impactos de causas intermitentes.
Assim, medir causalidade requer sempre encontrar o contra factual, isto é, como teria sido a consequência B se a causa A não tivesse acontecido. Em ciências naturais isso é, muitas vezes, possível por meio de experimentos controlados, como em testes em cobaias. Essa opção, no entanto, é quase sempre inviável em ciências sociais.
Por isso, na mensuração de impactos sociais adotamos o conceito de grupo de controle, que nada mais é que um grupo de indivíduos não atendidos pela intervenção, mas com características semelhantes aos atendidos (que chamamos de grupo de tratamento). A suposição central aqui é que o grupo controle representa a trajetória do grupo tratamento na ausência da intervenção. Deste modo, a comparação entre os outcomes dos dois grupos de indivíduos é capaz de quantificar o impacto da intervenção em questão.
Na literatura mais moderna há três grandes classes de métodos para escolha de grupos de controle: métodos experimentais, quase experimentais e não experimentais.
 

 Quadro 1 - Métodos de avaliação de impacto social
 
Métodos Premissas Exemplo Requisitos
 Experimentais  Seleção totalmente aleatória  Random Control Trial (RCT)  - sortear os indivíduos que fazem parte do grupo de tratamento
 - pouco volume de dados sobre os indivíduos de tratamento e controle
 - teoria estatística simples
 Quase experimentais  Seleção em observáveis  Propensity Score Matching (PSM)  - formular hipóteses sobre os fatores associados ao processo de seleção para o tratamento
 Seleção em não observáveis  Difference in Differences (DID)  - grande volume de dados sobre os indivíduos de tratamento e controle (em alguns casos, dados em dois pontos no tempo)
 Seleção quase aleatória  Regression Discontinuity Design (RDD)  - teoria estatística mais complexa
 Não experimentais  Seleção em não observáveis  Synthetic Control  - formular hipóteses sobre a trajetória das unidades de tratamento não ausência do tratamento
 - grande volume de dados sobre os indivíduos de tratamento e controle (neste caso, uma longa série hitórica de dados)
 - teoria estatística mais complexa

Fonte: elaboração própria.

Nos métodos experimentais a escolha de grupos controle se dá por meio de uma aleatorização (Random Control Trial – RCT), isto é, os participantes da intervenção são escolhidos por meio de um sorteio e aqueles que “perdem” no sorteio formam o grupo de controle. Essa metodologia é considerada o padrão-ouro em avaliações de impacto social, pois é a única de garante que ambos os grupos serão estatisticamente semelhantes, em média (Khandker et al, 2010).
Apesar de muito confiável e de custo operacional relativamente baixo, o método experimental, por vezes, esbarra em questões éticas e legais, já que o método implica em deixar intencionalmente um grupo de indivíduos de fora de uma intervenção social. Por isso, em geral, este tipo de metodologia é mais indicada para medir impactos de intervenções em fase piloto ou ainda de intervenções de alcance limitado.
Os métodos quase experimentais são adotados quando a aleatorização não é possível. Nestes casos, não havendo a escolha aleatória, devemos pressupor que houve uma seleção (ativa ou passiva) dos indivíduos para o grupo tratamento. Isso torna o grupo tratamento potencialmente diferente de qualquer outro grupo de pessoas fora da intervenção, ou seja, torna-se mais difícil encontrar um contrafactual.
Para se chegar a um grupo de controle mais confiável, os métodos quase experimentais se baseiam em três premissas possíveis:

  1. A seleção para o tratamento é baseada em características observadas dos indivíduos;
  2. A seleção para o tratamento é baseada em características não observadas dos indivíduos;
  3. Que parte do processo de seleção aconteceu de forma não intencional (quase aleatória).

Foto: Juliana ReisNo primeiro caso, que reúne métodos como os de pareamento (matching), a premissa fundamental é a de que podemos observar, e controlar, as características individuais que levaram as pessoas a se selecionar ou serem selecionadas para participar do tratamento (Imbens e Woolridge, 2009).
Essa premissa deixa de ser verdadeira se características individuais fora do controle do analista forem determinantes na seleção do tratamento. Se este for o caso, qualquer método baseado na premissa I será inválido e é necessário adotar algum método baseado na segunda premissa, em que parte da seleção acontece por características que o analista não observa. Este tipo de método, que inclui o diferenças em diferenças (Differences in Differences – DID). Neste caso, o controle de parte das características não observadas acontece pela comparação dos dados de tratamento e controle em dois pontos no tempo (antes e depois da intervenção).
Já na terceira premissa, apesar de o processo de seleção do grupo tratamento ter acontecido de forma intencional, parte deste processo sofreu interferência de variáveis não correlacionadas com as características dos indivíduos tratados. Neste caso, dizemos que esta interferência gerou um desenho quase aleatório de seleção para o tratamento.
É o caso, por exemplo, de um programa de qualificação profissional cujo único critério de seleção é a nota em um exame de admissão. Caso se adote uma nota de corte arbitrária para tal admissão, é possível supor que indivíduos com nota logo acima do corte tenham acessado o curso de forma quase aleatória, o que faz dos indivíduos logo abaixo do corte uma opção viável para grupo de controle.
Dentro desta terceira premissa estão incluídos métodos como variáveis instrumentais (Instrumental Variables - IV) e regressão descontínua (Regression Discontinuity Design - RDD). Por aproveitarem um desenho mais próximo do aleatório, estes métodos são considerados hoje como os substitutos mais próximos do padrão-ouro do RCTs (Imbens e Woolridge, 2009 e Lee e Lemieux, 2009).
Por fim, os métodos não experimentais são aplicados em situações onde não há disponibilidade de grupos de controle e servem, em geral, para avaliação de intervenções sociais universais (que não deixam indivíduos de fora) ou intervenções em acontecem com uma única (ou muito poucas) unidade de observação.
A inexistência de grupos de controle “naturais” exige a criação de controles “artificiais”. Para isso, é necessário construir uma trajetória hipotética para a unidade de tratamento supondo que ela não tenha passado pela intervenção. Esse processo pode ser feito com ou sem o auxílio de unidades que não passaram pela intervenção. Nesta classe de métodos inclui-se o chamado controle sintético (Synthetic Control) (Abadie et al, 2010).

Tantos os métodos quase experimentais quanto os não experimentais, apesar de serem, em geral, os mais viáveis para avaliações de impacto social, são muito exigentes em termos da complexidade da teoria estatística envolvida e do volume de dados necessários para sua aplicação. Além disso, esses métodos muitas vezes requerem assumir hipóteses de identificação que comprometem a validade externa dos resultados.

Comentários finais

Medir o impacto de intervenções social (desde políticas públicas até produtos e serviços de impacto social) é uma etapa importante do processo de aprendizado sobre que ações melhor funcionam para transformar a realidade social.
Esta tarefa não é trivial e exige atravessar uma série de etapas, desde a clara definição do alcance das ações até a escolha do método mais adequado, passando naturalmente pela escolha dos indicadores dos outcomes.
Com relação à escolha do método de mensuração de impacto, é necessário sempre levar em conta seus custos e benefícios e qual melhor adequa ao desenho da intervenção. O padrão ouro (RCT) é o método menos custoso em termos operacionais, mas pode esbarrar em impedimentos próprios do desenho da intervenção. Já os demais métodos, apesar de mais adaptáveis a diferentes tipos de intervenção, geram mais custos operacionais e de confiabilidade quanto mais distantes estão do padrão ouro.
 

Referências

ABADIE, A.; DIAMOND, A.; HAINMUELLER, J. Synthetic Control Methods for Comparative Case Studies: Estimating the Effect of California’s Tobacco Control Program, Journal of the American Statistical Association, vol. 105, 2010.

ANGRIST, J.D.; PISCHKE, J. Mastering Metrics, 2014.

ANGRIST, J.D.; PISCHKE, J. Mostly Harmless Econometrics: An Empiricist's Companion, 2009.

FUNDAÇÃO ITAU SOCIAL. Avaliação Econômica de Projetos Sociais, 2016.

IMBENS, G.W.; WOOLDRIDGE, J.M. Recent Developments in the Econometrics of Program Evaluation, Journal of Economic Literature, vol. 47(1), 2009.

KELLOGG FOUNDATION, Logic Model Development Guide, 1998.

KHANDKER, S.R.; KOOLWAL, G.B.; SAMAD, H.A. Handbook on Impact Evaluation: Quantitative Methods and Practices, 2010.

LEE, D.S.; LEMIEUX, T. Regression Discontinuity Designs in Economics, Journal of Economic Literature, vol. 48(2), 2010.

LEWIS, D. Causation, The Journal of Philosophy, 1973.

 
[1] Mais precisamente, esta formulação decorre da noção de dependência causal (causal dependence) os modelos causais baseados em teorias contra factuais (Lewis, 1973).
Conteúdo Barra lateral: 
Impacto social de la ciencia y la tecnología en Cuba: una experiencia de medición a nivel macro
Alcances y limitaciones de la noción de impacto social de la ciencia y la tecnología
Observaciones sobre los indicadores de impacto social
Aproximaciones a la evaluación del impacto social de la ciencia, la tecnología y la innovación
Influências metodológicas na mensuração de impacto: o caso das Memórias do Instituto Oswaldo Cruz e sua "qualificação"
Sobre los Indicadores de desempeño en las ciencias sociales
¿Cómo medir el impacto de las políticas de ciencia y tecnología?
Medir ou classificar a produção científica de pesquisadores?
Desenvolvimento da Avaliação de Tecnologias de Saúde no mundo
A importância da Avaliação de Tecnologias para o Sistema Único de Saúde
Caminhos para adequação da avaliação da produção científica brasileira: impacto nacional versus internacional
Avaliação da produção científica como instrumento para o desenvolvimento da ciência e da tecnologia
Impacto social, econômico e intelectual da ciência brasileira
Origens do produtivismo acadêmico e o caminho do impacto social do conhecimento
Compartilhe!
Rafael Camelo   Avaliar o impacto social é um desafio enfrentado em diversos campos, que apesar das especificidades, é reiterada a necessidade de quantificar mudanças em populações, comunidades ou território causadas por uma intervenção, como um programa público ou projeto social.  " data-share-imageurl="http://observatorio.fiocruz.br/sites/default/files/img_2387.jpg">