Módulo 01 - Por que avaliar impacto

Prévia do material em texto

Por que avaliar o impacto de políticas 
públicas?
Claudio Ferraz
Professor da PUC-Rio
Pesquisador afiliado do J-PAL
Objetivos
• Entender o que é uma avaliação de impacto
• Compreender a importância das avaliações de impacto
• Conhecer os principais obstáculos para a produção e o uso das avaliações
de impacto
2
Questão central em políticas públicas
Se recursos humanos e financeiros usados para o desenho e 
implementação de políticas públicas são limitados
...em que iniciativas devemos focar para 
enfrentar os problemas sociais? 
3
Como aumentar a participação escolar? 
(número de matrículas e frequência)
Suponha que você trabalhe no Ministério da 
Educação e uma das prioridades do governo é 
aumentar a frequência escolar
O ministro diz que há R$ 10 milhões disponíveis para 
investir em um programa para alcançar esse objetivo
Ele te pergunta em que programa você recomenda 
investir. O que você responde?
Fonte: 
J-PAL
Como aumentar a frequência escolar?
5
Uniformes 
escolares
Novas 
escolas
Livros 
gratuitos
Informação sobre 
retornos à 
educação
Transferências 
monetárias
Bolsas de 
estudo por 
mérito
Estrutura
1. Tipos de avaliação 
2. A importância de se avaliar impacto 
3. Produção e uso de avaliações de impacto
4. Conclusão
6
Tipos de avaliação
Avaliação é o processo que consiste em emitir juízos de valor sobre as 
atividades e resultados de uma política, estratégia ou projeto
Implica, necessariamente, dois elementos:
• Construir uma descrição detalhada e precisa do desempenho de um 
programa
• Comparar com um critério ou padrão pré-estabelecido para julgar o 
desempenho
O que é avaliação?
9
O que é avaliação?
Avaliação
Avaliação 
de 
programas
Avaliação 
de impacto
10
Tipos de avaliação de programas
Impact Evaluation
Cost-Effectiveness Analysis
Avaliação de Necessidades
Avaliação Teórica
Avaliação de Processos 
Avaliação de Impacto
Avaliação de Eficiência
10
Avaliação de necessidades
Impact Evaluation
Cost-Effectiveness Analysis
Avaliação de Necessidades
Avaliação Teórica
Avaliação de Processos 
Avaliação de Impacto
Avaliação de Eficiência
11
Avaliação de necessidades
Estudo sistemático que
• Identifica a natureza, o alcance e as 
causas de uma necessidade
• Define e descreve a população-
alvo a ser atendida
• Determina a intervenção necessária 
para solucionar a necessidade
Resultados 
atuais
Resultados 
desejados
Necessidade
Necessidade População-alvo Solução
12
Perguntas que requerem uma avaliação de necessidades
• Qual é a natureza e a magnitude do problema ou necessidade?
• Quais são as possíveis causas?
• Quais são as características da população-alvo?
• Quais programas são os mais pertinentes para essa população?
• Quais programas já existem para resolver o problema?
13
Exemplo: Construção de moradias em comunidades 
vulneráveis na América Latina
Fonte: Techo 14
Organização da sociedade civil 
que visa superar a situação de 
pobreza em comunidades 
vulneráveis por meio da 
construção de moradias. Atua 
em países na América Latina, 
inclusive no Brasil
Número de domicílios em favelas (assentamentos 
irregulares) no Brasil
15
Fonte: Censos de 1991, 2000 e 2010, em Pasternak e D’Otaviano (2016), “Favelas no Brasil e em São Paulo: 
Avanços nas Análises a Partir da Leitura Territorial do Censo de 2010”. Cad. Metrop São Paulo, Vol 18, n° 35, p.79. 
0
500.000
1.000.000
1.500.000
2.000.000
2.500.000
3.000.000
3.500.000
1980 1991 2000 2010
Domicílios em comunidades subnormais no Brasil
Avaliação teórica
16
Impact Evaluation
Cost-Effectiveness Analysis
Avaliação de Necessidades
Avaliação Teórica
Avaliação de Processos 
Avaliação de Impacto
Avaliação de Eficiência
Avaliação teórica
• Avalia a teoria que está por trás do programa:
– É viável e factível?
– Atende às necessidades da população-alvo?
• Marco Lógico
• Teoria da Mudança
Descrever 
a teoria
• Revisão da literatura
• Painel de especialistas
• Entrevistas
Determinar 
sua 
qualidade
17
Perguntas que requerem uma avaliação da teoria
• Quais são os resultados finais que são esperados alcançar com o 
programa?
• Como se pretende chegar a esses resultados finais? (Por meio de quais 
insumos, atividades, produtos e resultados intermediários?)
• Que suposições e riscos estão implícitos em nossa teoria da mudança?
• Quão razoáveis são essas suposições, e quão grandes são os riscos?
18
Teoria da Mudança do TECHO
19
Altos níveis de pobreza em 
assentamentos precários
Voluntários
Maior satisfação
Maior disposição à 
acumulação de ativos
Maior sensação de 
segurança
Melhores relações 
familiares
Melhores moradias
Material de 
construção
Maior 
empregabilidade
Problema /
necessidade
Resultados 
finais
Resultados 
intermediários
Produto
Insumos /
atividades
Avaliação de processos
Impact Evaluation
Cost-Effectiveness Analysis
Avaliação de Necessidades
Avaliação Teórica
Avaliação de Processos 
Avaliação de Impacto
Avaliação de Eficiência
20
Da teoria à prática
• A teoria da mudança nos diz como o programa deveria funcionar, mas 
implementar um programa de acordo com o planejado não é fácil
• Assim, é importante estudar o que acontece na prática, e uma avaliação 
de processos avalia a implementação de um programa
21
Perguntas que requerem uma avaliação de processos
O programa está sendo implementado corretamente?
• Segundo o planejado?
• Cumpre com os padrões relevantes? 
• Permite alcançar os objetivos?
– Quantas pessoas estão recebendo o serviço? São as pessoas certas? 
– O serviço recebido é adequado em termos de quantidade, qualidade e tipo?
– A equipe que executa o programa conta com todas as competências requeridas?
– Como os recursos são geridos?
22
Avaliação de processos do TECHO
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
Tutorias
educativas
Fomento
produtivo
Assessorias
jurídicas
Oficinas
optativas
Plano de
saúde
Bibliotecas Oficinas
populares
% de áreas onde foram implementadas intervenções
Fonte: CIS 2009, Processos de intervenção social de UTP CH em acampamentos em que se formaram comités na região metropolitana. 
23
Avaliação de processos do TECHO
24
0%
5%
10%
15%
20%
25%
30%
35%
40%
Coordenação com
o escritório
Participação nas
atividades de
campo além da sua
atribuição
Constância da
atividade
Compromisso com
a comunidade
Relação com as
familias
Aspectos em que se deve melhorar o trabalho dos 
voluntários nas comunidades
Fonte: CIS 2009, Processos de intervenção social de UTP CH em 
acampamentos em que se formaram comités na região metropolitana. 
Avaliação de impacto
25
Impact Evaluation
Cost-Effectiveness Analysis
Avaliação de Necessidades
Avaliação Teórica
Avaliação de Processos 
Avaliação de Impacto
Avaliação de Eficiência
O que é impacto?
Mudanças diretamente atribuíveis ao programa
(Gertler et al.)
26
Contrafactual
O que é impacto?
27
Resultado dos beneficiários 
depois de participarem 
do programa
Resultado que esses mesmos 
beneficiários obteriam, no caso 
hipotético de não terem 
participado do programa
IMPACTO
Perguntas que requerem uma avaliação de impacto
O programa teve os efeitos esperados sobre os beneficiários?
• Esses efeitos se mantiveram com o tempo? 
• Todos os componentes do programa são necessários para obter impacto?
• Alguns grupos de beneficiários estão mais afetados pela intervenção do que outros?
• Existem efeitos adversos não planejados?
28
Fonte: 
Techo
Avaliação de impacto - TECHO
Avaliação de impacto 
das casas emergenciais 
em comunidades 
vulneráveis de três países
• El Salvador
• Uruguai
• México
Qual foi o impacto?
30
Satisfação com a qualidade de vida
Satisfação com a proteção que a residência 
oferece contra a chuva20%
16%
Não houve impacto em:
• Consumo de bens
• Mercado de trabalho
• Saúde
Processos 
vs. 
Impacto
Avaliação de Processos
Como?Por que?
Mede o progresso em 
relação aos objetivos
Monitoramento contínuo e 
frequente
Realizada durante a 
implementação do 
programa
Pode ser realizada pela 
equipe do programa ou 
parceiro externo
Evidência descritiva
Avaliação de Impacto
Quanto?
Mede quanto do progresso em 
relação aos objetivos é 
causado pelo programa 
Pontual, limitada no tempo
Desenhada antes da 
implementação, com resultados 
finais após programa ser 
implementado
De preferência, realizada 
externamente com apoio das 
equipes do programa
Evidência causal
Avaliação de eficiência
32
Impact Evaluation
Cost-Effectiveness Analysis
Avaliação de Necessidades
Avaliação Teórica
Avaliação de Processos 
Avaliação de Impacto
Avaliação de Eficiência
Avaliação de eficiência
Análise custo-benefício: compara os benefícios do 
programa com seus custos
• Implica monetizar os custos e benefícios
• É realizada geralmente ex-ante
Análise custo-efetividade: compara a mudança 
na variável de impacto principal com os custos do 
programa
• Permite comparar o impacto relativo de diferentes 
intervenções
• É realizada geralmente ex-post
33
Perguntas que requerem uma avaliação de eficiência
O impacto foi alcançado de uma maneira eficiente?
• O custo do programa é razoável em relação à magnitude do impacto?
• Existem intervenções alternativas que cumpririam os mesmos objetivos a um menor 
custo? 
• Os recursos são usados de maneira eficiente?
34
Análise custo-benefício em casas emergenciais
Mudança na medida de impacto (taxa de pobreza) 
dividido por 
medida de custo (reais)
Custo do 
programa
35
Em resumo
• O programa está baseado em uma boa conceituação 
do problema que se busca solucionar?
Avaliação de Necessidades
• A teoria por trás do programa é factível?Avaliação Teórica
• O programa está sendo implementado segundo o 
planejado?
Avaliação de Processos
• O programa alcançou os objetivos para os quais foi 
desenhado?
Avaliação de Impacto
• O impacto foi alcançado de maneira eficiente?Avaliação de Eficiência
38
A importância de se avaliar impacto
Por que avaliar impacto?
Existem vários motivos pelos quais estamos interessados em avaliar um programa:
1. Melhorar o programa
2. Tornar o gasto público mais eficiente
3. Gerar conhecimento sobre políticas públicas
41
1. Melhorar o programa
Gerar informação focada no desenho ou na reformulação do programa, 
com a finalidade de melhorar seu desempenho e resultados
• Encontrar soluções concretas e as implementar em curto prazo
• Permite entender a importância relativa dos componentes e processos 
do programa
42
2. Tornar o gasto público mais eficiente
Emitir um juízo sobre o uso eficiente dos recursos
• Útil para tomar decisões em relação à alocação de recursos, 
continuidade do programa
• Interessa aos tomadores de decisão de alto nível (ex. governadores, 
prefeitos, legisladores)
43
3. Responder perguntas de relevância geral
Gerar bens públicos, contribuindo para o conhecimento em ciências 
sociais e econômicas 
– Produz conhecimento sobre mecanismos e efeitos de uma 
intervenção
– Serve de base para inovações e novos enfoques, com potencial 
para replicações e ganhos de escala
44
Exemplo: Programas de transferência de renda
(ex. Bolsa Família)
Fonte: Fiszbein y Schady, Banco Mundial; 2009
Grande crescimento em dez anos
Relevância global de 
se conhecer o impacto 
desta política
Fonte: Fiszbein y Schady, Banco Mundial; 2009
O exemplo do programa no México
47
Exemplo: programa de transferência de renda no México
O que permitiu o êxito do programa?
• Evidência científica sobre impactos
• Avaliação rigorosa feita por acadêmicos externos sem interesses políticos
48
Exemplo: programa de transferência de renda no 
México
Qual foi o papel da evidência?
• Deu sustentabilidade política ao programa no tempo
• Entregou informação ao mundo sobre a efetividade da inovação 
(a custo político e financeiro muito baixo)
• Ajudou a melhorar o desenho do programa ao longo do tempo
49
Avaliações de impacto e o uso de seus 
resultados
Como decidimos quais programas implementar?
48
Programas/ 
Políticas
Conhecimento
Evidência
Experiência 
pessoal ou 
coletiva
Ideologia
Própria
Externa
Apoio
Orçamento
Político
Capacidade
49
Política pública baseada 
em ideologia e opinião
Política pública baseada 
em evidência
Como decidimos quais programas implementar?
Fonte: Brandon Reynolds, apoiado pela University of Cape Town Graduate School of Development Policy and Practice
Precisamos de mais evidência e de um 
maior uso da evidência existente
50
Crescimento de avaliações aleatorizadas
51
Número de avaliações aleatorizadas publicadas na área de desenvolvimento internacional
Ano de publicação
Fonte: Cameron et al (2016)
Fonte: https://ClinicalTrials.gov
11 de janeiro de 2017
Mas ainda há muito trabalho a ser feito
Evidência em medicina
234.107 estudos clínicos
https://clinicaltrials.gov/
53
1. Medir impacto fora do laboratório é complexo
• Problema de confiabilidade do impacto estimado
• Importância de uma análise de dados adequada e bem justificada
– Estamos isolando o efeito do programa de outros elementos relevantes? 
– Qual é a estratégia de identificação causal? 
– Estamos trabalhando com grupos comparáveis?
Por que existe tão pouca evidência?
Por que existe tão pouca evidência?
54
2. Difícil pensar na avaliação a tempo
• Precisamos pensar na avaliação de um programa antes 
de ser implementado
3. Incentivos
• Governos querem respostas rápidas, mas avaliações bem 
feitas tomam tempo
• Conhecimento sobre políticas públicas é um bem público
55
Mesmo quando existe evidência rigorosa, muitas vezes ela não é usada 
sistematicamente para o desenho de programas
• Dificuldade em identificar a diferença entre a evidência “rigorosa” e 
aquela que não é…
– Baixa credibilidade por seu mau uso
– Pouco conhecimento de causalidade
• Falta de cultura de avaliação e aprendizagem
• Validade externa: resultados de uma avaliação se aplicam a outros 
contextos? 
Uso de evidência
Quando não avaliar impacto?
• Quando já existe evidência suficiente sobre a efetividade de uma intervenção
• Quando o programa não está maduro e seu desenho está sujeito a alterações
• Quando não é possível identificar um grupo de comparação válido
60
Quando avaliar impacto?
• Quando existem perguntas causais sem resposta
• Quando existe incerteza sobre a melhor estratégia de intervenção para 
atacar um problema
• Quando está sendo implementado um programa-piloto
• Quando se prevê ampliar um programa
• Quando um programa está sendo implementado de maneira gradual
• Quando o programa incorpora novos serviços ou beneficiários
61
Conclusões
Em resumo
• Existem diferentes tipos de avaliações. Neste curso, focaremos em
avaliações de impacto, que respondem a perguntas sobre causa e efeito
• Avaliar impacto pode ajudar a melhorar o desenho dos programas
sociais, aumentar a eficiência do gasto público e aprender sobre políticas
bem sucedidas
• Há grande espaço para mais produção e uso de evidência empírica
rigorosa
59