MÓDULO 1 - AVALIAÇÃO DE IMPACTO DE PROGRAMAS E POLÍTICAS SOCIAIS

Prévia do material em texto

POR QUE AVALIAR O IMPACTO DE POLÍTICAS PÚBLICAS?
Objetivos:
· Entender o que é uma avaliação de impacto
· Compreender as importâncias das avaliações de impacto
· Conhecer os principais obstáculos para a produção e o uso das avaliações de impacto.
QUESTÃO CENTRAL EM POLÍTICAS PÚBLICAS - se recursos humanos e financeiros usados para o desenho e implementação da política pública são limitados...em que iniciativas vamos focar para compreender os problemas sociais?
ex. COMO AUMENTAR A PARTICIPAÇÃO ESCOLAR (NÚMERO DE MATRÍCULAS E FREQUÊNCIA)?
· disponíveis 10 milhões de reais
· em que programas colocar este dinheiro?
· livros gratuítos, uniformes escolares, bolsa por mérito, informações sobre retorno da educação, novas escolas, transferências de renda condicionais
ESTRUTURA:
· tipos de avaliação
· a importância de se avaliar o impacto
· produção e uso das avaliações de impacto
· conclusão
--------------------------------------------------------------------------------------------------------
Parte B
TIPOS DE AVALIAÇÃO
O que é uma avaliação?
A avaliação é um processo de emitir juízos de valor sobre as atividades e resultados de uma política, estratégia ou projeto.
Implica, necessariamente, dois elementos:
· Construir uma descrição detalhada e precisa do desempenho de um programa.
· Comparar com um critério ou padrão pré-estabelecido para julgar o desempenho. 
Falar sobre os outros tipos de avaliação existentes, as diferenças entre elas e a avaliação de impacto, e como elas podem ser complementares.
OUTROS TIPOS DE AVALIAÇÃO EXISTENTES:
1) Avaliação de Necessidades: 
Estudo sistemático que identifica a natureza, o alcance e as causas de uma necessidade (a razão pela qual uma política pública existe). Diferença entre os resultados desejados e os resultados atuais:
	É necessário definir e descrever claramente a população-alvo a ser atendida. Em seguida, determinar a intervenção necessária para solucionar a necessidade. 
Perguntas que requerem uma Avaliação de Necessidade:
· Qual é a natureza e a magnitude do problema ou necessidade?
· Quais são as possíveis causas?
· Quais são as características do público-alvo?
· Quais programas são os mais pertinentes para essa população?
· Quais programas já existem para resolver o problema?
Indício da Necessidade
2) Avaliação Técnica:
Avalia a teoria que está por trás do programa. É viável e factível? Atende às necessidades da população-alvo? Descrever a teoria por um Marco Lógico e uma Teoria da Mudança.
Com a descrição da teoria, determinamos sua qualidade pela: revisão da literatura; painel de especialistas e entrevistas. 
Perguntas que requerem uma avaliação técnica:
· Quais são os resultados finais que são esperados para alcançar o programa?
· Como se pretende chegar a esses resultados finais? (Por meio de quais insumos, atividades, produtos e resultados intermediários?)
· Que suposições e riscos estão implícitos em nossa teoria da mudança?
· Quão razoáveis são estas suposições, e quão grandes são os riscos?
------------------------------
Parte C - Tipos de Avaliação II
3) Avaliação de Processos 
Da teoria à prática: 
· A teoria da mudança nos diz como o programa deveria funcionar, mas implementar um programa de acordo com o planejado não é fácil.
· Assim é importante estudar o que acontece na prática, e uma avaliação de processos avalia a implementação de um programa. 
Perguntas que requerem uma Avaliação de processos?
· O programa está sendo implementado corretamente? Segundo o planejado? Cumpre com padrões relevantes? Permite alcançar os objetivos?
· Quantas pessoas estão recebendo o serviço? São as pessoas certas?
· O serviço recebido é adequado em termos de quantidade, qualidade e tipo?
· A equipe que executa o programa conta com todas as competências adquiridas?
· Como os recursos são geridos?
ex.
4) Avaliação de Impacto
O que é Impacto? Mudanças diretamente atribuíveis ao programa. Resultado dos beneficiários depois de participarem do programa (menos) o Resultado que esses mesmos beneficiários, no caso hipotético de não terem participado do programa. 
Perguntas que requerem uma avaliação de impacto:
· O programa teve os efeitos esperados sobre os beneficiários?
· esses efeitos se mantiveram com o tempo?
· todos os componentes do programa são necessários para obter o impacto?
· alguns grupos de beneficiários estão mais afetados pela intervenção do que outros?
· existem efeitos adversos não planejados?
Exemplo
DIFERENÇA ENTRE AVALIAÇÃO DE PROCESSOS E DE IMPACTO:
Apesar de serem complementares, são diferentes:
5) Avaliação de Eficiência
Avaliação custo-benefício: compara os benefícios do programa com os seus custos. Implica monetizar os benefícios e custos. É realizada normalmente ex-ante
Análise custo-efetividade: compara a mudança na variável principal com os custos do programa. Permite comparar o impacto relativo de diferentes Intervenções. É realizada normalmente ex-post.
Perguntas requerem uma avaliação de eficiência?
· O impacto foi alcançado de maneira eficiente?
· O custo do programa é razoável em relação à magnitude do impacto?
· Existem intervenções alternativas que cumpriram os mesmos objetivos a um menor custo?
· Os recursos são usados de maneira eficiente?
RESUMO TOTAL
----------------------------------
A IMPORTÂNCIA DE SE AVALIAR O IMPACTO
Por que avaliar o impacto? Existem vários motivos pelos quais estamos interessados em avaliar um programa:
1) Melhorar o Programa
2) Tornar o Gasto Público mais eficiente
3) Gerar conhecimento sobre políticas públicas
1) MELHORAR O PROGRAMA
Gerar informação focada no desenho ou na reformulação do programa, com a finalidade de melhorar o seu desempenho e resultados.
· Encontrar soluções concretas e as implementar em curto prazo.
· Permite entender a importância relativa dos componentes e processo do programa.
2) TORNAR O GASTO PÚBLICO MAIS EFICIENTE
Emitir um juízo sobre o uso eficiente dos recursos. 
· Útil para tomar decisões em relação à alocação de recursos, continuidade do programa.
· Interessa aos tomadores de decisão de alto nível (ex. governadores, prefeitos e legisladores).
3) RESPONDER PERGUNTAS DE RELEVÂNCIA GERAL
Gerar bens públicos, contribuindo para o conhecimento em ciências sociais e econômicas.
· Produz conhecimento sobre mecanismos e efeitos de uma intervenção. 
· Serve de base para inovações e novos enfoques, com potencial para replicações e ganhos de escala. 
EXEMPLO: PROGRAMA DE TRANSFERÊNCIA DE RENDA NO MÉXICO
O que permitiu o êxito do programa?
· Evidência científica sobre os impactos.
· Avaliação rigorosa feita por acadêmicos externos sem interesses políticos.
Qual foi o papel dessa evidência?
· Deu sustentabilidade política ao programa no tempo
· Entregou informação ao mundo sobre a efetividade da inovação (a custo político e financeiro muito baixo).
· Ajudou a melhorar o desenho do programa ao longo do tempo 
----------------------------------------
AVALIAÇÃO DE IMPACTO E O USO DE SEUS RESULTADOS
Conhecimento: evidência, experiência pessoal ou coletiva
Ideologia: Própria, Externa
Apoio: Orçamento, Político, Capacidade
Nos dão decisões sobre Programas/Políticas
Como decidimos quais programas implementar? Política pública baseada em ideologia e opinião. Política pública baseada em evidência.
PRECISAMOS DE MAIS EVIDÊNCIA E DE UM MAIOR USO DA EVIDÊNCIA EXISTENTE. 
Efeito de comparação:
Por que existe tão pouca evidência?
1) Medir impacto fora do laboratório é complexo. 
· Problema de confiabilidade do impacto estimado
· Importância de uma análise de dados adequada e bem justificada
· Estamos isolando efeito do programa de outros elementos relevantes?
· Qual é a estratégia de identificação casual?
· Estamos trabalhando com grupos comparáveis?
2) Difícil pensar na avaliação a tempo?
· Precisamos pensar na avaliação de um programa antes de ser implementado.
3) Incentivos
· Governos querem respostas rápidas, mas avaliações bem feitas tomam tempo e dinheiro. 
· Conhecimentos sobre políticas públicas é um bempúblico.
USO DE EVIDÊNCIA:
Mesmo quando existe evidência rigorosa, muitas vezes ela não é usada sistematicamente para o desenho de programas.
· Dificuldade em identificar a diferença entre evidência “rigorosa” e aquela que não é...
· Baixa credibilidade por seu mau uso….
· Pouco conhecimento de causalidade
· Falta de cultura de avaliação e de aprendizagem
· Validação externa: resultados de uma avaliação se aplicam a outros contextos?
Quando não avaliar o impacto?
· Quando já existe evidência sobre a efetividade de uma intervenção.
· Quando o programa não está maduro e o seu desenho está sujeito à alterações. Talvez seja uma oportunidade de realizar pequenas avaliações-pilotos de impacto, para testar o que funciona ou não.
· Quando não é possível identificar um grupo de comparação válido.
Quando queremos avaliar impacto?
· Quando existem perguntas causais sem respostas. 
· Quando existe incerteza sobre a melhor estratégia de intervenção para atacar um problema 
· Quando está sendo implementado um programa-piloto
· Quando se prevê ampliar um programa
· Quando o programa está sendo implementado de maneira gradual
· Quando o programa incorpora novos serviços ou beneficiários