Avaliação de Impacto de Programas e Políticas Sociais mod 1

Prévia do material em texto

Avaliação de Impacto de Programas e Políticas Sociais
Por que Avaliar impacto
Verdadeiro ou falso: a avaliação de impacto é um tipo de avaliação de programas.
A. Verdadeiro 
B. Falso 
Verdadeiro. Como se explica no vídeo, há cinco tipos de avaliações de programas: de necessidades, teórica, de processos, de impacto e de eficiência.
Qual das seguintes perguntas pode ser respondida por meio de uma avaliação de necessidade?
A. Qual a duração que o programa deve ter? 
B. Quais os recursos (financeiros, humanos e outros) que são necessários para a implementação do programa? 
C. O programa está baseado na conceituação do problema que ele busca solucionar? 
D. Quais são os problemas de implementação que o programa enfrenta e como eles podem ser resolvidos? 
Uma avaliação de necessidade estuda aquilo que o programa busca solucionar. Não se trata de uma ponderação sobre desafios de implementação do programa (em termos de duração, orçamento, coordenação, etc.
B.3. Quais das seguintes perguntas se responderiam em uma avaliação teórica de um programa de construção de novas escolas para aumentar a frequência escolar? Marque todas as respostas que julgar corretas.
A. Em um grupo grande de crianças que não vão à escola, é razoável supor que elas iriam se o tempo e o custo de locomoção diminuíssem? 
B. A frequência escolar aumentou nas vilas onde se construíram novas escolas como parte desse programa? 
C. Existem estudos que mostram que a construção de novas escolas pode aumentar a frequência escolar? 
A alternativa B não é uma pergunta sobre a teoria por trás do programa, e sim se ele funcionou na prática (embora, como veremos mais a frente, também é importante determinar o quanto do impacto na participação escolar se deve ao programa e o quanto se deve a outros fatores).
C.1. Para um programa de construção de novas escolas, quais das seguintes perguntas poderiam ser respondidas por uma avaliação de processos? Marque todas as respostas que julgar corretas.
A. Os materiais e a mão de obra necessários para a construção foram providenciados? 
B. O programa conseguiu aumentar a frequência escolar nos locais onde foram construídas as escolas? 
C. A que se devem os baixos níveis de participação escolar nas regiões onde se implementa o programa? 
D. A qualidade das escolas construídas é adequada? 
As alternativas A e D se referem à implementação do programa. A alternativa B se relaciona a seu impacto, e a C, às necessidades.
C.2. No caso do programa de construção de novas escolas, qual seria o contrafactual?
A. A taxa de frequência escolar nos locais onde foram construídas novas escolas, após a construção. 
B. A taxa de frequência escolar nos locais onde foram construídas as escolas, antes da construção. 
C. A taxa de frequência escolar que os locais onde foram construídas novas escolas teriam se não tivessem sido construídas novas escolas. 
D. A taxa de frequência escolar onde não foi construída nenhuma escola, após construção das novas escolas em outros locais. 
O contrafactual é o resultado que os participantes de um programa teriam obtido no caso hipotético de não terem participado do programa. Como se explicará mais detalhadamente na próxima aula do curso, é uma situação que não se pode observar, mas existem diferentes maneiras para se chegar mais próximo possível a ele.
C.3. Complete quais são as características da avaliação de impacto? Escolha uma opção para cada item.
1. Mede...
A) o progresso em relação aos objetivos. 
B) se esse progresso foi provocado pelo programa. 
2. Sua temporalidade é...
A) pontual e limitada no tempo. 
B) contínuo e frequente. 
3. Ela é desenhada...
A) antes da implementação, e os resultados finais aparecem depois. 
B) durante a implementação do programa. 
4. Ela é conduzida...
A) pelas equipes implementadoras. 
B) preferencialmente por equipes externas com o apoio das internas. 
5. Ela produz evidência...
A) descritiva. 
B) causal. 
As avaliações de impacto têm como características: medir se o progresso percebido foi provocado pelo programa, apresentar uma temporalidade pontual e limitada no tempo, ser desenhada antes da implementação e apresentar resultados finais depois dela, ser preferencialmente conduzida por atores externos com o apoio dos implementadores, além de gerar evidências causais.
A. É realizada geralmente após o programa ser implementado (ex-post) 
B. Implica monetizar os custos de um programa e os benefícios esperados. 
C. É realizada geralmente antes de o programa ser implementado (ex-ante). 
D. Permite comparar o impacto na variável principal com os custos do programa. 
As alternativas B e C apresentam as características da análise custo-benefício. Ela é realizada geralmente ex-ante, para saber se o programa deve ser realizado ou não. Para isso, os benefícios esperados pelo programa são monetizados e comparados com seus custos. Dessa maneira, entre as alternativas disponíveis, pode-se escolher qual programa apresenta melhor relação custo-benefício. As alternativas A e D apresentam características da análise custo-efetividade.
Parte superior do formulário
C.5.a. Em relação às políticas para aumentar a frequência escolar, suponha que duas alternativas serão avaliadas. A primeira é a entrega de uniformes escolares, que tem um custo de R$ 30 por unidade e um impacto médio esperado de aumentar em 3 meses a frequência de crianças na escola. A segunda alternativa é um programa de bolsas por mérito, com um custo de R$ 240 por criança e um impacto médio de aumentar em um ano o período de crianças na escola.
Qual é o custo-efetividade da política de uniformes escolares? Escreva sua resposta em meses por real.
C.5.a. Em relação às políticas para aumentar a frequência escolar, suponha que duas alternativas serão avaliadas. A primeira é a entrega de uniformes escolares, que tem um custo de R$ 30 por unidade e um impacto médio esperado de aumentar em 3 meses a frequência de crianças na escola. A segunda alternativa é um programa de bolsas por mérito, com um custo de R$ 240 por criança e um impacto médio de aumentar em um ano o período de crianças na escola.
Qual é o custo-efetividade da política de uniformes escolares? Escreva sua resposta em meses por real.
C.5.a. Em relação às políticas para aumentar a frequência escolar, suponha que duas alternativas serão avaliadas. A primeira é a entrega de uniformes escolares, que tem um custo de R$ 30 por unidade e um impacto médio esperado de aumentar em 3 meses a frequência de crianças na escola. A segunda alternativa é um programa de bolsas por mérito, com um custo de R$ 240 por criança e um impacto médio de aumentar em um ano o período de crianças na escola.
Qual é o custo-efetividade da política de uniformes escolares? Escreva sua resposta em meses por real.
O programa de uniformes escolares tem um custo de R$ 30 por aluno. Se cada uniforme tem um impacto médio esperado de 3 meses, a relação do custo-efetividade é 3 meses/30 reais = 0,1 mês por real.
C.5.b. Em relação às políticas para aumentar a frequência escolar, suponha que duas alternativas serão avaliadas. A primeira é a entrega de uniformes escolares, que tem um custo de R$ 30 por unidade e um impacto médio esperado de aumentar em 3 meses a frequência de crianças na escola. A segunda alternativa é um programa de bolsas por mérito, com um custo de R$ 240 por criança e um impacto médio de aumentar em um ano o período de crianças na escola.
Qual é o custo-efetividade da política de bolsas por mérito? Escreva sua resposta em meses por real.
Com relação ao programa de bolsas por mérito, ele tem um custo de R$ 240 por criança e um impacto médio esperado de um ano, ou 12 meses. Assim, a relação custo-efetividade é de 12 meses/240 reais = 0,05 mês por real.
C.6. Considerando somente o impacto na frequência escolar, qual dos dois é o programa mais custo-efetivo?
A. O programa de uniformes escolares. 
B. O programa de bolsas por mérito. 
C. Os dois programas têm o mesmo custo-efetividade. 
Se compararmos os programas, o de uniformes escolares tem um custo-efetividade de 0,1,e o de bolsas, custo-efetividade de 0,05. Se nos basearmos unicamente nesta análise, o melhor programa é o de uniformes escolares, dado que ele tem uma relação maior de efetividade em relação ao custo
D.1. De acordo com o vídeo, quais são as razões pelas quais devemos avaliar o impacto de programas? Marque todas as alternativas que julgar corretas.
A. Melhorar o programa. 
B. Tornar o gasto público mais eficiente. 
C. Responder a perguntas de relevância geral. 
Todas as alternativas são argumentos válidos para se avaliar o impacto dos programas.
Parte superior do formulário
D.2. De acordo com o vídeo, há uma série de motivos pelos quais o programa de transferência de renda no México é um bom exemplo da importância de se avaliar impacto. Abaixo estão listados estes motivos e um extra, que não corresponde ao discutido em aula. Assim, qual das seguintes alternativas NÃO corresponde aos motivos listados?
A. A avaliação de impacto contribuiu para dar sustentação política ao programa. 
B. O programa foi modificado por diferentes governos ao longo do tempo devido à avaliação de impacto. 
C. A evidência ajudou a melhorar o desenho do programa ao longo do tempo. 
D. A avaliação de impacto do programa entregou informação relevante sobre a efetividade de programas de transferência de renda condicionada. 
Excetuando-se a alternativa B, todas são razões mencionadas pelo professor pelas quais o programa no México é um bom exemplo de avaliação de impacto. Embora avaliações de impacto possam servir para melhorar e ajustar programas, o que se menciona no vídeo é que a evidência permitiu que o programa se mantivesse durante as mudanças de governo.
E.1. Como decidimos se implementamos ou não um programa? Marque todas as alternativas que julgar corretas.
A. Se há orçamento, vontade política e capacidade suficiente para o implementar. 
B. Se há total certeza de que os resultados do programa serão positivos. 
C. Se há ideologia própria ou externa coerente com o programa. 
D. Se há conhecimento suficiente baseado em evidências ou experiências. 
As respostas A, C e D, são fatores mencionados no vídeo que, de maneira geral, determinam se um programa é ou não implementado. A alternativa B não é correta porque não se pode conhecer com certeza os resultados de um programa antes de sua implementação.
E.2. De acordo com o vídeo, por que ainda existe pouca evidência? Marque todas as alternativas que julgar corretas.
A. Por causa da dificuldade para isolar o efeito do programa de outros fatores relevantes. 
B. Por causa da facilidade para se avaliar um programa já implementado. 
C. Por causa das diferenças nos tempos de mandatos e tempos da avaliação de impacto. 
D. Porque o bem público da evidência é menor que seu bem privado. 
As respostas corretas são A e C. Como se mencionou no vídeo, existe um problema de credibilidade do impacto estimado porque dificilmente se pode identificar o efeito isolado do programa. Além disso, governos não têm incentivos para criar avaliações cujos resultados não os beneficiarão durante o período do seu mandato. As alternativas B e D não são razões para a falta de evidência. É necessário desenhar uma avaliação antes que se inicie o programa, e o bem público da evidência é maior que o seu bem privado, motivo pelo qual governos, por vezes, optem por não investir em avaliações.
Parte superior do formulário
E.3. Suponha o seguinte caso: o presidente do Brasil deseja aumentar a frequência escolar. Você, como parte do governo, participa de um curso de avaliação de impacto e descobre que dar remédios antiparasitas para crianças foi uma política bem-sucedida em outros países como forma de aumentar a frequência escolar, considerando seu baixo custo e o alto impacto que teve. Segundo essa única evidência, você recomendaria ao presidente que adotasse a mesma política no Brasil?
A. Sim 
B. Não 
Não se deve recomendar. Este programa, como mencionado, foi muito efetivo no contexto em que foi implementado, em que as crianças sofriam de verminoses. No entanto, para que funcione igualmente no Brasil, as crianças teriam que sofrer do mesmo problema. Assim, é preciso estudar se o contexto local é similar para se definir quanto à adoção da mesma política.
E.4. Dos seguintes casos, selecione quando se deve avaliar o impacto de um programa.
A. Quando o desenho do programa está sujeito a modificações. 
B. Quando existe incerteza sobre a melhor estratégia de intervenção para atacar um problema. 
C. Quando não é possível identificar um grupo de comparação válido entre os beneficiários do programa. 
D. Quando já existe evidência suficiente sobre a efetividade de uma intervenção. 
A resposta correta é a alternativa B. É necessário avaliar o impacto do programa quando seu efeito é desconhecido e se deseja saber a melhor alternativa para resolver um problema. Não se deve avaliar impacto quando o programa ainda se encontra na etapa de amadurecimento e pode ser modificado. Além disso, se não é possível identificar um grupo de comparação válido, não será possível isolar os efeitos do programa. Finalmente, em casos onde já existe muita evidência rigorosa, avaliar mais um programa similar contribuiria pouco ao conhecimento geral sobre o tema.
E.5. Dos seguintes casos, selecione quando NÃO se deve avaliar o impacto de um programa.
A. Quando está prevista a expansão de um programa. 
B. Quando há perguntas sem resposta sobre a relação de causa e efeito dos programas. 
C. Quando o programa incorpora novos serviços ou beneficiários. 
D. Quando toda a população-alvo já recebeu o programa. 
A resposta é a alternativa D. Um caso em que NÃO se deve avaliar um programa é quando o público-alvo já tiver recebido o programa e não for possível definir um grupo de comparação.
Parte inferior do formulário
Parte inferior do formulário
Parte inferior do formulário