avaliação impacto

Prévia do material em texto

B.1. Verdadeiro ou falso: a avaliação de impacto é um tipo de avaliação de programas.
A. Verdadeiro 
B. Falso 
Verdadeiro. Como se explica no vídeo, há cinco tipos de avaliações de programas: de necessidades, teórica, de processos, de impacto e de eficiência.
B.2. Qual das seguintes perguntas pode ser respondida por meio de uma avaliação de necessidade?
A. Qual a duração que o programa deve ter? 
B. Quais os recursos (financeiros, humanos e outros) que são necessários para a implementação do programa? 
C. O programa está baseado na conceituação do problema que ele busca solucionar? 
D. Quais são os problemas de implementação que o programa enfrenta e como eles podem ser resolvidos? 
Uma avaliação de necessidade estuda aquilo que o programa busca solucionar. Não se trata de uma ponderação sobre desafios de implementação do programa (em termos de duração, orçamento, coordenação, etc.).
B.3. Quais das seguintes perguntas se responderiam em uma avaliação teórica de um programa de construção de novas escolas para aumentar a frequência escolar? Marque todas as respostas que julgar corretas.
A. Em um grupo grande de crianças que não vão à escola, é razoável supor que elas iriam se o tempo e o custo de locomoção diminuíssem? 
B. A frequência escolar aumentou nas vilas onde se construíram novas escolas como parte desse programa? 
C. Existem estudos que mostram que a construção de novas escolas pode aumentar a frequência escolar? 
A alternativa B não é uma pergunta sobre a teoria por trás do programa, e sim se ele funcionou na prática (embora, como veremos mais a frente, também é importante determinar o quanto do impacto na participação escolar se deve ao programa e o quanto se deve a outros fatores).
C.1. Para um programa de construção de novas escolas, quais das seguintes perguntas poderiam ser respondidas por uma avaliação de processos? Marque todas as respostas que julgar corretas.
A. Os materiais e a mão de obra necessários para a construção foram providenciados? 
B. O programa conseguiu aumentar a frequência escolar nos locais onde foram construídas as escolas? 
C. A que se devem os baixos níveis de participação escolar nas regiões onde se implementa o programa? 
D. A qualidade das escolas construídas é adequada? 
As alternativas A e D se referem à implementação do programa. A alternativa B se relaciona a seu impacto, e a C, às necessidades.
.2. No caso do programa de construção de novas escolas, qual seria o contrafactual?
A. A taxa de frequência escolar nos locais onde foram construídas novas escolas, após a construção. 
B. A taxa de frequência escolar nos locais onde foram construídas as escolas, antes da construção. 
C. A taxa de frequência escolar que os locais onde foram construídas novas escolas teriam se não tivessem sido construídas novas escolas. 
D. A taxa de frequência escolar onde não foi construída nenhuma escola, após construção das novas escolas em outros locais. 
O contrafactual é o resultado que os participantes de um programa teriam obtido no caso hipotético de não terem participado do programa. Como se explicará mais detalhadamente na próxima aula do curso, é uma situação que não se pode observar, mas existem diferentes maneiras para se chegar mais próximo possível a ele.
C.3. Complete quais são as características da avaliação de impacto? Escolha uma opção para cada item.
1. Mede...
A) o progresso em relação aos objetivos. 
B) se esse progresso foi provocado pelo programa. 
2. Sua temporalidade é...
A) pontual e limitada no tempo. 
B) contínuo e frequente. 
3. Ela é desenhada...
A) antes da implementação, e os resultados finais aparecem depois. 
B) durante a implementação do programa. 
4. Ela é conduzida...
A) pelas equipes implementadoras. 
B) preferencialmente por equipes externas com o apoio das internas. 
5. Ela produz evidência...
A) descritiva. 
B) causal. 
As avaliações de impacto têm como características: medir se o progresso percebido foi provocado pelo programa, apresentar uma temporalidade pontual e limitada no tempo, ser desenhada antes da implementação e apresentar resultados finais depois dela, ser preferencialmente conduzida por atores externos com o apoio dos implementadores, além de gerar evidências causais.
A. É realizada geralmente após o programa ser implementado (ex-post) 
B. Implica monetizar os custos de um programa e os benefícios esperados. 
C. É realizada geralmente antes de o programa ser implementado (ex-ante). 
D. Permite comparar o impacto na variável principal com os custos do programa. 
As alternativas B e C apresentam as características da análise custo-benefício. Ela é realizada geralmente ex-ante, para saber se o programa deve ser realizado ou não. Para isso, os benefícios esperados pelo programa são monetizados e comparados com seus custos. Dessa maneira, entre as alternativas disponíveis, pode-se escolher qual programa apresenta melhor relação custo-benefício. As alternativas A e D apresentam características da análise custo-efetividade.
C.5.a. Em relação às políticas para aumentar a frequência escolar, suponha que duas alternativas serão avaliadas. A primeira é a entrega de uniformes escolares, que tem um custo de R$ 30 por unidade e um impacto médio esperado de aumentar em 3 meses a frequência de crianças na escola. A segunda alternativa é um programa de bolsas por mérito, com um custo de R$ 240 por criança e um impacto médio de aumentar em um ano o período de crianças na escola.
Qual é o custo-efetividade da política de uniformes escolares? Escreva sua resposta em meses por real.
O programa de uniformes escolares tem um custo de R$ 30 por aluno. Se cada uniforme tem um impacto médio esperado de 3 meses, a relação do custo-efetividade é 3 meses/30 reais = 0,1 mês por real.
C.5.b. Em relação às políticas para aumentar a frequência escolar, suponha que duas alternativas serão avaliadas. A primeira é a entrega de uniformes escolares, que tem um custo de R$ 30 por unidade e um impacto médio esperado de aumentar em 3 meses a frequência de crianças na escola. A segunda alternativa é um programa de bolsas por mérito, com um custo de R$ 240 por criança e um impacto médio de aumentar em um ano o período de crianças na escola.
Qual é o custo-efetividade da política de bolsas por mérito? Escreva sua resposta em meses por real.
Com relação ao programa de bolsas por mérito, ele tem um custo de R$ 240 por criança e um impacto médio esperado de um ano, ou 12 meses. Assim, a relação custo-efetividade é de 12 meses/240 reais = 0,05 mês por real.
C.6. Considerando somente o impacto na frequência escolar, qual dos dois é o programa mais custo-efetivo?
A. O programa de uniformes escolares. 
B. O programa de bolsas por mérito. 
C. Os dois programas têm o mesmo custo-efetividade. 
Se compararmos os programas, o de uniformes escolares tem um custo-efetividade de 0,1, e o de bolsas, custo-efetividade de 0,05. Se nos basearmos unicamente nesta análise, o melhor programa é o de uniformes escolares, dado que ele tem uma relação maior de efetividade em relação ao custo.
D.1. De acordo com o vídeo, quais são as razões pelas quais devemos avaliar o impacto de programas? Marque todas as alternativas que julgar corretas.
A. Melhorar o programa. 
B. Tornar o gasto público mais eficiente. 
C. Responder a perguntas de relevância geral. 
D.2. De acordo com o vídeo, há uma série de motivos pelos quais o programa de transferência de renda no México é um bom exemplo da importância de se avaliar impacto. Abaixo estão listados estes motivos e um extra, que não corresponde ao discutido em aula. Assim, qual das seguintes alternativas NÃO corresponde aos motivos listados?
A. A avaliação de impacto contribuiu para dar sustentação política ao programa. 
B. O programa foi modificado por diferentes governos ao longo do tempo devido à avaliação de impacto. 
C. A evidência ajudou a melhorar o desenho do programa ao longo do tempo. 
D. A avaliação de impacto do programa entregou informação relevante sobre a efetividade de programas de transferência de renda condicionada. 
E.1. Comodecidimos se implementamos ou não um programa? Marque todas as alternativas que julgar corretas.
A. Se há orçamento, vontade política e capacidade suficiente para o implementar. 
B. Se há total certeza de que os resultados do programa serão positivos. 
C. Se há ideologia própria ou externa coerente com o programa. 
D. Se há conhecimento suficiente baseado em evidências ou experiências. 
E.2. De acordo com o vídeo, por que ainda existe pouca evidência? Marque todas as alternativas que julgar corretas.
A. Por causa da dificuldade para isolar o efeito do programa de outros fatores relevantes. 
B. Por causa da facilidade para se avaliar um programa já implementado. 
C. Por causa das diferenças nos tempos de mandatos e tempos da avaliação de impacto. 
D. Porque o bem público da evidência é menor que seu bem privado. 
E.3. Suponha o seguinte caso: o presidente do Brasil deseja aumentar a frequência escolar. Você, como parte do governo, participa de um curso de avaliação de impacto e descobre que dar remédios antiparasitas para crianças foi uma política bem-sucedida em outros países como forma de aumentar a frequência escolar, considerando seu baixo custo e o alto impacto que teve. Segundo essa única evidência, você recomendaria ao presidente que adotasse a mesma política no Brasil?
A. Sim 
B. Não 
E.4. Dos seguintes casos, selecione quando se deve avaliar o impacto de um programa.
A. Quando o desenho do programa está sujeito a modificações. 
B. Quando existe incerteza sobre a melhor estratégia de intervenção para atacar um problema. 
C. Quando não é possível identificar um grupo de comparação válido entre os beneficiários do programa. 
D. Quando já existe evidência suficiente sobre a efetividade de uma intervenção. 
A resposta correta é a alternativa B.
E.5. Dos seguintes casos, selecione quando NÃO se deve avaliar o impacto de um programa.
A. Quando está prevista a expansão de um programa. 
B. Quando há perguntas sem resposta sobre a relação de causa e efeito dos programas. 
C. Quando o programa incorpora novos serviços ou beneficiários. 
D. Quando toda a população-alvo já recebeu o programa. 
A resposta é a alternativa D.
EC.1. Segundo o entrevistado, por que o microcrédito é uma política eficaz contra a pobreza? Marque todas as alternativas que julgar corretas.
A. O microcrédito permite que pessoas de baixa renda tenham acesso a novas tecnologias. 
B. A política estimula o empreendedorismo entre indivíduos de baixa renda. 
C. Com o empréstimo recebido, os beneficiários investem mais na educação de seus filhos. 
As alternativas corretas são A e B
C.2. Como o entrevistado embasa sua defesa ao microcrédito?
A. Usando dados obtidos de entrevistas com beneficiários da política e sua opinião sobre o microcrédito. 
B. Comparando países em que o microcrédito foi empregado com outros em que a política não foi adotada. 
C. Narrando um exemplo de como a política gerou benefícios para uma determinada área ou parcela de beneficiários. 
EC.3. Segundo o entrevistado, por que o microcrédito não é uma política eficaz contra a pobreza? Marque todas as alternativas que julgar corretas.
A. O entrevistado acredita que o microcrédito romantiza a pobreza e que o mundo empreendedor é para poucos. 
B. O entrevistado acredita que o microcrédito seja incapaz de impactar a vida dos microempreendedores porque sua renda média familiar não se altera. 
C. O entrevistado acredita que o microcrédito não funciona porque geralmente é revertido para o consumo de bens. 
As alternativas corretas são A e C. 
C.4. Como o entrevistado embasa sua crítica ao microcrédito? Marque todas as alternativas que julgar corretas.
A. Narrando um exemplo de como a política gerou aumento da pobreza em determinado grupo de indivíduos. 
B. Mostrando dados estatísticos sobre como o dinheiro oriundo da política é empregado. 
C. Citando países em que a política foi adotada e que não deixaram de ser pobres. 
As alternativas corretas são B e C
EC.5. De acordo com o texto, quais evidências embasam a percepção sobre a efetividade do microcrédito?
A. O texto se embasa na percepção de que o empreendedorismo é uma atividade que poucos perfis de pessoas têm a habilidade de desempenhar. 
B. O texto se embasa na noção de que, a partir do momento que houver um acesso a meios formais de empréstimos, a pobreza poderá ser superada. 
C. O texto se embasa em estudos que avaliaram iniciativas de microcrédito em diferentes contextos, permitindo uma análise ampla sobre seu funcionamento e méritos. 
A alternativa correta é a C. 
EC.6. Segundo o resultado das avaliações, qual o efeito médio do microcrédito na renda dos beneficiários?
A. O microcrédito aumenta significativamente a renda dos beneficiários. 
B. O microcrédito reduz significativamente a renda dos beneficiários. 
C. O microcrédito não tem efeito significativo na renda dos beneficiários. 
A alternativa correta é a C
EC.7. Segundo o resultado das avaliações, qual o efeito médio do microcrédito na liberdade da gestão financeira das famílias?
A. Negativo. 
B. Positivo. 
C. Não tem efeito significativo. 
A alternativa correta é a B
EC.8. Dados os resultados das avaliações aleatorizadas feitas da política do microcrédito, qual é a principal recomendação dos autores a formuladores de políticas públicas?
A. Adotar a política do microcrédito de forma maciça em países em desenvolvimento. 
B. Abandonar a política, uma vez que ela não tira pessoas de baixa renda da pobreza. 
C. Criar modelos inovadores de crédito em pequena escala e testá-los entre grupos de beneficiários para se encontrar um modelo que gere maior impacto. 
A alternativa correta é a C
EC.9. Levando em consideração os três textos lidos, seus argumentos e as evidências que cada um apresenta, qual é o mais convincente?
1. Texto 1: "Economista americano defende microcrédito contra a pobreza". 
2. Texto 2: "O microcrédito não acaba com a pobreza, afirma Aneel Karnani". 
3. Texto 3: " Lições sobre políticas públicas: Microcrédito". 
Não há uma única resposta correta para esta pergunta
A.1. Quais dos seguintes elementos da Teoria da Mudança poderiam ser medidos por meio de um indicador? Marque todas as respostas que julgar corretas.
A. Necessidades 
B. Atividades / Insumos 
C. Produtos 
D. Resultados Intermediários 
E. Resultados Finais 
Todas as respostas estão corretas
A2.b. Verdadeiro ou falso: cada elemento da cadeia causal da Teoria da Mudança pode ter apenas um indicador para medição do progresso.
A. Verdadeiro 
B. Falso 
A alternativa correta é a B
B.1. Quais dos seguintes enunciados são verdadeiros? Marque todas as respostas que julgar corretas.
A. Um indicador é exato se não tem desvios sistemáticos do valor verdadeiro. 
B. Um indicador é preciso se não tem desvios sistemáticos do valor verdadeiro. 
C. Um indicador é exato se repetidas medições do mesmo objeto sempre geram o mesmo valor. 
D. Um indicador é preciso se repetidas medições do mesmo objeto sempre geram o mesmo valor. 
As respostas corretas são as alternativas A e D.
B.2. Verdadeiro ou falso: o indicador é considerado confiável quando ele mede os valores do construto com maior exatidão.
A. Verdadeiro 
B. Falso 
Falso. 
B.3. Selecione os indicadores abaixo para os seus respectivos construtos, de acordo com o que buscam medir.
A. Porcentagem de pessoas sem qualquer nível educacional População em situação vulnerável 
B. Taxa de respostas a pesquisas cidadãs Participação cidadã 
C. Pessoas sequestradas anualmente Níveis de delinquência 
D. Frequência a comícios políticos Participação cidadã 
E. Porcentagem de pessoas sem casa População em situação vulnerável 
F. Taxa de pobreza População em situação vulnerável 
G. Taxa de abstenção em eleições Participação cidadã 
H. Número de roubos por mês Níveis de delinquência 
I. Taxa de homicídio Níveis de delinquência 
B.4. Relacione as medições das empresas com a classificação abaixo.
1. Empresa 01: Exato e Impreciso 
2. Empresa 02: Exato e Preciso 
3. Empresa 03:  Inexato e Impreciso 
4. Empresa 04:  Inexato e Preciso 
B.5. Qual das quatro empresas o governo devecontratar?
A. Empresa 1 
B. Empresa 2 
C. Empresa 3 
D. Empresa 4 
A resposta correta é a alternativa B.
C.1. Os enunciados abaixo descrevem um processo para responder à pergunta "Quantos litros de água você bebe por dia (em média)?". Para cada enunciado, relacione a etapa de formulação de uma resposta.
· A pessoa estima que os copos que utiliza têm aproximadamente 250 ml, e que pratica atividade física em média duas vezes por semana. Estimar / Julgar 
· A pessoa revisa sua memória e conclui que, no geral, bebe 3 copos de água por dia, e 4 copos nos dias em que pratica atividade física. Recuperar informação 
· A pessoa assume que os litros de água tomados por dia são aqueles constituídos somente por água, não considerando outros líquidos como café, chá, bebidas, etc. Compreender a pergunta 
· A pessoa responde que bebe cerca de 800 ml de água por dia. Responder 
D.1. Quais dos seguintes enunciados são verdadeiros? Marque todas as respostas que julgar corretas.
A. As perguntas negativas são confusas porque suas respostas são sempre de caráter positivo. 
B. O erro por imprecisão é aquele que se dá porque a pergunta está aberta a múltiplas interpretações. 
C. O erro por imprecisão se dá porque as perguntas estão vinculadas a um período de tempo muito amplo, e por isso as respostas são ambíguas. 
D. Para evitar o erro por alternativas incompletas, é recomendável revisar a questão e as alternativas para se ter certeza de que constam ali todas as respostas possíveis e que estas são excludentes entre si. 
E. As categorias sobrepostas são aquelas que não são excludentes entre si. 
As respostas corretas são as alternativas B, D, e E
D.2. Qual é o erro de medição presente na seguinte pergunta:
Qual é a cor de cabelo do seu irmão?
       a. Preto
       b. Castanho
       c. Loiro
       d. Ruivo
       e. Outro
A. Negativas 
B. Imprecisão 
C. Premissa 
D. Categorias sobrepostas 
E. Alternativas incompletas 
A resposta correta é a C.
E.1. Verdadeiro ou falso: a pergunta "Quantos dias o certificado demorou para chegar à sua casa no ano passado?" comete um erro de medição denominado "Viés de ancoragem".
A. Verdadeiro 
B. Falso 
Falso. 
E.2. Selecione o erro de medição correspondente a cada caso.
1. Você participou de algum processo ou procedimento municipal (processos participativos, de atendimento a serviços, etc) nos últimos vinte meses? Efeito telescópio 
2. Quanto você obteve de restituição do imposto de renda no exercício retrasado? Viés de memória 
3. Quando você enfrenta filas para acessar serviços municipais, dá lugar às pessoas mais velhas ou portadoras de deficiência? Viés de desejabilidade social 
4. Se você tivesse que escolher entre duas políticas públicas voltadas para educação financeira, sendo A a mais barata (R$ 100.000 ao ano) e B a mais cara (R$ 250.000 ao ano), qual escolheria? Efeito de enquadramento 
5. Foi comprovado que 80% das pessoas que buscaram acessar serviços de zeladoria na cidade repetiram procedimentos municipais mais de duas vezes por não terem obtido respostas nas vezes anteriores. E você, quantas vezes teve que repetir procedimentos análogos? Viés de ancoragem 
F.1. Quais dos seguintes exemplos correspondem a dados de fontes primárias? Marque todas as respostas que julgar corretas.
A. Uma chamada telefônica realizada pela equipe de pesquisa para perguntar sobre a situação da economia e do emprego em uma família. 
B. Os índices da percepção da corrupção na Colômbia, obtidos entre 2005 e 2012 pela ONG Transparência Internacional. 
C. A variação das taxas de desemprego mundiais nos últimos quatro anos, segundo o Banco Mundial. 
D. Uma pesquisa online sobre o consumo do tabaco pelos jovens, realizada pela equipe de pesquisa. 
E. Os dados do censo sobre o envelhecimento da população brasileira nos últimos dez anos. 
As respostas corretas são as alternativas A e D
G1. Quais dos aspectos abaixo foram citados pela professora como melhores práticas para evitar erros de medição? Marque todas as alternativas que julgar corretas.
A. Perguntas gerais são preferíveis a perguntas específicas porque são mais fáceis de serem entendidas pelo entrevistado. 
B. Vocabulário das perguntas deve ser específico para o público-alvo da pesquisa. 
C. Para tornar questionários mais curtos, questões devem incluir mais de uma pergunta por vez. 
D. É preciso assegurar que as alternativas incluem todas as possibilidades possíveis, sem sobreposição. 
As alternativas corretas são B e D.