Avaliação de Impacto de Programas e Políticas Sociais - Prova Final

Prévia do material em texto

Avaliação de Impacto de Programas e Políticas Sociais - Prova Final 
 
Questão 01 - 
EF.1. Por que é importante avaliar o impacto de um programa social? Marque as alternativas que 
julgar corretas. 
Você tem até duas tentativas para responder esta questão. Caso erre na primeira, 
retornará às alternativas para uma nova tentativa. 
Porque a avaliação de impacto identifica a natureza e o alcance das necessidades. 
Porque a avaliação de impacto permite melhorar o programa. 
Porque a avaliação de impacto nos diz se o programa foi implementado segundo o planejado. 
Porque a avaliação de impacto é útil para tomar decisões acerca de alocação de recursos. 
Porque a avaliação de impacto gera conhecimento público. 
 
Questão 02 - 
EF.2. Baseando-se nas recomendações mostradas no primeiro módulo deste curso, indique, em 
cada uma das cinco situações a seguir, se devemos ou não avaliar o impacto: 
Você tem até duas tentativas para responder esta questão. Caso erre na primeira, 
retornará às alternativas para uma nova tentativa. 
1) Será implementado um programa piloto – Avaliar Impacto 
2) O programa não está maduro e ainda pode ter seu desenho modificado – Não Avaliar Impacto 
3) Já existe evidência suficiente sobre a efetividade da intervenção – Não Avaliar Impacto 
4) Existe incerteza sobre a melhor estratégia de intervenção para atacar um problema – Avaliar 
Impacto 
5) O programa já existe, mas novos serviços ou beneficiários vão ser incorporados a ele – Avaliar 
Impacto 
 
Questão 03 - 
EF.3. O que representa o contrafactual? 
Representa a diferença nos participantes antes e depois da implementação do programa. 
Representa o estado do mundo experimentado depois da implementação do programa. 
Representa o estado do mundo que se haveria experimentado se o programa não tivesse sido 
implementado. 
Representa o estado do mundo antes da implementação do programa. 
 
Questão 04 - 
EF.4a. Utilizando os dados apresentados a seguir, calcule o impacto de um programa de 
alimentação escolar no desempenho acadêmico das crianças, segundo os diferentes métodos 
de avaliação de impacto. 
2 
 
Questão 05 - 
EF.4b. Utilizando os dados apresentados a seguir, calcule o impacto de um programa de 
alimentação escolar no desempenho acadêmico das crianças, segundo os diferentes métodos 
de avaliação de impacto. 
-1 
 
Questão 06 - 
EF.4c. Utilizando os dados apresentados a seguir, calcule o impacto de um programa de 
alimentação escolar no desempenho acadêmico das crianças, segundo os diferentes métodos 
de avaliação de impacto. 
1 
 
Questão 07 - 
EF.5. Por que a alocação aleatória é o método mais confiável para se estimar o contrafactual? 
Porque assegura que, na avaliação do impacto do programa, encontraremos um número 
estatisticamente diferente de zero. 
Porque ajuda a garantir que os grupos de tratamento e de controle sejam sistematicamente 
similares antes do início do programa. 
Porque permite construir um grupo sistematicamente diferente do grupo ao qual se direcionará 
o programa. 
Porque sabemos que os únicos fatores que podem afetar o grupo de tratamento são os efeitos 
do programa. 
 
Questão 08 - 
EF.6. Por que a Teoria da Mudança é uma ferramenta útil para avaliações de impacto? Marque 
todas as alternativas que julgar corretas. 
Você tem até duas tentativas para responder esta questão. Caso erre na primeira, 
retornará às alternativas para uma nova tentativa. 
A Teoria da Mudança nos ajuda a definir os indicadores para medir os impactos do programa. 
A Teoria da Mudança nos ajuda a determinar se a amostra da avaliação tem poder estatístico 
suficiente. 
A Teoria da Mudança nos ajuda a identificar os mecanismos que levam aos impactos do 
programa. 
A Teoria da Mudança nos ajuda a mitigar atrito e cumprimento imperfeito da avaliação. 
 
Questão 09 - 
EF.7. A qual desenho de aleatorização corresponde cada dificuldade descrita abaixo? 
Você tem até duas tentativas para responder esta questão. Caso erre na primeira, 
retornará às alternativas para uma nova tentativa. 
1. Pode dificultar a medição de efeitos a longo prazo. - Por Etapas 
2. Mede o impacto apenas daqueles que responderam ao estímulo. - Estímulos 
3. Pode exigir amostras muito grandes para comparar variações de tratamento. - Múltiplos 
Tratamentos 
4. O grupo que não recebe o programa pode não cooperar com a avaliação. - Loteria Básica 
 
Questão 10 - 
EF.8. Qual seria o procedimento adequado de aleatorização quando há risco de que o grupo de 
controle, que não deveria receber o programa, seja indiretamente afetado por ele? 
Aleatorização estratificada 
Aleatorização em nível de grupos ou clusters 
Desenhar a avaliação por estímulos 
Usar um desenho de tratamentos múltiplos 
 
Questão 11 - 
EF.9. Qual seria o procedimento adequado de aleatorização quando não se pode negar o acesso 
ao programa a nenhum beneficiário? Por exemplo, quando o programa é um direito garantido 
por lei. 
Aleatorização estratificada 
Aleatorizar em nível de grupos ou clusters 
Desenhar a avaliação por estímulos 
Usar um desenho de tratamentos múltiplos 
 
Questão 12 - 
EF.10. Para fazer uma avaliação de impacto, precisamos definir uma amostra. Qual das 
alternativas a seguir expressa uma implicação de se calcular o impacto de um programa por 
meio de uma amostra? 
O impacto real do programa é maior conforme o tamanho amostral aumenta. 
O impacto calculado a partir de amostras varia de uma amostra a outra. 
Só precisamos de uma amostra para conhecer o impacto real do programa. 
Se a aleatorização é realizada por agrupamento (ou cluster), o poder estatístico aumenta. 
 
Questão 13 - 
EF.11. Indique se as circunstâncias abaixo aumentam ou reduzem o poder estatístico em uma 
avaliação aleatorizada. 
Você tem até duas tentativas para responder esta questão. Caso erre na primeira, 
retornará às alternativas para uma nova tentativa. 
1. Graças a um acréscimo no orçamento, podemos aumentar o tamanho amostral de nossa 
avaliação. - Aumenta 
2. A taxa de participação (porcentagem de pessoas do grupo de tratamento que efetivamente o 
recebem) será menor do que se havia estimado. - Reduz 
3. A variável de resultado apresenta maior variância do que se calculou inicialmente. - Reduz 
4. Como a intervenção é muito cara, para um mesmo tamanho amostral teremos mais pessoas 
no grupo de controle que no grupo de tratamento. - Reduz 
5. Para evitar externalidades, a aleatorização será realizada por agrupamento, e não em nível 
individual. - Reduz 
6. O tamanho do impacto esperado pela avaliação é menor que o calculado inicialmente. - Reduz 
 
Questão 14 - 
EF.12. A balança de uma cooperativa de sementes está danificada. O gerente busca uma nova 
balança e encontra 4 alternativas. Para determinar qual a melhor, ele se pesa 5 vezes em cada 
balança e anota os resultados. Seu peso verdadeiro é de 75,0 kg. Escolha a descrição mais 
adequada para os resultados de cada balança: 
Você tem até duas tentativas para responder esta questão. Caso erre na primeira, 
retornará às alternativas para uma nova tentativa. 
A) Balança A - Precisa e exata 
B) Balança B - Imprecisa e exata 
C) Balança C - Precisa e inexata 
D) Balança D - Imprecisa e inexata 
 
Questão 15 - 
EF.13. Indique como se podem evitar as seguintes fontes de erro de medição em questionários: 
Você tem até duas tentativas para responder esta questão. Caso erre na primeira, 
retornará às alternativas para uma nova tentativa. 
A) Categorias sobrepostas. - Sempre fazer pilotos da aplicação para assegurar que as 
características são excludentes 
B) Efeito telescópio. - Usar eventos importantes para marcar o período de referência 
C) Imprecisão. - Sempre definir conceitos 
D) Viés de desejabilidade social. - Perguntar indiretamente e assegurar a privacidade 
E) Viés de lembrança. - Pedir aos entrevistados que registrem informação em um diário ou 
guardem recibos 
F) Premissas. - Usar filtrose saltos 
 
Questão 16 - 
EF.14. Por que é importante dar atenção aos aspectos operacionais da implementação da 
avaliação? Marque todas as alternativas que julgar corretas. 
Você tem até duas tentativas para responder esta questão. Caso erre na primeira, 
retornará às alternativas para uma nova tentativa. 
Os aspectos operacionais são essenciais para a boa implementação da avaliação. 
Os aspectos operacionais são necessários para assegurar que o programa terá impacto positivo. 
Considerar os aspectos operacionais permite adaptar a avaliação quando as coisas não 
acontecem como o planejado. 
Os aspectos operacionais ajudam a determinar a qualidade da avaliação de impacto. 
 
Questão 17 - 
EF.15. Selecione os objetivos relacionados a cada uma das etapas do levantamento de dados. 
Você tem até duas tentativas para responder esta questão. Caso erre na primeira, 
retornará às alternativas para uma nova tentativa. 
A) Linha Base. - Verificar se há equilíbrio entre o grupo de controle e de tratamento, e poder 
estatístico suficiente 
B) Linha de Acompanhamento. - Monitorar com a avaliação de processos ou medir se há 
impacto antes do término do programa 
C) Linha de Saída. - Avaliar os impactos finais do programa 
 
Questão 18 - 
EF.16. Qual das seguintes alternativas descreve uma situação de cumprimento imperfeito? 
Alguns dos indivíduos alocados no grupo de tratamento optam por não participar da 
intervenção. 
Alguns dos indivíduos do grupo de tratamento mudam de residência depois de terem recebido o 
programa, não podem ser localizados e, assim, não podem ser entrevistados. 
Alguns indivíduos do grupo de controle se beneficiam indiretamente da intervenção, apesar de 
não recebê-la diretamente. 
Em média, os grupos de tratamento e de controle são iguais em quase todas as características, 
mas são ligeiramente diferentes em outras. 
 
Questão 19 - 
EF.17. Em relação ao atrito amostral, responda se as seguintes afirmativas são verdadeiras ou 
falsas. 
1) Existe atrito amostral quando algumas das pessoas alocadas no grupo de tratamento 
procrastinam e não recolhem o benefício de um programa. 
Verdadeiro 
Falso 
 
Questão 20 - 
EF.17. Em relação ao atrito amostral, responda se as seguintes afirmativas são verdadeiras ou 
falsas. 
2) O atrito amostral tem como consequência a perda de poder estatístico. 
Verdadeiro 
Falso 
 
Questão 21 - 
EF.18. Quais das seguintes estratégias ajudam a combater o atrito amostral? Marque todas as 
alternativas que julgar corretas. 
Você tem até duas tentativas para responder esta questão. Caso erre na primeira, 
retornará às alternativas para uma nova tentativa. 
Fazer entrevistas mais longas e detalhadas. 
Aplicar piloto dos questionários em uma amostra menor, antes de usá-los entre os participantes 
da avaliação. 
Utilizar somente um método de levantamento de dados. 
Escolher um momento estratégico para realizar as entrevistas com os beneficiários. 
 
Questão 22 - 
EF.19. Para cada exemplo, selecione se o uso da evidência é direto ou indireto. 
Você tem até duas tentativas para responder esta questão. Caso erre na primeira, 
retornará às alternativas para uma nova tentativa. 
A) A avaliação mostrou resultados positivos e incita a decisão de expansão do programa. - Uso 
Direto 
B) O programa foi avaliado com resultados mistos que estimulam a mudança de seus 
componentes. - Uso Direto 
C) Não sabemos se o nosso programa terá os impactos esperados, assim consultamos 
avaliações de programas similares em outros contextos. - Uso Indireto 
 
Questão 23 - 
EF.20. Segundo o modelo apresentado neste curso, se queremos usar evidência de outro 
contexto para informar o desenho de um novo programa, quais são algumas das perguntas que 
devemos nos fazer? Marque todas as alternativas que julgar corretas. 
Você tem até duas tentativas para responder esta questão. Caso erre na primeira, 
retornará às alternativas para uma nova tentativa. 
Os dois programas partem do mesmo problema? 
Quão similares são os programas? 
A população alvo e as condições locais de ambos programas são comparáveis? 
Os dois programas funcionam por meio dos mesmos mecanismos? 
 
Questão 24 - 
EF.21. Suponha que você trabalhe em uma ONG que quer iniciar um programa de distribuição 
de cloro para famílias de baixa renda, visando melhorar o acesso a água potável. 
Qual é o tipo de avaliação mais adequado a cada objetivo? 
Você tem até duas tentativas para responder esta questão. Caso erre na primeira, 
retornará às alternativas para uma nova tentativa. 
A) Medir os efeitos da distribuição de cloro em indicadores importantes de saúde das famílias. - 
Avaliação de Impacto 
B) Averiguar se o cloro está sendo distribuído ou não aos beneficiários. - Avaliação de Processos 
C) Elaborar um modelo para descrever como a distribuição de cloro pode levar a resultados de 
interesse (por exemplo, reduzir a incidência de diarreia nas crianças). - Avaliação Teórica 
D) Comparar as melhoras em saúde por dólar investido no programa de distribuição de cloro às 
melhorias em saúde por dólar investido em outros programas de saneamento. - Avaliação de 
Eficiência 
E) Identificar a prevalência de diarreia na subpopulação que atualmente não tem acesso à água 
potável. - Avaliação de Necessidades 
 
Questão 25 - 
EF.22. O que podemos dizer do impacto do programa? 
O gráfico a seguir mostra os resultados do programa de distribuição de cloro. A linha amarela 
representa os valores da variável de interesse para os participantes do programa ao longo do 
tempo. Um aumento nessa variável significa uma melhora no estado de saúde dos participantes. 
O impacto é positivo. 
O impacto é negativo. 
O impacto é desconhecido. 
 
Questão 26 - 
EF.23. Sua ONG deseja produzir uma Teoria da Mudança de como o seu programa de 
distribuição de cloro melhorará a saúde das famílias beneficiárias. Complete a cadeia causal, 
associando cada item em seu lugar adequado. Por exemplo: "As casas não têm acesso à água 
potável." (Problema / Necessidade) 
Você tem até duas tentativas para responder esta questão. Caso erre na primeira, 
retornará às alternativas para uma nova tentativa. 
1. As casas consomem mais água potável. - Resultado Intermediário 
2. Capacitação sobre o uso do cloro. - Insumo / Atividade 
3. A mortalidade infantil é reduzida. - Resultado Final 
4. A prevalência de diarreia é alta, especialmente entre crianças. - Problema / Necessidade 
5. As casas recebem cloro. - Produto 
6. As taxas de mortalidade infantil são altas. - Problema / Necessidade 
7. As famílias utilizam cloro para purificar a água. - Resultado Intermediário 
8. Entrega de frascos de cloro. - Insumo / Atividade 
9. A prevalência de diarreia nas crianças é reduzida. - Resultado Final 
10. As famílias são capacitadas sobre o uso do cloro. - Produto 
 
Questão 27 - 
Suponha que vamos fazer uma avaliação de impacto do programa de distribuição de cloro e, 
paralelamente, realizamos uma avaliação de processos. Encontramos que, por problemas de 
planejamento, quase um terço das casas beneficiadas pelo programa não recebe cloro, e um 
grupo ainda maior de famílias não recebeu capacitação para o uso de cloro. 
EF.24. Verdadeiro ou falso: a situação descrita acima é um exemplo de falha de teoria do 
programa. 
Verdadeiro 
Falso 
 
Questão 28 - 
EF.25. Indique qual é o desenho de aleatorização mais apropriado para cada uma das seguintes 
situações: 
Você tem até duas tentativas para responder esta questão. Caso erre na primeira, 
retornará às alternativas para uma nova tentativa. 
A) O programa de distribuição de cloro é expandido e, com o tempo, eventualmente atingirá 
toda a população de beneficiários. - Por Etapas 
B) O programa de distribuição de cloro deve estar disponível a todos os que desejam recebê-lo, 
mas o uso do cloro pode ser facilmente aumentado se for proporcionado algum incentivo. - De 
Estímulos 
C) O programa de distribuiçãode cloro tem excesso de solicitações e não há recursos suficientes 
para cobrir todas as casas. - Loteria Básica 
D) A ONG tem dois modelos de distribuição de cloro e quer saber qual é o mais efetivo. - 
Tratamentos Múltiplos 
 
Questão 29 - 
EF.26. Temos que tomar decisões sobre o desenho da avaliação de impacto do programa de 
distribuição de cloro. Para cada decisão, escolha a alternativa que maximiza o poder estatístico. 
1) Tamanho amostral (soma dos grupos controle e tratamento). 
Usar uma amostra total de 100. 
Usar uma amostra total de 200. 
Usar uma amostra total de 300. 
 
Questão 30 - 
EF.26. Temos que tomar decisões sobre o desenho da avaliação de impacto do programa de 
distribuição de cloro. Para cada decisão, escolha a alternativa que maximiza o poder estatístico. 
2) Proporções de alocação. 
60% no grupo de controle e 40% no de tratamento. 
50% no grupo de controle e 50% no de tratamento. 
40% no grupo de controle e 60% no de tratamento. 
 
Questão 31 - 
EF.26. Temos que tomar decisões sobre o desenho da avaliação de impacto do programa de 
distribuição de cloro. Para cada decisão, escolha a alternativa que maximiza o poder estatístico. 
3) Nível de aleatorização. 
Aleatorizar em nível individual. 
Aleatorizar por comunidade (nível intermediário entre individual e municipal). 
Aleatorizar por município. 
 
Questão 32 - 
EF.27. Na avaliação do programa de distribuição de cloro, suponha as seguintes perguntas e 
identifique os problemas descritos como ameaças à exatidão ou à precisão da avaliação: 
1. No último mês, quantas vezes algum dos seus filhos teve diarreia? 
2. Com que frequência você consome água purificada? (Sempre/Muitas vezes/De vez em 
quando/Nunca) 
1) Para a primeira pergunta, nem todas as pessoas lembram bem quando e/ou quantas vezes 
seus filhos tiveram diarreia. Por isso, 20% dos entrevistados superestimam a sua resposta e 
outros 20% subestimam sua resposta. 
 
Exatidão 
Precisão 
 
Questão 33 - 
EF.27. Na avaliação do programa de distribuição de cloro, suponha as seguintes perguntas e 
identifique os problemas descritos como ameaças à exatidão ou à precisão da avaliação: 
1. No último mês, quantas vezes algum dos seus filhos teve diarreia? 
2. Com que frequência você consome água purificada? (Sempre/Muitas vezes/De vez em 
quando/Nunca) 
2) Para a segunda pergunta, 30% das pessoas respondem que sempre consomem água 
purificada, não porque efetivamente o fazem, mas porque sentem vergonha de admitir que 
nunca o fazem. 
Exatidão 
Precisão 
 
Questão 34 - 
EF.28. Suponhamos que o programa de distribuição de cloro tem um impacto positivo sobre a 
saúde das famílias. Indique se as seguintes situações podem fazer com que o impacto do 
programa seja superestimado, seja subestimado, tenha efeitos ambíguos ou não enviese a 
estimativa do impacto. 
Você tem até duas tentativas para responder esta questão. Caso erre na primeira, 
retornará às alternativas para uma nova tentativa. 
A) Antes do levantamento final de dados, os indivíduos menos saudáveis dentro do grupo de 
tratamento tendem a migrar para as cidades para buscar trabalho, saindo da amostra. - 
Superestima a estimativa de impacto 
B) 20% dos indivíduos do grupo de tratamento e 20% dos indivíduos do grupo de controle 
abandonam o estudo. - Tem efeitos ambíguos sobre a estimativa de impacto 
C) Durante a intervenção, alguns indivíduos no grupo de controle acessam a água com cloro das 
casas do grupo de tratamento. - Subestima a estimativa de impacto 
 
Questão 35 - 
EF.29. Durante a avaliação de impacto do programa de distribuição de cloro, você descobre que 
algumas famílias no grupo de tratamento não receberam a intervenção e que algumas famílias 
do grupo de controle a estão recebendo. Qual das seguintes opções é a mais apropriada para 
garantir a integridade de uma avaliação de impacto? 
 
Eliminar as famílias que não cumprem com os protocolos de aleatorização do estudo. 
Mudá-las de grupo: mover os indivíduos do grupo de controle tratados ao grupo de tratamento 
e vice-versa. 
Deixar os indivíduos em seus respectivos grupos e fazer a análise de dados levando em conta 
este desafio. 
 
Questão 36 - 
EF.30. A equipe do programa está estudando se é factível trocar a entrega de cloro às famílias 
pela instalação de dispensadores de cloro comunitários, para diminuir os custos de entrega. Ao 
fazer uma revisão da evidência existente sobre esse tema, são encontrados dados sobre o 
seguinte programa: 
 
• Em um país distinto ao do programa que foi pesquisado, mas com uma população de 
características similares, avaliou-se a instalação de poços comunitários de água potável 
em lugares cuja população utilizava água contaminada de um rio. 
• Inicialmente, as pessoas utilizaram os poços de água potável com regularidade, mas esse 
uso diminuiu com o tempo. Ao investigarem a razão dessa diminuição, os pesquisadores 
se deram conta de que os poços estavam localizados em zonas inseguras, e as pessoas 
deixaram de usá-los por medo ou intimidação. 
É possível usar essa evidência para o desenho do programa de entrega de cloro? 
Não, porque o contexto é diferente. 
Não, porque o programa é diferente. 
Não, porque o programa não foi bem implementado. 
Sim, porque nos indica um possível problema que devemos evitar no desenho do nosso 
programa.