Avaliação de Impacto de Programas e Políticas Sociais - Módulo 3

Prévia do material em texto

Avaliação de Impacto de Programas e Políticas Sociais - Módulo 3 
 
Questão 01 - 
A.1. O que é poder estatístico? 
É a probabilidade de que o programa tenha um impacto real na população. 
É a probabilidade de um participante pertencer ao grupo de controle ou ao grupo de 
tratamento. 
É a probabilidade de se detectar o impacto de um programa, quando ele existe. 
É a magnitude do impacto do programa. 
 
Questão 02 - 
A.2. Em uma avaliação de impacto, nunca podemos conhecer a verdade com certeza absoluta. 
Por quê? 
Porque a realidade é mais complexa do que o esperado no momento de se desenhar o 
programa. 
Porque é sempre possível argumentar contra ou a favor de um programa. 
Porque os gestores públicos se guiam pela experiência, não pela evidência. 
Porque trabalhando-se com dados amostrais sempre existe certo grau de incerteza. 
 
Questão 03 - 
A.3. Quando falamos em "subconjunto da população escolhido aleatoriamente", nos referimos 
a: 
Variância. 
Agrupamentos. 
Amostra. 
Taxa de participação (take-up). 
 
Questão 04 - 
A.4.a. Suponha o seguinte caso: deseja-se avaliar uma política de capacitação profissional que 
tem como objetivo aumentar o salário dos trabalhadores (medido em dólares). A seguir, são 
descritos os grupos de controle e de tratamento deste programa. 
a) Qual é a média do grupo de tratamento? 
11 
b) Qual é a média do grupo de controle? 
10 
a) Qual é a média da amostra do grupo de tratamento? 
13 
b) E a média da amostra do grupo de controle? 
7,8 
a) Qual é a média da segunda amostra do grupo de tratamento? 
9 
b) E a média da segunda amostra do grupo de controle? 
12,2 
a) Qual seria o impacto do programa em R$/h se tivéssemos acesso a todos os dados da 
população (figura da esquerda)? 
1 
b) Qual seria o impacto do programa em R$/h se tivéssemos acesso somente à primeira amostra 
(figura do meio)? 
5,2 
c) Qual seria o impacto do programa em R$/h se tivéssemos acesso somente à segunda amostra 
(figura da direita)? 
-3,2 
 
Questão 05 - 
A.8. Determine quais das seguintes conclusões é falsa, marcando todas as respostas que julgar 
incorretas: 
Você tem até duas tentativas para responder esta questão. Caso erre na primeira, 
retornará às alternativas para uma nova tentativa. 
Se só tivéssemos acesso à PRIMEIRA amostra, poderíamos concluir que o programa tem um 
impacto POSITIVO. 
Se só tivéssemos acesso à PRIMEIRA amostra, poderíamos concluir que o programa tem um 
impacto NEGATIVO. 
Se só tivéssemos acesso à SEGUNDA amostra, poderíamos concluir que o programa tem um 
impacto POSITIVO. 
Se só tivéssemos acesso à SEGUNDA amostra, poderíamos concluir que o programa tem um 
impacto NEGATIVO. 
 
Questão 06 - 
B.1. Dentre as seguintes situações, determine qual(is) corresponde(m) a um erro tipo I. Marque 
todas as respostas que julgar corretas. 
Você tem até duas tentativas para responder esta questão. Caso erre na primeira, 
retornará às alternativas para uma nova tentativa. 
Conclui-se que o programa NÃO teve um impacto, mas, na realidade, esse impacto existiu. 
Conclui-se que o programa teve impacto, mas, na realidade, esse impacto NÃO existiu. 
Falso positivo. 
Falso negativo. 
 
Questão 07 - 
B.2. De acordo com o vídeo, que fatores contribuíram para que se diminuísse o poder estatístico 
no estudo em Gana? Marque todas as respostas que julgar corretas. 
Você tem até duas tentativas para responder esta questão. Caso erre na primeira, 
retornará às alternativas para uma nova tentativa. 
Baixa participação no programa. 
Limite orçamentário. 
Amostra pequena. 
Amostra enviesada. 
 
Questão 08 - 
C.1. Quais são os benefícios de se aumentar o tamanho amostral? Marque todas as respostas 
que julgar corretas. 
Você tem até duas tentativas para responder esta questão. Caso erre na primeira, 
retornará às alternativas para uma nova tentativa. 
Aumentar o poder estatístico. 
Diminuir os custos do programa. 
Aumentar a representatividade da população. 
Minimizar o erro tipo II (falso negativo). 
 
Questão 09 - 
C.2. Considere a seguinte situação: se você vai participar de um jogo de azar em que você ganha 
se escolher a amostra cujos resultados estão mais próximos aos valores reais (você não conhece 
os dados de cada amostra), em qual amostra você apostaria: em uma de 3 observações ou em 
uma de 6 observações? 
Amostra 1, com 3 observações. 
Amostra 2, com 6 observações. 
 
Questão 10 - 
D.1. Verdadeiro ou falso: quanto maior o tamanho do efeito esperado do programa, maior deve 
ser o tamanho amostral; quanto menor o tamanho do efeito esperado do programa, menor 
deve ser o tamanho amostral. 
Verdadeiro 
Falso 
 
Questão 11 - 
D.2. Seus parceiros de pesquisa compartilharam dados de um novo programa de capacitação 
profissional. Você tem a informação do programa anterior (1) e do novo programa (2). 
Qual é o impacto do programa novo (2)? 
8 
 
Questão 12 - 
D.3. A Secretaria de Educação do seu estado gostaria de melhorar o desempenho de alunos do 
ensino médio, que apresentam notas em provas nacionais cada vez mais baixas. Para isso, 
elaborou duas intervenções em paralelo com os professores do estado: uma de capacitação de 
professores e outra de pagamento de bônus por performance de professores. Os gestores 
solicitaram apoio para a avaliação dessas intervenções a pesquisadores, que precisam definir 
qual o tamanho da amostra de cada intervenção. Suponha que, de acordo com a literatura do 
tema, capacitar professores pode ter um efeito aproximadamente duas vezes maior do que 
atribuir bônus a professores. Assim, nesta pesquisa, podemos esperar que qual dos dois 
programas precisará de maior amostra para que os pesquisadores possam perceber seu efeito? 
Capacitação de professores 
Pagamento de bônus por performance de professores 
 
Questão 13 - 
E.1. Qual é a relação entre a taxa de participação e o tamanho amostral? Marque todas as 
respostas que julgar corretas. 
Você tem até duas tentativas para responder esta questão. Caso erre na primeira, 
retornará às alternativas para uma nova tentativa. 
Para uma taxa de participação pequena, precisamos de um tamanho amostral grande. 
Para uma taxa de participação grande, precisamos de um tamanho amostral grande. 
Para uma taxa de participação pequena, é suficiente um tamanho amostral pequeno. 
Para uma taxa de participação grande, é suficiente um tamanho amostral pequeno. 
 
Questão 14 - 
E.2. Considere o programa de capacitação profissional com o qual temos trabalhado. A seguir, 
apresentamos o que teria acontecido se 5 pessoas do grupo de tratamento nunca tivessem 
comparecido à capacitação. Os números em vermelho representam os indivíduos que não 
receberam o tratamento (portanto, não tiveram aumento salarial por hora trabalhada). 
5 das 10 pessoas do grupo de tratamento receberam efetivamente o tratamento, o que equivale 
a 50%. 
 
Questão 15 - 
E.3a. Considere os mesmos dados do exercício anterior. 
0,5 
 
Questão 16 - 
E.3b. Considere os mesmos dados do exercício anterior. 
0.5 
 
Questão 17 - 
F.1. Que implicações a variância tem na avaliação de impacto? Marque todas as respostas que 
julgar corretas. 
Você tem até duas tentativas para responder esta questão. Caso erre na primeira, 
retornará às alternativas para uma nova tentativa. 
Quanto maior a heterogeneidade (ou variância) dos grupos, menor é a amostra necessária para 
observar os efeitos do programa. 
Quanto maior a heterogeneidade (ou variância) dos grupos, maior é a amostra necessária para 
observar os efeitos do programa. 
Em uma população com variância alta, é mais difícil observar os efeitos do programa. 
Em uma população com variância alta, é mais fácil observar os efeitos do programa. 
 
Questão 18 - 
F.2. Verdadeiro ou falso: a regra de ouro número 4 assinala que, para um dado nível de poder 
estatístico, quanto maior a variância amostral, maior o tamanho amostral necessário. 
Verdadeiro 
FalsoQuestão 19 - 
F.3. Felizmente, o seu programa está tendo êxito e será replicado em outra localidade. A seguir, 
são apresentados os resultados da primeira (1) e da segunda (2) localidades: 
Qual é o tamanho do impacto na localidade 2? 
O tamanho do impacto na localidade 2 é 1. Média do grupo de tratamento na localidade 2 (-) 
Média do grupo de controle na localidade 2 = (10+12+11+ 10+12+11+10+11+11+12)/10 - 
(9+10+11+10+11+10+9+11+10+9)/10 = 11-10 = 1. Portanto, o programa teve o mesmo impacto 
nas duas localidades. 
 
Questão 20 - 
a) Em qual das duas localidades a amostra apresenta maior variância? 
Localidade 1 
Localidade 2 
 
Questão 21 - 
b) Em qual das duas localidades você escolheria fazer uma avaliação, levando em conta a 
variância das amostras? 
Localidade 1 
Localidade 2 
 
Questão 22 - 
G.1. Dado um tamanho amostral, de que maneira devem ser distribuídos os indivíduos entre os 
grupos de tratamento e de controle, de maneira a maximizar o poder estatístico? 
Devem ser distribuídos igualmente entre o grupo de tratamento e de controle. 
A maioria dos indivíduos deve estar no grupo de controle. 
A maioria dos indivíduos deve estar no grupo de tratamento. 
 
Questão 23 - 
G.2. Por que nem sempre se distribui igualmente uma amostra nos grupos de controle e de 
tratamento? Marque todas as respostas que julgar corretas. 
Você tem até duas tentativas para responder esta questão. Caso erre na primeira, 
retornará às alternativas para uma nova tentativa. 
Devido à escassez de recursos, o programa não pode tratar um número suficiente de indivíduos. 
Se o custo do tratamento é muito alto, pode ser que se ganhe mais poder aumentando o grupo 
de controle do que balanceando igualmente os grupos. 
Se o custo do controle é muito alto, pode ser que se ganhe mais poder aumentando o grupo de 
tratamento do que balanceando igualmente os grupos. 
 
Questão 24 - 
H.1. Quais das seguintes alternativas estão corretas? 
Você tem até duas tentativas para responder esta questão. Caso erre na primeira, 
retornará às alternativas para uma nova tentativa. 
Se a Correlação Intra-Clusters é igual a 0, os indivíduos do mesmo conglomerado são muito 
similares. 
Se a Correlação Intra-Clusters é igual a 1, os indivíduos do mesmo conglomerado são muito 
similares. 
Entrevistar mais pessoas por cluster aumenta o poder estatístico, mas cada vez em menor 
magnitude (rendimentos decrescentes de se ter mais observações). 
Quando uma Correlação Intra-Clusters é muito baixa, precisamos de uma amostra maior. 
 
Questão 25 - 
H.2. Verdadeiro ou falso: quanto maior a Correlação Intra-Clusters, maior o poder estatístico. 
Verdadeiro 
Falso 
 
Questão 26 - 
H.3. Verdadeiro ou falso: se faço uma sondagem eleitoral no Brasil, selecionar aletoriamente 100 
pessoas de toda a população me trará mais poder que escolher 20 famílias e entrevistar os 5 
membros (100 pessoas no total). 
Verdadeiro 
Falso 
 
Questão 27 - 
I.1. Das seguintes afirmações, marque todas as respostas que julgar corretas. 
Você tem até duas tentativas para responder esta questão. Caso erre na primeira, 
retornará às alternativas para uma nova tentativa. 
Quanto maior a amostra, maior o poder estatístico. 
Quanto maior o tamanho do efeito, menor a amostra necessária. 
Quanto maior a taxa de participação, menor a amostra necessária. 
Quanto maior a variância na população, maior a amostra necessária. 
Para uma dada amostra, o número igual de indivíduos no grupo de tratamento e no grupo de 
controle maximiza o poder estatístico. 
Para uma dada amostra, agrupar observações tem como resultado obter menor poder 
estatístico. 
Para uma maior correlação intra-cluster (CIC), é necessário um tamanho amostral maior.