Estudo de caso - Módulo 8 - Avaliação de Impacto de Programas e Políticas Sociais

Prévia do material em texto

01/03/2020 avaliacao_impacto | - Turma FEV/2020: Estudo de Caso - Módulo 8: Feedback EC1
https://mooc.escolavirtual.gov.br/mod/lesson/view.php?id=109057&pageid=44195 1/2
Painel / Meus cursos / Avaliação de Impacto de Programas e Políticas Sociais / Semana 4
/ Estudo de Caso - Módulo 8
Avaliação de Impacto de Programas
e Políticas Sociais
Estudo de Caso - Módulo 8
Feedback
EC.1. O que significa dizer que os grupos de tratamento e controle são equivalentes ao
começar o programa?
A. Que cada indivíduo de um grupo tem um par idêntico no outro grupo. 
B. Que, ainda que possam ser diferentes em outras variáveis, os dois grupos são
comparáveis em características que podemos observar. 
C. Que os grupos são compostos por indivíduos que, em média, têm características
similares (tanto observáveis como não observáveis). 
A alternativa correta é a C. O objetivo da avaliação aleatorizada é medir o impacto de
um programa a partir da comparação entre dois grupos. Para isso, ambos devem
ser comparáveis antes da intervenção em suas características observáveis (por
exemplo, características socioeconômicas) e não observáveis (por exemplo,
motivação). Sortear entre a população de potenciais beneficiários os indivíduos para
compor os dois grupos é um procedimento para garantir que estes sejam, em
média, similares em características observáveis e não observáveis antes de o
programa ter início. 
Avançar
Progresso na lição: 24%
☰
https://mooc.escolavirtual.gov.br/my/
https://mooc.escolavirtual.gov.br/course/view.php?id=4103
https://mooc.escolavirtual.gov.br/course/view.php?id=4103#section-4
https://mooc.escolavirtual.gov.br/mod/lesson/view.php?id=109057
01/03/2020 avaliacao_impacto | - Turma FEV/2020: Estudo de Caso - Módulo 8: Feedback EC2
https://mooc.escolavirtual.gov.br/mod/lesson/view.php?id=109057&pageid=44197 1/2
Painel / Meus cursos / Avaliação de Impacto de Programas e Políticas Sociais / Semana 4
/ Estudo de Caso - Módulo 8
Avaliação de Impacto de Programas
e Políticas Sociais
Estudo de Caso - Módulo 8
Feedback
EC.2. Como podemos comprovar que os grupos de controle e tratamento são em média
equivalentes antes do programa?
A. Comparando a média das variáveis observáveis nos dois grupos durante a
implementação do programa. 
B. Comparando a média das variáveis observáveis nos dois grupos durante a linha de
base. 
C. Por meio de um grupo focal com indivíduos pré-selecionados dos grupos de
tratamento e controle. 
A alternativa correta é a B. Para verificar se os grupos de tratamento e controle são,
em média, equivalentes antes do início da intervenção, comparamos as médias das
variáveis observáveis dos dois grupos durante a linha de base. Se as médias forem
estatisticamente similares, podemos dizer que os dois grupos estão balanceados e
são comparáveis antes do início do programa. 
Avançar
Progresso na lição: 31%
☰
https://mooc.escolavirtual.gov.br/my/
https://mooc.escolavirtual.gov.br/course/view.php?id=4103
https://mooc.escolavirtual.gov.br/course/view.php?id=4103#section-4
https://mooc.escolavirtual.gov.br/mod/lesson/view.php?id=109057
01/03/2020 avaliacao_impacto | - Turma FEV/2020: Estudo de Caso - Módulo 8: Feedback EC3
https://mooc.escolavirtual.gov.br/mod/lesson/view.php?id=109057&pageid=44199 1/2
Painel / Meus cursos / Avaliação de Impacto de Programas e Políticas Sociais / Semana 4
/ Estudo de Caso - Módulo 8
Avaliação de Impacto de Programas
e Políticas Sociais
Estudo de Caso - Módulo 8
Feedback
EC.3. O que poderia acontecer durante uma avaliação que poderia tornar a análise de
dados mais difícil?
A. As pessoas decidirem que não querem mais participar da avaliação. 
B. As pessoas do grupo de controle obterem o tratamento estudado. 
C. Os participantes da avaliação se mudarem de região ou morrerem. 
As alternativas A, B e C descrevem problemas comuns de implementação de uma
avaliação aleatorizada. Quando a aleatorização não é implementada conforme o
protocolo de aleatorização (o resultado do sorteio), os grupos de tratamento e
controle passam a não ser mais comparáveis, tornando a análise de dados mais
difícil. 
Avançar
Progresso na lição: 38%
☰
https://mooc.escolavirtual.gov.br/my/
https://mooc.escolavirtual.gov.br/course/view.php?id=4103
https://mooc.escolavirtual.gov.br/course/view.php?id=4103#section-4
https://mooc.escolavirtual.gov.br/mod/lesson/view.php?id=109057
01/03/2020 avaliacao_impacto | - Turma FEV/2020: Estudo de Caso - Módulo 8: Feedback EC4
https://mooc.escolavirtual.gov.br/mod/lesson/view.php?id=109057&pageid=44201 1/2
Painel / Meus cursos / Avaliação de Impacto de Programas e Políticas Sociais / Semana 4
/ Estudo de Caso - Módulo 8
Avaliação de Impacto de Programas
e Políticas Sociais
Estudo de Caso - Módulo 8
Feedback
EC.4. Após as cisternas serem construídas, os pesquisadores conduziram duas rodadas de
entrevistas com os participantes da avaliação. A primeira aconteceu em outubro de 2012,
logo após as eleições municipais, e a segunda aconteceu um ano depois. 
Suponha que, durante as rodadas de entrevistas com os participantes da avaliação, os
pesquisadores tenham notado que parte das famílias se mudou das localidades e,
portanto, desistiu de participar da avaliação. Como esse problema é denominado?
A. Externalidade. 
B. Cumprimento imperfeito. 
C. Atrito. 
D. Viés de seleção. 
A alternativa correta é a C. Atrito é a situação em que algumas unidades da amostra
da avaliação se perdem (por falta de contato, morte, mudança etc) e não é mais
possível obter informação sobre elas. 
Avançar
Progresso na lição: 45%
☰
https://mooc.escolavirtual.gov.br/my/
https://mooc.escolavirtual.gov.br/course/view.php?id=4103
https://mooc.escolavirtual.gov.br/course/view.php?id=4103#section-4
https://mooc.escolavirtual.gov.br/mod/lesson/view.php?id=109057
01/03/2020 avaliacao_impacto | - Turma FEV/2020: Estudo de Caso - Módulo 8: Feedback EC5
https://mooc.escolavirtual.gov.br/mod/lesson/view.php?id=109057&pageid=44203 1/2
Painel / Meus cursos / Avaliação de Impacto de Programas e Políticas Sociais / Semana 4
/ Estudo de Caso - Módulo 8
Avaliação de Impacto de Programas
e Políticas Sociais
Estudo de Caso - Módulo 8
Feedback
EC.5. Por que o abandono, por parte de parcela da amostra, é uma ameaça à avaliação e
pode dificultar a medição do impacto do programa?
A. Porque a redução da amostra pode diminuir o poder estatístico da avaliação. 
B. Porque as unidades que “desaparecem” do grupo de controle podem ser diferentes
das que “desaparecem” do grupo de tratamento, fazendo com que os grupos
deixem de ser similares. 
C. Porque a avaliação pode ser cancelada devido ao baixo número de famílias que
aderem ao programa. 
As alternativas A, B e C são consequências possíveis do atrito (perda de parte da
amostra) e, portanto, ameaças à avaliação aleatorizada, caso se concretizem. 
Avançar
Progresso na lição: 52%

☰
https://mooc.escolavirtual.gov.br/my/
https://mooc.escolavirtual.gov.br/course/view.php?id=4103
https://mooc.escolavirtual.gov.br/course/view.php?id=4103#section-4
https://mooc.escolavirtual.gov.br/mod/lesson/view.php?id=109057
https://mooc.escolavirtual.gov.br/mod/lesson/view.php?id=109040
01/03/2020 avaliacao_impacto | - Turma FEV/2020: Estudo de Caso - Módulo 8: Feedback EC6
https://mooc.escolavirtual.gov.br/mod/lesson/view.php?id=109057&pageid=44207 1/2
Painel / Meus cursos / Avaliação de Impacto de Programas e Políticas Sociais / Semana 4
/ Estudo de Caso - Módulo 8
Avaliação de Impacto de Programas
e Políticas Sociais
Estudo de Caso - Módulo 8
Feedback
EC.6. Como é denominado o desafio de implementação em que o protocolo de
aleatorização não ocorre como inicialmente planejado?
A. Externalidade. 
B. Cumprimento imperfeito. 
C. Atrito. 
D. Viés de seleção. 
A alternativa correta é a B. O cumprimento imperfeito é a situação em que parte da
amostra da avaliação não cumpre o protocolo de aleatorização: indivíduos do grupo
de tratamento não recebem a intervenção, ou indivíduos do grupode controle
recebem o tratamento. 
Avançar
Progresso na lição: 66%
☰
https://mooc.escolavirtual.gov.br/my/
https://mooc.escolavirtual.gov.br/course/view.php?id=4103
https://mooc.escolavirtual.gov.br/course/view.php?id=4103#section-4
https://mooc.escolavirtual.gov.br/mod/lesson/view.php?id=109057
01/03/2020 avaliacao_impacto | - Turma FEV/2020: Estudo de Caso - Módulo 8: Feedback EC7
https://mooc.escolavirtual.gov.br/mod/lesson/view.php?id=109057&pageid=44209 1/2
Painel / Meus cursos / Avaliação de Impacto de Programas e Políticas Sociais / Semana 4
/ Estudo de Caso - Módulo 8
Avaliação de Impacto de Programas
e Políticas Sociais
Estudo de Caso - Módulo 8
Feedback
EC.7. Como devemos proceder caso haja desrespeito à aleatorização durante a
implementação da avaliação?
A. Trocar os indivíduos de grupo, usando o critério de recebimento ou não das
cisternas (todos os que receberam cisternas ficam no grupo de tratamento,
enquanto todos os que não receberam ficam no grupo de controle). 
B. Excluir da amostra os indivíduos que não cumpriram o protocolo de aleatorização
determinado antes da avaliação. 
C. Prosseguir a análise como originalmente planejada. 
D. Empregar na análise de dados métodos que levam em conta o cumprimento
imperfeito. 
A alternativa correta é a D. Não é possível apenas ignorar o cumprimento
imperfeito, excluir indivíduos da amostra ou trocar indivíduos de grupo porque,
mediante esses três procedimentos, corre-se o risco de os dois grupos (controle e
tratamento) deixarem de ser comparáveis. Existem, no entanto, dois métodos da
análise de dados que levam em conta o cumprimento imperfeito: 1) Efeito Intenção
de Tratar (ITT): mede o efeito geral da intervenção, aceitando que existe
cumprimento imperfeito; 2) Efeito Médio do Tratamento (LATE, Local Average
Treatment Effect): mede o efeito da intervenção entre os que recebem de fato o
programa. 
Avançar
Progresso na lição: 72%
☰
https://mooc.escolavirtual.gov.br/my/
https://mooc.escolavirtual.gov.br/course/view.php?id=4103
https://mooc.escolavirtual.gov.br/course/view.php?id=4103#section-4
https://mooc.escolavirtual.gov.br/mod/lesson/view.php?id=109057
01/03/2020 avaliacao_impacto | - Turma FEV/2020: Estudo de Caso - Módulo 8: Feedback EC8
https://mooc.escolavirtual.gov.br/mod/lesson/view.php?id=109057&pageid=44211 1/2
Painel / Meus cursos / Avaliação de Impacto de Programas e Políticas Sociais / Semana 4
/ Estudo de Caso - Módulo 8
Avaliação de Impacto de Programas
e Políticas Sociais
Estudo de Caso - Módulo 8
Feedback
EC.8. Na avaliação, os pesquisadores levaram em conta o cumprimento imperfeito e
analisaram os resultados levando em conta a Intenção de Tratar (ITT). A análise comparou
aqueles que foram originalmente sorteados para o grupo de tratamento aos indivíduos
que eram originalmente parte do grupo de controle.
Um outro potencial desafio de implementação de uma avaliação aleatorizada é a
contaminação (positiva ou negativa) do grupo de controle pelo grupo de tratamento. No
caso do programa Cisternas, uma possível contaminação seria que famílias do grupo de
tratamento permitissem que famílias do grupo de controle também usassem a cisterna
construída em suas casas para obter água potável.
Como é denominado o desafio de implementação em que o grupo de controle é
contaminado pelo grupo de tratamento?
A. Externalidade. 
B. Cumprimento imperfeito. 
C. Atrito. 
D. Viés de seleção. 
A alternativa correta é a A. Externalidade é a situação em que o grupo de controle
(ou de comparação) se vê afetado pelo tratamento, ainda que a intervenção não
tenha sido direcionada aos seus indivíduos. 
Avançar
Progresso na lição: 79%

☰
https://mooc.escolavirtual.gov.br/my/
https://mooc.escolavirtual.gov.br/course/view.php?id=4103
https://mooc.escolavirtual.gov.br/course/view.php?id=4103#section-4
https://mooc.escolavirtual.gov.br/mod/lesson/view.php?id=109057
01/03/2020 avaliacao_impacto | - Turma FEV/2020: Estudo de Caso - Módulo 8: Feedback EC9
https://mooc.escolavirtual.gov.br/mod/lesson/view.php?id=109057&pageid=44213 1/2
Painel / Meus cursos / Avaliação de Impacto de Programas e Políticas Sociais / Semana 4
/ Estudo de Caso - Módulo 8
Avaliação de Impacto de Programas
e Políticas Sociais
Estudo de Caso - Módulo 8
Feedback
EC.9. Como os pesquisadores poderiam evitar ou mitigar os efeitos da contaminação entre
grupo de controle e grupo de tratamento? Marque todas as alternativas que julgar
corretas.
A. Em áreas onde há contato próximo entre unidades dos grupos de controle e
tratamento, fazer a aleatorização em um nível maior (em vez de aleatorizar famílias,
aleatorizar, por exemplo,  bairros ou cidades). 
B. Impedir que indivíduos dos dois grupos tenham qualquer contato durante todo o
período da avaliação. 
C. Medir o efeito da externalidade e levá-lo em conta no momento da análise dos
dados. 
As alternativas corretas são A e C. Duas estratégias possíveis para lidar com
externalidades são 1) prevenir, por meio da aleatorização em nível maior, o contato
entre grupos de tratamento e controle (alternativa A) e 2) incluir a externalidade na
etapa de análise de dados (alternativa C). A alternativa B está incorreta porque,
ainda que possível em teoria, por questões éticas e logísticas não é viável impedir
que as famílias tenham contato durante o período da avaliação. 
Avançar
Progresso na lição: 86%
☰
https://mooc.escolavirtual.gov.br/my/
https://mooc.escolavirtual.gov.br/course/view.php?id=4103
https://mooc.escolavirtual.gov.br/course/view.php?id=4103#section-4
https://mooc.escolavirtual.gov.br/mod/lesson/view.php?id=109057
01/03/2020 avaliacao_impacto | - Turma FEV/2020: Estudo de Caso - Módulo 8: Feedback E10
https://mooc.escolavirtual.gov.br/mod/lesson/view.php?id=109057&pageid=44216 1/2
Painel / Meus cursos / Avaliação de Impacto de Programas e Políticas Sociais / Semana 4
/ Estudo de Caso - Módulo 8
Avaliação de Impacto de Programas
e Políticas Sociais
Estudo de Caso - Módulo 8
Feedback
EC.10. Como vimos nas perguntas anteriores, a avaliação teve cumprimento imperfeito.
Em outras palavras, o protocolo de aleatorização não foi totalmente respeitado, o que
levou lares do grupo de controle a receberem cisternas, e famílias do grupo de tratamento
a não receberem o recurso.  Nesse caso, é possível que o resultado dos efeitos do
programa Cisternas sobre o clientelismo tenha sido:
A. Subestimado, pois o efeito da oferta de cisternas na redução do clientelismo seria
ainda maior se a aleatorização tivesse sido respeitada. 
B. Superestimado, pois o efeito da construção de cisternas na redução do clientelismo
seria menor se a aleatorização tivesse sido respeitada. 
C. O cumprimento imperfeito não afeta os resultados da avaliação. 
A alternativa correta é a A. No caso da avaliação do programa Cisternas, tanto o
grupo de tratamento como o grupo de controle sofreram com o cumprimento
imperfeito. Se o protocolo de aleatorização tivesse sido cumprido, haveria mais
unidades nesses grupos. Isso, portanto, possibilitaria que o efeito da oferta de
cisternas fosse maior. 
Avançar
Progresso na lição: 97%
☰
https://mooc.escolavirtual.gov.br/my/
https://mooc.escolavirtual.gov.br/course/view.php?id=4103
https://mooc.escolavirtual.gov.br/course/view.php?id=4103#section-4
https://mooc.escolavirtual.gov.br/mod/lesson/view.php?id=109057