ESTUDO DE CASO 8

Prévia do material em texto

Avaliação de Impacto de Programas e Políticas Sociais
Estudo de Caso - Módulo 8
EC.1. O que significa dizer que os grupos de tratamento e controle são equivalentes ao começar o programa?
A. Que cada indivíduo de um grupo tem um par idêntico no outro grupo. 
B. Que, ainda que possam ser diferentes em outras variáveis, os dois grupos são comparáveis em características que podemos observar. 
C. Que os grupos são compostos por indivíduos que, em média, têm características similares (tanto observáveis como não observáveis). 
A alternativa correta é a C. O objetivo da avaliação aleatorizada é medir o impacto de um programa a partir da comparação entre dois grupos. Para isso, ambos devem ser comparáveis antes da intervenção em suas características observáveis (por exemplo, características socioeconômicas) e não observáveis (por exemplo, motivação). Sortear entre a população de potenciais beneficiários os indivíduos para compor os dois grupos é um procedimento para garantir que estes sejam, em média, similares em características observáveis e não observáveis antes de o programa ter início.
EC.2. Como podemos comprovar que os grupos de controle e tratamento são em média equivalentes antes do programa?
A. Comparando a média das variáveis observáveis nos dois grupos durante a implementação do programa. 
B. Comparando a média das variáveis observáveis nos dois grupos durante a linha de base. 
C. Por meio de um grupo focal com indivíduos pré-selecionados dos grupos de tratamento e controle. 
A alternativa correta é a B. Para verificar se os grupos de tratamento e controle são, em média, equivalentes antes do início da intervenção, comparamos as médias das variáveis observáveis dos dois grupos durante a linha de base. Se as médias forem estatisticamente similares, podemos dizer que os dois grupos estão balanceados e são comparáveis antes do início do programa.
EC.3. O que poderia acontecer durante uma avaliação que poderia tornar a análise de dados mais difícil?
A. As pessoas decidirem que não querem mais participar da avaliação. 
B. As pessoas do grupo de controle obterem o tratamento estudado. 
C. Os participantes da avaliação se mudarem de região ou morrerem. 
As alternativas A, B e C descrevem problemas comuns de implementação de uma avaliação aleatorizada. Quando a aleatorização não é implementada conforme o protocolo de aleatorização (o resultado do sorteio), os grupos de tratamento e controle passam a não ser mais comparáveis, tornando a análise de dados mais difícil.
EC.4. Após as cisternas serem construídas, os pesquisadores conduziram duas rodadas de entrevistas com os participantes da avaliação. A primeira aconteceu em outubro de 2012, logo após as eleições municipais, e a segunda aconteceu um ano depois. 
Suponha que, durante as rodadas de entrevistas com os participantes da avaliação, os pesquisadores tenham notado que parte das famílias se mudou das localidades e, portanto, desistiu de participar da avaliação. Como esse problema é denominado?
A. Externalidade. 
B. Cumprimento imperfeito. 
C. Atrito. 
D. Viés de seleção. 
A alternativa correta é a C. Atrito é a situação em que algumas unidades da amostra da avaliação se perdem (por falta de contato, morte, mudança etc) e não é mais possível obter informação sobre elas.
EC.5. Por que o abandono, por parte de parcela da amostra, é uma ameaça à avaliação e pode dificultar a medição do impacto do programa?
A. Porque a redução da amostra pode diminuir o poder estatístico da avaliação. 
B. Porque as unidades que “desaparecem” do grupo de controle podem ser diferentes das que “desaparecem” do grupo de tratamento, fazendo com que os grupos deixem de ser similares. 
C. Porque a avaliação pode ser cancelada devido ao baixo número de famílias que aderem ao programa. 
As alternativas A, B e C são consequências possíveis do atrito (perda de parte da amostra) e, portanto, ameaças à avaliação aleatorizada, caso se concretizem.
EC.6. Como é denominado o desafio de implementação em que o protocolo de aleatorização não ocorre como inicialmente planejado?
A. Externalidade. 
B. Cumprimento imperfeito. 
C. Atrito. 
D. Viés de seleção. 
A alternativa correta é a B. O cumprimento imperfeito é a situação em que parte da amostra da avaliação não cumpre o protocolo de aleatorização: indivíduos do grupo de tratamento não recebem a intervenção, ou indivíduos do grupo de controle recebem o tratamento.
EC.7. Como devemos proceder caso haja desrespeito à aleatorização durante a implementação da avaliação?
A. Trocar os indivíduos de grupo, usando o critério de recebimento ou não das cisternas (todos os que receberam cisternas ficam no grupo de tratamento, enquanto todos os que não receberam ficam no grupo de controle). 
B. Excluir da amostra os indivíduos que não cumpriram o protocolo de aleatorização determinado antes da avaliação. 
C. Prosseguir a análise como originalmente planejada. 
D. Empregar na análise de dados métodos que levam em conta o cumprimento imperfeito. 
A alternativa correta é a D. Não é possível apenas ignorar o cumprimento imperfeito, excluir indivíduos da amostra ou trocar indivíduos de grupo porque, mediante esses três procedimentos, corre-se o risco de os dois grupos (controle e tratamento) deixarem de ser comparáveis. Existem, no entanto, dois métodos da análise de dados que levam em conta o cumprimento imperfeito: 1) Efeito Intenção de Tratar (ITT): mede o efeito geral da intervenção, aceitando que existe cumprimento imperfeito; 2) Efeito Médio do Tratamento (LATE, Local Average Treatment Effect): mede o efeito da intervenção entre os que recebem de fato o programa.
EC.8. Na avaliação, os pesquisadores levaram em conta o cumprimento imperfeito e analisaram os resultados levando em conta a Intenção de Tratar (ITT). A análise comparou aqueles que foram originalmente sorteados para o grupo de tratamento aos indivíduos que eram originalmente parte do grupo de controle.
Um outro potencial desafio de implementação de uma avaliação aleatorizada é a contaminação (positiva ou negativa) do grupo de controle pelo grupo de tratamento. No caso do programa Cisternas, uma possível contaminação seria que famílias do grupo de tratamento permitissem que famílias do grupo de controle também usassem a cisterna construída em suas casas para obter água potável.
Como é denominado o desafio de implementação em que o grupo de controle é contaminado pelo grupo de tratamento?
A. Externalidade. 
B. Cumprimento imperfeito. 
C. Atrito. 
D. Viés de seleção. 
A alternativa correta é a A. Externalidade é a situação em que o grupo de controle (ou de comparação) se vê afetado pelo tratamento, ainda que a intervenção não tenha sido direcionada aos seus indivíduos.
EC.9. Como os pesquisadores poderiam evitar ou mitigar os efeitos da contaminação entre grupo de controle e grupo de tratamento? Marque todas as alternativas que julgar corretas.
A. Em áreas onde há contato próximo entre unidades dos grupos de controle e tratamento, fazer a aleatorização em um nível maior (em vez de aleatorizar famílias, aleatorizar, por exemplo,  bairros ou cidades). 
B. Impedir que indivíduos dos dois grupos tenham qualquer contato durante todo o período da avaliação. 
C. Medir o efeito da externalidade e levá-lo em conta no momento da análise dos dados. 
As alternativas corretas são A e C. Duas estratégias possíveis para lidar com externalidades são 1) prevenir, por meio da aleatorização em nível maior, o contato entre grupos de tratamento e controle (alternativa A) e 2) incluir a externalidade na etapa de análise de dados (alternativa C). A alternativa B está incorreta porque, ainda que possível em teoria, por questões éticas e logísticas não é viável impedir que as famílias tenham contato durante o período da avaliação.
EC.10. Como vimos nas perguntas anteriores, a avaliação teve cumprimento imperfeito. Em outras palavras, o protocolo de aleatorização não foi totalmente respeitado, o que levou lares do grupo de controle a receberem cisternas, e famílias do grupo de tratamento a não receberem o recurso.Nesse caso, é possível que o resultado dos efeitos do programa Cisternas sobre o clientelismo tenha sido:
A. Subestimado, pois o efeito da oferta de cisternas na redução do clientelismo seria ainda maior se a aleatorização tivesse sido respeitada. 
B. Superestimado, pois o efeito da construção de cisternas na redução do clientelismo seria menor se a aleatorização tivesse sido respeitada. 
C. O cumprimento imperfeito não afeta os resultados da avaliação. 
A alternativa correta é a A. No caso da avaliação do programa Cisternas, tanto o grupo de tratamento como o grupo de controle sofreram com o cumprimento imperfeito. Se o protocolo de aleatorização tivesse sido cumprido, haveria mais unidades nesses grupos. Isso, portanto, possibilitaria que o efeito da oferta de cisternas fosse maior.