MODULO 8 - QUESTIONARIOS 8

Prévia do material em texto

Introdução - Módulo 8
GUIA
No segundo módulo deste curso, vimos que a validade interna é a grande fortaleza das avaliações aleatorizadas. Existem, no entanto, várias ameaças à validade interna de uma avaliação. Neste módulo, apresentamos as principais; explicamos em que consistem e propomos formas de preveni-las e abordá-las. Para isso, são apresentados os principais desafios pós-desenho de uma avaliação aleatorizada: atrito, externalidades, cumprimento imperfeito e respostas comportamentais à avaliação.
O estudo de caso analisa uma avaliação de impacto de um programa de construção de cisternas (tanques de acúmulo de água da chuva) no Semiárido brasileiro. Os resultados da avaliação dessa política, existente desde o início dos anos 2000, sugerem que ela promoveu transformações nas relações sociais da região rural, em especial no que diz respeito ao clientelismo. A partir do caso, há exercícios relacionados a ameaças causadas por atrito, externalidade e cumprimento imperfeito.
Parte superior do formulário
Parte inferior do formulário
OBJETIVOS
Após finalizar este módulo, os participantes serão capazes de:
· Identificar as principais ameaças à validade interna de uma avaliação aleatorizada;
· Definir estratégias para identificar ou abordar cada ameaça.
RAIO-X DO MÓDULO
Este módulo contém seis vídeos sobre os tópicos da aula: desafios de implementação de uma avaliação de impacto e como lidar com eles. Os vídeos, em conjunto, têm cerca de 55 minutos de duração. Para fixar os conteúdos dos vídeos, você deverá responder a 19 questões objetivas referentes ao conteúdo apresentado. Reserve cerca de 1:30 hora para finalizar esta lição.
O estudo de caso é desenvolvido a partir da avaliação de um programa de instalação de cisternas no Nordeste brasileiro e os desafios de implementação que ocorreram. O estudo de caso contém textos sobre a avaliação e 10 questões. Reserve cerca de 45 minutos para finalizar o estudo de caso.
Desafios Pós-Desenho de uma Avaliação Experimental
DEFINIÇÕES
· Atrito: também chamado de desgaste, representa a perda de algumas unidades da amostra. É quando não conseguimos dados dos resultados de interesse para algumas pessoas (ou outra unidade de observação) do grupo de controle ou de tratamento.
· Externalidade: o grupo de controle se vê afetado pelo tratamento, embora a intervenção não lhe tenha sido aplicada diretamente.
· Cumprimento imperfeito: alguns dos indivíduos da avaliação não cumprem o protocolo de aleatorização (indivíduos sorteados para o grupo de tratamento não recebem a intervenção, ou indivíduos sorteados para o grupo de controle a recebem).
· Respostas comportamentais à avaliação: o fato de fazer parte da avaliação muda o comportamento das pessoas do grupo de tratamento e/ou de controle.
Feedback
A.1. Os elementos de atrito amostral, externalidade, viés de seleção e respostas comportamentais a uma avaliação são:
A. Ameaças à validade interna e externa de uma avaliação.  
B. Ameaças à viabilidade da aleatorização em uma avaliação.  
C. Ameaças ao desenho da avaliação.   
D. Ameaças à proteção dos dados da avaliação.  
A resposta correta é a alternativa A. Uma vez realizado o desenho de uma avaliação e feita sua aleatorização, os elementos citados são desafios que podem ameaçar sua validade interna (capacidade que a avaliação tem de afirmar que os impactos medidos foram causados pela intervenção analisada) e sua validade externa (capacidade de se generalizar o resultado da avaliação).
Feedback
B.1. A que se refere o termo atrito?
A. Os indivíduos não respondem ao tratamento de maneira adequada. 
B. Os grupos de controle e tratamento não estão balanceados após a aleatorização. 
C. Não é possível conseguir dados de interesse dos indivíduos do grupo de controle. 
D. Não é possível conseguir dados de interesse dos indivíduos da amostra. 
E. Não é possível conseguir dados de interesse dos indivíduos do grupo de tratamento. 
A resposta correta é a alternativa D. O atrito ocorre quando não é possível obter informação dos indivíduos da amostra durante o período da avaliação. Isso é um problema tanto se a perda se der no grupo de controle, como no grupo de tratamento. 
Feedback
B.2. Considerando as situações apresentadas antes e depois da intervenção, responda à pergunta. 
Verdadeiro ou falso: apesar da desistência de um dos alunos, o efeito do programa é positivo, e o atrito não foi um problema para fazer essa avaliação.
A. Verdadeiro 
B. Falso 
Falso. Embora o impacto do programa continue positivo, está superestimado. No caso em que não há atrito, temos um impacto de 2 pontos. Quando há, o impacto é de 4,5 pontos. O fato de os resultados serem favoráveis ao programa não significa que o atrito não seja um problema.
Feedback
C.1. Quais das alternativas abaixo são verdadeiras em relação ao atrito? Marque todas as alternativas que julgar corretas.
A. O atrito pode causar perda do poder estatístico da avaliação. 
B. As complicações são menores quando o atrito nos grupos de tratamento e controle acontece de maneira aleatória. 
C. As complicações são maiores quando os indivíduos que deixam o grupo de controle são diferentes dos indivíduos que deixam o grupo de tratamento. 
D. As complicações são menores quando os indivíduos que deixam o grupo de controle são diferentes dos indivíduos que deixam o grupo de tratamento. 
As respostas corretas são as alternativas A, B e C. De todo modo, o atrito tende a levar à perda de poder estatístico (alternativa A). Contudo, quando o atrito dos grupos de tratamento e controle é aleatório (ocorrendo com indivíduos similares entre os grupos), suas consequências são menos graves, pois não alteram, na média, as características desses grupos (alternativa B). Do mesmo modo, se os indivíduos que deixarem os grupos de tratamento e controle forem diferentes (fenômeno denominado "atrito diferencial"), as complicações são maiores e há maior chance de o atrito enviesar resultados (alternativa C). 
Feedback
C.2. Complete corretamente o seguinte trecho:
"Se o atrito é ____________, só causa problemas de ____________, não de ____________".
A. desbalanceado / viés / poder estatístico 
B. balanceado / poder estatístico / viés 
C. balanceado / viés / poder estatístico 
A alternativa correta é a B. Se o atrito é balanceado (ou seja, ocorre de maneira similar entre os indivíduos do grupo de tratamento e de controle, sem afetar as características dos dois grupos que façam com que eles sejam comparáveis), ele causa a perda do poder estatístico, mas não afeta os resultados. Porém, se o atrito ocorre de maneira diferente nos dois grupos, ele também pode enviesar resultados. 
Feedback
C.3. Quais são as recomendações mencionadas no vídeo para tratar o problema do atrito na etapa de análise dos dados? Marque todas as alternativas que julgar corretas.
A. Eliminar indivíduos até que os grupos estejam equilibrados. 
B. Relatar os níveis de atrito em ambos os grupos. 
C. Ver se existem diferenças entre as características dos dois grupos. 
D. Buscar as pessoas que não haviam sido entrevistadas 
As respostas corretas são as alternativas B e C. Na etapa de análise, há poucas coisas que podem ser feitas para minimizar o atrito. Antes de mais nada, devemos reportar os níveis de atrito em cada um dos grupos. Depois, ver se as características das pessoas que deixaram os grupos são relevantes e se isso provoca um viés nos resultados. Embora seja desejável buscar as pessoas que desapareceram da amostra, essa decisão não pertence à etapa de análise. Finalmente, não é possível eliminar indivíduos, porque isso pode tornar os grupos de tratamento e controle não mais comparáveis. 
Feedback
C.4. Determine se as estratégias a seguir são para prevenir ou para insistir após a ocorrência de atrito.
1. Oferecer incentivos para indivíduos participarem da avaliação: Prevenir 
2. Realizar piloto dos instrumentos de pesquisa da avaliação: Prevenir 
3. Tentar buscar todos os indivíduos envolvidos na avaliação: Insistir 
4. Usar várias estratégias de levantamento de dados: Prevenir 
5. Ser estratégicoao decidir o momento de levantar dados dos indivíduos envolvidos na avaliação: Prevenir 
6. Buscar uma amostra representativa dos indivíduos que evadiram: Insistir 
7. Fazer entrevistas mais curtas com os indivíduos da avaliação: Prevenir 
Feedback
D.1. A que se refere o termo "externalidade"?
A. Não é possível encontrar todos os indivíduos que participam da avaliação. 
B. O grupo de tratamento não recebe o programa. 
C. O grupo de tratamento acaba influenciando o grupo de controle. 
D. O efeito do programa é muito pequeno para ser observado. 
A resposta correta é a alternativa C. Externalidade se refere aos efeitos que o grupo de tratamento causa no grupo de controle. O problema apresentado por essa situação é que, se o grupo de controle se vê afetado pelo tratamento, já não será um contrafactual válido, pois não sabemos se na ausência desse tratamento ele se comportaria da mesma maneira. 
Feedback
D.2. Verdadeiro ou falso: apenas as externalidades negativas são um desafio à avaliação; as externalidades positivas não contaminam o grupo de controle.
A. Verdadeiro 
B. Falso 
Falso. Todas as externalidades podem contaminar o grupo de controle, sejam elas positivas ou negativas. Um exemplo do primeiro caso seriam alunos não tratados de uma escola que se beneficiam de reforço escolar recebido por seus colegas tratados - o que faria com que seu desempenho melhorasse também. Já um exemplo do segundo caso poderia ser o ensino de técnicas de pesca mais eficientes a alguns ribeirinhos que, ao reduzirem a oferta de peixes no rio da região, afetariam a capacidade original de pesca dos membros não tratados da sua comunidade. 
Parte superior do formulário
Parte inferior do formulário
Parte superior do formulário
Parte inferior do formulário
Parte superior do formulário
Parte inferior do formulário
Feedback
D.3. De acordo com as informações do vídeo, qual foi a externalidade no caso do programa de transferência de renda na Colômbia?
A. A renda recebida para as crianças selecionadas foi utilizada com as crianças não selecionadas. 
B. Os pais distribuíram equitativamente a transferência para as crianças selecionadas e não selecionadas. 
C. As meninas tinham maior probabilidade de não serem selecionadas para a transferência de renda. 
D. Os recursos geralmente alocados das crianças não receptoras foram realocados para as crianças selecionadas. 
A resposta correta é a alternativa D. A externalidade foi o fato de os pais destinarem mais recursos para as crianças selecionadas do que para as não selecionadas. Isso piorou a situação das não selecionadas, porque elas tiveram menos recursos do que teriam na ausência do programa. Essa externalidade foi negativa, porque, sem o programa, os pais destinariam mais recursos às crianças não selecionadas. 
Feedback
D.4. De acordo com o vídeo, qual das seguintes alternativas é uma recomendação para minimizar as externalidades?
A. Impedir o contato entre os beneficiários. 
B. Aumentar o tamanho da amostra. 
C. Aleatorizar em um nível maior (por exemplo, em vez de famílias, aleatorizar bairros). 
A resposta correta é a alternativa C. Uma maneira de minimizar externalidades é aleatorizar em um nível maior. O objetivo é assegurar que todos os indivíduos dos grupos de tratamento e de controle se encontrem em zonas distintas. Essa separação diminui o risco de influências do grupo de tratamento sobre o grupo de controle. 
Feedback
D.5. Considere o seguinte caso: você realizou uma avaliação aleatorizada de uma intervenção cujo objetivo era diminuir a taxa de desemprego em determinada região. Para avaliar as externalidades do seu programa, você distribuiu os grupos de tratamento e de controle da seguinte maneira:
De quanto é a externalidade do programa (%)?
A externalidade do grupo de tratamento sobre o grupo de controle é a diferença entre a taxa de desemprego do grupo de controle puro e a taxa desse mesmo grupo a 50%. Dado que o grupo de controle tem uma taxa de desemprego de 9% e, a 50%, tem uma taxa de 8,5%, a externalidade do programa é de 8,5% - 9% = -0,5%. 
Feedback
D.6. Considere o programa do exercício anterior sobre a taxa de desemprego do grupo de controle. A externalidade é positiva ou negativa?
A. Positiva 
B. Negativa 
A externalidade é positiva, pois melhora a situação de trabalho das pessoas que estão no grupo de controle. Devemos considerá-la como positiva porque os seus efeitos melhoram a situação das pessoas, não pioram. 
Feedback
E.1. Aponte as soluções mencionadas no vídeo para tratar o problema de cumprimento imperfeito. Marque todas as alternativas que julgar corretas.
A. Monitorar se há cumprimento imperfeito durante a implementação. 
B. Eliminar os indivíduos que não cumprem o protocolo de aleatorização. 
C. Levar em conta o cumprimento imperfeito na fase de análise de dados, usando ITT e LATE. 
D. Comparar unicamente os indivíduos que cumprem o protocolo de aleatorização. 
E. Prevenir o cumprimento imperfeito no desenho ou na implementação da aleatorização. 
As respostas corretas são as alternativas A, C e E. Não devemos eliminar os indivíduos que não cumprem o protocolo de aleatorização porque isso provocaria um viés de seleção nos grupos de tratamento e controle, que deixariam de ser comparáveis. Igualmente, se compararmos só os indivíduos que cumprem o protocolo de aleatorização, teríamos um viés de seleção, e a avaliação correria o risco de não medir o efeito do programa. As soluções para minimizar o problema de cumprimento imperfeito são prevenir esta ameaça no desenho ou implementação da avaliação, monitorá-lo durante a implementação ou levá-lo em conta ao interpretar os dados na fase de análise com ITT (Intenção de Tratar) ou LATE (Efeito Médio do Tratamento). 
Feedback
E.2. Considere o seguinte caso: um programa educativo em escolas urbanas possibilita o uso de uma plataforma online. As crianças selecionadas foram convidadas a se registrar na plataforma, mas uma em cada três crianças não se inscreveram.
Se o implementador da política avalia todas as crianças que que foram convidadas a se registrar na plataforma, estamos buscando:
A. ITT (Intenção de Tratar). 
B. Efeito Médio de Tratamento (EMT/LATE). 
Se o implementador da política avalia todas as crianças convidadas a se inscrever na plataforma, estamos buscando o Efeito Intenção de Tratar (ITT). Se o implementador da política avalia todas as crianças que se inscreveram na plataforma, estamos buscando o Efeito Médio do Tratamento (LATE). Nesta estimativa, só consideramos as crianças que completaram todo o programa. 
Feedback
E.3. Considere o seguinte caso: um programa educativo em escolas urbanas possibilita o uso de uma plataforma online. As crianças selecionadas foram convidadas a se registrar na plataforma, mas uma em cada três crianças não se inscreveram.
Se o implementador da política avalia todas as crianças que foram convidadas e se inscreveram na plataforma, estamos buscando:
A. ITT (Intenção de Tratar) 
B. Efeito Médio de Tratamento (EMT/LATE) 
Se o implementador da política avalia todas as crianças convidadas a se inscrever na plataforma, estamos buscando o Efeito Intenção de Tratar (ITT). Se o implementador da política avalia todas as crianças que se inscreveram na plataforma, estamos buscando o Efeito Médio do Tratamento (LATE). Nesta estimativa, só consideramos as crianças que completaram todo o programa.
Feedback
F.1. Determine quais dos seguintes efeitos podem ocorrer sobre o grupo de tratamento. Marque todas as alternativas que julgar corretas.
A. Efeito antecipação. 
B. Efeito demanda. 
C. Efeito de entrevista. 
D. Efeito John Henry. 
E. Ressentimento e baixa de moral. 
F. Efeito Hawthorne. 
As respostas corretas são as alternativas B, C e F. Como discutido no vídeo, os possíveis efeitos sobre o grupo de tratamento são o efeito Hawthorne, o efeito demanda e o efeito de entrevista - este último pode ocorrer também sobre o grupo de controle. Já os possíveis efeitos sobre o grupo de controle são o efeito John Henry, o efeito de ressentimento e baixa de moral e o efeito antecipação. 
FeedbackF.2. Quais são as ameaças relacionadas às mudanças de comportamento provocadas pela avaliação? Marque todas as alternativas que julgar corretas.
A. Dificuldade em generalizar os resultados encontrados (ameaça à validade externa). 
B. Aumento do atrito da amostra. 
C. Viés na estimativa do impacto. 
D. Aumento do cumprimento imperfeito. 
As respostas corretas são as alternativas A e C. As mudanças de comportamento provocadas pela avaliação podem afetar a generalização dos resultados (validade externa) e/ou enviesar a estimativa do impacto. Por um lado, torna-se difícil generalizar porque os resultados estarão sujeitos ao tipo de avaliação, de perguntas, de monitoramento e de contexto - fatores que dificilmente seriam replicáveis em outro caso. Por outro lado, se a mudança no comportamento afeta a comparabilidade dos grupos, o problema de viés também volta. 
Estudo de Caso - Módulo 8
Vulnerabilidade e clientelismo no Semiárido brasileiro
Este caso é baseado na publicação acadêmica "Vulnerability and Clientelism", de Paul Gertler, 
Marco González-Navarro (professores afiliados do J-PAL), Gustavo Bobonis e Simeon Nichter.
OBJETIVOS
· Depois deste exercício, os participantes serão capazes de:
· Identificar desafios pós-desenho durante a implementação de uma avaliação aleatorizada;
· Entender como cada tipo de ameaça pode afetar a estimativa de impacto do programa;
· Discutir potenciais soluções para ameaças à validade de uma avaliação aleatorizada.
DEFINIÇÕES DE CONCEITOS
· Atrito: Situação em que se perdem algumas unidades da amostra. Pode causar viés na medição de impacto se correlacionado ao grupo de tratamento.
· Externalidade: Situação em que o grupo de comparação se vê afetado pelo tratamento, apesar de a intervenção não ter sido direcionada aos indivíduos que pertencem ao grupo de controle.
· Cumprimento imperfeito: Situação em que parte da amostra da avaliação não cumpre o protocolo de aleatorização (indivíduos do grupo de tratamento não recebem a intervenção, ou indivíduos do grupo de controle recebem o tratamento).
· Efeito Intenção de Tratar (ITT): Estratégia para lidar com o cumprimento imperfeito na etapa de análise de dados. É o efeito geral da intervenção, calculado como a diferença entre a variável de resultado do grupo de tratamento e a variável de resultado do grupo de controle, considerando que existiu cumprimento imperfeito.
· Efeito Médio do Tratamento (LATE, Local Average Treatment Effect): Outra estratégia para lidar com o cumprimento imperfeito na etapa de análise de dados. É o efeito da intervenção entre os que efetivamente recebem o programa.
O PROBLEMA
Governos democráticos muitas vezes falham em ser de fato representativos para cidadãos em situação de vulnerabilidade econômica. Pesquisadores têm mostrado que importante razão para esse comportamento não responsivo dos políticos para com seus eleitores é o clientelismo (troca de benefícios por apoio político). A prática se associa à ineficiência na alocação de recursos públicos e na provisão de serviços públicos, bem como ao mau funcionamento das instituições democráticas.
A desigualdade social é um dos fatores apontados como propulsores do clientelismo. A teoria econômica sugere que cidadãos vulneráveis podem dar maior valor ao consumo privado do que a preferências políticas ou à provisão de serviços públicos. Os pesquisadores Paul Gertler, Marco González-Navarro, Gustavo Bobonis e Simeon Nichter lideraram uma avaliação aleatorizada no Semiárido brasileiro para estudar as consequências do clientelismo em resultados eleitorais, e também como a vulnerabilidade econômica impele a participação de cidadãos nessas práticas.
O CONTEXTO
O estudo foi desenvolvido no Semiárido brasileiro. Segundo o IBGE (Instituto Brasileiro de Geografia e Estatística), a região tem uma área de 982 mil quilômetros quadrados que se estendem pelo Nordeste e pela parte setentrional de Minas Gerais. Sua população é de cerca de 24 milhões de pessoas. A geografia é caracterizada por baixos e irregulares níveis de precipitação em relação ao resto do país, com secas recorrentes e chuvas que se concentram em poucos meses do ano. Outra característica do Semiárido é o baixo nível de renda da população, assim como o alto índice de desigualdade econômica.
O clientelismo é uma prática ainda frequente no Brasil. Em uma pesquisa realizada em 2014 pelo LAPOP (Latin American Public Opinion Project), 10,7% dos brasileiros relataram ter recebido oferta de benefício em troca do voto nas eleições daquele ano. No estudo, os eleitores se mostraram propensos a declarar apoio a políticos publicamente e a lhes pedir ajuda a em situações de seca.
Uma estratégia para conviver com a seca é a instalação de cisternas domiciliares. Elas permitem que famílias rurais e de baixa renda armazenem água da chuva em suas casas. São, portanto, um meio de reduzir sua vulnerabilidade e dependência de políticos locais para a oferta de água durante períodos de seca.
A INTERVENÇÃO
Para medir o impacto da vulnerabilidade econômica sobre o clientelismo, os pesquisadores fizeram, em parceria com a organização Articulação Semiárido Brasileiro (ASA), uma avaliação aleatorizada de um programa de construção de cisternas domiciliares. Tendo como base o registro de beneficiários de programas sociais (Cadastro Único) do governo federal, os pesquisadores selecionaram 425 logradouros, incluindo 1.308 famílias de 40 municípios do Nordeste. As cisternas foram construídas em janeiro de 2012, dez meses antes das eleições municipais daquele ano.
No desenho da avaliação, 615 lares de famílias que não tinham acesso a água potável foram sorteados para receber as cisternas de graça (grupo de tratamento), enquanto 693 famílias foram sorteadas para atuar como grupo de comparação (ou de controle), não recebendo as cisternas (por questões éticas, esses participantes poderiam obter cisternas por outros meios, se assim desejassem).
Os pesquisadores fizeram uma comparação após o sorteio, e esses dois grupos (de tratamento e controle) eram equivalentes antes de ter início o programa.
Feedback
EC.1. O que significa dizer que os grupos de tratamento e controle são equivalentes ao começar o programa?
A. Que cada indivíduo de um grupo tem um par idêntico no outro grupo. 
B. Que, ainda que possam ser diferentes em outras variáveis, os dois grupos são comparáveis em características que podemos observar. 
C. Que os grupos são compostos por indivíduos que, em média, têm características similares (tanto observáveis como não observáveis). 
A alternativa correta é a C. O objetivo da avaliação aleatorizada é medir o impacto de um programa a partir da comparação entre dois grupos. Para isso, ambos devem ser comparáveis antes da intervenção em suas características observáveis (por exemplo, características socioeconômicas) e não observáveis (por exemplo, motivação). Sortear entre a população de potenciais beneficiários os indivíduos para compor os dois grupos é um procedimento para garantir que estes sejam, em média, similares em características observáveis e não observáveis antes de o programa ter início. 
Feedback
EC.2. Como podemos comprovar que os grupos de controle e tratamento são em média equivalentes antes do programa?
A. Comparando a média das variáveis observáveis nos dois grupos durante a implementação do programa. 
B. Comparando a média das variáveis observáveis nos dois grupos durante a linha de base. 
C. Por meio de um grupo focal com indivíduos pré-selecionados dos grupos de tratamento e controle. 
A alternativa correta é a B. Para verificar se os grupos de tratamento e controle são, em média, equivalentes antes do início da intervenção, comparamos as médias das variáveis observáveis dos dois grupos durante a linha de base. Se as médias forem estatisticamente similares, podemos dizer que os dois grupos estão balanceados e são comparáveis antes do início do programa. 
Feedback
EC.3. O que poderia acontecer durante uma avaliação que poderia tornar a análise de dados mais difícil?
A. As pessoas decidirem que não queremmais participar da avaliação. 
B. As pessoas do grupo de controle obterem o tratamento estudado. 
C. Os participantes da avaliação se mudarem de região ou morrerem. 
As alternativas A, B e C descrevem problemas comuns de implementação de uma avaliação aleatorizada. Quando a aleatorização não é implementada conforme o protocolo de aleatorização (o resultado do sorteio), os grupos de tratamento e controle passam a não ser mais comparáveis, tornando a análise de dados mais difícil. 
Feedback
EC.4. Após as cisternas serem construídas, os pesquisadores conduziram duas rodadas de entrevistas com os participantes da avaliação. A primeira aconteceu em outubro de 2012, logo após as eleições municipais, e a segunda aconteceu um ano depois. 
Suponha que, durante as rodadas de entrevistas com os participantes da avaliação, os pesquisadores tenham notado que parte das famílias se mudou das localidades e, portanto, desistiu de participar da avaliação. Como esse problema é denominado?
A. Externalidade. 
B. Cumprimento imperfeito. 
C. Atrito. 
D. Viés de seleção. 
A alternativa correta é a C. Atrito é a situação em que algumas unidades da amostra da avaliação se perdem (por falta de contato, morte, mudança etc) e não é mais possível obter informação sobre elas. 
Feedback
EC.5. Por que o abandono, por parte de parcela da amostra, é uma ameaça à avaliação e pode dificultar a medição do impacto do programa?
A. Porque a redução da amostra pode diminuir o poder estatístico da avaliação. 
B. Porque as unidades que “desaparecem” do grupo de controle podem ser diferentes das que “desaparecem” do grupo de tratamento, fazendo com que os grupos deixem de ser similares. 
C. Porque a avaliação pode ser cancelada devido ao baixo número de famílias que aderem ao programa. 
As alternativas A, B e C são consequências possíveis do atrito (perda de parte da amostra) e, portanto, ameaças à avaliação aleatorizada, caso se concretizem. 
O QUE ACONTECEU NA PRÁTICA
Felizmente, a avaliação realizada no Semiárido teve um baixo nível de atrito durante sua implementação. Dos 1.308 lares selecionados para participação da pesquisa, 9,1% não foram entrevistados antes do início do programa (linha de base). Durante a entrevista em outubro de 2012, 5,4% dos participantes não foram encontrados para entrevista. Em 2013, o número de não encontrados foi de 14,5%.
Um desafio de implementação mais significativo disse respeito ao cumprimento do protocolo de aleatorização. Após o sorteio entre os grupos de tratamento e controle, os pesquisadores identificaram falhas na implementação da aleatorização por dois motivos:
1. A ASA é uma organização da sociedade civil que coordena, em nível local, muitas associações menores. Em certos casos, os pesquisadores notaram que algumas dessas associações tinham menos recursos humanos para construir as cisternas que o previsto inicialmente; isso levou parte do grupo de tratamento a não receber as cisternas.
2. À época, o Governo Federal expandiu os fundos de seu programa de construção de cisternas após a avaliação ser desenhada e iniciada, o que levou parte do grupo de controle a receber cisternas por outros meios que não a intervenção prevista na avaliação.
A tabela abaixo mostra a porcentagem de famílias dos grupos de controle e tratamento que tinham cisternas. É possível ver que, entre 2012 e 2013, o número de famílias do grupo de controle que tinham cisternas saltou de 20,23% para 65,30%. Por outro lado, em 2013, cerca de 10% das famílias do grupo de tratamento não tinham cisternas.Parte superior do formulário
Parte inferior do formulário
Parte superior do formulário
Parte inferior do formulário
Parte superior do formulário
Feedback
EC.6. Como é denominado o desafio de implementação em que o protocolo de aleatorização não ocorre como inicialmente planejado?
A. Externalidade. 
B. Cumprimento imperfeito. 
C. Atrito. 
D. Viés de seleção. 
A alternativa correta é a B. O cumprimento imperfeito é a situação em que parte da amostra da avaliação não cumpre o protocolo de aleatorização: indivíduos do grupo de tratamento não recebem a intervenção, ou indivíduos do grupo de controle recebem o tratamento. 
Feedback
EC.7. Como devemos proceder caso haja desrespeito à aleatorização durante a implementação da avaliação?
A. Trocar os indivíduos de grupo, usando o critério de recebimento ou não das cisternas (todos os que receberam cisternas ficam no grupo de tratamento, enquanto todos os que não receberam ficam no grupo de controle). 
B. Excluir da amostra os indivíduos que não cumpriram o protocolo de aleatorização determinado antes da avaliação. 
C. Prosseguir a análise como originalmente planejada. 
D. Empregar na análise de dados métodos que levam em conta o cumprimento imperfeito. 
A alternativa correta é a D. Não é possível apenas ignorar o cumprimento imperfeito, excluir indivíduos da amostra ou trocar indivíduos de grupo porque, mediante esses três procedimentos, corre-se o risco de os dois grupos (controle e tratamento) deixarem de ser comparáveis. Existem, no entanto, dois métodos da análise de dados que levam em conta o cumprimento imperfeito: 1) Efeito Intenção de Tratar (ITT): mede o efeito geral da intervenção, aceitando que existe cumprimento imperfeito; 2) Efeito Médio do Tratamento (LATE, Local Average Treatment Effect): mede o efeito da intervenção entre os que recebem de fato o programa. 
Feedback
EC.8. Na avaliação, os pesquisadores levaram em conta o cumprimento imperfeito e analisaram os resultados levando em conta a Intenção de Tratar (ITT). A análise comparou aqueles que foram originalmente sorteados para o grupo de tratamento aos indivíduos que eram originalmente parte do grupo de controle.
Um outro potencial desafio de implementação de uma avaliação aleatorizada é a contaminação (positiva ou negativa) do grupo de controle pelo grupo de tratamento. No caso do programa Cisternas, uma possível contaminação seria que famílias do grupo de tratamento permitissem que famílias do grupo de controle também usassem a cisterna construída em suas casas para obter água potável.
Como é denominado o desafio de implementação em que o grupo de controle é contaminado pelo grupo de tratamento?
A. Externalidade. 
B. Cumprimento imperfeito. 
C. Atrito. 
D. Viés de seleção. 
A alternativa correta é a A. Externalidade é a situação em que o grupo de controle (ou de comparação) se vê afetado pelo tratamento, ainda que a intervenção não tenha sido direcionada aos seus indivíduos. 
Feedback
EC.9. Como os pesquisadores poderiam evitar ou mitigar os efeitos da contaminação entre grupo de controle e grupo de tratamento? Marque todas as alternativas que julgar corretas.
A. Em áreas onde há contato próximo entre unidades dos grupos de controle e tratamento, fazer a aleatorização em um nível maior (em vez de aleatorizar famílias, aleatorizar, por exemplo,  bairros ou cidades). 
B. Impedir que indivíduos dos dois grupos tenham qualquer contato durante todo o período da avaliação. 
C. Medir o efeito da externalidade e levá-lo em conta no momento da análise dos dados. 
As alternativas corretas são A e C. Duas estratégias possíveis para lidar com externalidades são 1) prevenir, por meio da aleatorização em nível maior, o contato entre grupos de tratamento e controle (alternativa A) e 2) incluir a externalidade na etapa de análise de dados (alternativa C). A alternativa B está incorreta porque, ainda que possível em teoria, por questões éticas e logísticas não é viável impedir que as famílias tenham contato durante o período da avaliação.
ANÁLISE DOS DADOS E RESULTADOS
A análise dos dados da avaliação sugere que o programa Cisternas reduziu a vulnerabilidade econômica dos indivíduos que receberam o benefício. As principais conclusões foram:
· Impacto em vulnerabilidade: Lares que receberam as cisternas se tornaram 0,13 desvios-padrão menos vulneráveis que os lares do grupo de controle.
· Impacto em clientelismo: O programa Cisternas reduziu os pedidos de ajuda a políticos locais. Os efeitos se concentraram entre cidadãos que,antes do programa, interagiam frequentemente com políticos. Os pedidos de ajuda (como acesso a água potável, materiais de construção ou assistência médica) por parte de indivíduos do grupo de tratamento diminuíram 11 pontos percentuais em comparação aos pedidos de ajuda por parte de indivíduos do grupo de controle que também interagiam frequentemente com políticos locais.
· Impacto em comportamento eleitoral: nas cidades onde mais lares receberam cisternas, candidatos à reeleição receberam menos votos.
Os resultados sugerem que a vulnerabilidade econômica contribui para o clientelismo em contextos onde os cidadãos não têm infraestrutura adequada. Nesse sentido, a avaliação gera evidência rigorosa de que melhorias na vida dos cidadãos (como cisternas, por exemplo) podem ser uma ferramenta para diminuir relações clientelistas. Feedback
EC.10. Como vimos nas perguntas anteriores, a avaliação teve cumprimento imperfeito. Em outras palavras, o protocolo de aleatorização não foi totalmente respeitado, o que levou lares do grupo de controle a receberem cisternas, e famílias do grupo de tratamento a não receberem o recurso.  Nesse caso, é possível que o resultado dos efeitos do programa Cisternas sobre o clientelismo tenha sido:
A. Subestimado, pois o efeito da oferta de cisternas na redução do clientelismo seria ainda maior se a aleatorização tivesse sido respeitada. 
B. Superestimado, pois o efeito da construção de cisternas na redução do clientelismo seria menor se a aleatorização tivesse sido respeitada. 
C. O cumprimento imperfeito não afeta os resultados da avaliação. 
A alternativa correta é a A. No caso da avaliação do programa Cisternas, tanto o grupo de tratamento como o grupo de controle sofreram com o cumprimento imperfeito. Se o protocolo de aleatorização tivesse sido cumprido, haveria mais unidades nesses grupos. Isso, portanto, possibilitaria que o efeito da oferta de cisternas fosse maior. 
Parte inferior do formulário