AVALIAÇÃO DE IMPACTO DE PROGRAMAS E POLÍTICAS SOCIAIS resolvido

Prévia do material em texto

AVALIAÇÃO DE IMPACTO DE PROGRAMAS E POLÍTICAS SOCIAIS
A.1. Suponha que você trabalhe como assessor no Ministério da Educação,  e uma das prioridades do governo é aumentar a frequência de crianças na escola. Sua equipe consegue R$ 40 milhões para investir em um programa e o ministro pergunta qual intervenção você recomendaria. O que você responderia? Marque todas as alternativas que julgar corretas. (Sem pontuação)
A. Providenciar uniformes escolares. 
B. Oferecer bolsas de estudo por mérito. 
C. Melhorar a saúde das crianças. 
D. Criar programa de transferência de renda condicionada. 
E. Construir novas escolas. 
F. Oferecer livros gratuitos. 
G. Levar informação sobre os retornos da educação aos estudantes. 
Não existe resposta correta para esta pergunta (você não será pontuado(a) por ela). As possibilidades de ações para o aumento da frequência de crianças na escola são muitas, incluídas as alternativas acima ou uma combinação de políticas como as sugeridas na questão. 
A.3. Se sim, que tipo de programa você recomendaria implementar? Marque todas as alternativas que julgar corretas. (Sem pontuação)
A. Providenciar uniformes escolares 
B. Oferecer bolsas de estudo por mérito 
C. Melhorar a saúde das crianças 
D. Criar programa de transferência de renda condicionada 
E. Construir novas escolas 
F. Oferecer livros gratuitos 
G. Levar informação sobre os retornos da educação aos estudantes 
H. Saúde das crianças
Não existe resposta correta para esta pergunta (você não será pontuado(a) por ela). Ela serve como uma provocação para a reflexão sobre o processo decisório de uma política pública. 
C.5.a. Em relação às políticas para aumentar a frequência escolar, suponha que duas alternativas serão avaliadas. A primeira é a entrega de uniformes escolares, que tem um custo de R$ 30 por unidade e um impacto médio esperado de aumentar em 3 meses a frequência de crianças na escola. A segunda alternativa é um programa de bolsas por mérito, com um custo de R$ 240 por criança e um impacto médio de aumentar em um ano o período de crianças na escola.
Qual é o custo-efetividade da política de uniformes escolares? Escreva sua resposta em meses por real. 
O programa de uniformes escolares tem um custo de R$ 30 por aluno. Se cada uniforme tem um impacto médio esperado de 3 meses, a relação do custo-efetividade é 3 meses/30 reais = 0,1 mês por real. 
C.5.b. Em relação às políticas para aumentar a frequência escolar, suponha que duas alternativas serão avaliadas. A primeira é a entrega de uniformes escolares, que tem um custo de R$ 30 por unidade e um impacto médio esperado de aumentar em 3 meses a frequência de crianças na escola. A segunda alternativa é um programa de bolsas por mérito, com um custo de R$ 240 por criança e um impacto médio de aumentar em um ano o período de crianças na escola.
Qual é o custo-efetividade da política de bolsas por mérito? Escreva sua resposta em meses por real. 
Com relação ao programa de bolsas por mérito, ele tem um custo de R$ 240 por criança e um impacto médio esperado de um ano, ou 12 meses. Assim, a relação custo-efetividade é de 12 meses/240 reais = 0,05 mês por real. 
C.6. Considerando somente o impacto na frequência escolar, qual dos dois é o programa mais custo-efetivo?
A. O programa de uniformes escolares. 
B. O programa de bolsas por mérito. 
C. Os dois programas têm o mesmo custo-efetividade. 
Se compararmos os programas, o de uniformes escolares tem um custo-efetividade de 0,1, e o de bolsas, custo-efetividade de 0,05. Se nos basearmos unicamente nesta análise, o melhor programa é o de uniformes escolares, dado que ele tem uma relação maior de efetividade em relação ao custo.
D.1. De acordo com o vídeo, quais são as razões pelas quais devemos avaliar o impacto de programas? Marque todas as alternativas que julgar corretas.
A. Melhorar o programa. 
B. Tornar o gasto público mais eficiente. 
C. Responder a perguntas de relevância geral. 
Todas as alternativas são argumentos válidos para se avaliar o impacto dos programas.
D.2. De acordo com o vídeo, há uma série de motivos pelos quais o programa de transferência de renda no México é um bom exemplo da importância de se avaliar impacto. Abaixo estão listados estes motivos e um extra, que não corresponde ao discutido em aula. Assim, qual das seguintes alternativas NÃO corresponde aos motivos listados?
A. A avaliação de impacto contribuiu para dar sustentação política ao programa. 
B. O programa foi modificado por diferentes governos ao longo do tempo devido à avaliação de impacto. 
C. A evidência ajudou a melhorar o desenho do programa ao longo do tempo. 
D. A avaliação de impacto do programa entregou informação relevante sobre a efetividade de programas de transferência de renda condicionada. 
Excetuando-se a alternativa B, todas são razões mencionadas pelo professor pelas quais o programa no México é um bom exemplo de avaliação de impacto. Embora avaliações de impacto possam servir para melhorar e ajustar programas, o que se menciona no vídeo é que a evidência permitiu que o programa se mantivesse durante as mudanças de governo. 
Parte superior do formulário
Parte inferior do formulário
E.1. Como decidimos se implementamos ou não um programa? Marque todas as alternativas que julgar corretas.
A. Se há orçamento, vontade política e capacidade suficiente para o implementar. 
B. Se há total certeza de que os resultados do programa serão positivos. 
C. Se há ideologia própria ou externa coerente com o programa. 
D. Se há conhecimento suficiente baseado em evidências ou experiências. 
As respostas A, C e D, são fatores mencionados no vídeo que, de maneira geral, determinam se um programa é ou não implementado. A alternativa B não é correta porque não se pode conhecer com certeza os resultados de um programa antes de sua implementação.
E.2. De acordo com o vídeo, por que ainda existe pouca evidência? Marque todas as alternativas que julgar corretas.
A. Por causa da dificuldade para isolar o efeito do programa de outros fatores relevantes. 
B. Por causa da facilidade para se avaliar um programa já implementado. 
C. Por causa das diferenças nos tempos de mandatos e tempos da avaliação de impacto. 
D. Porque o bem público da evidência é menor que seu bem privado. 
As respostas corretas são A e C. Como se mencionou no vídeo, existe um problema de credibilidade do impacto estimado porque dificilmente se pode identificar o efeito isolado do programa. Além disso, governos não têm incentivos para criar avaliações cujos resultados não os beneficiarão durante o período do seu mandato. As alternativas B e D não são razões para a falta de evidência. É necessário desenhar uma avaliação antes que se inicie o programa, e o bem público da evidência é maior que o seu bem privado, motivo pelo qual governos, por vezes, optem por não investir em avaliações.
E.3. Suponha o seguinte caso: o presidente do Brasil deseja aumentar a frequência escolar. Você, como parte do governo, participa de um curso de avaliação de impacto e descobre que dar remédios antiparasitas para crianças foi uma política bem-sucedida em outros países como forma de aumentar a frequência escolar, considerando seu baixo custo e o alto impacto que teve. Segundo essa única evidência, você recomendaria ao presidente que adotasse a mesma política no Brasil?
A. Sim 
B. Não 
Não se deve recomendar. Este programa, como mencionado, foi muito efetivo no contexto em que foi implementado, em que as crianças sofriam de verminoses. No entanto, para que funcione igualmente no Brasil, as crianças teriam que sofrer do mesmo problema. Assim, é preciso estudar se o contexto local é similar para se definir quanto à adoção da mesma política.
E.4. Dos seguintes casos, selecione quando se deve avaliar o impacto de um programa.
A. Quando o desenho do programa está sujeito a modificações. 
B. Quando existe incerteza sobre a melhor estratégia de intervenção para atacar um problema. 
C. Quando não é possível identificar um grupo de comparação válido entre os beneficiários do programa. 
D. Quandojá existe evidência suficiente sobre a efetividade de uma intervenção. 
A resposta correta é a alternativa B. É necessário avaliar o impacto do programa quando seu efeito é desconhecido e se deseja saber a melhor alternativa para resolver um problema. Não se deve avaliar impacto quando o programa ainda se encontra na etapa de amadurecimento e pode ser modificado. Além disso, se não é possível identificar um grupo de comparação válido, não será possível isolar os efeitos do programa. Finalmente, em casos onde já existe muita evidência rigorosa, avaliar mais um programa similar contribuiria pouco ao conhecimento geral sobre o tema.
E.5. Dos seguintes casos, selecione quando NÃO se deve avaliar o impacto de um programa. 
A. Quando está prevista a expansão de um programa. 
B. Quando há perguntas sem resposta sobre a relação de causa e efeito dos programas. 
C. Quando o programa incorpora novos serviços ou beneficiários. 
D. Quando toda a população-alvo já recebeu o programa. 
A resposta é a alternativa D. Um caso em que NÃO se deve avaliar um programa é quando o público-alvo já tiver recebido o programa e não for possível definir um grupo de comparação.Parte superior do formulário
EC.1. Segundo o entrevistado, por que o microcrédito é uma política eficaz contra a pobreza? Marque todas as alternativas que julgar corretas.
A. O microcrédito permite que pessoas de baixa renda tenham acesso a novas tecnologias. 
B. A política estimula o empreendedorismo entre indivíduos de baixa renda. 
C. Com o empréstimo recebido, os beneficiários investem mais na educação de seus filhos. 
As alternativas corretas são A e B. Ambas são razões citadas pelo entrevistado, porém ele não diz nada sobre aumentos nos investimentos em educação, o que invalida a alternativa C.
EC.2. Como o entrevistado embasa sua defesa ao microcrédito?
A. Usando dados obtidos de entrevistas com beneficiários da política e sua opinião sobre o microcrédito. 
B. Comparando países em que o microcrédito foi empregado com outros em que a política não foi adotada. 
C. Narrando um exemplo de como a política gerou benefícios para uma determinada área ou parcela de beneficiários. 
A alternativa correta é a C. Para embasar a sua defesa ao microcrédito, o entrevistado cita a experiência com microcrédito na África do Sul e os seus benefícios para a população de baixa renda no acesso a novas tecnologias e no empreendedorismo. Não cita entrevistas realizadas a beneficiários (alternativa A) e também não apresenta o desenvolvimento dessas tecnologias em países que não tiveram a política (alternativa B).
Parte inferior do formulário
Parte inferior do formulário
Link 2
https://exame.abril.com.br/revista-exame/o-microcredito-nao-acaba-com-a-pobreza-afirma-aneel-karnani/
EC.3. Segundo o entrevistado, por que o microcrédito não é uma política eficaz contra a pobreza? Marque todas as alternativas que julgar corretas.
A. O entrevistado acredita que o microcrédito romantiza a pobreza e que o mundo empreendedor é para poucos. 
B. O entrevistado acredita que o microcrédito seja incapaz de impactar a vida dos microempreendedores porque sua renda média familiar não se altera. 
C. O entrevistado acredita que o microcrédito não funciona porque geralmente é revertido para o consumo de bens. 
As alternativas corretas são A e C. Essas são as principais razões citadas pelo entrevistado no artigo apresentado. A variação da renda familiar dos tomadores de empréstimo não é citada no artigo (alternativa B).
C.4. Como o entrevistado embasa sua crítica ao microcrédito? Marque todas as alternativas que julgar corretas.
A. Narrando um exemplo de como a política gerou aumento da pobreza em determinado grupo de indivíduos. 
B. Mostrando dados estatísticos sobre como o dinheiro oriundo da política é empregado. 
C. Citando países em que a política foi adotada e que não deixaram de ser pobres. 
As alternativas corretas são B e C. O entrevistado utiliza esses dois argumentos para embasar a sua crítica ao microcrédito. O entrevistado não cita exemplos de grupos específicos e cita dois países que continuaram pobres mesmo com o emprego de políticas de microcrédito.
EC.5. De acordo com o texto, quais evidências embasam a percepção sobre a efetividade do microcrédito?
A. O texto se embasa na percepção de que o empreendedorismo é uma atividade que poucos perfis de pessoas têm a habilidade de desempenhar. 
B. O texto se embasa na noção de que, a partir do momento que houver um acesso a meios formais de empréstimos, a pobreza poderá ser superada. 
C. O texto se embasa em estudos que avaliaram iniciativas de microcrédito em diferentes contextos, permitindo uma análise ampla sobre seu funcionamento e méritos. 
A alternativa correta é a C. O texto traz análises amplas focadas em resultados e impactos verificados em iniciativas de microcrédito, e não inferências sobre qual deveria ser o perfil de um empreendedor (alternativa A) ou um pressuposto de que a iniciativa é o caminho da superação da pobreza (alternativa B).
EC.6. Segundo o resultado das avaliações, qual o efeito médio do microcrédito na renda dos beneficiários?
A. O microcrédito aumenta significativamente a renda dos beneficiários. 
B. O microcrédito reduz significativamente a renda dos beneficiários. 
C. O microcrédito não tem efeito significativo na renda dos beneficiários. 
A alternativa correta é a C. Diferentemente dos posicionamentos apresentados nas duas entrevistas, as avaliações citadas não encontraram efeito significativo na renda dos beneficiários das políticas de microcrédito.
EC.7. Segundo o resultado das avaliações, qual o efeito médio do microcrédito na liberdade da gestão financeira das famílias?
A. Negativo. 
B. Positivo. 
C. Não tem efeito significativo. 
EC.8. Dados os resultados das avaliações aleatorizadas feitas da política do microcrédito, qual é a principal recomendação dos autores a formuladores de políticas públicas?
A. Adotar a política do microcrédito de forma maciça em países em desenvolvimento. 
B. Abandonar a política, uma vez que ela não tira pessoas de baixa renda da pobreza. 
C. Criar modelos inovadores de crédito em pequena escala e testá-los entre grupos de beneficiários para se encontrar um modelo que gere maior impacto. 
A alternativa correta é a C. Recomenda-se testar novos modelos de microcrédito que levem em conta os resultados das avaliações e da evidência gerada. O relatório não recomenda aplicar as políticas de forma maciça sem considerar aspectos conhecidos da intervenção e aspectos conjunturais do contexto (alternativa A), nem abandoná-las por completo quando houve efeitos positivos em determinados contextos (alternativa B).
Parte superior do formulário
Parte inferior do formulário
A alternativa correta é a B. Apesar de não haver efeito significativo na renda, as avaliações citadas demonstram que foi percebido um efeito positivo na liberdade de gestão financeira das famílias beneficiárias das políticas de microcrédito.
C.9. Levando em consideração os três textos lidos, seus argumentos e as evidências que cada um apresenta, qual é o mais convincente?
1. Texto 1: "Economista americano defende microcrédito contra a pobreza". 
2. Texto 2: "O microcrédito não acaba com a pobreza, afirma Aneel Karnani". 
3. Texto 3: " Lições sobre políticas públicas: Microcrédito". 
Não há uma única resposta correta para esta pergunta. Aqui é importante que você analise a qualidade dos argumentos, os dados e a evidência apresentados nos artigos para escolher sua resposta.
MÓDULO 2
A.1. O que é impacto?
A. É o valor da variável relevante ao se finalizar o programa. 
B. São as mudanças da população alvo antes e depois do programa. 
C. São as mudanças atribuídas ao programa e a outros fatores relevantes. 
D. São as mudanças atribuídas ao programa e não a outros fatores. 
A resposta correta é a alternativa D. O impacto é a diferença entre as mudanças observadas depois do programa e a hipótese  do que teria acontecido caso este não tivesse sido implementado. A diferença resultante é atribuída unicamenteao programa e não a outros fatores. 
A.2. O que é o contrafactual?
A. É o estado dos participantes antes de se implementar o programa. 
B. É o estado que os participantes experimentariam na ausência do programa, e que não é observável. 
C. É o estado dos participantes depois do programa, e que é observável. 
D. É a diferença entre o antes e o depois da implementação do programa. 
A resposta correta é a alternativa B. O contrafactual tem as seguintes características: 1. É hipotético, pois representa o estado que os participantes teriam experimentado caso não tivessem participado do programa. 2. Não é observável, pois precisamos estimar para medir o efeito de um programa.
A.3. Selecione em qual destes casos o programa teve um impacto positivo:
A. Imagem 1. 
B. Imagem 2. 
C. Imagem 3. 
D. Não se pode determinar. 
A resposta correta é a alternativa D. Embora a mudança no gráfico A sugira um impacto positivo da intervenção, essa informação, na verdade, não é suficiente para nos dar tal certeza. O mesmo acontece nos outros casos, onde, embora a tendência seja neutra ou negativa, não se sabe se, na ausência do programa, ela poderia ter declinado ainda mais (o que significaria um impacto positivo). Em última instância, precisamos averiguar o que teria acontecido às pessoas beneficiárias caso não tivessem recebido o programa.
B.1. Qual é a principal diferença entre os diferentes métodos de avaliação de impacto?
A. Como se estima o contrafactual: a diferença entre os que participam e os que não participam do programa. 
B. Como se estima o contrafactual: como definimos quem forma o grupo de controle. 
C. Como se estima o contrafactual: o antes e depois dos participantes do programa. 
D. Como se estima o contrafactual: o tamanho da amostra varia dependendo do tipo de intervenção. 
A resposta correta é a alternativa B. Alguns métodos de avaliação de impacto são Antes e depois, Diferença simples, Diferenças em diferenças e o Método experimental. A principal diferença entre eles é como se estima o contrafactual, ou seja, a forma como se constrói o grupo de controle. Como será explicado no decorrer do curso, cada método tem premissas a respeito do contrafactual que devem ser cumpridas para que a estimativa do impacto seja válida.
C.1. Qual é o grupo de controle no método Antes e depois?
A. Os mesmos participantes, antes de entrarem no programa. 
B. A parte da população elegível que, de maneira aleatória, é alocada no grupo de controle. 
C. Os não participantes, dos quais se recoletam dados depois do programa. 
D. Os não participantes, dos quais se coletam dados antes e depois do programa. 
A resposta correta é a alternativa A. O método Antes e depois estima o impacto de um programa medindo as mudanças nos participantes ao longo do tempo: calcula-se o estado dos participantes antes e depois do programa. No grupo de controle estão, portanto, os participantes antes de entrarem no programa. 
C.2. Por que o método Antes e depois poderia oferecer uma má estimativa do contrafactual?
A. Porque o grupo de controle tem acesso ao programa. 
B. Porque o grupo de tratamento e o grupo de controle são distintos antes do início do programa. 
C. Porque muitos fatores não relacionados ao programa mudam com o tempo, podendo afetar o resultado que queremos medir. 
A resposta correta é a alternativa C. O método Antes e depois pode levar a outros fatores que afetam a variável de interesse e, portanto, a mudança observada nessa variável pode não ser unicamente atrelada à intervenção. A alternativa A não é correta porque o grupo de controle são os participantes quando eles não têm acesso ao programa. E a B não é correta porque, como os grupos de tratamento e controle são as mesmas pessoas em dois momentos distintos, a noção de temporalidade indicada na alternativa não faz sentido. 
C.3. Qual é o principal problema do método de Diferença simples?
A. É difícil recoletar informações sobre pessoas que não participaram do programa. 
B. É possível que as pessoas não elegíveis ou que escolhem não participar do programa sejam sistematicamente diferentes do grupo de participantes. 
C. O grupo de pessoas não elegíveis ou que escolhem não participar do programa é muito mais numeroso que o grupo de participantes. 
A resposta correta é a letra B. É certo que pode haver dificuldades adicionais para se recoletar informações de quem não participa do programa, mas o problema principal é o o seguinte: se o grupo de participantes é sistematicamente diferente do grupo de não participantes, a diferença entre os resultados de ambos não proporcionará uma estimativa válida do impacto. Isso se deve ao fato de que os resultados seriam afetados tanto pela intervenção como pelas características diferentes dos dois grupos. 
D.1. Qual é a premissa básica do método de Diferenças em diferenças?
A. Não existem choques, como recessões ou booms econômicos, que afetem o equilíbrio macroeconômico. 
B. Os participantes e não participantes do programa são, em média, idênticos nas variáveis observáveis e não observáveis. 
C. Na ausência do programa, a tendência no tempo da variável de resultado seria igual no grupo de participantes e no grupo de não participantes. 
A resposta correta é a alternativa C. Para poder interpretar a Diferença em diferenças como o efeito causal do programa, a tendência da variável de resultado deve ser paralela nos dois grupos (participantes e não participantes). Assim, qualquer mudança na tendência observada no grupo de participantes se equivalerá ao efeito causal do programa. A primeira resposta não é correta, pois se há um choque que afeta igualmente os dois grupos, ele não afetará a validez do método. A segunda opção de resposta também não é correta, pois os participantes podem ser diferentes (inclusive em suas características não observáveis), e o método permanecerá adequado se a premissa de tendências paralelas for verdadeira.
D.2. Qual é a vantagem do método Diferenças em diferenças?
A. Gerar dois grupos similares que são comparáveis depois da implementação da política. 
B. Combinar o método de Antes e depois com a aleatorização do grupo de controle. 
C. Permitir que, com o tempo, as tendências entre os grupos sejam paralelas. 
D. Corrigir por diferenças pré-existentes entre os dois grupos (observáveis e não observáveis). 
A resposta correta é a D. A principal vantagem do método de Diferença em diferenças é que ele corrige pelas diferenças pré-existentes entre os participantes e os não participantes. O problema da Diferença simples é que a diferença entre os resultados pode ser atribuída a essas diferenças pré-existentes entre os grupos. Mas, com o método de Diferenças em diferenças, enquanto se mantém a suposição de tendências paralelas, as diferenças pré-existentes são eliminadas e obtém-se, ao final, o efeito do programa. 
D.3. Com base na tabela, calcule o impacto do programa segundo os três métodos já vistos:
A. Antes e depois = 7 
B. Diferença simples = 3 
C. Diferenças em diferenças = 1 
As respostas corretas são, respectivamente para Antes e depois, Diferença simples e Diferenças em diferenças, 7, 3 e 1. O método Antes e depois calcula o impacto de um programa a partir da diferença entre os participantes antes do programa e depois dele. Nesse caso, 21 - 14 = 7. O método de Diferença simples calcula o impacto de um programa a partir da diferença entre os participantes e os não participantes depois do programa. Nesse caso, 21 - 18 = 3. O método de Diferença em diferenças calcula a diferença entre os participantes e não participantes antes do programa (14 - 12 = 2), e depois dele (21 - 18 = 3). Depois, toma a diferença entre ambas as diferenças: 3 - 2 = 1.
D.4. Qual é o grupo de controle do método da Regressão multivariada?
A. Os mesmos participantes, antes de entrarem no programa. 
B. A parte da população elegível que, de maneira aleatória, é alocada no grupo de controle. 
C. Os não participantes, dos quais se coletam dados detalhados sobre variáveis observáveis. 
D. Os não participantes dos quais se recoletam dados depoisdo programa. 
A resposta correta é a alternativa C. O método da Regressão multivariada estima o impacto de um programa, elegendo uma variável de interesse e mantendo constante - ou “controlando” estatisticamente - o efeito de outras variáveis. Assim, o grupo de controle é construído coletando-se dados confiáveis de variáveis observáveis (como renda, idade, gênero etc) de não participantes. 
E.1. Qual é a principal diferença entre os métodos do Pareamento e de Diferença simples?
A. O método do Pareamento tenta estimar o contrafactual; o da Diferença simples, não. 
B. O método do Pareamento tenta estimar o contrafactual com base nas variáveis não observáveis, enquanto a Diferença simples se baseia somente nas variáveis observáveis. 
C. O método do Pareamento gera um grupo de controle similar ao grupo tratado em variáveis observáveis, enquanto na Diferença simples os grupos não são necessariamente similares em variáveis observáveis. 
A resposta correta é C. No método da diferença simples, comparam-se todos os não participantes com todos os participantes que temos informação. Estes dois grupos podem ser muito diferentes entre si. Pelo método de pareamento, construímos um grupo de controle que seja parecido ao grupo de tratamento, e para isso se selecionam indivíduos parecidos em variáveis observáveis com os indivíduos que participam do programa. A resposta A está incorreta porque o método da diferença simples também estima o contrafactual. A resposta B está incorreta porque o pareamento se baseia apenas em variáveis observáveis. 
E.2. Qual é o grupo de controle do método de Pareamento?
A. Os mesmos participantes, antes de entrarem no programa. 
B. Para cada participante, busca-se ao menos um não participante que é idêntico nas características observáveis. 
C. Os não participantes, dos quais se recoletam dados depois do programa. 
D. A parte da população elegível que, de maneira aleatória, é alocada no grupo de controle. 
A resposta correta é a alternativa B. O método do Pareamento estima o impacto de um programa ao parear um participante com ao menos um não participante similar nas características observáveis. 
E.3. Na seleção de participantes, que característica um programa deve ter para permitir a aplicação do método da Regressão descontínua?
A. Os participantes entrarem no programa por ordem de chegada. 
B. A linha de corte ser um limite estrito de entrada ou não do programa. 
C. Os participantes entrarem no programa por meio de um sorteio. 
D. Os participantes entrarem no programa por meio da decisão política do gestor. 
A resposta correta é letra B. No método da Regressão descontínua, os indivíduos são classificados com base em critérios mensuráveis, e uma linha de corte determina se uma pessoa é elegível ou não. Comparam-se as pessoas que estão logo acima e abaixo dessa linha de corte. 
F.1. Por que a avaliação aleatorizada permite eliminar o viés de seleção?
A. Porque a aleatorização garante que os grupos de tratamento e de controle sejam similares antes de se implementar o programa. 
B. Porque requer menos tempo e simplifica a implementação do programa. 
C. Porque garante que o programa terá um impacto maior. 
D. Porque nos permite poupar recursos, dado que não temos que entregar o programa a toda a população elegível. 
A resposta correta é a alternativa A. Uma alocação aleatória bem feita gera dois grupos similares em características observáveis (ou seja, dados à nossa disposição, como idade, gênero, nível de educação), e não observáveis (dados que não estão à nossa disposição, como motivação, espírito de superação, entre outros). Isso nos permite isolar o impacto do programa de outros fatores que podem influenciar nossas variáveis de interesse. A alocação aleatória nos permite medir melhor o impacto do programa, mas não influencia o tamanho desse impacto ou a complexidade da implementação. É certo que, no caso de uma avaliação aleatorizada, não se entrega (inicialmente) o programa a toda a população elegível. Mas isso não significa necessariamente que se economizem recursos, já que, normalmente, eles não são suficientes para entregar o programa à toda população elegível (e, de todo modo, esta não deve ser a razão para aleatorizar). 
F.2. Qual é o grupo de controle na avaliação aleatorizada?
A. Os mesmos participantes, antes de entrarem no programa. 
B. A parte da população elegível que, de maneira aleatória (por meio de um sorteio), é alocada no grupo de controle. 
C. Os não participantes, dos quais se recoletam os dados depois do programa. 
D. Os não participantes, dos quais se recoletam os dados antes e depois do programa. 
A resposta correta é a alternativa B. Na avaliação aleatorizada, o grupo de controle será constituído por parte da população elegível selecionada de maneira aleatória. A principal diferença desse método em relação aos anteriores é essa seleção aleatória (por sorteio), pois nos outros casos não existiam restrições a respeito das características dos não participantes. 
3. Para cada etapa da avaliação aleatorizada, selecione qual aspecto que devemos tomar em consideração.
A. Verificar se os grupos de tratamento e controle são similares. 
B. Identificar oportunidades de aleatorizar os grupos de tratamento e controle. 
C. Avaliar se o impacto do programa é estatística e empiricamente significativo. 
D. Recoletar dados dos grupos de tratamento e de controle após a implementação do programa. 
A resposta correta é a alternativa B. Na etapa do desenho de uma avaliação deve ser levado em conta a possibilidade de alocação aleatória da amostra (seja ela obtida de maneira aleatória ou não). 
Passo a passo da avaliação aleatorizada:
1. Ao desenhar o estudo cuidadosamente, que ação devemos levar em conta? Alocar aleatoriamente os grupos de tratamento e de controle. 
2. Ao coletar os dados dos grupos de tratamento e de controle para a linha de base, que ação devemos levar em conta? Verificar que os dois grupos são similares. 
3. Ao monitorar o processo para ter certeza de que a integridade da avaliação esteja garantida, que ação devemos levar em conta? Recoletar dados dos grupos de tratamento e de controle depois que o programa tiver sido implementado.
4. Para estimar o impacto, considerando os resultados médios dos grupos de tratamento e de controle, que ação devemos levar em conta? Avaliar se o impacto do programa é estatistica e empiricamente significativo. 
1 - Na etapa do desenho de uma avaliação, o que deve ser levado em conta é a alocação aleatória da amostra (seja ela obtida de maneira aleatória ou não). 
2 - Na etapa de coleta de dados para linha de base, o que deve ser levado em conta é que os dois grupos sejam estatisticamente similares (isso é, que estejam balanceados nas suas características observáveis). 
3 - Na etapa do monitoramento, posterior ao desenho e à linha de base, o que deve ser levado em conta é a a coleta, por mais uma vez, dos dados dos grupos de tratamento e controle. 
4 - Na etapa de aferir o impacto, o que deve ser levado em conta é a significância estatística e a relevância empírica dessa estimativa de impacto. 
Parte superior do formulário
Parte inferior do formulário
F.7. Existe alguma diferença entre os conceitos de "grupo de controle" e "contrafactual"?
A. Sim: o grupo de controle representa o que aconteceu com aqueles que não participaram da intervenção, enquanto o contrafactual representa o que aconteceu com aqueles que participaram. 
B. Sim: o grupo de controle representa o que aconteceu com aqueles que não participaram da intervenção porque não eram elegíveis, enquanto o contrafactual representa o que aconteceu com aqueles que eram elegíveis mas, por alguma razão, não participaram. 
C. Sim: o grupo de controle é o grupo de indivíduos usado como comparação na avaliação, enquanto o contrafactual é o cenário hipotético que queremos imitar mediante o grupo de controle. 
D. Não. Referem-se à mesma coisa: o grupo de comparação com qual contrastamos os resultado do grupo de participantes. 
A resposta correta é a alternativa C. O grupo de controleé selecionado para  imitar o cenário contrafactual, ou seja, aquilo que teria acontecido com os participantes se eles não tivessem entrado no programa. As primeiras duas respostas são incorretas porque o contrafactual não representa o que aconteceu com os participantes ou com as pessoas elegíveis, e sim o que teria acontecido com os beneficiários do programa caso não recebessem o programa.
Parte superior do formulário
G.1. Considere a seguinte ideia: as avaliações aleatorizadas não são éticas porque restringem o benefício do programa a um grupo de pessoas. Quais foram os argumentos apresentados na aula que se opõem a essa afirmação? Marque todas as respostas que julgar corretas.
A. As avaliações aleatorizadas não selecionam os beneficiados do programa, elas unicamente determinam o critério de seleção. 
B. Em muitas ocasiões, o programa acabaria sendo expandido a toda a população, só não teria capacidade operacional ou orçamentária de fazê-lo de imediato, restringindo o acesso dos indivíduos durante um período de tempo. 
C. As vantagens estatísticas da avaliação aleatorizada são mais importantes do que os indivíduos que não recebem o programa 
D. Destinar recursos públicos em programas dos quais não se conhece seu impacto também é um dilema ético 
A resposta correta é A, B e D. Quando se critica a ética das avaliações aleatorizadas, devemos considerar o que teria acontecido na ausência desse tipo de avaliação. Em alguns casos, os recursos serão escassos e não se poderá distribuir o programa a toda população. Portanto, selecionar aleatoriamente os beneficiados pode ser, em algumas ocasiões, um critério justo para outorgar o programa. Em outros casos, toda a população receberá o programa, mas em etapas. Então, nas etapas iniciais, pode-se selecionar por sorteio os indivíduos com os quais se avaliará o programa. Finalmente, implementar um programa sem conhecer seus impactos leva a um dilema ético, porque os recursos públicos são gastos sem saber os resultados possíveis. As qualidades estatísticas da avaliação aleatorizada não foram relacionadas aos argumentos éticos no vídeo. 
Parte superior do formulário
G.2. Quais argumentos o professor usa para contrariar as críticas às avaliações aleatorizadas pela sua viabilidade (tempo e custos)? Marque todas as respostas que julgar corretas.
A. As lições das avaliações aleatorizadas são um bem público. 
B. Qualquer método de avaliação requer tempo para observar o impacto do programa. 
C. É caro destinar recursos a programas que não oferecem resultados. 
Todas as respostas estão corretas.
G.3. As avaliações aleatorizadas têm vantagens sobre outros métodos de avaliação quanto à validade externa?
A. Sim 
B. Não 
A resposta correta é a B. Não há diferença entre a validade externa de uma avaliação aleatorizada e a validade externa de algum outro método. Sempre existirá dúvida sobre se a avaliação de um programa, seja ela ou não aleatorizada, terá os mesmos resultados se um programa for implementado em um outro contexto. 
H.1. Assinale quais das alternativas são vantagens das avaliações aleatorizadas. Marque todas as respostas que julgar corretas.
A. A aleatorização faz com que os grupos sejam comparáveis em variáveis observáveis, mas não nas variáveis não observáveis. 
B. A aleatorização faz com que os grupos sejam comparáveis em variáveis observáveis e não observáveis. 
C. Qualquer diferença observável nos indicadores de resultados pode ser atribuída ao programa. 
D. Qualquer diferença observável nos indicadores de resultados pode ser atribuída ao programa e às características não observáveis. 
E. São fáceis de interpretar. 
F. Os resultados são confiáveis, mas complicados de interpretar. 
A resposta correta é B, C, e E. A vantagem principal da avaliação aleatorizada é que ela nos dá dois grupos comparáveis, tanto nas características observáveis, como nas não observáveis, já que a seleção dos grupos não depende de alguma característica específica. Desta maneira, qualquer diferença depois da implementação do programa poderá ser atribuída ao programa. Finalmente, os resultados são fáceis de interpretar, uma característica muito útil no âmbito de políticas públicas.
H.2. Verdadeiro ou falso: Depois do método de avaliação aleatorizada, o método de diferenças em diferenças é o que melhor estima o impacto do programa.
A. Verdadeiro 
B. Falso 
Em alguns casos, por meio do método de diferenças em diferenças, chegaremos a resultados parecidos aos obtidos por meio de uma avaliação aleatorizada. Como se viu na aula, no caso de Balsakhi, os resultados destes métodos foram muito similares. No entanto, no caso de Pratham, o método de diferenças em diferenças foi mais distante do que o método antes e depois. A diferença entre o método de avaliação aleatorizada e qualquer outro método depende do caso particular. Em alguns casos a diferença pode ser grande, e em outros, pequena.
Parte inferior do formulário
Parte inferior do formulário
EC.1. Como este comunicado de imprensa estima o contrafactual?
A. Os potenciais eleitores que foram chamados por telefone e que NÃO atenderam 
B. Os potenciais eleitores que foram chamados por telefone e que NÃO atenderam, levando em consideração sua idade, sexo, tamanho da casa, o distrito, o comportamento eleitoral passado, etc. 
C. Os potenciais eleitores que foram chamados por telefone e que NÃO atenderam, levando em consideração a diferença na taxa de votação em relação aos que atenderam antes do programa 
D. Os potenciais eleitores que foram chamados por telefone e que NÃO atenderam, mas que têm as mesmas características (idade, gênero, distrito, comportamento em eleições anteriores, etc.) dos que atenderam 
E. Os potenciais eleitores que foram chamados por telefone e que atenderam, ANTES do programa 
Explicação: A resposta correta é a E. O comunicado indica que “Para as pessoas que chamamos e que atenderam nossa chamada, vimos um aumento de 18 pontos percentuais de participação eleitoral”. Então, compara-se a taxa de participação eleitoral dos potenciais eleitores que foram chamados e que atenderam nas eleições de 2002 com a taxa de participação eleitoral dessas mesmas pessoas nas eleições anteriores.
Parte superior do formulário
Parte inferior do formulário
EC.2. Qual é o método de avaliação utilizado pelo comunicado de imprensa?
A. Diferença simples 
B. Diferenças em diferenças 
C. Avaliação aleatorizada 
D. Regressão multivariada 
E. Pareamento (Matching) 
F. Antes e depois 
A resposta correta é a F. O método Antes e depois usa como grupo de comparação os mesmos participantes do programa antes de se aplicar o programa. Neste caso, pode-se considerar “participantes” as pessoas que receberam o telefonema e atenderam a chamada. 
EC.3. Em qual das seguintes situações este método geraria resultados enviesados?
A. Se os eleitores que receberam os telefonemas fossem sistematicamente diferentes dos que não receberam em variáveis que estão correlacionadas com a taxa de participação eleitoral. (Exemplo: os que foram chamados podem ter, em média, renda mais alta e sabemos que as pessoas com renda mais alta tendem a ter taxas de participação eleitoral mais altas.) 
B. Se os eleitores que atenderam ao telefonema fossem mais propensos a votar do que as pessoas que não atenderam. (Exemplo: pode ser que, entre as pessoas que atenderam as chamadas, haja uma maior proporção de pessoas mais velhas, que passam muito tempo em casa e têm altas taxas de participação eleitoral.) 
C. Se, independentemente do telefonema, a mudança na taxa de participação eleitoral dos que atenderam fosse diferente da mudança dos que não atenderam. (Exemplo: entre os que atenderam, encontram-se muitas pessoas que perderam o seu trabalho e ficaram desiludidas com o governo e o processo político, e isso faz com que elas deixem de participar das eleições.) 
D. Se, independentemente do telefonema, os que atenderam tivessem tido uma participação eleitoral maior do que nas eleições anteriores. (Exemplo: pode ser que a atmosfera política estivesse mais competitiva nessas eleições,o que, por sua vez, poderia ter levado mais gente a votar.) 
A resposta correta é a D. A suposição do método Antes e depois é que não há fatores relevantes no tempo que afetem o resultado além do programa. A atmosfera política é um exemplo de um fator que poderia ter mudado entre as duas eleições e que pode ter afetado a taxa de participação eleitoral.
EC.4. Na situação da resposta correta da pergunta anterior, o impacto do programa seria subestimado ou superestimado?
A. Seria superestimado 
B. Seria subestimado 
Resposta correta: A. Mesmo sem o programa, os que atenderam o telefonema teriam tido uma participação eleitoral maior do que nas eleições anteriores. Ao comparar a taxa de participação eleitoral deste grupo nas duas eleições, atribui-se essa mudança positiva ao programa, o que superestimaria o seu impacto.
MÉTODO 2
Artigo de opinião: O programa “Vote em 2002!” foi bom, mas não foi um sucesso.
"Em um recente comunicado de imprensa, os representantes da campanha ‘Vote em 2002!’ afirmaram que houve um aumento no número de eleitores em quase 20 pontos percentuais. Estas estimações são infladas de maneira exagerada. Eles estão observando unicamente as pessoas que atenderam o telefone, medindo as mudanças em suas taxas de votação através do tempo e atribuindo a toda a diferença da campanha. Isso ignora a possibilidade de que essas mudanças reflitam uma maior consciência política no país em geral, talvez o resultado de uma economia em declínio e do aumento da preocupação sobre a segurança nacional. Se compararmos as pessoas que atenderam à ligação no contexto da campanha com as que não atenderam (que também foram afetadas pelos eventos nacionais, pois ambas chegaram às urnas em maior número nesta ocasião), nós encontramos que o impacto real do programa é de 11 pontos percentuais, e não 18.”
EC.5. Como se estima o contrafactual neste artigo de opinião?
A. Os potenciais eleitores que foram chamados por telefone e que NÃO atenderam. 
B. Os potenciais eleitores que foram chamados por telefone e que NÃO atenderam, levando em consideração sua idade, sexo, tamanho da casa, o distrito, o comportamento eleitoral passado, etc. 
C. Os potenciais eleitores que foram chamados por telefone e que NÃO atenderam, levando em consideração a diferença na taxa de votação com relação aos que atenderam antes do programa. 
D. Os potenciais eleitores que foram chamados por telefone e que NÃO atenderam, mas que têm as mesmas características (idade, gênero, distrito, comportamento em eleições anteriores, etc.) que os que atenderam. 
E. Os potenciais eleitores que foram chamados por telefone e que atenderam, ANTES do programa. 
A resposta correta é a A. O artigo de opinião indica que “comparamos as pessoas que atenderam a ligação no contexto da campanha com aquelas pessoas que não atenderam”. Neste caso, o grupo de comparação são as pessoas que também foram selecionadas para receber a chamada, mas não atenderam o telefone. 
EC.6. Qual é o método de avaliação utilizado pelo comunicado de imprensa?
A. Diferença simples 
B. Diferenças em diferenças 
C. Avaliação aleatorizada 
D. Regressão multivariada 
E. Pareamento (Matching) 
F. Antes e depois 
Explicação: A resposta correta é a A. O método de diferença simples compara os indivíduos que participaram do programa com os que não participaram do programa. Neste caso, os participantes são aqueles que atenderam o telefonema enquanto o grupo de controle é formado por aqueles que não atenderam o telefonema.
EC.7. Em qual das seguintes situações este método geraria resultados enviesados?
A. Se os eleitores que receberam os telefonemas fossem sistematicamente diferentes dos que não receberam em variáveis que estão correlacionadas com a taxa de participação eleitoral. (Exemplo: os que foram chamados podem ter, em média, renda mais alta, e sabemos que as pessoas com renda mais alta tendem a ter taxas de participação eleitoral mais altas.) 
B. Se os que atenderam ao telefonema fossem mais propensos a votar do que as pessoas que não atenderam. (Exemplo: pode ser que, entre as pessoas que atenderam as chamadas, há uma maior proporção de pessoas mais velhas, que passam muito tempo em casa e têm altas taxas de participação eleitoral.) 
C. Se, independentemente do telefonema, a mudança na taxa de participação eleitoral dos que atenderam fosse diferente da mudança dos que não atenderam. (Exemplo: entre os que atenderam se encontram muitas pessoas que perderam o seu trabalho e ficaram desiludidas com o governo e o processo político, e isso faz com que elas deixem de participar das eleições.) 
D. Se, independentemente do telefonema, os que atenderam tivessem tido uma participação eleitoral maior do que nas eleições anteriores. (Exemplo: pode ser que a atmosfera política estivesse mais competitiva nessas eleições, o que, por sua vez, poderia ter levado mais gente a votar.) 
Explicação: A resposta correta é a B. A suposição do método de diferença simples é que a única diferença entre os participantes do programa e os não participantes é o programa. Neste caso, é provável que as pessoas que passavam mais tempo em suas casas foram as que responderam. Por exemplo, as pessoas mais velhas. Então, se as pessoas mais velhas têm comportamentos eleitorais distintos aos da população em geral, como votar com maior regularidade, nossos resultados serão enviesados. Isso significa que nossa estimativa captura o efeito resultante de outras características e não o efeito isolado do programa. 
EC.8. Na situação da resposta correta da pergunta anterior, o impacto do programa seria subestimado ou superestimado?
A. Seria superestimado 
B. Seria subestimado 
Explicação: A resposta correta é a A. Sem o programa, os que atenderam à chamada teriam uma participação eleitoral maior que os que não responderam. Isso porque os que responderam a chamada possivelmente são os que tinham mais tempo disponível, como as pessoas mais velhas. Se as pessoas mais velhas votam com maior frequência, deveríamos esperar que a sua taxa de participação seja maior que a do restante da população; o que superestima o efeito do programa.
MÉTODO 3
"Se você não prestou muita atenção, é possível que tenha perdido a discussão pública sobre a efetividade da campanha ‘Vote em 2002!’. Os organizadores da campanha afirmaram ter aumentado o número de eleitores em quase 20 pontos percentuais. Um comentarista opositor escreveu um artigo de opinião que sugere que o impacto é cerca de metade do anunciado. No entanto, as duas análises estão malfeitas. O primeiro está errado, por não usar um grupo de comparação e simplesmente observar as mudanças nos padrões de votação, e o segundo usa uma métrica equivocada para medir o impacto.
As campanhas de votação têm como propósito trazer novos eleitores às urnas, e não simplesmente falar com todos os eleitores. O comentarista compara o número de eleitores que atenderam o telefonema com outras pessoas que não responderam. Muitas das pessoas que puderam ser contatadas já estavam votando em eleições anteriores. Portanto, a análise deve medir a melhora na votação no nível final das taxas de votação. Isto também ajuda a controlar o fato de que os grupos têm diferentes taxas de votação nas eleições anteriores.
Quando se repetiu a análise utilizando uma medida de resultado mais apropriada (a taxa de aumento da votação), encontramos aumentos marginais para o grupo que foi contatado por telefone, em comparação com aqueles que não atenderam a chamada (um aumento de 10,9% em comparação com 9% para o outro grupo). Essa diferença de 1,9 pontos percentuais é estatisticamente significativa, porém marginal, em relação às demais análises.”
EC.9. Como se estima o contrafactual neste editorial?
A. Os potenciais eleitores que foram chamados por telefone e que NÃO atenderam 
B. Os potenciais eleitores que foram chamados por telefone e que NÃO atenderam, levando em consideração sua idade, sexo, tamanho da casa, o distrito, o comportamento eleitoral passado, etc. 
C. Os potenciais eleitores que foram chamados por telefone e queNÃO atenderam, levando em consideração a diferença na taxa de votação em relação aos que atenderam antes do programa 
D. Os potenciais eleitores que foram chamados por telefone e que NÃO atenderam, mas que têm as mesmas características (idade, gênero, distrito, comportamento em eleições anteriores, etc.) que os que atenderam 
E. Os potenciais eleitores que foram chamados por telefone e que atenderam, ANTES do programa 
A resposta correta é a C. O contrafactual neste método é o grupo de pessoas que foram chamadas por telefone, mas não atenderam. É necessário ter informações destas pessoas antes e depois do programa. Para isso, precisamos conhecer a taxa de participação eleitoral dessas pessoas em 1998 e 2002, para depois comparar suas diferenças a respeito da taxa de participação de 1998 e 2002 das pessoas que atenderam.
EC.10. Qual é o método de avaliação utilizado pelo comunicado de imprensa?
A. Diferença simples 
B. Diferenças em diferenças 
C. Avaliação aleatorizada 
D. Regressão multivariada 
E. Pareamento (Matching) 
F. Antes e depois 
Explicação: A resposta correta é a B. O método de diferenças em diferenças compara as mudanças dos grupos de tratamento e controle antes e depois do programa. Ele compara o que aconteceu com o grupo de controle antes e depois do programa, tomando essa trajetória como a que teria acontecido com o grupo de tratamento na ausência do programa. Depois comparamos com o que de fato aconteceu com o grupo de tratamento, dada a existência do programa. As diferenças entre essas mudanças ocorridas com os grupos de tratamento e controle são atribuídas ao programa.
EC.11. Em qual das seguintes situações este método geraria resultados enviesados?
A. Se os eleitores que receberam os telefonemas fossem sistematicamente diferentes dos que não receberam em variáveis que estão correlacionadas com a taxa de participação eleitoral. (Exemplo: os que foram chamados podem ter, em média, renda mais alta, e sabemos que as pessoas com renda mais alta tendem a ter taxas de participação eleitoral mais altas.) 
B. Se os que atenderam ao telefonema fossem mais propensos a votar do que as pessoas que não atenderam. (Exemplo: pode ser que, entre as pessoas que atenderam as chamadas, haja uma maior proporção de pessoas mais velhas, que passam muito tempo em casa e têm altas taxas de participação eleitoral.) 
C. Se, independentemente do telefonema, a mudança na taxa de participação eleitoral dos que atenderam fosse diferente da mudança dos que não atenderam. (Exemplo: entre os que atenderam, pode-se encontrar muitas pessoas que perderam o seu trabalho e ficaram desiludidas com o governo e o processo político, e isso faz com que elas deixem de participar das eleições.) 
D. Se, independentemente do telefonema, os que atenderam tivessem tido uma participação eleitoral maior do que nas eleições anteriores. (Exemplo: pode ser que a atmosfera política estivesse mais competitiva  nessas eleições, o que, por sua vez, poderia ter levado mais gente a votar.) 
A resposta correta é a C. A premissa do método Diferenças em diferenças é que as tendências entre os dois grupos, tratamento e controle, mantenham-se paralelas no tempo. Isso significa que, na ausência do programa, a mudança entre o primeiro e o segundo período será a mesma para ambos os grupos. Agora, considere o que aconteceria com as pessoas que perderam seu emprego entre 1998 e 2002. Possivelmente terão mais tempo para responder ao telefone, então seriam parte do grupo de tratamento. Além disso, possivelmente estariam menos interessadas em ir às urnas. Portanto, dificilmente as tendências entre os grupos seriam paralelas porque as pessoas desempregadas que estão no grupo de tratamento estão menos dispostas a ir às urnas em comparação às pessoas que têm trabalho e estão no grupo de controle.
EC.12. Na situação da resposta correta da pergunta anterior, o impacto do programa seria subestimado ou superestimado?
A. Seria superestimado 
B. Seria subestimado 
Explicação: A resposta correta é a B. Se assumirmos que o viés de seleção do programa surge pelas diferenças entre os desempregados e empregados, esperaríamos que o efeito do programa seria subestimado. Isso porque, em 2002, as pessoas que perderam o seu emprego e têm tempo de responder ao telefone terão menos incentivos para ir às urnas que as pessoas que estão empregadas e não tiveram oportunidade de atender ao telefone. Então, a estimativa captura o efeito de estar empregado ou desempregado na participação eleitoral e não necessariamente o efeito do programa.
As 60.000 pessoas que receberam o telefonema foram selecionadas de maneira aleatória, por meio de um sorteio, de uma população maior de aproximadamente 2 milhões de potenciais eleitores. Nesta pergunta, está incluída uma tabela que mostra algumas características das pessoas que receberam o telefonema (incluindo tanto os eleitores que atenderam o telefonema como os que não atenderam) e as pessoas que não receberam telefonema (nos distritos competitivos de Michigan).
EC.13. Sem conhecer ainda os resultados da aleatorização, você espera que as características dos dois grupos sejam estatisticamente similares ou estatisticamente distintas?
A. As características dos grupos são estatisticamente similares 
B. As características dos grupos são estatisticamente distintas 
A resposta correta é a A. Se a aleatorização é bem feita, os grupos de tratamento e controle devem ser estatisticamente similares em variáveis observáveis e não observáveis.
EC.14. Associe cada descrição com o respectivo método de avaliação.
1. Mede como os participantes do programa mudam ao longo do tempo. Antes e Depois 
2. Mede a diferença entre os participantes e os não participantes depois do programa. Diferença Simples 
3. Compara a variação dos resultados dos participantes ao longo do tempo à variação dos resultados dos que não participaram do programa. Diferenças em Diferenças 
4. Compara participantes e não participantes quando a participação foi determinada por sorteio.Avaliação Aleatorizada 
EC.15. Associe cada grupo de comparação com o respectivo método de avaliação.
1. Os mesmos participantes, antes de entrarem no programa. Antes e Depois 
2. Os não participantes. Diferença Simples 
3. Os não participantes, levando em consideração a sua diferença em relação aos participantes antes do programa. Diferenças em Diferenças 
4. Grupos de potenciais participantes elegíveis que, por sorteio, foram alocados no grupo de controle e não recebem o programa. Avaliação Aleatorizada 
EC.16. Associe cada premissa com o respectivo método de avaliação.
1. Não há, no tempo, fatores relevantes que afetem o resultado além do próprio programa. Antes e Depois 
2. A única diferença entre participantes e não participantes que influencia nos resultados é o programa. Diferença Simples 
3. Na ausência do programa, as tendências de participantes e não participantes se manteriam paralelas. Diferenças em Diferenças 
4. A aleatorização foi bem-feita e gera dois grupos estatisticamente idênticos. Avaliação Aleatorizada 
MÓDULO 3
A.1. Verdadeiro ou falso: "Teoria da Mudança" e "Avaliação Teórica" são sinônimos.
A. Falso 
B. Verdadeiro 
Falso. A Avaliação Teórica é a verificação de coerência existente por trás do passo a passo do programa para atingir seus objetivos. A Teoria da Mudança é uma das ferramentas que podem ser usadas para fazer uma Avaliação Teórica, mas não é uma Avaliação Teórica.
A.3. Qual é a definição de Teoria da Mudança discutida nesta aula?
A. Uma descrição compreensiva e ilustrada de como e por que uma intervenção gera determinados impactos; um meio de sabermos até onde vamos e como chegamos. 
B. Uma ferramenta analítica para o planejamento de projetos dirigidos por objetivos. 
C. Uma ferramenta para facilitar o processo de conceituação, desenho, execução e avaliação de projetos. 
A alternativa correta é a A. As respostas B e C são definições de Marco Lógico, outra ferramenta para a Avaliação Teórica de programas sociais e uma alternativa à Teoria da Mudança. 
A.4. Quais dasseguintes afirmações são corretas? Marque todas as respostas que julgar corretas.
A. Tanto a Teoria da Mudança como o Marco Lógico são ferramentas que podem ser usadas para fazer uma Avaliação Teórica. 
B. A Teoria da Mudança demonstra a complexidade dos fenômenos e busca ilustrar relações de causalidade, enquanto o Marco Lógico se concentra mais em estruturar os passos e sintetizar objetivos, indicadores, fontes de verificação e premissas. 
C. Tanto a Teoria da Mudança como o Marco Lógico são ferramentas que podem ser usadas para fazer avaliações de programas: a Teoria da Mudança para Avaliações Teóricas, o Marco Lógico para Avaliações de Impacto. 
D. Tanto a Teoria da Mudança como o Marco Lógico descrevem a lógica por trás de um programa. 
A Teoria da Mudança e o Marco Lógico descrevem a lógica por trás de um programa, de modo que podem ser usados para fazer uma Avaliação Teórica. Apesar da similaridade, também há diferenças entre essas duas ferramentas: a Teoria da Mudança mostra mais a complexidade dos fenômenos, enquanto o Marco Lógico sintetiza e resume um programa. 
Parte superior do formulário
Parte inferior do formulário
B.1. Complete os passos para fazer uma Teoria da Mudança na ordem correta.
A. 1° Passo: Definir o propósito 
B. 2° Passo: Completar a cadeia causal 
C. 3° Passo: Identificar premissas e riscos 
D. 4° Passo: Resumir a hipótese causal 
E. 5° Passo: Definir indicadores 
O vídeo explica que a Teoria da Mudança pode ser feita em 5 passos, na seguinte ordem: 1) definir o propósito; 2) a partir do propósito, completar o restante da cadeia causal; 3) identificar premissas e riscos; 4) resumir a hipótese causal; e 5) definir indicadores para o acompanhamento do processo. 
B.2. Qual é a diferença entre os resultados intermediários e os resultados finais?
A. Os resultados intermediários são mudanças em atitudes, conhecimentos, capacidades e comportamento. Os resultados finais são mudanças no estado de desenvolvimento da população-alvo. 
B. Os resultados intermediários são mudanças de mais longo prazo do que os resultados finais. 
C. Os resultados intermediários resultam diretamente da implementação do programa e, portanto, estão dentro do controle do programa. Existem outros fatores que influenciam os resultados finais, que, por isso, não estão totalmente sob o controle do programa. 
A alternativa B não está correta, pois os resultados finais são mudanças de mais longo prazo que os resultados intermediários. A alternativa C não está correta, pois os resultados intermediários também não estão sob o controle do programa, mas dependem de mudanças nos beneficiários. Como vimos no vídeo, apenas atividades e produtos estão sob o controle de quem implementa o programa. 
B.3. Quais dos seguintes exemplos são resultados intermediários? Marque todas as respostas que julgar corretas.
A. Estudantes melhoram suas habilidades de buscar emprego. 
B. Mentores recrutados e treinados. 
C. Estudantes recebem tutorias. 
D. Estudantes têm mais conhecimento sobre o mercado de trabalho. 
E. Mais estudantes recém-formados encontram emprego. 
As alternativas corretas são A e D. Os resultados intermediários são mudanças em atitudes, conhecimentos, capacidades e comportamentos que ocorrem em decorrência (não direta) da intervenção e precedem os resultados finais. Assim, B e C são exemplos de produtos, pois são resultados diretos do programa. Já a alternativa E é um resultado final, porque representa uma mudança no estado de desenvolvimento da população-alvo. 
B.4. Por que é recomendado completar a cadeia causal do final para o início quando se desenha um programa?
A. Como já é conhecida a intervenção que deve ser implementada, é recomendável deixar a definição das atividades e insumos como a última etapa. 
B. Não é possível definir os resultados intermediários sem conhecer os resultados finais. 
C. Obriga os formuladores do programa a focar nos resultados que se deseja alcançar, permitindo que surjam novas ideias e formas de se resolver o problema. 
Muitas vezes, no momento de se desenhar um programa, já existe uma ideia clara da intervenção que será implementada. Não obstante, ela não necessariamente é a melhor estratégia para resolver o problema e alcançar os objetivos desejados. Ao completar a cadeia causal do final ao início, definindo os insumos e atividades a partir dos produtos necessários para se gerar os resultados pretendidos, é possível ponderar se a intervenção de fato corresponde às transformações esperadas. 
C.1.b. Verdadeiro ou falso: produtos são frequentemente reformulações das atividades do ponto de vista de quem implementa o programa.
A. Verdadeiro. 
B. Falso. 
A alternativa correta é a B. A afirmativa é falsa porque, como explicado no vídeo, produtos são frequentemente a reformulação das atividades do ponto de vista dos beneficiários do programa. 
Parte superior do formulário
Parte inferior do formulário
C.2. Qual premissa deve ser cumprida para passar de "A comunidade é sensibilizada em relação à importância de se lavar as mãos" para "Aumenta a frequência da higienização das mãos"? Marque todas as respostas que julgar corretas.
A. Existe água disponível para a comunidade. 
B. Agentes ajudam comunidade nas capacitações de higiene. 
C. As capacitações de higiene foram realizadas em lugares próximos às comunidades (a população tem condições de participar das capacitações). 
D. As doenças que atingem a comunidade podem ser atenuadas se mais pessoas lavarem as mãos com sabão. 
E. As famílias têm meios suficientes para a compra de sabão. 
A e E são condições externas necessárias que devem ser cumpridas para fazer a passagem entre os pontos apresentados, de produto (Comunidade sensibilizada) a resultado intermediário (Aumenta a frequência de higienização). As outras alternativas se referem a premissas entre outros passos da cadeia causal ou não são condições externas, mas internas do programa. 
Parte superior do formulário
.3. Verdadeiro ou falso: a frase "Os agentes apoiam as capacitações de higiene" trata-se de uma premissa entre os insumos/atividades e os produtos da cadeia causal deste programa.
A. Falso 
B. Verdadeiro 
Este é um exemplo de uma premissa equivocada: ter agentes apoiando as capacitações é uma condição interna da implementação do programa, e não uma condição externa que deve ser atendida para que o programa funcione.
C.4. Selecione o item que poderia ser um risco gerado pelo Programa de Promoção da Lavagem de Mãos no Peru.
A. Responsáveis pelas capacitações na comunidade não comparecem.
B. O aprendizado da comunidade, após a capacitação de higiene, não é suficiente para promover mudanças de comportamento nos hábitos da comunidade.
C. Após a capacitação, algumas pessoas começam a lavar as mãos em excesso e desenvolvem erupções na pele. 
D. Uma grande parte da comunidade não recebe informação sobre a ocorrência de capacitações de higiene.
E. O recurso destinado ao programa não foi bem orçado e termina em meio ao processo de implementação.
A resposta correta é a C, único exemplo de efeito negativo gerado pela intervenção não esperado de fato. As demais alternativas são problemas de implementação do programa, não riscos.
Parte superior do formulário
Parte inferior do formulário
Parte inferior do formulário
C.5. Complete a hipótese causal do programa peruano de promoção de lavagem de mãos. Complete as lacunas com as opções corretas.
Se (atividade 1) e (atividade 2) produzem (produto), isso deveria levar a (resultado intermediário), que, ao final, vai resultar na (resultado final), contribuindo para (propósito).
A. Atividade 1: a organização de capacitação sobre higiene 
B. Atividade 2: comparecimento da comunidade à capacitação 
C. Produto: conscientização da comunidade quanto à importância da higienização das mãos
D. Resultado intermediário: aumento da frequência de higienização das mãos
E. Resultado final: diminuição de infecções e contaminações 
F. Propósito: a melhora da saúde nas zonas rurais no Peru 
A estrutura da hipótese causal exposta no vídeo é a seguinte: “Se [atividades]geram [produtos], isto deveria levar a [resultados intermediários], o que, ao final, vão resultar em [resultados finais], contribuindo para [propósito]". A resposta correta é: Se a organização da capacitação sobre higiene e o comparecimento da comunidade à capacitação produzem conscientização da comunidade quanto à importância da higienização das mãos, isso deveria levar a aumento da frequência de higienização das mãos, o que, ao final, vai resultar na diminuição de infecções e contaminações, contribuindo para a melhora da saúde nas zonas rurais no Peru. 
C.6. Para quais passos da cadeia causal é necessário definir indicadores? Marque todas as respostas que julgar corretas.
A. Problemas e necessidades. 
B. Insumos e atividades. 
C. Produtos. 
D. Resultados intermediários. 
E. Resultados finais. 
É recomendado definir indicadores para todas as etapas da cadeia causal. 
D.1. Quais são os modos pelos quais a Teoria da Mudança pode nos ajudar no desenho de uma Avaliação de Impacto? Marque todas as respostas que julgar corretas.
A. Permite identificar perguntas de avaliação. 
B. Ajuda a selecionar as variáveis corretas para entender se um programa de fato atinge o impacto desejado. 
C. Ajuda a calcular o tamanho amostral necessário para a avaliação de impacto. 
D. Ajuda a calcular o tamanho amostral necessário para a avaliação de impacto. 
As alternativas corretas são A e B. A Teoria da Mudança pode ajudar a identificar perguntas de avaliação e definir quais variáveis medir para entender por que um programa gera ou não o impacto desejado. Não ajuda a determinar o tamanho amostral ou a melhor forma de coleta de dados para as variáveis de interesse. 
D.2 Em quais dos seguintes cenários identificamos falhas de implementação?
A. Cenário 01 
B. Cenário 02 
C. Cenário 03 
D. Cenário 04 
Nos cenários 3 e 4, há falhas de implementação nas etapas de necessidades/problemas e de insumos/atividades. Nesses mesmos cenários, as falhas se iniciam nos resultados intermediários ou finais, que já não dependem da implementação do programa.
Parte superior do formulário
D.3. Em relação ao programa "Um Laptop por Aluno", cuja Teoria da Mudança foi desenvolvida nesta aula, escolha a solução mais adequada para os seguintes contextos:
1. Muitos professores não usam os laptops nas suas aulas porque não absorveram o treinamento dado para uso dos laptops. Adaptar a metodologia e/ou o conteúdo dos treinamentos direcionados aos professores. 
2. O programa foi exitoso em fazer com que os laptops fossem usados em casa e na escola, mas não gerou melhoria no aprendizado das crianças. Revisar o conteúdo contido nos laptops para o aprendizado. 
3. Muitas crianças não levam os laptops para suas casas por razões de segurança. Desenvolver o uso de laptops para as crianças na própria escola, fora do horário de aula. 
Esses exemplos mostram que, se não há impacto, podem existir diferentes soluções para que um programa chegue aos resultados desejados. Além disso, os exemplos mostram a importância de coletar informações sobre os diferentes mecanismos de um programa para se identificar o que funciona e o que não funciona.
Creio que a segunda alternativa corresponde ao que quis responder acima...
Esta questão não é pontuada, mas um modelo de resposta que expõe de maneira clara a hipótese central que se pretende testar é: "A divulgação da informação sobre as auditorias ao público, por meio de rádios locais, causará uma diminuição nos níveis de corrupção de líderes municipais?" 
EC.2. Em sua versão mais simples, uma Avaliação de Impacto testa se uma intervenção teve impacto ou não na relação com os objetivos finais, medindo a magnitude desse impacto. No entanto, avaliações de impacto podem dar um passo além, identificando os mecanismos, ou seja, os processos que conectam a intervenção ao impacto obtido (resultados finais). 
Quais dos seguintes mecanismos podem fazer com que a intervenção criada pela CGU possa ter o impacto desejado de reduzir a corrupção? Marque todas as respostas que julgar corretas./p>
A. Devido à divulgação dos resultados das auditorias, os partidos políticos decidem punir internamente os políticos implicados em fraudes. 
B. Devido à divulgação dos resultados das auditorias, os cidadãos se tornam mais informados e, nas eleições, punem os candidatos corruptos e recompensam os políticos honestos. 
C. Devido à divulgação dos resultados das auditorias, políticos corruptos mudam sua forma de atuar, envolvendo-se em formas de corrupção mais sofisticadas e difíceis de serem detectadas pelos auditores. 
D. A difusão dos resultados das auditorias leva a uma maior credibilidade das instituições públicas, atraindo eleitores que estavam desiludidos ou, até então, votavam de maneira desinformada. 
As alternativas corretas são A, B e D. Todas as alternativas, exceto a C, são mecanismos: descrevem vias pelas quais a intervenção poderia gerar mudanças de comportamento que contribuam para atingir os resultados desejados. A alternativa C não é um mecanismo, mas um risco de impacto negativo – uma ameaça à cadeia causal. 
EC3.a. Arraste as caixas à esquerda para colocar os componentes nos espaços adequados e completar a cadeia causal de acordo com o programa de divulgação de auditorias.
EC3.b. Verdadeiro ou falso: uma premissa do programa é que a mídia local divulgue informações corretas sobre os resultados das auditorias.
A. Verdadeiro. 
B. Falso 
A alternativa correta é a A. Como exposto nos vídeos deste módulo, uma premissa é uma condição externa necessária que deve ser cumprida para que a cadeia causal da Teoria da Mudança seja válida. Divulgar informações corretas sobre os resultados das auditorias é uma premissa para que eleitores e órgãos de controle punam políticos corruptos e a Teoria da Mudança seja válida. 
EC.3. Associe as respostas adequadas para completar a cadeia causal de acordo com o programa de divulgação de auditorias.
1. Alta incidência de corrupção em governos locais. Problemas / Necessidades 
2. Auditores realizam fiscalizações nas cidades. Insumos / Atividades 
3. Mídia local divulga informações sobre as auditorias. Insumos / Atividades 
4. Relatórios das auditorias. Produtos 
5. Informações disponibilizadas para a população. Produtos 
6. Eleitores, órgãos de controle e Judiciário obtêm informações. Resultados Intermediários 
7. Prefeitos são vistos como políticos corruptos ou inábeis. Resultados Intermediários 
8. Penalização de prefeitos corruptos nas urnas. Resultados Intermediários 
9. Aumentam processos contra políticos. Resultados Intermediários 
10. Redução de índices de corrupção. Resultados Finais 
EC.4. Suponha que a avaliação encontrou que, em municípios onde os relatórios das auditorias foram divulgados antes das eleições municipais de 2004 nas rádios locais, os políticos corruptos tiveram significativamente menos probabilidade de serem reeleitos em comparação com municípios onde os relatórios foram difundidos depois das eleições. Em cidades sem estação de rádio local, o desempenho dos políticos corruptos no processo eleitoral também foi pior (receberam menos votos), mas não tanto como nas localidades com estação de rádio. 
Os resultados da avaliação poderiam ser significativamente diferentes, se os pesquisadores não tivessem considerado o alcance dos diferentes meios de comunicação. 
Por que é importante interpretar os resultados de um programa dentro do contexto da Teoria da Mudança?
A. A Teoria da Mudança permite identificar os mecanismos que estão por trás dos resultados. 
B. A Teoria da Mudança permite comparar os resultados de uma intervenção com os de outras intervenções.  
C. A Teoria da Mudança nos diz o tamanho do impacto do programa. 
A alternativa correta é a A. A Teoria da Mudança é uma ferramenta que permite identificar mecanismos por trás de resultados, não comparar resultados ou mensurar diretamente o impacto de uma intervenção. 
MÓDULO 4
A.1. O que significa dizer que a avaliação é aleatorizada? Marque todas as respostas que julgar corretas.
A. O tamanho da amostra aumenta se a avaliaçãoé aleatorizada. 
B. A forma como se escolhe o grupo de controle e de tratamento não tem padrões reconhecíveis ou regularidades. 
C. Cada unidade (que pode ser um indivíduo, família, escola, casa etc) tem a mesma probabilidade de ser alocada no grupo de tratamento. 
D. Os indivíduos (ou famílias, escolas, casas etc) são alocados no grupo de tratamento dependendo de suas características. 
As respostas corretas são as alternativas B e C. Avaliação aleatória significa que todos os indivíduos têm a mesma probabilidade de pertencer ao grupo de tratamento ou de comparação e não há nenhum padrão reconhecível entre os selecionados. Como a seleção foi aleatória, podemos dizer que os selecionados e não selecionados são estatisticamente comparáveis. No caso dos programas, a aleatoriedade significa que a escolha não está sujeita à alguma característica individual e todas as pessoas da amostra têm a mesma probabilidade de participar.
A.2. Suponha que a Secretaria de Educação de Minas Gerais implementou um programa de reforço escolar em todas as escolas estaduais do semiárido (e não em outras regiões do estado). Para medir o impacto deste programa, um pesquisador seleciona por meio de um sorteio 50 escolas do semiárido e 50 escolas do resto do Estado e as compara. Isto é um exemplo de uma avaliação aleatorizada?
A. Sim 
B. Não 
Não, isso não é uma avaliação aleatorizada. Embora seja usada uma amostragem aleatória, a designação ao tratamento e controle não foi feita aleatoriamente, tendo o programa sido implementado exclusivamente em uma região específica do estado à qual não pertence o grupo de comparação.
A.3. Por que fazemos alocação aleatória entre os grupos de tratamento e controle?
A. Para obter maior poder estatístico. 
B. Para que os grupos de controle e tratamento sejam estatisticamente similares. 
C. Para que os indivíduos que mais desejam o programa recebam o programa. 
D. Para que existam diferenças entre o grupo de controle e de tratamento. 
A resposta é a alternativa B. A alocação aleatória gera grupos de controle e tratamento que são estatisticamente similares, fazendo com que o grupo de controle seja uma boa aproximação do contrafactual.
B.1. Suponha que temos uma amostra de cem indivíduos. Nosso método de aleatorização é de probabilidade fixa, com uma probabilidade de 60% de ser alocado no grupo de tratamento. De acordo com a informação dada, de qual tamanho serão os grupos de controle e de tratamento?
A. 50 no grupo de controle e 50 no de tratamento. 
B. 60 no grupo de controle e 40 no de tratamento. 
C. 40 no grupo de controle e 60 no de tratamento. 
D. Não é possível determinar o tamanho dos grupos. 
A resposta é a alternativa D. Devido à construção dos grupos de tratamento e controle, cada indivíduo tem uma probabilidade de 60% de pertencer ao grupo de tratamento. Então, esperamos que os grupos tenham 60 indivíduos no grupo de tratamento e 40 no de controle. Contudo, embora esta distribuição dependa da probabilidade, é possível que haja alguma variação amostral a partir do sorteio. Portanto, não podemos saber com propriedade o tamanho dos grupos.
B.2. Verdadeiro ou falso: Diferentemente do método de probabilidade fixa, o método de proporção fixa permite saber com antecedência o tamanho dos grupos de controle e de tratamento.
A. Verdadeiro 
B. Falso 
Verdadeiro. A vantagem da proporção fixa é que determinamos o tamanho exato dos grupos de tratamento e controle.
B.3. Por que pode ser recomendável usar a aleatorização estratificada? Marque todas as respostas que julgar corretas.
A. Para assegurar equilíbrio amostral nas variáveis de interesse. 
B. Para aumentar o poder estatístico. 
C. Para estudar subgrupos dentro da amostra de beneficiários. 
D. Por razões políticas ou logísticas. 
Todas as respostas são corretas. A estratificação nos permite balancear a amostra, por exemplo, garantindo uma proporção similar de representantes de mulheres e homens em ambos os grupos (caso gênero seja uma variável de interesse). Além disso, podemos estudar subgrupos e ver como cada um reage ao tratamento, por exemplo, entre jovens e adultos. Outra vantagem é que reduzimos a variância, o que eleva o poder estatístico. Finalmente, por razões políticas (como abranger de maneira proporcional grupos beneficiados por uma política, sem correr o risco de deixar de prever a participação de alguma minoria por devido ao sorteio) ou logísticas (estratificações por região também operam neste sentido), é recomendável estratificar de acordo com a natureza do programa.
B.4. Considere a seguinte situação: você é encarregado de realizar a aleatorização por agrupamento de uma avaliação em escolas. A seguir se apresentam quatro escolas, cada uma com duas turmas. Em qual dos seguintes casos a aleatorização é por agrupamento? (Clique nos ícones para visualizá-los)
A. Imagem 1 
B. Imagem 2 
C. Imagem 3 
D. Imagem 4 
A resposta é a alternativa A. A aleatorização por agrupamento implica a seleção de grupos, não de indivíduos.
C.1. Complete corretamente o seguinte trecho:   No caso em que os recursos são _______ para cobrir todo o universo de beneficiários, podemos fazer uma loteria. No entanto, em alguns casos, as pessoas que não receberam o programa podem escolher _________ com a avaliação.
A. insuficientes; cooperar 
B. suficientes; cooperar 
C. insuficientes; não cooperar 
D. suficientes; não cooperar 
A resposta é a alternativa C. Quando se busca implementar um programa, mas não se conta com recursos suficientes para implementá-lo em um só momento, a loteria é uma alternativa a ser considerada, já que seleciona as pessoas por sorteio. No entanto, pode ocorrer que pessoas que não foram selecionadas não tenham interesse em cooperar com a avaliação.
C.2. Verdadeiro ou falso: Em um desenho por etapas, ao final da avaliação, o grupo de controle nunca terá recebido o programa.
A. Verdadeiro 
B. Falso 
Falso. Em um desenho por etapas, onde toda a população elegível receberá o programa, o sorteio determina quem receberá o programa primeiro e quem o receberá depois. Portanto, o sorteio não determina quem receberá ou não o programa, e sim quando isso acontecerá. Ao final, toda a amostra terá recebido o programa.
C.3. Complete corretamente o seguinte trecho: Com um desenho de aleatorização por etapas, no curto prazo posso ___________, enquanto no longo prazo posso ____________.
A. comparar os resultados do grupo que recebeu o tratamento com o que ainda não o recebeu; comparar o impacto do tempo de exposição ao tratamento 
B. comparar o impacto do tempo de exposição ao tratamento; comparar os resultados do grupo que recebeu o tratamento com o que ainda não o recebeu 
C. medir o impacto daqueles que estão sendo tratados nessa etapa; medir o impacto do tratamento em toda a população 
D. comparar os resultados do grupo que recebeu o tratamento com o que ainda não o recebeu; comparar o impacto dos que são elegíveis para o programa com os que não são elegíveis 
A resposta é a alternativa A. Com o desenho de aleatorização por etapas, no curto prazo é possível obter o impacto do programa ao comparar o grupo de tratados com o de não tratados. No entanto, no longo prazo se torna difícil medir o impacto do programa, dado que todos os indivíduos foram tratados. É por isso que, no longo prazo, podemos medir o impacto do tempo de exposição do programa. Isso é possível fazendo uma comparação entre aqueles que se submeteram ao tratamento durante mais tempo e aqueles que o receberam em uma etapa posterior ou ao final da avaliação.
D.1. Suponha que a Secretaria de Educação de Minas Gerais implementou um programa de reforço escolar em todas as escolas estaduais do semiárido (e não em outras regiões do estado). Para medir o impacto deste programa, um pesquisador seleciona por meio de um sorteio 50 escolas do semiárido e 50 escolas do resto do Estado e as compara. Isto é um exemplo de uma avaliação aleatorizada?
A. Já existe uma intervenção (a intervenção A), mas deseja-se testar se outras intervenções poderiam ter maior impacto Desenho 2 
B. Já existe