Avaliação de Impacto de Programas e Políticas Sociais_PROVAS_1-a-10 ENAP

Prévia do material em texto

Avaliação de Impacto de Programas e Políticas Sociais_PROVAS_1-a-10
B.1. Verdadeiro ou falso: a avaliação de impacto é um tipo de avaliação de programas
Verdadeiro 
Verdadeiro. Como se explica no vídeo, há cinco tipos de avaliações de programas: de necessidades, teórica, de processos, de impacto e de eficiência
B.2. Qual das seguintes perguntas pode ser respondida por meio de uma avaliação de necessidade?
A. Qual a duração que o programa deve ter? 
B. Quais os recursos (financeiros, humanos e outros) que são necessários para a implementação do programa? 
C. O programa está baseado na conceituação do problema que ele busca solucionar? 
D. Quais são os problemas de implementação que o programa enfrenta e como eles podem ser resolvidos? 
Uma avaliação de necessidade estuda aquilo que o programa busca solucionar. Não se trata de uma ponderação sobre desafios de implementação do programa (em termos de duração, orçamento, coordenação, etc.).
B.3. Quais das seguintes perguntas se responderiam em uma avaliação teórica de um programa de construção de novas escolas para aumentar a frequência escolar? Marque todas as respostas que julgar corretas.
A. Em um grupo grande de crianças que não vão à escola, é razoável supor que elas iriam se o tempo e o custo de locomoção diminuíssem? 
B. A frequência escolar aumentou nas vilas onde se construíram novas escolas como parte desse programa? 
C. Existem estudos que mostram que a construção de novas escolas pode aumentar a frequência escolar? 
A alternativa B não é uma pergunta sobre a teoria por trás do programa, e sim se ele funcionou na prática (embora, como veremos mais a frente, também é importante determinar o quanto do impacto na participação escolar se deve ao programa e o quanto se deve a outros fatores).
C.1. Para um programa de construção de novas escolas, quais das seguintes perguntas poderiam ser respondidas por uma avaliação de processos? Marque todas as respostas que julgar corretas.
A. Os materiais e a mão de obra necessários para a construção foram providenciados? 
B. O programa conseguiu aumentar a frequência escolar nos locais onde foram construídas as escolas? 
C. A que se devem os baixos níveis de participação escolar nas regiões onde se implementa o programa? 
D. A qualidade das escolas construídas é adequada? 
As alternativas A e D se referem à implementação do programa. A alternativa B se relaciona a seu impacto, e a C, às necessidades.
C.2. No caso do programa de construção de novas escolas, qual seria o contrafactual?
A. A taxa de frequência escolar nos locais onde foram construídas novas escolas, após a construção. 
B. A taxa de frequência escolar nos locais onde foram construídas as escolas, antes da construção. 
C. A taxa de frequência escolar que os locais onde foram construídas novas escolas teriam se não tivessem sido construídas novas escolas. 
D. A taxa de frequência escolar onde não foi construída nenhuma escola, após construção das novas escolas em outros locais. 
O contrafactual é o resultado que os participantes de um programa teriam obtido no caso hipotético de não terem participado do programa. Como se explicará mais detalhadamente na próxima aula do curso, é uma situação que não se pode observar, mas existem diferentes maneiras para se chegar mais próximo possível a ele.
C.3. Complete quais são as características da avaliação de impacto? Escolha uma opção para cada item.
1. Mede...
A) o progresso em relação aos objetivos. 
B) se esse progresso foi provocado pelo programa. 
2. Sua temporalidade é...
A) pontual e limitada no tempo. 
B) contínuo e frequente. 
3. Ela é desenhada...
A) antes da implementação, e os resultados finais aparecem depois. 
B) durante a implementação do programa. 
4. Ela é conduzida...
A) pelas equipes implementadoras. 
B) preferencialmente por equipes externas com o apoio das internas. 
5. Ela produz evidência...
A) descritiva. 
B) causal. 
As avaliações de impacto têm como características: medir se o progresso percebido foi provocado pelo programa, apresentar uma temporalidade pontual e limitada no tempo, ser desenhada antes da implementação e apresentar resultados finais depois dela, ser preferencialmente conduzida por atores externos com o apoio dos implementadores, além de gerar evidências causais.
C.4. Quais são as características da análise custo-benefício? Marque todas as respostas que julgar corretas.
Você tem até duas tentativas para responder esta questão. Caso erre na primeira, retornará às alternativas para uma nova tentativa.
A. É realizada geralmente após o programa ser implementado (ex-post) 
B. Implica monetizar os custos de um programa e os benefícios esperados. 
C. É realizada geralmente antes de o programa ser implementado (ex-ante). 
D. Permite comparar o impacto na variável principal com os custos do programa. 
As alternativas B e C apresentam as características da análise custo-benefício. Ela é realizada geralmente ex-ante, para saber se o programa deve ser realizado ou não. Para isso, os benefícios esperados pelo programa são monetizados e comparados com seus custos. Dessa maneira, entre as alternativas disponíveis, pode-se escolher qual programa apresenta melhor relação custo-benefício. As alternativas A e D apresentam características da análise custo-efetividade.
C.5.a. Em relação às políticas para aumentar a frequência escolar, suponha que duas alternativas serão avaliadas. A primeira é a entrega de uniformes escolares, que tem um custo de R$ 30 por unidade e um impacto médio esperado de aumentar em 3 meses a frequência de crianças na escola. A segunda alternativa é um programa de bolsas por mérito, com um custo de R$ 240 por criança e um impacto médio de aumentar em um ano o período de crianças na escola.
Qual é o custo-efetividade da política de uniformes escolares? Escreva sua resposta em meses por real.
Não use ponto (.); 
Se necessário, detalhe até duas casas decimais com vírgula (,);
Se o valor for negativo, indique com um sinal de menos (-);
Não insira espaço na resposta;
Não inclua unidade de medida da resposta (R$, %, horas etc.);
Não arredonde o resultado;
Não use frações.
A sua resposta
0,1
C.5.b. Em relação às políticas para aumentar a frequência escolar, suponha que duas alternativas serão avaliadas. A primeira é a entrega de uniformes escolares, que tem um custo de R$ 30 por unidade e um impacto médio esperado de aumentar em 3 meses a frequência de crianças na escola. A segunda alternativa é um programa de bolsas por mérito, com um custo de R$ 240 por criança e um impacto médio de aumentar em um ano o período de crianças na escola.
Qual é o custo-efetividade da política de bolsas por mérito? Escreva sua resposta em meses por real.
Não use ponto (.);
Se necessário, detalhe até duas casas decimais com vírgula (,);
Se o valor for negativo, indique com um sinal de menos (-);
Não insira espaço na resposta;
Não inclua unidade de medida da resposta (R$, %, horas etc.);
Não arredonde o resultado;
Não use frações.
A sua resposta
0,05
C.6. Considerando somente o impacto na frequência escolar, qual dos dois é o programa mais custo-efetivo?
A. O programa de uniformes escolares. 
B. O programa de bolsas por mérito. 
C. Os dois programas têm o mesmo custo-efetividade. 
Se compararmos os programas, o de uniformes escolares tem um custo-efetividade de 0,1, e o de bolsas, custo-efetividade de 0,05. Se nos basearmos unicamente nesta análise, o melhor programa é o de uniformes escolares, dado que ele tem uma relação maior de efetividade em relação ao custo.
D.1. De acordo com o vídeo, quais são as razões pelas quais devemos avaliar o impacto de programas? Marque todas as alternativas que julgar corretas.
A. Melhorar o programa. 
B. Tornar o gasto público mais eficiente. 
C. Responder a perguntas de relevância geral. 
Todas as alternativas são argumentos válidos para se avaliar o impacto dos programas.
D.2. De acordo com o vídeo, há uma série de motivos pelos quais o programa de transferência de renda no México é um bom exemplo da importância de se avaliarimpacto. Abaixo estão listados estes motivos e um extra, que não corresponde ao discutido em aula. Assim, qual das seguintes alternativas NÃO corresponde aos motivos listados?
A. A avaliação de impacto contribuiu para dar sustentação política ao programa. 
B. O programa foi modificado por diferentes governos ao longo do tempo devido à avaliação de impacto. 
C. A evidência ajudou a melhorar o desenho do programa ao longo do tempo. 
D. A avaliação de impacto do programa entregou informação relevante sobre a efetividade de programas de transferência de renda condicionada. 
Excetuando-se a alternativa B, todas são razões mencionadas pelo professor pelas quais o programa no México é um bom exemplo de avaliação de impacto. Embora avaliações de impacto possam servir para melhorar e ajustar programas, o que se menciona no vídeo é que a evidência permitiu que o programa se mantivesse durante as mudanças de governo.
E.1. Como decidimos se implementamos ou não um programa? Marque todas as alternativas que julgar corretas.
A. Se há orçamento, vontade política e capacidade suficiente para o implementar. 
B. Se há total certeza de que os resultados do programa serão positivos. 
C. Se há ideologia própria ou externa coerente com o programa. 
D. Se há conhecimento suficiente baseado em evidências ou experiências. 
As respostas A, C e D, são fatores mencionados no vídeo que, de maneira geral, determinam se um programa é ou não implementado. A alternativa B não é correta porque não se pode conhecer com certeza os resultados de um programa antes de sua implementação.
E.2. De acordo com o vídeo, por que ainda existe pouca evidência? Marque todas as alternativas que julgar corretas.
A. Por causa da dificuldade para isolar o efeito do programa de outros fatores relevantes. 
B. Por causa da facilidade para se avaliar um programa já implementado. 
C. Por causa das diferenças nos tempos de mandatos e tempos da avaliação de impacto. 
D. Porque o bem público da evidência é menor que seu bem privado. 
E.3. Suponha o seguinte caso: o presidente do Brasil deseja aumentar a frequência escolar. Você, como parte do governo, participa de um curso de avaliação de impacto e descobre que dar remédios antiparasitas para crianças foi uma política bem-sucedida em outros países como forma de aumentar a frequência escolar, considerando seu baixo custo e o alto impacto que teve. Segundo essa única evidência, você recomendaria ao presidente que adotasse a mesma política no Brasil?
A. Não 
E.4. Dos seguintes casos, selecione quando se deve avaliar o impacto de um programa.
A. Quando o desenho do programa está sujeito a modificações. 
B. Quando existe incerteza sobre a melhor estratégia de intervenção para atacar um problema. 
C. Quando não é possível identificar um grupo de comparação válido entre os beneficiários do programa. 
D. Quando já existe evidência suficiente sobre a efetividade de uma intervenção. 
E.5. Dos seguintes casos, selecione quando NÃO se deve avaliar o impacto de um programa.
A. Quando está prevista a expansão de um programa. 
B. Quando há perguntas sem resposta sobre a relação de causa e efeito dos programas. 
C. Quando o programa incorpora novos serviços ou beneficiários. 
D. Quando toda a população-alvo já recebeu o programa. 
EC.1. Segundo o entrevistado, por que o microcrédito é uma política eficaz contra a pobreza? Marque todas as alternativas que julgar corretas.
A. O microcrédito permite que pessoas de baixa renda tenham acesso a novas tecnologias. 
B. A política estimula o empreendedorismo entre indivíduos de baixa renda. 
C. Com o empréstimo recebido, os beneficiários investem mais na educação de seus filhos. 
EC.2. Como o entrevistado embasa sua defesa ao microcrédito?
A. Usando dados obtidos de entrevistas com beneficiários da política e sua opinião sobre o microcrédito. 
B. Comparando países em que o microcrédito foi empregado com outros em que a política não foi adotada. 
C. Narrando um exemplo de como a política gerou benefícios para uma determinada área ou parcela de beneficiários. 
EC.3. Segundo o entrevistado, por que o microcrédito não é uma política eficaz contra a pobreza? Marque todas as alternativas que julgar corretas.
A. O entrevistado acredita que o microcrédito romantiza a pobreza e que o mundo empreendedor é para poucos. 
B. O entrevistado acredita que o microcrédito seja incapaz de impactar a vida dos microempreendedores porque sua renda média familiar não se altera. 
C. O entrevistado acredita que o microcrédito não funciona porque geralmente é revertido para o consumo de bens. 
As alternativas corretas são A e C. Essas são as principais razões citadas pelo entrevistado no artigo apresentado. A variação da renda familiar dos tomadores de empréstimo não é citada no artigo (alternativa B).
EC.4. Como o entrevistado embasa sua crítica ao microcrédito? Marque todas as alternativas que julgar corretas.
A. Narrando um exemplo de como a política gerou aumento da pobreza em determinado grupo de indivíduos. 
B. Mostrando dados estatísticos sobre como o dinheiro oriundo da política é empregado. 
C. Citando países em que a política foi adotada e que não deixaram de ser pobres. 
As alternativas corretas são B e C. O entrevistado utiliza esses dois argumentos para embasar a sua crítica ao microcrédito. O entrevistado não cita exemplos de grupos específicos e cita dois países que continuaram pobres mesmo com o emprego de políticas de microcrédito.Parte superior do formulário
EC.5. De acordo com o texto, quais evidências embasam a percepção sobre a efetividade do microcrédito?
A. O texto se embasa na percepção de que o empreendedorismo é uma atividade que poucos perfis de pessoas têm a habilidade de desempenhar. 
B. O texto se embasa na noção de que, a partir do momento que houver um acesso a meios formais de empréstimos, a pobreza poderá ser superada. 
C. O texto se embasa em estudos que avaliaram iniciativas de microcrédito em diferentes contextos, permitindo uma análise ampla sobre seu funcionamento e méritos. 
EC.6. Segundo o resultado das avaliações, qual o efeito médio do microcrédito na renda dos beneficiários?
A. O microcrédito aumenta significativamente a renda dos beneficiários. 
B. O microcrédito reduz significativamente a renda dos beneficiários. 
C. O microcrédito não tem efeito significativo na renda dos beneficiários. 
EC.7. Segundo o resultado das avaliações, qual o efeito médio do microcrédito na liberdade da gestão financeira das famílias?
A. Negativo. 
B. Positivo. 
C. Não tem efeito significativo. 
EC.8. Dados os resultados das avaliações aleatorizadas feitas da política do microcrédito, qual é a principal recomendação dos autores a formuladores de políticas públicas?
A. Adotar a política do microcrédito de forma maciça em países em desenvolvimento. 
B. Abandonar a política, uma vez que ela não tira pessoas de baixa renda da pobreza. 
C. Criar modelos inovadores de crédito em pequena escala e testá-los entre grupos de beneficiários para se encontrar um modelo que gere maior impacto. 
EC.9. Levando em consideração os três textos lidos, seus argumentos e as evidências que cada um apresenta, qual é o mais convincente?
1. Texto 1: "Economista americano defende microcrédito contra a pobreza". 
2. Texto 2: "O microcrédito não acaba com a pobreza, afirma Aneel Karnani". 
3. Texto 3: " Lições sobre políticas públicas: Microcrédito". 
Não há uma única resposta correta para esta pergunta. Aqui é importante que você analise a qualidade dos argumentos, os dados e a evidência apresentados nos artigos para escolher sua resposta.
A.1. O que é impacto?
A. É o valor da variável relevante ao se finalizar o programa. 
B. São as mudanças da população alvo antes e depois do programa. 
C. São as mudanças atribuídas ao programa e a outros fatores relevantes. 
D. São as mudanças atribuídas ao programa e não a outros fatores. 
A.2. O que é o contrafactual?
A. É o estado dos participantes antes de se implementar o programa. 
B. É o estado que os participantes experimentariam na ausência do programa,e que não é observável. 
C. É o estado dos participantes depois do programa, e que é observável. 
D. É a diferença entre o antes e o depois da implementação do programa. 
A.3. Selecione em qual destes casos o programa teve um impacto positivo:
A. Imagem 1. 
B. Imagem 2. 
C. Imagem 3. 
D. Não se pode determinar. 
B.1. Qual é a principal diferença entre os diferentes métodos de avaliação de impacto?
A. Como se estima o contrafactual: a diferença entre os que participam e os que não participam do programa. 
B. Como se estima o contrafactual: como definimos quem forma o grupo de controle. 
C. Como se estima o contrafactual: o antes e depois dos participantes do programa. 
D. Como se estima o contrafactual: o tamanho da amostra varia dependendo do tipo de intervenção. 
C.1. Qual é o grupo de controle no método Antes e depois?
A. Os mesmos participantes, antes de entrarem no programa. 
B. A parte da população elegível que, de maneira aleatória, é alocada no grupo de controle. 
C. Os não participantes, dos quais se recoletam dados depois do programa. 
D. Os não participantes, dos quais se coletam dados antes e depois do programa. 
C.2. Por que o método Antes e depois poderia oferecer uma má estimativa do contrafactual?
A. Porque o grupo de controle tem acesso ao programa. 
B. Porque o grupo de tratamento e o grupo de controle são distintos antes do início do programa. 
C. Porque muitos fatores não relacionados ao programa mudam com o tempo, podendo afetar o resultado que queremos medir. 
C.3. Qual é o principal problema do método de Diferença simples?
A. É difícil recoletar informações sobre pessoas que não participaram do programa. 
B. É possível que as pessoas não elegíveis ou que escolhem não participar do programa sejam sistematicamente diferentes do grupo de participantes. 
C. O grupo de pessoas não elegíveis ou que escolhem não participar do programa é muito mais numeroso que o grupo de participantes. 
D.1. Qual é a premissa básica do método de Diferenças em diferenças?
A. Não existem choques, como recessões ou booms econômicos, que afetem o equilíbrio macroeconômico. 
B. Os participantes e não participantes do programa são, em média, idênticos nas variáveis observáveis e não observáveis. 
C. Na ausência do programa, a tendência no tempo da variável de resultado seria igual no grupo de participantes e no grupo de não participantes. 
D.2. Qual é a vantagem do método Diferenças em diferenças?
A. Gerar dois grupos similares que são comparáveis depois da implementação da política. 
B. Combinar o método de Antes e depois com a aleatorização do grupo de controle. 
C. Permitir que, com o tempo, as tendências entre os grupos sejam paralelas. 
D. Corrigir por diferenças pré-existentes entre os dois grupos (observáveis e não observáveis). 
D.3. Com base na tabela, calcule o impacto do programa segundo os três métodos já vistos:
A. Antes e depois = 7 
B. Diferença simples = 3 
C. Diferenças em diferenças = 1 
D.4. Qual é o grupo de controle do método da Regressão multivariada?
A. Os mesmos participantes, antes de entrarem no programa. 
B. A parte da população elegível que, de maneira aleatória, é alocada no grupo de controle. 
C. Os não participantes, dos quais se coletam dados detalhados sobre variáveis observáveis. 
D. Os não participantes dos quais se recoletam dados depois do programa. 
E.1. Qual é a principal diferença entre os métodos do Pareamento e de Diferença simples?
A. O método do Pareamento tenta estimar o contrafactual; o da Diferença simples, não. 
B. O método do Pareamento tenta estimar o contrafactual com base nas variáveis não observáveis, enquanto a Diferença simples se baseia somente nas variáveis observáveis. 
C. O método do Pareamento gera um grupo de controle similar ao grupo tratado em variáveis observáveis, enquanto na Diferença simples os grupos não são necessariamente similares em variáveis observáveis. 
E.2. Qual é o grupo de controle do método de Pareamento?
A. Os mesmos participantes, antes de entrarem no programa. 
B. Para cada participante, busca-se ao menos um não participante que é idêntico nas características observáveis. 
C. Os não participantes, dos quais se recoletam dados depois do programa. 
D. A parte da população elegível que, de maneira aleatória, é alocada no grupo de controle. 
E.3. Na seleção de participantes, que característica um programa deve ter para permitir a aplicação do método da Regressão descontínua?
A. Os participantes entrarem no programa por ordem de chegada. 
B. A linha de corte ser um limite estrito de entrada ou não do programa. 
C. Os participantes entrarem no programa por meio de um sorteio. 
D. Os participantes entrarem no programa por meio da decisão política do gestor. 
F.1. Por que a avaliação aleatorizada permite eliminar o viés de seleção?
A. Porque a aleatorização garante que os grupos de tratamento e de controle sejam similares antes de se implementar o programa. 
B. Porque requer menos tempo e simplifica a implementação do programa. 
C. Porque garante que o programa terá um impacto maior. 
D. Porque nos permite poupar recursos, dado que não temos que entregar o programa a toda a população elegível. 
F.2. Qual é o grupo de controle na avaliação aleatorizada?
A. Os mesmos participantes, antes de entrarem no programa. 
B. A parte da população elegível que, de maneira aleatória (por meio de um sorteio), é alocada no grupo de controle. 
C. Os não participantes, dos quais se recoletam os dados depois do programa. 
D. Os não participantes, dos quais se recoletam os dados antes e depois do programa. 
F3. Para cada etapa da avaliação aleatorizada, selecione qual aspecto que devemos tomar em consideração.
A. Verificar se os grupos de tratamento e controle são similares. 
B. Identificar oportunidades de aleatorizar os grupos de tratamento e controle. 
C. Avaliar se o impacto do programa é estatística e empiricamente significativo. 
D. Recoletar dados dos grupos de tratamento e de controle após a implementação do programa. 
Passo a passo da avaliação aleatorizada:
1. Ao desenhar o estudo cuidadosamente, que ação devemos levar em conta? Alocar aleatoriamente os grupos de tratamento e de controle. 
2. Ao coletar os dados dos grupos de tratamento e de controle para a linha de base, que ação devemos levar em conta? Verificar que os dois grupos são similares. 
3. Ao monitorar o processo para ter certeza de que a integridade da avaliação esteja garantida, que ação devemos levar em conta? Recoletar dados dos grupos de tratamento e de controle depois que o programa tiver sido implementado.
4. Para estimar o impacto, considerando os resultados médios dos grupos de tratamento e de controle, que ação devemos levar em conta? Avaliar se o impacto do programa é estatistica e empiricamente significativo. 
F.7. Existe alguma diferença entre os conceitos de "grupo de controle" e "contrafactual"?
A. Sim: o grupo de controle representa o que aconteceu com aqueles que não participaram da intervenção, enquanto o contrafactual representa o que aconteceu com aqueles que participaram. 
B. Sim: o grupo de controle representa o que aconteceu com aqueles que não participaram da intervenção porque não eram elegíveis, enquanto o contrafactual representa o que aconteceu com aqueles que eram elegíveis mas, por alguma razão, não participaram. 
C. Sim: o grupo de controle é o grupo de indivíduos usado como comparação na avaliação, enquanto o contrafactual é o cenário hipotético que queremos imitar mediante o grupo de controle. 
D. Não. Referem-se à mesma coisa: o grupo de comparação com qual contrastamos os resultado do grupo de participantes. 
G.1. Considere a seguinte ideia: as avaliações aleatorizadas não são éticas porque restringem o benefício do programa a um grupo de pessoas. Quais foram os argumentos apresentados na aula que se opõem a essa afirmação? Marque todas as respostas que julgar corretas.
A. As avaliações aleatorizadas não selecionam os beneficiados do programa, elas unicamente determinam o critério de seleção. 
B. Em muitas ocasiões, o programaacabaria sendo expandido a toda a população, só não teria capacidade operacional ou orçamentária de fazê-lo de imediato, restringindo o acesso dos indivíduos durante um período de tempo. 
C. As vantagens estatísticas da avaliação aleatorizada são mais importantes do que os indivíduos que não recebem o programa 
D. Destinar recursos públicos em programas dos quais não se conhece seu impacto também é um dilema ético 
G.2. Quais argumentos o professor usa para contrariar as críticas às avaliações aleatorizadas pela sua viabilidade (tempo e custos)? Marque todas as respostas que julgar corretas.
A. As lições das avaliações aleatorizadas são um bem público. 
B. Qualquer método de avaliação requer tempo para observar o impacto do programa. 
C. É caro destinar recursos a programas que não oferecem resultados. 
G.3. As avaliações aleatorizadas têm vantagens sobre outros métodos de avaliação quanto à validade externa?
B- Não 
A resposta correta é a B
H.1. Assinale quais das alternativas são vantagens das avaliações aleatorizadas. Marque todas as respostas que julgar corretas.
A. A aleatorização faz com que os grupos sejam comparáveis em variáveis observáveis, mas não nas variáveis não observáveis. 
B. A aleatorização faz com que os grupos sejam comparáveis em variáveis observáveis e não observáveis. 
C. Qualquer diferença observável nos indicadores de resultados pode ser atribuída ao programa. 
D. Qualquer diferença observável nos indicadores de resultados pode ser atribuída ao programa e às características não observáveis. 
E. São fáceis de interpretar. 
F. Os resultados são confiáveis, mas complicados de interpretar. 
H.2. Verdadeiro ou falso: Depois do método de avaliação aleatorizada, o método de diferenças em diferenças é o que melhor estima o impacto do programa.
B- Falso 
EC.1. Como este comunicado de imprensa estima o contrafactual?
A. Os potenciais eleitores que foram chamados por telefone e que NÃO atenderam 
B. Os potenciais eleitores que foram chamados por telefone e que NÃO atenderam, levando em consideração sua idade, sexo, tamanho da casa, o distrito, o comportamento eleitoral passado, etc. 
C. Os potenciais eleitores que foram chamados por telefone e que NÃO atenderam, levando em consideração a diferença na taxa de votação em relação aos que atenderam antes do programa 
D. Os potenciais eleitores que foram chamados por telefone e que NÃO atenderam, mas que têm as mesmas características (idade, gênero, distrito, comportamento em eleições anteriores, etc.) dos que atenderam 
E. Os potenciais eleitores que foram chamados por telefone e que atenderam, ANTES do programa
EC.2. Qual é o método de avaliação utilizado pelo comunicado de imprensa?
A. Diferença simples 
B. Diferenças em diferenças 
C. Avaliação aleatorizada 
D. Regressão multivariada 
E. Pareamento (Matching) 
F. Antes e depois 
EC.3. Em qual das seguintes situações este método geraria resultados enviesados?
A. Se os eleitores que receberam os telefonemas fossem sistematicamente diferentes dos que não receberam em variáveis que estão correlacionadas com a taxa de participação eleitoral. (Exemplo: os que foram chamados podem ter, em média, renda mais alta e sabemos que as pessoas com renda mais alta tendem a ter taxas de participação eleitoral mais altas.) 
B. Se os eleitores que atenderam ao telefonema fossem mais propensos a votar do que as pessoas que não atenderam. (Exemplo: pode ser que, entre as pessoas que atenderam as chamadas, haja uma maior proporção de pessoas mais velhas, que passam muito tempo em casa e têm altas taxas de participação eleitoral.) 
C. Se, independentemente do telefonema, a mudança na taxa de participação eleitoral dos que atenderam fosse diferente da mudança dos que não atenderam. (Exemplo: entre os que atenderam, encontram-se muitas pessoas que perderam o seu trabalho e ficaram desiludidas com o governo e o processo político, e isso faz com que elas deixem de participar das eleições.) 
D. Se, independentemente do telefonema, os que atenderam tivessem tido uma participação eleitoral maior do que nas eleições anteriores. (Exemplo: pode ser que a atmosfera política estivesse mais competitiva nessas eleições, o que, por sua vez, poderia ter levado mais gente a votar.) 
EC.4. Na situação da resposta correta da pergunta anterior, o impacto do programa seria subestimado ou superestimado?
A. Seria superestimado 
B. Seria subestimado 
Resposta correta: A
EC.5. Como se estima o contrafactual neste artigo de opinião?
A. Os potenciais eleitores que foram chamados por telefone e que NÃO atenderam. 
B. Os potenciais eleitores que foram chamados por telefone e que NÃO atenderam, levando em consideração sua idade, sexo, tamanho da casa, o distrito, o comportamento eleitoral passado, etc. 
C. Os potenciais eleitores que foram chamados por telefone e que NÃO atenderam, levando em consideração a diferença na taxa de votação com relação aos que atenderam antes do programa. 
D. Os potenciais eleitores que foram chamados por telefone e que NÃO atenderam, mas que têm as mesmas características (idade, gênero, distrito, comportamento em eleições anteriores, etc.) que os que atenderam. 
E. Os potenciais eleitores que foram chamados por telefone e que atenderam, ANTES do programa. 
EC.6. Qual é o método de avaliação utilizado pelo comunicado de imprensa?
A. Diferença simples 
B. Diferenças em diferenças 
C. Avaliação aleatorizada 
D. Regressão multivariada 
E. Pareamento (Matching) 
F. Antes e depois 
EC.7. Em qual das seguintes situações este método geraria resultados enviesados?
A. Se os eleitores que receberam os telefonemas fossem sistematicamente diferentes dos que não receberam em variáveis que estão correlacionadas com a taxa de participação eleitoral. (Exemplo: os que foram chamados podem ter, em média, renda mais alta, e sabemos que as pessoas com renda mais alta tendem a ter taxas de participação eleitoral mais altas.) 
B. Se os que atenderam ao telefonema fossem mais propensos a votar do que as pessoas que não atenderam. (Exemplo: pode ser que, entre as pessoas que atenderam as chamadas, há uma maior proporção de pessoas mais velhas, que passam muito tempo em casa e têm altas taxas de participação eleitoral.) 
C. Se, independentemente do telefonema, a mudança na taxa de participação eleitoral dos que atenderam fosse diferente da mudança dos que não atenderam. (Exemplo: entre os que atenderam se encontram muitas pessoas que perderam o seu trabalho e ficaram desiludidas com o governo e o processo político, e isso faz com que elas deixem de participar das eleições.) 
D. Se, independentemente do telefonema, os que atenderam tivessem tido uma participação eleitoral maior do que nas eleições anteriores. (Exemplo: pode ser que a atmosfera política estivesse mais competitiva nessas eleições, o que, por sua vez, poderia ter levado mais gente a votar.)
EC.8. Na situação da resposta correta da pergunta anterior, o impacto do programa seria subestimado ou superestimado?
A. Seria superestimado 
B. Seria subestimado 
Explicação: A resposta correta é a A.
EC.9. Como se estima o contrafactual neste editorial?
A. Os potenciais eleitores que foram chamados por telefone e que NÃO atenderam 
B. Os potenciais eleitores que foram chamados por telefone e que NÃO atenderam, levando em consideração sua idade, sexo, tamanho da casa, o distrito, o comportamento eleitoral passado, etc. 
C. Os potenciais eleitores que foram chamados por telefone e que NÃO atenderam, levando em consideração a diferença na taxa de votação em relação aos que atenderam antes do programa 
D. Os potenciais eleitores que foram chamados por telefone e que NÃO atenderam, mas que têm as mesmas características (idade, gênero, distrito, comportamento em eleições anteriores, etc.) que os que atenderam 
E. Os potenciais eleitores que foram chamados por telefone e que atenderam, ANTES do programa 
EC.10. Qual é o método de avaliação utilizado pelo comunicado de imprensa?
A. Diferença simples 
B. Diferenças em diferenças 
C. Avaliação aleatorizada 
D. Regressão multivariadaE. Pareamento (Matching) 
F. Antes e depois 
EC.11. Em qual das seguintes situações este método geraria resultados enviesados?
A. Se os eleitores que receberam os telefonemas fossem sistematicamente diferentes dos que não receberam em variáveis que estão correlacionadas com a taxa de participação eleitoral. (Exemplo: os que foram chamados podem ter, em média, renda mais alta, e sabemos que as pessoas com renda mais alta tendem a ter taxas de participação eleitoral mais altas.) 
B. Se os que atenderam ao telefonema fossem mais propensos a votar do que as pessoas que não atenderam. (Exemplo: pode ser que, entre as pessoas que atenderam as chamadas, haja uma maior proporção de pessoas mais velhas, que passam muito tempo em casa e têm altas taxas de participação eleitoral.) 
C. Se, independentemente do telefonema, a mudança na taxa de participação eleitoral dos que atenderam fosse diferente da mudança dos que não atenderam. (Exemplo: entre os que atenderam, pode-se encontrar muitas pessoas que perderam o seu trabalho e ficaram desiludidas com o governo e o processo político, e isso faz com que elas deixem de participar das eleições.) 
D. Se, independentemente do telefonema, os que atenderam tivessem tido uma participação eleitoral maior do que nas eleições anteriores. (Exemplo: pode ser que a atmosfera política estivesse mais competitiva  nessas eleições, o que, por sua vez, poderia ter levado mais gente a votar.) 
EC.12. Na situação da resposta correta da pergunta anterior, o impacto do programa seria subestimado ou superestimado?
A. Seria superestimado 
B. Seria subestimado 
As 60.000 pessoas que receberam o telefonema foram selecionadas de maneira aleatória, por meio de um sorteio, de uma população maior de aproximadamente 2 milhões de potenciais eleitores. Nesta pergunta, está incluída uma tabela que mostra algumas características das pessoas que receberam o telefonema (incluindo tanto os eleitores que atenderam o telefonema como os que não atenderam) e as pessoas que não receberam telefonema (nos distritos competitivos de Michigan).
EC.13. Sem conhecer ainda os resultados da aleatorização, você espera que as características dos dois grupos sejam estatisticamente similares ou estatisticamente distintas?
A. As características dos grupos são estatisticamente similares 
B. As características dos grupos são estatisticamente distintas 
EC.14. Associe cada descrição com o respectivo método de avaliação.
1. Mede como os participantes do programa mudam ao longo do tempo. Antes e Depois 
2. Mede a diferença entre os participantes e os não participantes depois do programa. Diferença Simples 
3. Compara a variação dos resultados dos participantes ao longo do tempo à variação dos resultados dos que não participaram do programa. Diferenças em Diferenças 
4. Compara participantes e não participantes quando a participação foi determinada por sorteio.Avaliação Aleatorizada 
EC.15. Associe cada grupo de comparação com o respectivo método de avaliação.
1. Os mesmos participantes, antes de entrarem no programa. Antes e Depois 
2. Os não participantes. Diferença Simples 
3. Os não participantes, levando em consideração a sua diferença em relação aos participantes antes do programa. Diferenças em Diferenças 
4. Grupos de potenciais participantes elegíveis que, por sorteio, foram alocados no grupo de controle e não recebem o programa. Avaliação Aleatorizada 
EC.16. Associe cada premissa com o respectivo método de avaliação.
1. Não há, no tempo, fatores relevantes que afetem o resultado além do próprio programa. Antes e Depois 
2. A única diferença entre participantes e não participantes que influencia nos resultados é o programa. Diferença Simples 
3. Na ausência do programa, as tendências de participantes e não participantes se manteriam paralelas. Diferenças em Diferenças 
4. A aleatorização foi bem-feita e gera dois grupos estatisticamente idênticos. Avaliação Aleatorizada 
A.1. Verdadeiro ou falso: "Teoria da Mudança" e "Avaliação Teórica" são sinônimos.
A. Falso 
B. Verdadeiro 
A.2. Quais são os três objetivos da Teoria da Mudança mencionados no video? Marque todas as respostas que julgar corretas.
A. Controle orçamentário. 
B. Monitoramento e avaliação. 
C. Comunicação e descrição da intervenção. 
D. Evitar rotatividade de pessoal. 
E. Desenho da intervenção e planejamento estratégico. 
A.3. Qual é a definição de Teoria da Mudança discutida nesta aula?
A. Uma descrição compreensiva e ilustrada de como e por que uma intervenção gera determinados impactos; um meio de sabermos até onde vamos e como chegamos. 
B. Uma ferramenta analítica para o planejamento de projetos dirigidos por objetivos. 
C. Uma ferramenta para facilitar o processo de conceituação, desenho, execução e avaliação de projetos. 
A.4. Quais das seguintes afirmações são corretas? Marque todas as respostas que julgar corretas.
A. Tanto a Teoria da Mudança como o Marco Lógico são ferramentas que podem ser usadas para fazer uma Avaliação Teórica. 
B. A Teoria da Mudança demonstra a complexidade dos fenômenos e busca ilustrar relações de causalidade, enquanto o Marco Lógico se concentra mais em estruturar os passos e sintetizar objetivos, indicadores, fontes de verificação e premissas. 
C. Tanto a Teoria da Mudança como o Marco Lógico são ferramentas que podem ser usadas para fazer avaliações de programas: a Teoria da Mudança para Avaliações Teóricas, o Marco Lógico para Avaliações de Impacto. 
D. Tanto a Teoria da Mudança como o Marco Lógico descrevem a lógica por trás de um programa. 
B.1. Complete os passos para fazer uma Teoria da Mudança na ordem correta.
A. 1° Passo: Definir o propósito 
B. 2° Passo: Completar a cadeia causal 
C. 3° Passo: Identificar premissas e riscos 
D. 4° Passo: Resumir a hipótese causal 
E. 5° Passo: Definir indicadores 
B.2. Qual é a diferença entre os resultados intermediários e os resultados finais?
A. Os resultados intermediários são mudanças em atitudes, conhecimentos, capacidades e comportamento. Os resultados finais são mudanças no estado de desenvolvimento da população-alvo. 
B. Os resultados intermediários são mudanças de mais longo prazo do que os resultados finais. 
C. Os resultados intermediários resultam diretamente da implementação do programa e, portanto, estão dentro do controle do programa. Existem outros fatores que influenciam os resultados finais, que, por isso, não estão totalmente sob o controle do programa. 
B.3. Quais dos seguintes exemplos são resultados intermediários? Marque todas as respostas que julgar corretas.
A. Estudantes melhoram suas habilidades de buscar emprego. 
B. Mentores recrutados e treinados. 
C. Estudantes recebem tutorias. 
D. Estudantes têm mais conhecimento sobre o mercado de trabalho. 
E. Mais estudantes recém-formados encontram emprego. 
B.4. Por que é recomendado completar a cadeia causal do final para o início quando se desenha um programa?
A. Como já é conhecida a intervenção que deve ser implementada, é recomendável deixar a definição das atividades e insumos como a última etapa. 
B. Não é possível definir os resultados intermediários sem conhecer os resultados finais. 
C. Obriga os formuladores do programa a focar nos resultados que se deseja alcançar, permitindo que surjam novas ideias e formas de se resolver o problema. 
C.1.b. Verdadeiro ou falso: produtos são frequentemente reformulações das atividades do ponto de vista de quem implementa o programa.
A. Verdadeiro. 
B. Falso. 
C.2. Qual premissa deve ser cumprida para passar de "A comunidade é sensibilizada em relação à importância de se lavar as mãos" para "Aumenta a frequência da higienização das mãos"? Marque todas as respostas que julgar corretas.
A. Existe água disponível para a comunidade. 
B. Agentes ajudam comunidade nas capacitações de higiene. 
C. As capacitações de higiene foram realizadas em lugares próximos às comunidades (a população tem condições de participar das capacitações). 
D. As doenças que atingem a comunidade podem ser atenuadas se mais pessoas lavarem as mãos com sabão. 
E. Asfamílias têm meios suficientes para a compra de sabão. 
C.3. Verdadeiro ou falso: a frase "Os agentes apoiam as capacitações de higiene" trata-se de uma premissa entre os insumos/atividades e os produtos da cadeia causal deste programa.
A. Falso 
B. Verdadeiro 
C.4. Selecione o item que poderia ser um risco gerado pelo Programa de Promoção da Lavagem de Mãos no Peru.
A. Responsáveis pelas capacitações na comunidade não comparecem.
B. O aprendizado da comunidade, após a capacitação de higiene, não é suficiente para promover mudanças de comportamento nos hábitos da comunidade.
C. Após a capacitação, algumas pessoas começam a lavar as mãos em excesso e desenvolvem erupções na pele. 
D. Uma grande parte da comunidade não recebe informação sobre a ocorrência de capacitações de higiene.
E. O recurso destinado ao programa não foi bem orçado e termina em meio ao processo de implementação.
C.5. Complete a hipótese causal do programa peruano de promoção de lavagem de mãos. Complete as lacunas com as opções corretas.
Se (atividade 1) e (atividade 2) produzem (produto), isso deveria levar a (resultado intermediário), que, ao final, vai resultar na (resultado final), contribuindo para (propósito).
A. Atividade 1: a organização de capacitação sobre higiene 
B. Atividade 2: comparecimento da comunidade à capacitação 
C. Produto: conscientização da comunidade quanto à importância da higienização das mãos
D. Resultado intermediário: aumento da frequência de higienização das mãos
E. Resultado final: diminuição de infecções e contaminações 
F. Propósito: a melhora da saúde nas zonas rurais no Peru 
C.6. Para quais passos da cadeia causal é necessário definir indicadores? Marque todas as respostas que julgar corretas.
A. Problemas e necessidades. 
B. Insumos e atividades. 
C. Produtos. 
D. Resultados intermediários. 
E. Resultados finais. 
D.1. Quais são os modos pelos quais a Teoria da Mudança pode nos ajudar no desenho de uma Avaliação de Impacto? Marque todas as respostas que julgar corretas.
A. Permite identificar perguntas de avaliação. 
B. Ajuda a selecionar as variáveis corretas para entender se um programa de fato atinge o impacto desejado. 
C. Ajuda a calcular o tamanho amostral necessário para a avaliação de impacto. 
D. Ajuda a determinar a melhor forma de coleta de dados para as variáveis de interesse. 
D.2 Em quais dos seguintes cenários identificamos falhas de implementação?
A. Cenário 01 
B. Cenário 02 
C. Cenário 03 
D. Cenário 04 
D.3. Em relação ao programa "Um Laptop por Aluno", cuja Teoria da Mudança foi desenvolvida nesta aula, escolha a solução mais adequada para os seguintes contextos:
1. Muitos professores não usam os laptops nas suas aulas porque não absorveram o treinamento dado para uso dos laptops. Adaptar a metodologia e/ou o conteúdo dos treinamentos direcionados aos professores. 
2. O programa foi exitoso em fazer com que os laptops fossem usados em casa e na escola, mas não gerou melhoria no aprendizado das crianças. Revisar o conteúdo contido nos laptops para o aprendizado. 
3. Muitas crianças não levam os laptops para suas casas por razões de segurança. Desenvolver o uso de laptops para as crianças na própria escola, fora do horário de aula. 
Estudo de caso - Módulo 3
EC.1. Suponha que você é parte de uma equipe encarregada de avaliar a efetividade da intervenção. Qual é a hipótese central que se pretende testar com a avaliação? Use o espaço abaixo para escrever a hipótese em termos de relação causal entre a intervenção e os resultados finais esperados. Seja o mais explícito e concreto possível ao se referir à intervenção e aos resultados finais.
Depois de escrever sua resposta, você deverá compará-la com o que se espera, para avaliar seu trabalho. Você deverá avaliar se sua resposta condiz com a pergunta e engloba os temas principais, mas não pela organização e estilo de texto. Sua resposta deve ser breve e concisa. Faça seu melhor e avalie seu trabalho de forma honesta e precisa.
Observar a organização e tirar conclusões satisfatórias.
EC.1. Abaixo você deverá assinalar, de maneira acumulativa, quais são os aspectos que constam na sua resposta. Assim, as alternativas não são excludentes: todas aquelas às quais sua resposta tiver correspondido devem ser sinalizadas. 
Se nenhum dos aspectos abaixo foi citado na sua resposta, clique em enviar sem marcar qualquer alternativa. 
 É mencionada uma hipótese que inclui as auditorias.
 É mencionada uma hipótese que inclui a redução da corrupção.
 É mencionada uma hipótese que inclui a difusão das auditorias para o público.
 É mencionada, ainda, uma hipótese que inclui que a divulgação da informação sobre as auditorias ao público, por meio de rádios locais, causará uma diminuição nos níveis de corrupção de líderes municipais.
EC.2. Em sua versão mais simples, uma Avaliação de Impacto testa se uma intervenção teve impacto ou não na relação com os objetivos finais, medindo a magnitude desse impacto. No entanto, avaliações de impacto podem dar um passo além, identificando os mecanismos, ou seja, os processos que conectam a intervenção ao impacto obtido (resultados finais).
Quais dos seguintes mecanismos podem fazer com que a intervenção criada pela CGU possa ter o impacto desejado de reduzir a corrupção? Marque todas as respostas que julgar corretas./p>
A. Devido à divulgação dos resultados das auditorias, os partidos políticos decidem punir internamente os políticos implicados em fraudes. 
B. Devido à divulgação dos resultados das auditorias, os cidadãos se tornam mais informados e, nas eleições, punem os candidatos corruptos e recompensam os políticos honestos. 
C. Devido à divulgação dos resultados das auditorias, políticos corruptos mudam sua forma de atuar, envolvendo-se em formas de corrupção mais sofisticadas e difíceis de serem detectadas pelos auditores. 
D. A difusão dos resultados das auditorias leva a uma maior credibilidade das instituições públicas, atraindo eleitores que estavam desiludidos ou, até então, votavam de maneira desinformada. 
EC3.b. Verdadeiro ou falso: uma premissa do programa é que a mídia local divulgue informações corretas sobre os resultados das auditorias.
A. Verdadeiro. 
B. Falso 
EC.3. Associe as respostas adequadas para completar a cadeia causal de acordo com o programa de divulgação de auditorias.
1. Alta incidência de corrupção em governos locais. Problemas / Necessidades 
2. Auditores realizam fiscalizações nas cidades. Insumos / Atividades 
3. Mídia local divulga informações sobre as auditorias. Insumos / Atividades 
4. Relatórios das auditorias. Produtos 
5. Informações disponibilizadas para a população. Produtos 
6. Eleitores, órgãos de controle e Judiciário obtêm informações. Resultados Intermediários 
7. Prefeitos são vistos como políticos corruptos ou inábeis. Resultados Intermediários 
8. Penalização de prefeitos corruptos nas urnas. Resultados Intermediários 
9. Aumentam processos contra políticos. Resultados Intermediários 
10. Redução de índices de corrupção. Resultados Finais 
EC.4. Suponha que a avaliação encontrou que, em municípios onde os relatórios das auditorias foram divulgados antes das eleições municipais de 2004 nas rádios locais, os políticos corruptos tiveram significativamente menos probabilidade de serem reeleitos em comparação com municípios onde os relatórios foram difundidos depois das eleições. Em cidades sem estação de rádio local, o desempenho dos políticos corruptos no processo eleitoral também foi pior (receberam menos votos), mas não tanto como nas localidades com estação de rádio.
Os resultados da avaliação poderiam ser significativamente diferentes, se os pesquisadores não tivessem considerado o alcance dos diferentes meios de comunicação.
Por que é importante interpretar os resultados de um programa dentro do contexto da Teoria da Mudança?
A. A Teoria da Mudança permite identificar os mecanismos que estão por trás dos resultados. 
B. A Teoria da Mudança permite comparar os resultados de uma intervenção com os de outras intervenções.  
C. A Teoria da Mudançanos diz o tamanho do impacto do programa. 
A.1. O que significa dizer que a avaliação é aleatorizada? Marque todas as respostas que julgar corretas.
A. O tamanho da amostra aumenta se a avaliação é aleatorizada. 
B. A forma como se escolhe o grupo de controle e de tratamento não tem padrões reconhecíveis ou regularidades. 
C. Cada unidade (que pode ser um indivíduo, família, escola, casa etc) tem a mesma probabilidade de ser alocada no grupo de tratamento. 
D. Os indivíduos (ou famílias, escolas, casas etc) são alocados no grupo de tratamento dependendo de suas características. 
A.2. Suponha que a Secretaria de Educação de Minas Gerais implementou um programa de reforço escolar em todas as escolas estaduais do semiárido (e não em outras regiões do estado). Para medir o impacto deste programa, um pesquisador seleciona por meio de um sorteio 50 escolas do semiárido e 50 escolas do resto do Estado e as compara. Isto é um exemplo de uma avaliação aleatorizada?
A. Sim 
B. Não 
A.3. Por que fazemos alocação aleatória entre os grupos de tratamento e controle?
A. Para obter maior poder estatístico. 
B. Para que os grupos de controle e tratamento sejam estatisticamente similares. 
C. Para que os indivíduos que mais desejam o programa recebam o programa. 
D. Para que existam diferenças entre o grupo de controle e de tratamento. 
B.1. Suponha que temos uma amostra de cem indivíduos. Nosso método de aleatorização é de probabilidade fixa, com uma probabilidade de 60% de ser alocado no grupo de tratamento. De acordo com a informação dada, de qual tamanho serão os grupos de controle e de tratamento?
A. 50 no grupo de controle e 50 no de tratamento. 
B. 60 no grupo de controle e 40 no de tratamento. 
C. 40 no grupo de controle e 60 no de tratamento. 
D. Não é possível determinar o tamanho dos grupos. 
B.2. Verdadeiro ou falso: Diferentemente do método de probabilidade fixa, o método de proporção fixa permite saber com antecedência o tamanho dos grupos de controle e de tratamento.
A. Verdadeiro 
B. Falso 
B.3. Por que pode ser recomendável usar a aleatorização estratificada? Marque todas as respostas que julgar corretas.
A. Para assegurar equilíbrio amostral nas variáveis de interesse. 
B. Para aumentar o poder estatístico. 
C. Para estudar subgrupos dentro da amostra de beneficiários. 
D. Por razões políticas ou logísticas. 
B.4. Considere a seguinte situação: você é encarregado de realizar a aleatorização por agrupamento de uma avaliação em escolas. A seguir se apresentam quatro escolas, cada uma com duas turmas. Em qual dos seguintes casos a aleatorização é por agrupamento? (Clique nos ícones para visualizá-los)
A. Imagem 1 
B. Imagem 2 
C. Imagem 3 
D. Imagem 4 
A resposta é a alternativa A. A aleatorização por agrupamento implica a seleção de grupos, não de indivíduos.
C.1. Complete corretamente o seguinte trecho:   No caso em que os recursos são _______ para cobrir todo o universo de beneficiários, podemos fazer uma loteria. No entanto, em alguns casos, as pessoas que não receberam o programa podem escolher _________ com a avaliação.
A. insuficientes; cooperar 
B. suficientes; cooperar 
C. insuficientes; não cooperar 
D. suficientes; não cooperar 
C.2. Verdadeiro ou falso: Em um desenho por etapas, ao final da avaliação, o grupo de controle nunca terá recebido o programa.
A. Verdadeiro 
B. Falso 
C.3. Complete corretamente o seguinte trecho: Com um desenho de aleatorização por etapas, no curto prazo posso ___________, enquanto no longo prazo posso ____________.
A. comparar os resultados do grupo que recebeu o tratamento com o que ainda não o recebeu; comparar o impacto do tempo de exposição ao tratamento 
B. comparar o impacto do tempo de exposição ao tratamento; comparar os resultados do grupo que recebeu o tratamento com o que ainda não o recebeu 
C. medir o impacto daqueles que estão sendo tratados nessa etapa; medir o impacto do tratamento em toda a população 
D. comparar os resultados do grupo que recebeu o tratamento com o que ainda não o recebeu; comparar o impacto dos que são elegíveis para o programa com os que não são elegíveis 
D.1. Suponha que a Secretaria de Educação de Minas Gerais implementou um programa de reforço escolar em todas as escolas estaduais do semiárido (e não em outras regiões do estado). Para medir o impacto deste programa, um pesquisador seleciona por meio de um sorteio 50 escolas do semiárido e 50 escolas do resto do Estado e as compara. Isto é um exemplo de uma avaliação aleatorizada?
A. Já existe uma intervenção (a intervenção A), mas deseja-se testar se outras intervenções poderiam ter maior impacto Desenho 2 
B. Já existe uma intervenção (a intervenção A), mas deseja-se agregar um complemento e se deseja testar qual intervenção complementar teria maior impacto Desenho 3 
C. Já existe uma intervenção com múltiplos tratamentos, mas deseja-se testar se é possível eliminar um dos componentes sem afetar o nível de impacto obtido pelo conjunto de componentes da intervenção Desenho 4 
D. Deseja-se desenhar uma nova intervenção para enfrentar uma necessidade, existem três diferentes alternativas e se deseja testar qual teria maior impacto sobre a necessidade Desenho 1 
D.2. Quais são as possíveis restrições dos múltiplos tratamentos? Marque todas as respostas que julgar corretas.
A. As pessoas podem decidir em quais dos diferentes tratamentos elas vão participar. 
B. Se não existe grupo de controle, só se mede o impacto relativo de uma intervenção com relação a outra. 
C. O tamanho da amostra necessária aumenta de maneira significativa. 
D. Os diferentes grupos não serão estatísticamente similares e, portanto, não serão comparáveis. 
E.1. No desenho por meio de estímulos, por que devemos medir o impacto por meio dos que recebem e dos que não recebem o estímulo, em vez dos que participam e que não participam do programa?
A. O estímulo é o único fator que determina se os indivíduos participam do programa. 
B. Os indivíduos que, no final, participam do programa podem ser diferentes dos que não participam. 
C. Os indivíduos que recebem o estímulo são diferentes dos que não recebem o estímulo. 
D. Queremos ver o impacto de receber o estímulo e de receber o programa separadamente. 
F.1. Escolha o método de aleatorização, considerando as condições que recomendariam o seu uso.
A. O programa está em fase de expansão e, eventualmente, todos devem receber o tratamento. Desenho por etapas 
B. O programa tem a intenção de atingir toda a população, mas por diversas razões, isso ainda não ocorre. Desenho por estímulos 
C. Há mais candidatos do que vagas no programa. Loteria simples 
D. A organização implementadora deseja avaliar o impacto de duas diferentes intervenções para entender qual tem maior impacto. Múltiplos tratamentos 
EC.1. Se quisermos fazer uma avaliação para descobrir qual dos dois mecanismos explicados está por trás dos resultados positivos das intervenções que compartilham informações com os pais, qual desenho de aleatorização você usaria?
A. Loteria básica. 
B. Desenho por etapas. 
C. Desenho por múltiplos tratamentos. 
D. Desenho de incentivos. 
EC.2. Foi pedido aos professores que colocassem informações relativas a todos os alunos, não só àqueles para os quais a informação realmente seria usada nas mensagens. Como você definiria o risco existente caso eles tivessem como orientação inserir informações relativas apenas aos alunos cujos pais receberiam mensagens de informação?
A. Pais de alunos podem trocar mais informações sobre o desempenho dos seus filhos. 
B. Os professores podem mudar o seu comportamento com alguns alunos. 
C. Isso pode aumentar os custos para a escola e tornar os professores menos propensos a participar do programa. 
EC.3. Quais são as características do primeiro passo da aleatorização? Marque todas as respostas que julgar corretas.
A. Simples. 
B. Completa. 
C. Agrupada (em clusters). 
D. Estratificada. 
EC.4. Quais são as características do segundo passo da aleatorização?
A. Simples. 
B. Completa. 
C. Agrupada (em clusters). 
D. Estratificada.EC.5. Usando somente as escolas designadas ao grupo D, como podemos calcular o impacto das mensagens de preocupação nos níveis de frequência escolar? Selecione a subtração que considerar mais adequada.
A. Preocupação (–) Controle 
B. Controle (–) Preocupação 
C. Informação Individual (–) Preocupação 
D. Preocupação (–) Informação Individual 
EC.6. O que isso sugere? Marque todas as respostas que julgar corretas.
A. Os três tipos de mensagens tiveram impactos positivos nas notas de matemática. 
B. Enviar informação relativa é mais efetivo do que enviar informação individual. 
C. Não podemos dizer, porque não sabemos as notas em matemática dos diferentes grupos antes do programa. 
EC.7. Suponha que o grupo de controle foi afetado por externalidades positivas. Por exemplo, os pais que receberam mensagens de preocupação conversam com os pais dos colegas de seus filhos que não receberam nenhuma mensagem, aumentando a preocupação deles também. Isso levaria a uma subestimação ou uma superestimação do impacto do programa?
A. Subestimação. 
B. Superestimação. 
EC.8. Fazer a aleatorização em um nível maior – por exemplo, escolas em vez de alunos – pode ser a solução para este problema de transbordamento ou externalidades, porque isso cria uma distância maior entre o grupo de tratamento e o grupo de controle. Considerando agora não só o grupo D, mas todos os grupos, como se calcula o impacto das mensagens de informação relativa, se estamos preocupados de haver externalidades em todos os tratamentos?
A. Informação relativa (–) Controle A 
B. Informação relativa (–) Controle B 
C. Informação relativa (–) Controle C 
D. Informação relativa (–) Controle D 
EC.9. A forma como a avaliação foi feita não só reduz os riscos de externalidades, mas também torna possível a sua mensuração, algo que vai ser discutido com mais detalhes no módulo 8 deste curso. Se esperamos que todos os tratamentos tenham externalidades, quais grupos você acha que precisam ser comparados para calcular a magnitude das externalidades do envio de mensagens de preocupação?
A. Preocupação B (–) Controle B 
B. Preocupação B (–) Preocupação C 
C. Preocupação B (–) Preocupação D 
D. Controle B (–) Controle A 
Tamanho da amostra e poder estatístico
A.1. O que é poder estatístico?
A. É a probabilidade de que o programa tenha um impacto real na população. 
B. É a probabilidade de um participante pertencer ao grupo de controle ou ao grupo de tratamento. 
C. É a probabilidade de se detectar o impacto de um programa, quando ele existe. 
D. É a magnitude do impacto do programa. 
A.2. Em uma avaliação de impacto, nunca podemos conhecer a verdade com certeza absoluta. Por quê?
A. Porque a realidade é mais complexa do que o esperado no momento de se desenhar o programa. 
B. Porque é sempre possível argumentar contra ou a favor de um programa .
C. Porque os gestores públicos se guiam pela experiência, não pela evidência. 
D. Porque trabalhando-se com dados amostrais sempre existe certo grau de incerteza. 
A.2. Em uma avaliação de impacto, nunca podemos conhecer a verdade com certeza absoluta. Por quê?
A. Porque a realidade é mais complexa do que o esperado no momento de se desenhar o programa. 
B. Porque é sempre possível argumentar contra ou a favor de um programa .
C. Porque os gestores públicos se guiam pela experiência, não pela evidência. 
D. Porque trabalhando-se com dados amostrais sempre existe certo grau de incerteza. 
A.4.a. Suponha o seguinte caso: deseja-se avaliar uma política de capacitação profissional que tem como objetivo aumentar o salário dos trabalhadores (medido em dólares). A seguir, são descritos os grupos de controle e de tratamento deste programa.
a) Qual é a média do grupo de tratamento?
11
A.4.b. Suponha o seguinte caso: deseja-se avaliar uma política de capacitação profissional que tem como objetivo aumentar o salário dos trabalhadores (medido em dólares). A seguir, são descritos os grupos de controle e de tratamento deste programa.
b) Qual é a média do grupo de controle?
10
A.5a. Agora, suponha que só temos acesso a uma amostra de cinco pessoas de cada grupo.
a) Qual é a média da amostra do grupo de tratamento?
13
A.5b. Agora, suponha que só temos acesso a uma amostra de cinco pessoas de cada grupo.
b) E a média da amostra do grupo de controle?
7,8
A.6.a. Finalmente, devido a um problema com a base de dados, perdemos a amostra anterior e agora vamos extrair outra amostra. 
a) Qual é a média da segunda amostra do grupo de tratamento?
9
A.6.b Finalmente, devido a um problema com a base de dados, perdemos a amostra anterior e agora vamos extrair outra amostra. 
b) E a média da segunda amostra do grupo de controle?
12,2
A.7a. Considerando os dados do problema anterior:
a) Qual seria o impacto do programa em R$/h se tivéssemos acesso a todos os dados da população (figura da esquerda)?
1
A.7b. Considerando os dados do problema anterior:
b) Qual seria o impacto do programa em R$/h se tivéssemos acesso somente à primeira amostra (figura do meio)?
5,2
A.7c. Considerando os dados do problema anterior:
c) Qual seria o impacto do programa em R$/h se tivéssemos acesso somente à segunda amostra (figura da direita)?
3,2
A.8. Determine quais das seguintes conclusões é falsa, marcando todas as respostas que julgar incorretas:
A. Se só tivéssemos acesso à PRIMEIRA amostra, poderíamos concluir que o programa tem um impacto POSITIVO. 
B. Se só tivéssemos acesso à PRIMEIRA amostra, poderíamos concluir que o programa tem um impacto NEGATIVO. 
C. Se só tivéssemos acesso à SEGUNDA amostra, poderíamos concluir que o programa tem um impacto POSITIVO. 
D. Se só tivéssemos acesso à SEGUNDA amostra, poderíamos concluir que o programa tem um impacto NEGATIVO. 
B.1. Dentre as seguintes situações, determine qual(is) corresponde(m) a um erro tipo I. Marque todas as respostas que julgar corretas.
A. Conclui-se que o programa NÃO teve um impacto, mas, na realidade, esse impacto existiu. 
B. Conclui-se que o programa teve impacto, mas, na realidade, esse impacto NÃO existiu. 
C. Falso positivo. 
D. Falso negativo. 
De acordo com o vídeo, que fatores contribuíram para que se diminuísse o poder estatístico no estudo em Gana? Marque todas as respostas que julgar corretas.
A. Baixa participação no programa. (Correta)
B. Limite orçamentário. 
C. Amostra pequena. (Correta)
D. Amostra enviesada. 
C.1. Quais são os benefícios de se aumentar o tamanho amostral? Marque todas as respostas que julgar corretas.
A. Aumentar o poder estatístico. (Correta)
B. Diminuir os custos do programa. 
C. Aumentar a representatividade da população. (Correta)
D. Minimizar o erro tipo II (falso negativo). (Correta)
C.2. Considere a seguinte situação: se você vai participar de um jogo de azar em que você ganha se escolher a amostra cujos resultados estão mais próximos aos valores reais (você não conhece os dados de cada amostra), em qual amostra você apostaria: em uma de 3 observações ou em uma de 6 observações?
A. Amostra 1, com 3 observações. 
B. Amostra 2, com 6 observações. (Correta)
D.1. Verdadeiro ou falso: quanto maior o tamanho do efeito esperado do programa, maior deve ser o tamanho amostral; quanto menor o tamanho do efeito esperado do programa, menor deve ser o tamanho amostral.
A. Verdadeiro 
B. Falso (Correta)
D.2. Seus parceiros de pesquisa compartilharam dados de um novo programa de capacitação profissional. Você tem a informação do programa anterior (1) e do novo programa (2).
Qual é o impacto do programa novo (2)?
8
D.3. A Secretaria de Educação do seu estado gostaria de melhorar o desempenho de alunos do ensino médio, que apresentam notas em provas nacionais cada vez mais baixas. Para isso, elaborou duas intervenções em paralelo com os professores do estado: uma de capacitação de professores e outra de pagamento de bônus por performance de professores. Os gestores solicitaram apoio para a avaliação dessas intervenções a pesquisadores, que precisam definir qual o tamanho da amostra de cada intervenção. Suponha que, de acordo com a literatura do tema,capacitar professores pode ter um efeito aproximadamente duas vezes maior do que atribuir bônus a professores. Assim, nesta pesquisa, podemos esperar que qual dos dois programas precisará de maior amostra para que os pesquisadores possam perceber seu efeito?
A. Capacitação de professores 
B. Pagamento de bônus por performance de professores (Correta)
E.1. Qual é a relação entre a taxa de participação e o tamanho amostral? Marque todas as respostas que julgar corretas.
A. Para uma taxa de participação pequena, precisamos de um tamanho amostral grande. 
B. Para uma taxa de participação grande, precisamos de um tamanho amostral grande. 
C. Para uma taxa de participação pequena, é suficiente um tamanho amostral pequeno. 
D. Para uma taxa de participação grande, é suficiente um tamanho amostral pequeno. 
E.2. Considere o programa de capacitação profissional com o qual temos trabalhado. A seguir, apresentamos o que teria acontecido se 5 pessoas do grupo de tratamento nunca tivessem comparecido à capacitação. Os números em vermelho representam os indivíduos que não receberam o tratamento (portanto, não tiveram aumento salarial por hora trabalhada).
Qual é a taxa de participação (take-up) no caso de taxa de participação imperfeita? (Em outras palavras, qual é a porcentagem do grupo alocado para o tratamento, que de fato participou dele?)
5 das 10 pessoas do grupo de tratamento receberam efetivamente o tratamento, o que equivale a 50%.
E.3a Considere os mesmos dados do exercício anterior
5,5
E.3b. Considere os mesmos dados do exercício anterior.
0,5
F.1. Que implicações a variância tem na avaliação de impacto? Marque todas as respostas que julgar corretas.
A. Quanto maior a heterogeneidade (ou variância) dos grupos, menor é a amostra necessária para observar os efeitos do programa. 
B. Quanto maior a heterogeneidade (ou variância) dos grupos, maior é a amostra necessária para observar os efeitos do programa. 
C. Em uma população com variância alta, é mais difícil observar os efeitos do programa. 
D. Em uma população com variância alta, é mais fácil observar os efeitos do programa. 
F.2. Verdadeiro ou falso: a regra de ouro número 4 assinala que, para um dado nível de poder estatístico, quanto maior a variância amostral, maior o tamanho amostral necessário.
A. Verdadeiro 
F.3. Felizmente, o seu programa está tendo êxito e será replicado em outra localidade. A seguir, são apresentados os resultados da primeira (1) e da segunda (2) localidades:
Qual é o tamanho do impacto na localidade 2?
O tamanho do impacto na localidade 2 é 1. Média do grupo de tratamento na localidade 2 (-) Média do grupo de controle na localidade 2 = (10+12+11+ 10+12+11+10+11+11+12)/10 - (9+10+11+10+11+10+9+11+10+9)/10 = 11-10 = 1. Portanto, o programa teve o mesmo impacto nas duas localidades.
F.4a. Considere os mesmos dados do exercício anterior.
a) Em qual das duas localidades a amostra apresenta maior variância?
A. Localidade 1  (Correta)
F.4b. Considere os mesmos dados do exercício anterior.
b) Em qual das duas localidades você escolheria fazer uma avaliação, levando em conta a variância das amostras?
A. Localidade 2  (Correta)
G.1. Dado um tamanho amostral, de que maneira devem ser distribuídos os indivíduos entre os grupos de tratamento e de controle, de maneira a maximizar o poder estatístico?
A. Devem ser distribuídos igualmente entre o grupo de tratamento e de controle. 
B. A maioria dos indivíduos deve estar no grupo de controle. 
C. A maioria dos indivíduos deve estar no grupo de tratamento. 
G.2. Por que nem sempre se distribui igualmente uma amostra nos grupos de controle e de tratamento? Marque todas as respostas que julgar corretas.
A. Devido à escassez de recursos, o programa não pode tratar um número suficiente de indivíduos. 
B. Se o custo do tratamento é muito alto, pode ser que se ganhe mais poder aumentando o grupo de controle do que balanceando igualmente os grupos. 
C. Se o custo do controle é muito alto, pode ser que se ganhe mais poder aumentando o grupo de tratamento do que balanceando igualmente os grupos. 
H.1. Quais das seguintes alternativas estão corretas? 
A. Se a Correlação Intra-Clusters é igual a 0, os indivíduos do mesmo conglomerado são muito similares. 
B. Se a Correlação Intra-Clusters é igual a 1, os indivíduos do mesmo conglomerado são muito similares. 
C. Entrevistar mais pessoas por cluster aumenta o poder estatístico, mas cada vez em menor magnitude (rendimentos decrescentes de se ter mais observações). 
D. Quando uma Correlação Intra-Clusters é muito baixa, precisamos de uma amostra maior. 
H.2. Verdadeiro ou falso: quanto maior a Correlação Intra-Clusters, maior o poder estatístico.
A. Falso 
H.3. Verdadeiro ou falso: se faço uma sondagem eleitoral no Brasil, selecionar aletoriamente 100 pessoas de toda a população me trará mais poder que escolher 20 famílias e entrevistar os 5 membros (100 pessoas no total).
A. Verdadeiro 
I.1. Das seguintes afirmações, marque todas as respostas que julgar corretas.
A. Quanto maior a amostra, maior o poder estatístico. 
B. Quanto maior o tamanho do efeito, menor a amostra necessária. 
C. Quanto maior a taxa de participação, menor a amostra necessária. 
D. Quanto maior a variância na população, maior a amostra necessária. 
E. Para uma dada amostra, o número igual de indivíduos no grupo de tratamento e no grupo de controle maximiza o poder estatístico. 
F. Para uma dada amostra, agrupar observações tem como resultado obter menor poder estatístico. 
G. Para uma maior correlação intra-cluster (CIC), é necessário um tamanho amostral maior. 
Todas as alternativas estão corretas (são os enunciados das sete regras de ouro).
Estudo de Caso - Módulo 5
EC.1a. Pesquisadores estão interessados em estimar o impacto de capacitações a microempreendedores de um grupo de microcrédito. Dados administrativos de um conjunto de municípios mostram que a renda média dos microempreendedores é de R$ 2.000,00, com um desvio padrão de R$ 140,00. Estima-se que o programa aumentará a renda média dos microempresários em 5%. A equipe de pesquisa acha que uma amostra de 50 microempreendedores é suficiente para observar o efeito do programa com uma probabilidade maior que 80%.
a) De acordo com o enunciado, qual é o salário médio dos microempreendedores antes da intervenção? Escreva a sua resposta em reais.
Como dito no enunciado do exercício, o salário médio dos microempreendedores antes do programa é de R$ 2.000,00
EC.1b. Pesquisadores estão interessados em estimar o impacto de capacitações a microempreendedores de um grupo de microcrédito. Dados administrativos de um conjunto de municípios mostram que a renda média dos microempreendedores é de R$ 2.000,00, com um desvio padrão de R$ 140,00. Estima-se que o programa aumentará a renda média dos microempresários em 5%. A equipe de pesquisa acha que uma amostra de 50 microempreendedores é suficiente para observar o efeito do programa com uma probabilidade maior que 80%.
b) Qual é o desvio padrão do salário dos microempresários? Escreva a sua resposta em reais.
Como dito no enunciado do exercício, o desvio padrão é de R$ 140,00
EC.1c. Pesquisadores estão interessados em estimar o impacto de capacitações a microempreendedores de um grupo de microcrédito. Dados administrativos de um conjunto de municípios mostram que a renda média dos microempreendedores é de R$ 2.000,00, com um desvio padrão de R$ 140,00. Estima-se que o programa aumentará a renda média dos microempresários em 5%. A equipe de pesquisa acha que uma amostra de 50 microempreendedores é suficiente para observar o efeito do programa com uma probabilidade maior que 80%.
c) Em quantos reais se espera um aumento no salário dos microempreendedores que participaram do programa de capacitação? (Lembre-se de que é esperado um aumento de 5%.). Escreva a sua resposta em reais.
Para calcular o valor do aumento no salário dos empreendedores após o programa, estimado em um aumento de 5%, é preciso calcular 5% de R$ 2.000,00, ou seja, R$ 100,00.
EC.2. Você estáencarregado de analisar se uma amostra de 50 empreendedores basta para ter um poder estatístico de ao menos 80%. Para saber disso, você deve colocar os seguintes dados na tabela, que são os dados que a equipe de pesquisa está considerando:
Se inserirmos os dados da tabela, verificamos que o poder estatístico é de 71,41%.
EC.3. Qual é o tamanho amostral mínimo necessário para se alcançar um poder estatístico de, pelo menos, 80%? Utilize os mesmos dados anteriores, mas modifique somente a célula de tamanho amostral, até que o poder estatístico chegue a, no mínimo, 80%.
Para que o poder estatístico seja de, no mínimo, 80%, o tamanho amostral deve ser de, no mínimo, 62 unidades.
EC.4. Devido a mudanças não esperadas no planejamento, os microempreendedores não vão ter tempo suficiente para cumprir com todas as horas de capacitação. Devido à redução de horas, estima-se que o efeito do programa vá ser reduzido, e o aumento médio no salário dos empreendedores ao final não será de 5%, mas de 4,5%.
Qual é o poder estatístico quando o tamanho do efeito é menor? Utilize os dados da pergunta anterior, com tamanho amostral de 62 unidades. Primeiro, calcule qual será o novo aumento no salário dos participantes. Depois, você deve modificar somente a célula de Tamanho do Efeito, incluindo o novo valor.
O efeito esperado no salário dos microempreendores que participem do programa é de R$ 90,00 (4,5% de R$ 2.000,00). Inserindo o valor na célula Tamanho do Efeito, temos que o poder estatístico cai para 71,60%.
EC.5. Dado o novo tamanho do efeito calculado no exercício anterior, qual é o tamanho amostral mínimo necessário para se alcançar um poder estatístico de, pelo menos, 80%? Utilize os mesmos dados anteriores, mas modifique somente a célula de tamanho amostral, até que o poder estatístico chegue a, no mínimo, 80%. 
Para que o poder estatístico seja de, no mínimo, 80%, o tamanho amostral deve ser de, no mínimo, 76 unidades. Neste caso, o poder estatístico sobe para 80,01%.
EC.6. A equipe implementadora das capacitações informa que 15% das pessoas nunca comparecem às capacitações, mesmo sendo gratuitas. Isso significa uma mudança na taxa de participação, dado que nem todas as pessoas alocadas no grupo de tratamento vão receber a capacitação. É sua responsabilidade ponderar isso na análise.
Considerando a expectativa de que 15% dos participantes não comparecerão, qual é o poder estatístico resultante? Utilize os dados anteriores. Você deve modificar somente a célula de Participação, que originalmente era de 100%.
Considerando uma nova taxa de participação de 85%, o poder estatístico resultante é de 66,34%.
EC.7. Dada a nova taxa de participação do exercício anterior, qual é o tamanho amostral mínimo necessário para se alcançar um poder estatístico de, pelo menos, 80%? Utilize os mesmos dados anteriores, mas modifique somente a célula de tamanho amostral, até que o poder estatístico chegue a, no mínimo, 80%. 
Para que o poder estatístico seja de, no mínimo, 80%, o tamanho amostral deve ser de, no mínimo, 106 unidades. Neste caso, o poder estatístico sobe para 80,31%
EC.8. Você descobre que surgiu um erro na análise dos dados administrativos sobre o salário médio dos microempreendedores antes do programa. O erro foi no relatório de renda. Felizmente, a renda média dos microempreendedores continua sendo de R$ 2.000,00. No entanto, o desvio padrão é de R$ 200,00.
Qual é a mudança no poder estatístico com este aumento no desvio padrão? Utilize os dados anteriores. Você deve modificar somente a célula de Desvio Padrão. 
O poder estatístico cai para 50,36% quando a célula do Desvio Padrão é modificada de 140 para 200.
EC.9. Dado o novo desvio padrão do exercício anterior, qual é o tamanho amostral mínimo necessário para se alcançar um poder estatístico de, pelo menos, 80%? Utilize os mesmos dados anteriores, mas modifique somente a célula de tamanho amostral, até que o poder estatístico chegue a, no mínimo, 80%. 	
Para que o poder estatístico seja de, no mínimo, 80%, o tamanho amostral deve ser de, no mínimo, 215 unidades. Neste caso, o poder estatístico sobe para 80,07%.
EC.10. O aumento do tamanho amostral devido às mudanças nos parâmetros aumentou os custos da avaliação. O custo das capacitações é muito alto para ser oferecido para metade da nova amostra da avaliação. Por isso, a decisão é oferecer a capacitação para 3 em cada 10 participantes. Na folha de cálculo, na célula de Proporções, você pode indicar a porcentagem da amostra que será destinada ao grupo de tratamento (dado que 3 em cada 10 participantes receberão o tratamento, a porcentagem indicada deve ser, portanto, 30%).
Qual é o poder estatístico resultante após a mudança na proporção entre os grupos de tratamento e controle da amostra? Utilize os dados anteriores. Você deve modificar somente a célula de Proporções. 
O poder estatístico cai para 72,91% quando a célula de Proporções é modificada de 50 para 30.
EC.11. Dada a nova proporção entre os grupos de controle e tratamento do exercício anterior, qual é o tamanho amostral mínimo necessário para se alcançar um poder estatístico de, pelo menos, 80%? Utilize os mesmos dados anteriores, mas modifique somente a célula de tamanho amostral, até que o poder estatístico chegue a, no mínimo, 80%. 
Para que o poder estatístico seja de, no mínimo, 80%, o tamanho amostral deve ser de, no mínimo, 256 unidades. Neste caso, o poder estatístico sobe para 80,08%.
EC.12. O próximo passo é selecionar as localidades que comporão os grupos de tratamento e de controle. Em média, espera-se ter 30 microempreendedores por localidade. Assim, o nível de aleatorização não será mais individual, e sim ao nível de aglomerados (ou clusters). Na tabela, a célula de Agrupamentos representa o tamanho médio dos grupos. Até agora, o valor dessa célula era 1. Agora, a amostra será dividida em agrupamentos, de 30 unidades cada um. Coloque 30 na célula de Agrupamentos. A Correlação Intra-Clusters (CIC) é de 0,02. 
Quanto é o poder estatístico resultante, se os grupos são de 30 unidades e a CIC é de 0,02? Utilize os dados anteriores. Você deve modificar somente as células de Agrupamentos e CIC. 
O poder estatístico cai para 60,69% quando incluímos grupos de 30 unidades na célula "Agrupamentos" e alteramos a Correlação Intra Clusters (CIC) para 0,02.
EC.13. Dada a decisão de fazer a aleatorização por agrupamentos e as novas informações sobre Agrupamentos e Correlação Intra-Clusters (CIC) do exercício anterior, qual é o tamanho amostral mínimo necessário para se alcançar um poder estatístico de, pelo menos, 80%? Utilize os mesmos dados anteriores, mas modifique somente a célula de tamanho amostral, até que o poder estatístico chegue a, no mínimo, 80%. 
Para que o poder estatístico seja de, no mínimo, 80%, o tamanho amostral deve ser de, no mínimo, 404 unidades. Neste caso, o poder estatístico sobe para 80,04%.
Medição
A.1. Quais dos seguintes elementos da Teoria da Mudança poderiam ser medidos por meio de um indicador? Marque todas as respostas que julgar corretas.
A. Necessidades 
B. Atividades / Insumos 
C. Produtos 
D. Resultados Intermediários 
E. Resultados Finais 
Todas as respostas estão corretas. Ao longo da implementação de um programa, os indicadores permitem quantificar todas as etapas da cadeia causal (sejam elas necessidades, atividades/insumos, produtos ou resultados), convertendo-as em variáveis e permitindo estabelecer relações causais entre elas.
A2.b. Verdadeiro ou falso: cada elemento da cadeia causal da Teoria da Mudança pode ter apenas um indicador para medição do progresso.
A. Falso 
B.1. Quais dos seguintes enunciados são verdadeiros? Marque todas as respostas que julgar corretas.
A. Um indicador é exato se não tem desvios sistemáticos do valor verdadeiro. 
B. Um indicador é preciso se não tem desvios sistemáticos do valor verdadeiro. 
C. Um indicador é exato se repetidas medições do mesmo objeto sempre geram o mesmo valor. 
D. Um indicador é preciso se repetidas medições do mesmo objeto sempre