MODULO 5- QUESTIONARIOS 5

Prévia do material em texto

Introdução - Módulo 5
GUIA
A pergunta mais básica que uma avaliação de impacto busca responder é se uma intervenção (no nosso contexto, uma política pública ou um programa social) teve impacto ou não. Como veremos neste módulo, a resposta para essa pergunta não é inequívoca: ao trabalhar com dados amostrais, sempre existe certo grau de incerteza. 
O poder estatístico é derivado dessa incerteza. Pode ser definido como a probabilidade de se detectar o impacto de um programa (quando esse impacto efetivamente existir). Realizar uma avaliação de impacto que tenha pouco poder estatístico não é aconselhável. Se a avaliação não encontrar impacto, não saberemos se ele de fato não existiu, ou se a avaliação não teve poder suficiente para detectá-lo. 
O poder estatístico é, portanto, um aspecto de suma importância tanto no desenho de uma avaliação de impacto, como na decisão sobre ser factível prosseguir com ela ou não. Como veremos, há certas medidas que podem ser tomadas para aumentar o poder da avaliação (como aumentar a amostra ou aleatorizar individualmente em vez de agrupar em clusters), mas elas também têm suas desvantagens. 
Os vídeos deste módulo partem da definição de poder estatístico e das causas de sua importância. Em seguida, são apresentados os fatores que o afetam, tais como o tamanho da amostra e do efeito, a variância e as proporções de designação experimental. 
O estudo de caso é um exercício prático de cálculo de poder estatístico baseado em um exemplo de capacitação para empreendedores participantes de grupo de microcrédito. Esse exercício ensinará como o poder estatístico da amostra muda segundo o número de microempreendedores, o número de participantes por grupo de microcrédito e a magnitude do efeito esperado nas rendas das microempresas. 
OBJETIVOS
Ao finalizar este módulo, você deverá ser capaz de: 
· Entender o que é poder estatístico; 
· Compreender a importância do poder estatístico no desenho de uma avaliação de impacto; 
· Entender como se determina e como se relaciona o poder estatístico ao tamanho da amostra e a outros elementos relativos ao desenho da pesquisa. 
RAIO-X DO MÓDULO
Este módulo contém nove vídeos sobre os tópicos da aula: o que é poder estatístico e fatores que influenciam o poder estatístico. Os vídeos, em conjunto, têm cerca de 45 minutos de duração. Para fixar os conteúdos dos vídeos, você deverá responder a 33 questões objetivas referentes ao conteúdo apresentado. Reserve cerca de 2 horas para finalizar esta lição.
O estudo de caso é desenvolvido a partir de uma programa de capacitação de empreendedores. O objetivo é, por meio de uma calculadora, demonstrar como os diferentes aspectos de uma amostra afetam o poder estatístico. Você responderá a 15 questões. Reserve cerca de uma hora para fazer o estudo de caso.
Neste módulo, você terá de fazer cálculos simples e compará-los em diferentes questões. Por isso, recomendamos que você tenha à mão uma calculadora, papel e caneta, tanto para os exercícios relativos aos vídeos como para o estudo de caso.
Tamanho da amostra e poder estatístico
A. Tamanho amostral e poder estatístico
Feedback
A.1. O que é poder estatístico?
A. É a probabilidade de que o programa tenha um impacto real na população. 
B. É a probabilidade de um participante pertencer ao grupo de controle ou ao grupo de tratamento. 
C. É a probabilidade de se detectar o impacto de um programa, quando ele existe. 
D. É a magnitude do impacto do programa. 
A resposta correta é a C. O poder estatístico é a probabilidade de se detectar o impacto de um programa, quando esse impacto de fato existir. Ainda que sempre haja incerteza acerca dos resultados do programa, é desejável aproximar-se o máximo possível da verdade. Se o impacto existe, então buscamos medir com maior precisão o real efeito do programa.
Feedback
A.2. Em uma avaliação de impacto, nunca podemos conhecer a verdade com certeza absoluta. Por quê?
A. Porque a realidade é mais complexa do que o esperado no momento de se desenhar o programa. 
B. Porque é sempre possível argumentar contra ou a favor de um programa . 
C. Porque os gestores públicos se guiam pela experiência, não pela evidência. 
D. Porque trabalhando-se com dados amostrais sempre existe certo grau de incerteza. 
A resposta correta é a D. Os valores calculados a partir de amostras variam de uma para outra, dado que diferentes amostras extraídas de uma mesma população produzem resultados distintos. Essa variabilidade amostral sempre produz certo grau de incerteza. De fato, os avaliadores trabalham com amostras porque, em geral, fica muito caro entrevistar toda a população alvo; também porque em avaliações experimentais de impacto não é possível medir o impacto em toda a população alvo, já que uma parte dela vai compor o grupo de controle.
Feedback
A.3. Quando falamos em "subconjunto da população escolhido aleatoriamente", nos referimos a:
A. Variância. 
B. Agrupamentos . 
C. Amostra. 
D. Taxa de participação (take-up). 
A resposta correta é a alternativa C. Um subconjunto da população escolhido aleatoriamente é chamado de amostra. Vale ressaltar, porém, que não são todos os casos em que a amostra de uma avaliação de impacto é definida de forma aleatória. Mesmo avaliações de impacto rigorosas, que definem os grupos de controle e tratamento aleatoriamente, podem definir a amostra que fará parte do sorteio usando critérios específicos.
Feedback
A.4.a. Suponha o seguinte caso: deseja-se avaliar uma política de capacitação profissional que tem como objetivo aumentar o salário dos trabalhadores (medido em dólares). A seguir, são descritos os grupos de controle e de tratamento deste programa.
a) Qual é a média do grupo de tratamento?
Para calcular a média amostral de um grupo, é preciso somar todos os valores e dividir esta soma entre o número de indivíduos do grupo. Média do grupo de tratamento: (15+14+9+12+12+9+8+7+15+9)/10 = 11
Feedback
A.4.b. Suponha o seguinte caso: deseja-se avaliar uma política de capacitação profissional que tem como objetivo aumentar o salário dos trabalhadores (medido em dólares). A seguir, são descritos os grupos de controle e de tratamento deste programa.
b) Qual é a média do grupo de controle?
Para calcular a média amostral de um grupo, é preciso somar todos os valores e dividir esta soma entre o número de indivíduos do grupo. Média grupo de controle: (12+7+5+8+11+14+14+8+12+9)/10 = 10
Feedback
A.5a. Agora, suponha que só temos acesso a uma amostra de cinco pessoas de cada grupo.
a) Qual é a média da amostra do grupo de tratamento?
Para calcular a média amostral de um grupo, é preciso somar todos os valores e dividir esta soma entre o número de indivíduos do grupo. Média da amostra 1 do grupo de tratamento é: (15+14+12+9+15)/5 = 13
Feedback
A.5b. Agora, suponha que só temos acesso a uma amostra de cinco pessoas de cada grupo.
b) E a média da amostra do grupo de controle?
Para calcular a média amostral de um grupo, é preciso somar todos os valores e dividir esta soma entre o número de indivíduos do grupo. A média da amostra 1 do grupo de controle é: (7+5+8+11+8)/5 = 7,8
Feedback
A.6.a. Finalmente, devido a um problema com a base de dados, perdemos a amostra anterior e agora vamos extrair outra amostra. 
a) Qual é a média da segunda amostra do grupo de tratamento?
Para calcular a média amostral de um grupo, é preciso somar todos os valores e dividir esta soma entre o número de indivíduos do grupo. Média da amostra 2 do grupo de tratamento é: (9+12+8+7+9)/5 = 9
Feedback
A.6.b Finalmente, devido a um problema com a base de dados, perdemos a amostra anterior e agora vamos extrair outra amostra. 
b) E a média da segunda amostra do grupo de controle?
Para calcular a média amostral de um grupo, é preciso somar todos os valores e dividir esta soma entre o número de indivíduos do grupo. Média da amostra 2 do grupo de controle é: (12+14+14+12+9)/5 = 12,2
A.7a. Considerando os dados do problema anterior:
a) Qual seria o impacto do programa em R$/h se tivéssemos acesso a todos os dados da população (figura da esquerda)?Impacto com todos os dados: 11 - 10 = 1 R$/h
A.7b. Considerando os dados do problema anterior:
b) Qual seria o impacto do programa em R$/h se tivéssemos acesso somente à primeira amostra (figura do meio)?
Impacto com a primeira amostra: 13 - 7,8 = 5,2 R$/h
A.7c. Considerando os dados do problema anterior:
c) Qual seria o impacto do programa em R$/h se tivéssemos acesso somente à segunda amostra (figura da direita)?
Impacto com a segunda amostra: 9 - 12,2 = -3,2 R$/h
Feedback
A.8. Determine quais das seguintes conclusões é falsa, marcando todas as respostas que julgar incorretas:
A. Se só tivéssemos acesso à PRIMEIRA amostra, poderíamos concluir que o programa tem um impacto POSITIVO. 
B. Se só tivéssemos acesso à PRIMEIRA amostra, poderíamos concluir que o programa tem um impacto NEGATIVO. 
C. Se só tivéssemos acesso à SEGUNDA amostra, poderíamos concluir que o programa tem um impacto POSITIVO. 
D. Se só tivéssemos acesso à SEGUNDA amostra, poderíamos concluir que o programa tem um impacto NEGATIVO. 
Todas as resposta são falsas. Nos casos das amostras 1 e 2, não sabemos se elas são representativas da população alvo e, portanto, se o impacto medido é de fato real. Apenas no primeiro exemplo, em que toda a população alvo é considerada, podemos ter certeza de que o impacto é positivo.
Feedback
B.1. Dentre as seguintes situações, determine qual(is) corresponde(m) a um erro tipo I. Marque todas as respostas que julgar corretas.
A. Conclui-se que o programa NÃO teve um impacto, mas, na realidade, esse impacto existiu. 
B. Conclui-se que o programa teve impacto, mas, na realidade, esse impacto NÃO existiu. 
C. Falso positivo. 
D. Falso negativo. 
As respostas corretas são as alternativas B e C. Temos o erro tipo I, também chamado de falso positivo, quando chegamos à conclusão de que o programa teve, SIM, um impacto, quando na verdade ele NÃO gerou impacto algum. Temos o erro tipo II, também chamado de falso negativo, diante da conclusão de que o programa NÃO teve um impacto, quando, na verdade, houve impacto.
Feedback
De acordo com o vídeo, que fatores contribuíram para que se diminuísse o poder estatístico no estudo em Gana? Marque todas as respostas que julgar corretas.
A. Baixa participação no programa. 
B. Limite orçamentário. 
C. Amostra pequena. 
D. Amostra enviesada. 
As respostas corretas são A e C. A diminuição do poder estatístico foi causada pela baixa taxa de participação (take-up), o que, por sua vez, originou uma amostra pequena para o estudo. O limite orçamentário e a amostra enviesada não são fatores discutidos no vídeo.
Feedback
C.1. Quais são os benefícios de se aumentar o tamanho amostral? Marque todas as respostas que julgar corretas.
A. Aumentar o poder estatístico. 
B. Diminuir os custos do programa. 
C. Aumentar a representatividade da população. 
D. Minimizar o erro tipo II (falso negativo). 
As respostas corretas são as alternativas A, C e D. Quanto mais indivíduos entram na amostra, mais semelhante à população ela será. Também, como colocado pelas regras de ouro, quanto maior a amostra, menor a probabilidade de ocorrência do erro tipo II e maior o poder estatístico. É importante lembrar que, no entanto, a opção pelos benefícios de uma amostra grande acarreta um aumento nos custos do programa.
Feedback
C.2. Considere a seguinte situação: se você vai participar de um jogo de azar em que você ganha se escolher a amostra cujos resultados estão mais próximos aos valores reais (você não conhece os dados de cada amostra), em qual amostra você apostaria: em uma de 3 observações ou em uma de 6 observações?
A. Amostra 1, com 3 observações. 
B. Amostra 2, com 6 observações. 
A alternativa correta é B. Quanto maior o tamanho da amostra, maior o poder estatístico, e isso nos aproxima do impacto real do programa. Portanto, se temos duas amostras, cada uma com uma estimativa de impacto, em termos de probabilidade o resultado da amostra maior estará mais próximo do valor verdadeiro da população. Nesse caso, espera-se que o impacto estimado da amostra de 6 observações seja mais próximo do impacto real que o obtido com a amostra de 3 observações.
Feedback
D.1. Verdadeiro ou falso: quanto maior o tamanho do efeito esperado do programa, maior deve ser o tamanho amostral; quanto menor o tamanho do efeito esperado do programa, menor deve ser o tamanho amostral.
A. Verdadeiro 
B. Falso 
Falso. Como se mencionou na aula, se o efeito é grande, ele pode ser observado com mais facilidade. Portanto, uma amostra relativamente pequena seria suficiente para observá-lo. Do contrário, ou seja, se o efeito é pequeno, faz-se necessária uma amostra suficientemente grande para que ele possa ser observado.
Feedback
D.2. Seus parceiros de pesquisa compartilharam dados de um novo programa de capacitação profissional. Você tem a informação do programa anterior (1) e do novo programa (2). 
Qual é o impacto do programa novo (2)?
O tamanho do efeito do programa 2 é calculado por: Média do Tratamento do Programa 2 (17+18+20+21+19+15+16+15+19+20)/10 - Média do Controle do Programa 2 (12+8+13+9+7+'1+9+'0+'3+7)/10. Assim, 18-10 = 8.
Feedback
D.3. A Secretaria de Educação do seu estado gostaria de melhorar o desempenho de alunos do ensino médio, que apresentam notas em provas nacionais cada vez mais baixas. Para isso, elaborou duas intervenções em paralelo com os professores do estado: uma de capacitação de professores e outra de pagamento de bônus por performance de professores. Os gestores solicitaram apoio para a avaliação dessas intervenções a pesquisadores, que precisam definir qual o tamanho da amostra de cada intervenção. Suponha que, de acordo com a literatura do tema, capacitar professores pode ter um efeito aproximadamente duas vezes maior do que atribuir bônus a professores. Assim, nesta pesquisa, podemos esperar que qual dos dois programas precisará de maior amostra para que os pesquisadores possam perceber seu efeito?
A. Capacitação de professores 
B. Pagamento de bônus por performance de professores 
A resposta correta é a alternativa B. Se obtivermos, dos dois programas, uma amostra igual em tamanho, a probabilidade de observarmos um impacto no Programa (a) é maior, pois o seu impacto esperado é maior. Em outras palavras, como o Programa (a) tem um impacto esperado maior, oferece maior poder estatístico, tornando mais fácil a observação do seu efeito. Assim, nesta pesquisa, o Programa (b), cujo impacto esperado é de metade daquele do Programa (a), deverá precisar de maior amostra para que os pesquisadores possam perceber seu efeito.
Feedback
E.1. Qual é a relação entre a taxa de participação e o tamanho amostral? Marque todas as respostas que julgar corretas.
A. Para uma taxa de participação pequena, precisamos de um tamanho amostral grande. 
B. Para uma taxa de participação grande, precisamos de um tamanho amostral grande. 
C. Para uma taxa de participação pequena, é suficiente um tamanho amostral pequeno. 
D. Para uma taxa de participação grande, é suficiente um tamanho amostral pequeno. 
As respostas corretas são as alternativas A e D. A taxa de participação está diretamente relacionada ao tamanho do efeito. Se a taxa de participação é maior, o tamanho do efeito será maior e, portanto, uma amostra pequena será suficiente para notá-lo. Por outro lado, se a taxa de participação é menor, o tamanho do efeito também será menor e, portanto, será preciso um tamanho amostral suficientemente grande para observar esse efeito.
Feedback
E.2. Considere o programa de capacitação profissional com o qual temos trabalhado. A seguir, apresentamos o que teria acontecido se 5 pessoas do grupo de tratamento nunca tivessem comparecido à capacitação. Os números em vermelho representam os indivíduos que não receberam o tratamento (portanto, não tiveram aumento salarial por hora trabalhada).
Feedback
E.2. Considere o programa de capacitação profissional com o qual temos trabalhado. A seguir, apresentamos o que teria acontecido se 5 pessoas do grupo de tratamento nunca tivessem comparecido à capacitação. Os números emvermelho representam os indivíduos que não receberam o tratamento (portanto, não tiveram aumento salarial por hora trabalhada).
Qual é a taxa de participação (take-up) no caso de taxa de participação imperfeita? (Em outras palavras, qual é a porcentagem do grupo alocado para o tratamento, que de fato participou dele?)
5 das 10 pessoas do grupo de tratamento receberam efetivamente o tratamento, o que equivale a 50%.
Feedback
E.3a. Considere os mesmos dados do exercício anterior.
a) Qual é o impacto do programa quando a taxa de participação é imperfeita? (Calcula-se o impacto da mesma maneira que nos exercícios anteriores: como a diferença entre a média do grupo de tratamento e a média do grupo de controle. Para calcular a média do grupo de tratamento, deve-se considerar também os indivíduos do grupo de tratamento que não participaram do programa.) 
Tamanho da taxa de participação imperfeita: Média do grupo de tratamento da participação imperfeita (-) Média do grupo de controle da participação imperfeita = (15+9+12+13+11+8+8+6+9+14)/10 - (12+8+7+5+14+11+12+14+8+9)/10 = 10,5 - 10 = 0,5. 
Feedback
E.3b. Considere os mesmos dados do exercício anterior.
b) De quanto foi a diminuição do impacto do programa em decorrência da diminuição na taxa de participação?
No caso da taxa de participação perfeita, o impacto foi de 1. No caso da taxa de participação imperfeita, o impacto foi de 0,5. Portanto, a diminuição foi de 0,5.
Feedback
F.1. Que implicações a variância tem na avaliação de impacto? Marque todas as respostas que julgar corretas.
A. Quanto maior a heterogeneidade (ou variância) dos grupos, menor é a amostra necessária para observar os efeitos do programa. 
B. Quanto maior a heterogeneidade (ou variância) dos grupos, maior é a amostra necessária para observar os efeitos do programa. 
C. Em uma população com variância alta, é mais difícil observar os efeitos do programa. 
D. Em uma população com variância alta, é mais fácil observar os efeitos do programa. 
As respostas corretas são B e C. Se existe uma variância alta na população, a dificuldade de observar os efeitos do programa aumenta. Como os indivíduos são heterogêneos, o programa terá efeitos diferentes quanto à magnitude para cada indivíduo, o que torna mais difícil saber com precisão qual é o efeito médio do programa. Por este motivo, uma maior variância requer uma amostra suficientemente grande para se observarem os efeitos.
Feedback
F.2. Verdadeiro ou falso: a regra de ouro número 4 assinala que, para um dado nível de poder estatístico, quanto maior a variância amostral, maior o tamanho amostral necessário.
A. Verdadeiro 
B. Falso 
Verdadeiro. Se existe muita heterogeneidade na população, precisamos ter um tamanho amostral grande para facilitar a observação do efeito do programa.
Feedback
F.3. Felizmente, o seu programa está tendo êxito e será replicado em outra localidade. A seguir, são apresentados os resultados da primeira (1) e da segunda (2) localidades:
Qual é o tamanho do impacto na localidade 2?
O tamanho do impacto na localidade 2 é 1. Média do grupo de tratamento na localidade 2 (-) Média do grupo de controle na localidade 2 = (10+12+11+ 10+12+11+10+11+11+12)/10 - (9+10+11+10+11+10+9+11+10+9)/10 = 11-10 = 1. Portanto, o programa teve o mesmo impacto nas duas localidades.
F.4a. Considere os mesmos dados do exercício anterior.
a) Em qual das duas localidades a amostra apresenta maior variância? 
A. Localidade 1 
B. Localidade 2 
A Localidade 1 apresenta maior variância, pois sua amostra é mais heterogênea do que a amostra da Localidade 2. 
F.4b. Considere os mesmos dados do exercício anterior.
b) Em qual das duas localidades você escolheria fazer uma avaliação, levando em conta a variância das amostras? 
A. Localidade 1 
B. Localidade 2 
O melhor é realizar o programa na localidade 2, onde a população é mais homogênea e oferece maior poder estatístico. Isso não quer dizer que o efeito não seja observável na localidade 1, mas que tal possibilidade exige um tamanho amostral maior, o que aumentaria os custos da avaliação. 
Feedback
G.1. Dado um tamanho amostral, de que maneira devem ser distribuídos os indivíduos entre os grupos de tratamento e de controle, de maneira a maximizar o poder estatístico?
A. Devem ser distribuídos igualmente entre o grupo de tratamento e de controle. 
B. A maioria dos indivíduos deve estar no grupo de controle. 
C. A maioria dos indivíduos deve estar no grupo de tratamento. 
A resposta correta é a alternativa A. O poder estatístico é maximizado quando os indivíduos são distribuídos de maneira equitativa entre o grupo de controle e o grupo de tratamento.
Feedback
G.2. Por que nem sempre se distribui igualmente uma amostra nos grupos de controle e de tratamento? Marque todas as respostas que julgar corretas.
A. Devido à escassez de recursos, o programa não pode tratar um número suficiente de indivíduos. 
B. Se o custo do tratamento é muito alto, pode ser que se ganhe mais poder aumentando o grupo de controle do que balanceando igualmente os grupos. 
C. Se o custo do controle é muito alto, pode ser que se ganhe mais poder aumentando o grupo de tratamento do que balanceando igualmente os grupos. 
As respostas corretas são as alternativas a A e B. No caso "ideal", o preferível é distribuir a amostra de maneira equitativa entre o grupo de controle e o grupo de tratamento. No entanto, limitações de orçamento e custos usualmente influenciam as proporções de alocação. Se não há recursos suficientes, por exemplo, pode ser que não se possa alocar 50% da amostra ao grupo de tratamento. Nesses casos, pode ser que se aumente suficientemente o grupo de controle para compensar a perda de poder estatítico decorrida da mudança na alocação.
Feedback
H.1. Quais das seguintes alternativas estão corretas? 
A. Se a Correlação Intra-Clusters é igual a 0, os indivíduos do mesmo conglomerado são muito similares. 
B. Se a Correlação Intra-Clusters é igual a 1, os indivíduos do mesmo conglomerado são muito similares. 
C. Entrevistar mais pessoas por cluster aumenta o poder estatístico, mas cada vez em menor magnitude (rendimentos decrescentes de se ter mais observações). 
D. Quando uma Correlação Intra-Clusters é muito baixa, precisamos de uma amostra maior. 
As respostas corretas são B e C. A Correlação Intra-Clusters indica que se os indivíduos do grupo são completamente iguais, a correlação é 1, e se são totalmente diferentes, a correlação é 0. Se se entrevistam mais pessoas por grupo, a informação que cada indivíduo extra traz é menor, porque seria informação similar a outros indivíduos já entrevistados no mesmo agrupamento. Finalmente, uma amostra pequena pode ser suficiente se a Correlação Intra-Clusters é muito pequena. Isto quer dizer que a informação que cada pessoa traz, individualmente, é muito alta e não requer uma amostra grande.
Feedback
H.2. Verdadeiro ou falso: quanto maior a Correlação Intra-Clusters, maior o poder estatístico.
A. Verdadeiro 
B. Falso 
Falso. A Correlação Intra-Cluster indica o grau de similaridade de um agrupamento. Quanto mais homogêneo ele for, menos capaz ele é de representar uma população. Portanto, quanto maior a Correlação Intra-Clusters de uma amostra, menor o poder estatístico da avaliação.
Feedback
H.3. Verdadeiro ou falso: se faço uma sondagem eleitoral no Brasil, selecionar aletoriamente 100 pessoas de toda a população me trará mais poder que escolher 20 famílias e entrevistar os 5 membros (100 pessoas no total).
A. Verdadeiro 
B. Falso 
Verdadeiro. 100 pessoas escolhidas aleatoriamente dentre toda a população do país trarão mais informação que 100 pessoas procedentes de 20 famílias, pois as pessoas pertencentes à mesma família se assemelham entre si.
Feedback
I.1. Das seguintes afirmações, marque todas as respostas que julgar corretas.
A. Quanto maior a amostra, maior o poder estatístico. 
B. Quanto maior o tamanho do efeito, menor a amostra necessária. 
C. Quanto maior a taxa de participação, menor a amostra necessária. 
D. Quanto maior a variância na população, maior a amostranecessária. 
E. Para uma dada amostra, o número igual de indivíduos no grupo de tratamento e no grupo de controle maximiza o poder estatístico. 
F. Para uma dada amostra, agrupar observações tem como resultado obter menor poder estatístico. 
G. Para uma maior correlação intra-cluster (CIC), é necessário um tamanho amostral maior. 
Todas as alternativas estão corretas (são os enunciados das sete regras de ouro).
Estudo de Caso - Módulo 5
Estimando poder estatístico na avaliação de impacto de capacitações a microempreendedores
OBJETIVOS
Depois deste exercício, os participantes deverão ser capazes de:
· Definir o conceito de poder estatístico na avaliação experimental;
· Identificar as relações existentes entre o poder estatístico e distintos elementos da avaliação, como o tamanho amostral, o tamanho do efeito, entre outros.
· INTRODUÇÃO
· 
· Os cálculos de poder estatístico são realizados no início de uma pesquisa experimental, com o fim de oferecerem uma noção acerca do tamanho da amostra necessária para medir certos impactos, ou da magnitude dos impactos que o experimento permitirá medir se houver determinado tamanho amostral. Para este exercício, vamos utilizar uma calculadora de poder estatístico desenhada pela equipe de cursos online do J-PAL. Ela tem a finalidade de mostrar, graficamente, como os distintos elementos da avaliação afetam o poder estatístico. Você pode baixá-la aqui.
· Este exercício utiliza uma calculadora de poder estatístico criada pelo J-PAL. Ela foi desenvolvida para completar os exercícios apresentados neste módulo e não tem a finalidade de ser usada em estimativas para projetos reais de avaliação de impacto. Nesse caso, recomendamos o uso de um software estatístico. 
DEFINIÇÕES
· Poder estatístico: O poder estatístico é a probabilidade de se detectarem impactos, quando eles existem. Essa probabilidade depende de diversos fatores.
· Desvio padrão: O desvio padrão é uma medida de dispersão de uma variável que nos diz o quanto os valores tendem a se afastar da média. É utilizado como uma unidade de medida padronizada.
· Cluster ou agrupamento: Os estudos experimentais podem usar observações individuais (pessoas, famílias etc.) ou conjuntos de observações (escolas, hospitais, comunidades etc.) como unidade de análise. Quando o nível de análise se define a partir de um conjunto de observações, ele é denominado cluster ou agrupamento.
· Correlação Intra-Clusters (CIC): Medida de correlação entre as observações que formam um cluster. Mede a similaridade entre os elementos do agrupamento: um valor 0 significa que todos os elementos são distintos, e um valor 1 significa que todos os elementos são exatamente iguais.
· INFORMAÇÃO TÉCNICA
· 
· Durante os vídeos, foi mencionada a variância (ou heterogeneidade) dos participantes de uma amostra. Nesse caso, vamos utilizar o desvio padrão (raiz quadrada da variância), que aponta para o mesmo comportamento da variância e tem relação negativa com o poder de um experimento (quanto mais variada ou desviante uma amostra, menor o poder). Em geral, o desvio padrão é, como seu nome indica, uma medida “padrão” de variação.
· A planilha foi criada com base no teste estatístico “bicaudal”, com um nível de significância de 95%.
Estudo de Caso - Módulo 5
Quando abrir o documento apresentado na Introdução deste Estudo de Caso, verá à esquerda uma tabela que registrará o poder estatístico resultante dos parâmetros que selecionarmos para nossa avaliação aleatorizada. Junto a ela, encontram-se sete gráficos com registro das funções de poder estatístico a diferentes valores, para ilustrar nossos parâmetros.
EC.1a. Pesquisadores estão interessados em estimar o impacto de capacitações a microempreendedores de um grupo de microcrédito. Dados administrativos de um conjunto de municípios mostram que a renda média dos microempreendedores é de R$ 2.000,00, com um desvio padrão de R$ 140,00. Estima-se que o programa aumentará a renda média dos microempresários em 5%. A equipe de pesquisa acha que uma amostra de 50 microempreendedores é suficiente para observar o efeito do programa com uma probabilidade maior que 80%.
a) De acordo com o enunciado, qual é o salário médio dos microempreendedores antes da intervenção? Escreva a sua resposta em reais. 
Como dito no enunciado do exercício, o salário médio dos microempreendedores antes do programa é de R$ 2.000,00 
EC.1b. Pesquisadores estão interessados em estimar o impacto de capacitações a microempreendedores de um grupo de microcrédito. Dados administrativos de um conjunto de municípios mostram que a renda média dos microempreendedores é de R$ 2.000,00, com um desvio padrão de R$ 140,00. Estima-se que o programa aumentará a renda média dos microempresários em 5%. A equipe de pesquisa acha que uma amostra de 50 microempreendedores é suficiente para observar o efeito do programa com uma probabilidade maior que 80%.
b) Qual é o desvio padrão do salário dos microempresários? Escreva a sua resposta em reais.
Como dito no enunciado do exercício, o desvio padrão é de R$ 140,00
EC.1c. Pesquisadores estão interessados em estimar o impacto de capacitações a microempreendedores de um grupo de microcrédito. Dados administrativos de um conjunto de municípios mostram que a renda média dos microempreendedores é de R$ 2.000,00, com um desvio padrão de R$ 140,00. Estima-se que o programa aumentará a renda média dos microempresários em 5%. A equipe de pesquisa acha que uma amostra de 50 microempreendedores é suficiente para observar o efeito do programa com uma probabilidade maior que 80%.
c) Em quantos reais se espera um aumento no salário dos microempreendedores que participaram do programa de capacitação? (Lembre-se de que é esperado um aumento de 5%.). Escreva a sua resposta em reais.
Para calcular o valor do aumento no salário dos empreendedores após o programa, estimado em um aumento de 5%, é preciso calcular 5% de R$ 2.000,00, ou seja, R$ 100,00.
Feedback
EC.2. Você está encarregado de analisar se uma amostra de 50 empreendedores basta para ter um poder estatístico de ao menos 80%. Para saber disso, você deve colocar os seguintes dados na tabela, que são os dados que a equipe de pesquisa está considerando:
Qual é o poder estatístico que a equipe de pesquisa obtém com uma amostra de 50 microempreendedores? Utilize duas casas decimais na sua resposta.
Poder estatístico: por ser uma variável contínua (pode ser expressa em números decimais), escreva sua resposta em porcentagem com duas casas decimais. 
Se inserirmos os dados da tabela, verificamos que o poder estatístico é de 71,41%.
Feedback
EC.3. Qual é o tamanho amostral mínimo necessário para se alcançar um poder estatístico de, pelo menos, 80%? Utilize os mesmos dados anteriores, mas modifique somente a célula de tamanho amostral, até que o poder estatístico chegue a, no mínimo, 80%. 
Unidades amostrais: por ser uma variável discreta (expressa em números inteiros), escreva sua resposta em unidades amostrais como um número inteiro. 
Para que o poder estatístico seja de, no mínimo, 80%, o tamanho amostral deve ser de, no mínimo, 62 unidades.
Feedback
EC.4. Devido a mudanças não esperadas no planejamento, os microempreendedores não vão ter tempo suficiente para cumprir com todas as horas de capacitação. Devido à redução de horas, estima-se que o efeito do programa vá ser reduzido, e o aumento médio no salário dos empreendedores ao final não será de 5%, mas de 4,5%.
Qual é o poder estatístico quando o tamanho do efeito é menor? Utilize os dados da pergunta anterior, com tamanho amostral de 62 unidades. Primeiro, calcule qual será o novo aumento no salário dos participantes. Depois, você deve modificar somente a célula de Tamanho do Efeito, incluindo o novo valor. 
Poder estatístico: por ser uma variável contínua (pode ser expressa em números decimais), escreva sua resposta em porcentagem com duas casas decimais. 
O efeito esperado no salário dos microempreendores que participem do programa é de R$ 90,00 (4,5% de R$ 2.000,00). Inserindo o valor na célula Tamanho do Efeito, temosque o poder estatístico cai para 71,60%.
Feedback
EC.5. Dado o novo tamanho do efeito calculado no exercício anterior, qual é o tamanho amostral mínimo necessário para se alcançar um poder estatístico de, pelo menos, 80%? Utilize os mesmos dados anteriores, mas modifique somente a célula de tamanho amostral, até que o poder estatístico chegue a, no mínimo, 80%. 
Unidades amostrais: por ser uma variável discreta (expressa em números inteiros), escreva sua resposta em unidades amostrais como um número inteiro. 
Para que o poder estatístico seja de, no mínimo, 80%, o tamanho amostral deve ser de, no mínimo, 76 unidades. Neste caso, o poder estatístico sobe para 80,01%.
Feedback
EC.6. A equipe implementadora das capacitações informa que 15% das pessoas nunca comparecem às capacitações, mesmo sendo gratuitas. Isso significa uma mudança na taxa de participação, dado que nem todas as pessoas alocadas no grupo de tratamento vão receber a capacitação. É sua responsabilidade ponderar isso na análise.
Considerando a expectativa de que 15% dos participantes não comparecerão, qual é o poder estatístico resultante? Utilize os dados anteriores. Você deve modificar somente a célula de Participação, que originalmente era de 100%. 
Poder estatístico: por ser uma variável contínua (pode ser expressa em números decimais), escreva sua resposta  em porcentagem com duas casas decimais. 
Considerando uma nova taxa de participação de 85%, o poder estatístico resultante é de 66,34%.
Feedback
EC.7. Dada a nova taxa de participação do exercício anterior, qual é o tamanho amostral mínimo necessário para se alcançar um poder estatístico de, pelo menos, 80%? Utilize os mesmos dados anteriores, mas modifique somente a célula de tamanho amostral, até que o poder estatístico chegue a, no mínimo, 80%. 
Unidades amostrais: por ser uma variável discreta (expressa em números inteiros), escreva sua resposta em unidades amostrais como um número inteiro. 
Para que o poder estatístico seja de, no mínimo, 80%, o tamanho amostral deve ser de, no mínimo, 106 unidades. Neste caso, o poder estatístico sobe para 80,31%.
Feedback
EC.8. Você descobre que surgiu um erro na análise dos dados administrativos sobre o salário médio dos microempreendedores antes do programa. O erro foi no relatório de renda. Felizmente, a renda média dos microempreendedores continua sendo de R$ 2.000,00. No entanto, o desvio padrão é de R$ 200,00.
Qual é a mudança no poder estatístico com este aumento no desvio padrão? Utilize os dados anteriores. Você deve modificar somente a célula de Desvio Padrão. 
Poder estatístico: por ser uma variável contínua (pode ser expressa em números decimais), escreva a sua resposta em porcentagem com duas casas decimais. 
O poder estatístico cai para 50,36% quando a célula do Desvio Padrão é modificada de 140 para 200.
Feedback
EC.9. Dado o novo desvio padrão do exercício anterior, qual é o tamanho amostral mínimo necessário para se alcançar um poder estatístico de, pelo menos, 80%? Utilize os mesmos dados anteriores, mas modifique somente a célula de tamanho amostral, até que o poder estatístico chegue a, no mínimo, 80%. 
Unidades amostrais: por ser uma variável discreta (expressa em números inteiros), escreva sua resposta em unidades amostrais como um número inteiro. 
Para que o poder estatístico seja de, no mínimo, 80%, o tamanho amostral deve ser de, no mínimo, 215 unidades. Neste caso, o poder estatístico sobe para 80,07%.
Feedback
EC.10. O aumento do tamanho amostral devido às mudanças nos parâmetros aumentou os custos da avaliação. O custo das capacitações é muito alto para ser oferecido para metade da nova amostra da avaliação. Por isso, a decisão é oferecer a capacitação para 3 em cada 10 participantes. Na folha de cálculo, na célula de Proporções, você pode indicar a porcentagem da amostra que será destinada ao grupo de tratamento (dado que 3 em cada 10 participantes receberão o tratamento, a porcentagem indicada deve ser, portanto, 30%).
Qual é o poder estatístico resultante após a mudança na proporção entre os grupos de tratamento e controle da amostra? Utilize os dados anteriores. Você deve modificar somente a célula de Proporções. 
Poder estatístico: por ser uma variável contínua (pode ser expressa em números decimais), escreva sua resposta em porcentagem com duas casas decimais. 
O poder estatístico cai para 72,91% quando a célula de Proporções é modificada de 50 para 30.
Feedback
EC.11. Dada a nova proporção entre os grupos de controle e tratamento do exercício anterior, qual é o tamanho amostral mínimo necessário para se alcançar um poder estatístico de, pelo menos, 80%? Utilize os mesmos dados anteriores, mas modifique somente a célula de tamanho amostral, até que o poder estatístico chegue a, no mínimo, 80%. 
Unidades amostrais: por ser uma variável discreta (expressa em números inteiros), escreva sua resposta em unidades amostrais com um número inteiro. 
Para que o poder estatístico seja de, no mínimo, 80%, o tamanho amostral deve ser de, no mínimo, 256 unidades. Neste caso, o poder estatístico sobe para 80,08%.
Feedback
EC.12. O próximo passo é selecionar as localidades que comporão os grupos de tratamento e de controle. Em média, espera-se ter 30 microempreendedores por localidade. Assim, o nível de aleatorização não será mais individual, e sim ao nível de aglomerados (ou clusters). Na tabela, a célula de Agrupamentos representa o tamanho médio dos grupos. Até agora, o valor dessa célula era 1. Agora, a amostra será dividida em agrupamentos, de 30 unidades cada um. Coloque 30 na célula de Agrupamentos. A Correlação Intra-Clusters (CIC) é de 0,02. 
Quanto é o poder estatístico resultante, se os grupos são de 30 unidades e a CIC é de 0,02? Utilize os dados anteriores. Você deve modificar somente as células de Agrupamentos e CIC. 
Poder estatístico: por ser uma variável contínua (pode ser expressa em números decimais), escrava sua resposta em porcentagem com duas casas 
O poder estatístico cai para 60,69% quando incluímos grupos de 30 unidades na célula "Agrupamentos" e alteramos a Correlação Intra Clusters (CIC) para 0,02.
Feedback
EC.13. Dada a decisão de fazer a aleatorização por agrupamentos e as novas informações sobre Agrupamentos e Correlação Intra-Clusters (CIC) do exercício anterior, qual é o tamanho amostral mínimo necessário para se alcançar um poder estatístico de, pelo menos, 80%? Utilize os mesmos dados anteriores, mas modifique somente a célula de tamanho amostral, até que o poder estatístico chegue a, no mínimo, 80%. 
Unidades amostrais: por ser uma variável discreta (expressa em números inteiros), escreva sua resposta em unidades amostrais como um número inteiro. 
Para que o poder estatístico seja de, no mínimo, 80%, o tamanho amostral deve ser de, no mínimo, 404 unidades. Neste caso, o poder estatístico sobe para 80,04%.
O poder estatístico cai para 50,36%O poder estatístico cai para 50,36%Parte superior do formulário
Parte inferior do formulário
Supondo que o efeito do programa de fato exista e seja de 100, a tabela indica que a probabilidade de observá-lo é de 84,8% ao se realizar a avaliação dos dados de entrada listados. Qualquer mudança realizada nos valores desses dados modifica tanto o poder estatístico quanto as funções dos outros parâmetros.Supondo que o efeito do programa de fato exista e seja de 100, a tabela indica que a probabilidade de observá-lo é de 84,8% ao se realizar a avaliação dos dados de entrada listados. Qualquer mudança realizada nos valores desses dados modifica tanto o poder estatístico quanto as funções dos outros parâmetros.Supondo que o efeito do programa de fato exista e seja de 100, a tabela indica que a probabilidade de observá-lo é de 84,8% ao se realizar a avaliação dos dados de entrada listados. Qualquer mudança realizada nos valores desses dados modifica tanto o poder estatístico quanto as funções dos outros parâmetros.Supondo que o efeito do programa de fato exista e seja de 100, a tabela indica que a probabilidade de observá-lo é de 84,8% ao se realizara avaliação dos dados de entrada listados. Qualquer mudança realizada nos valores desses dados modifica tanto o poder estatístico quanto as funções dos outros parâmetros.Parte superior do formulário
Parte inferior do formulário