Modulo 4 COMO ALEATORIZAR

Prévia do material em texto

Avaliação de Impacto de Programas e Políticas Sociais
Como Aleatorizar
Feedback
A.1. O que significa dizer que a avaliação é aleatorizada? Marque todas as respostas que julgar corretas.
A. O tamanho da amostra aumenta se a avaliação é aleatorizada. 
B. A forma como se escolhe o grupo de controle e de tratamento não tem padrões reconhecíveis ou regularidades. 
C. Cada unidade (que pode ser um indivíduo, família, escola, casa etc) tem a mesma probabilidade de ser alocada no grupo de tratamento. 
D. Os indivíduos (ou famílias, escolas, casas etc) são alocados no grupo de tratamento dependendo de suas características. 
As respostas corretas são as alternativas B e C. Avaliação aleatória significa que todos os indivíduos têm a mesma probabilidade de pertencer ao grupo de tratamento ou de comparação e não há nenhum padrão reconhecível entre os selecionados. Como a seleção foi aleatória, podemos dizer que os selecionados e não selecionados são estatisticamente comparáveis. No caso dos programas, a aleatoriedade significa que a escolha não está sujeita à alguma característica individual e todas as pessoas da amostra têm a mesma probabilidade de participar.
A.2. Suponha que a Secretaria de Educação de Minas Gerais implementou um programa de reforço escolar em todas as escolas estaduais do semiárido (e não em outras regiões do estado). Para medir o impacto deste programa, um pesquisador seleciona por meio de um sorteio 50 escolas do semiárido e 50 escolas do resto do Estado e as compara. Isto é um exemplo de uma avaliação aleatorizada?
A. Sim 
B. Não 
Não, isso não é uma avaliação aleatorizada. Embora seja usada uma amostragem aleatória, a designação ao tratamento e controle não foi feita aleatoriamente, tendo o programa sido implementado exclusivamente em uma região específica do estado à qual não pertence o grupo de comparação
A.3. Por que fazemos alocação aleatória entre os grupos de tratamento e controle?
A. Para obter maior poder estatístico. 
B. Para que os grupos de controle e tratamento sejam estatisticamente similares. 
C. Para que os indivíduos que mais desejam o programa recebam o programa. 
D. Para que existam diferenças entre o grupo de controle e de tratamento. 
A resposta é a alternativa B. A alocação aleatória gera grupos de controle e tratamento que são estatisticamente similares, fazendo com que o grupo de controle seja uma boa aproximação do contrafactual.
B.1. Suponha que temos uma amostra de cem indivíduos. Nosso método de aleatorização é de probabilidade fixa, com uma probabilidade de 60% de ser alocado no grupo de tratamento. De acordo com a informação dada, de qual tamanho serão os grupos de controle e de tratamento?
A. 50 no grupo de controle e 50 no de tratamento. 
B. 60 no grupo de controle e 40 no de tratamento. 
C. 40 no grupo de controle e 60 no de tratamento. 
D. Não é possível determinar o tamanho dos grupos. 
A resposta é a alternativa D. Devido à construção dos grupos de tratamento e controle, cada indivíduo tem uma probabilidade de 60% de pertencer ao grupo de tratamento. Então, esperamos que os grupos tenham 60 indivíduos no grupo de tratamento e 40 no de controle. Contudo, embora esta distribuição dependa da probabilidade, é possível que haja alguma variaç
B.2. Verdadeiro ou falso: Diferentemente do método de probabilidade fixa, o método de proporção fixa permite saber com antecedência o tamanho dos grupos de controle e de tratamento.
A. Verdadeiro 
B. Falso 
Verdadeiro. A vantagem da proporção fixa é que determinamos o tamanho exato dos grupos de tratamento e controle.
B.3. Por que pode ser recomendável usar a aleatorização estratificada? Marque todas as respostas que julgar corretas.
A. Para assegurar equilíbrio amostral nas variáveis de interesse. 
B. Para aumentar o poder estatístico. 
C. Para estudar subgrupos dentro da amostra de beneficiários. 
D. Por razões políticas ou logísticas. 
Todas as respostas são corretas. A estratificação nos permite balancear a amostra, por exemplo, garantindo uma proporção similar de representantes de mulheres e homens em ambos os grupos (caso gênero seja uma variável de interesse). Além disso, podemos estudar subgrupos e ver como cada um reage ao tratamento, por exemplo, entre jovens e adultos. Outra vantagem é que reduzimos a variância, o que eleva o poder estatístico. Finalmente, por razões políticas (como abranger de maneira proporcional grupos beneficiados por uma política, sem correr o risco de deixar de prever a participação de alguma minoria por devido ao sorteio) ou logísticas (estratificações por região também operam neste sentido), é recomendável estratificar de acordo com a natureza do programa.
B.4. Considere a seguinte situação: você é encarregado de realizar a aleatorização por agrupamento de uma avaliação em escolas. A seguir se apresentam quatro escolas, cada uma com duas turmas. Em qual dos seguintes casos a aleatorização é por agrupamento? (Clique nos ícones para visualizá-los)
A. Imagem 1 
B. Imagem 2 
C. Imagem 3 
D. Imagem 4 
A resposta é a alternativa A. A aleatorização por agrupamento implica a seleção de grupos, não de indivíduos.
C.1. Complete corretamente o seguinte trecho:   No caso em que os recursos são _______ para cobrir todo o universo de beneficiários, podemos fazer uma loteria. No entanto, em alguns casos, as pessoas que não receberam o programa podem escolher _________ com a avaliação.
A. insuficientes; cooperar 
B. suficientes; cooperar 
C. insuficientes; não cooperar 
D. suficientes; não cooperar 
A resposta é a alternativa C. Quando se busca implementar um programa, mas não se conta com recursos suficientes para implementá-lo em um só momento, a loteria é uma alternativa a ser considerada, já que seleciona as pessoas por sorteio. No entanto, pode ocorrer que pessoas que não foram selecionadas não tenham interesse em cooperar com a avaliação.
C.2. Verdadeiro ou falso: Em um desenho por etapas, ao final da avaliação, o grupo de controle nunca terá recebido o programa.
A. Verdadeiro 
B. Falso 
Falso. Em um desenho por etapas, onde toda a população elegível receberá o programa, o sorteio determina quem receberá o programa primeiro e quem o receberá depois. Portanto, o sorteio não determina quem receberá ou não o programa, e sim quando isso acontecerá. Ao final, toda a amostra terá recebido o programa.
C.3. Complete corretamente o seguinte trecho: Com um desenho de aleatorização por etapas, no curto prazo posso ___________, enquanto no longo prazo posso ____________.
A. comparar os resultados do grupo que recebeu o tratamento com o que ainda não o recebeu; comparar o impacto do tempo de exposição ao tratamento 
B. comparar o impacto do tempo de exposição ao tratamento; comparar os resultados do grupo que recebeu o tratamento com o que ainda não o recebeu 
C. medir o impacto daqueles que estão sendo tratados nessa etapa; medir o impacto do tratamento em toda a população 
D. comparar os resultados do grupo que recebeu o tratamento com o que ainda não o recebeu; comparar o impacto dos que são elegíveis para o programa com os que não são elegíveis 
A resposta é a alternativa A. Com o desenho de aleatorização por etapas, no curto prazo é possível obter o impacto do programa ao comparar o grupo de tratados com o de não tratados. No entanto, no longo prazo se torna difícil medir o impacto do programa, dado que todos os indivíduos foram tratados. É por isso que, no longo prazo, podemos medir o impacto do tempo de exposição do programa. Isso é possível fazendo uma comparação entre aqueles que se submeteram ao tratamento durante mais tempo e aqueles que o receberam em uma etapa posterior ou ao final da avaliação.
D.1. Suponha que a Secretaria de Educação de Minas Gerais implementou um programa de reforço escolar em todas as escolas estaduais do semiárido (e não em outras regiões do estado). Para medir o impacto deste programa, um pesquisador seleciona por meio de um sorteio 50 escolas do semiárido e 50 escolas do resto do Estado e as compara. Isto é um exemplo de uma avaliação aleatorizada?
A. Jáexiste uma intervenção (a intervenção A), mas deseja-se testar se outras intervenções poderiam ter maior impacto Desenho 2 
B. Já existe uma intervenção (a intervenção A), mas deseja-se agregar um complemento e se deseja testar qual intervenção complementar teria maior impacto Desenho 3 
C. Já existe uma intervenção com múltiplos tratamentos, mas deseja-se testar se é possível eliminar um dos componentes sem afetar o nível de impacto obtido pelo conjunto de componentes da intervenção Desenho 4 
D. Deseja-se desenhar uma nova intervenção para enfrentar uma necessidade, existem três diferentes alternativas e se deseja testar qual teria maior impacto sobre a necessidade Desenho 1 
D.2. Quais são as possíveis restrições dos múltiplos tratamentos? Marque todas as respostas que julgar corretas.
A. As pessoas podem decidir em quais dos diferentes tratamentos elas vão participar. 
B. Se não existe grupo de controle, só se mede o impacto relativo de uma intervenção com relação a outra. 
C. O tamanho da amostra necessária aumenta de maneira significativa. 
D. Os diferentes grupos não serão estatísticamente similares e, portanto, não serão comparáveis. 
As alternativas corretas são B e C. Uma das restrições dos múltiplos tratamentos é que, se não tivermos um grupo de controle, podemos comparar resultados entre tratamentos, mas só veremos o efeito relativo deles. Para isolar o efeito de cada tratamento, deveríamos designar um desses grupos como controle. A outra restrição dos múltiplos tratamentos é que é necessário um tamanho de amostra grande. Isso se deve ao fato de que, por termos diferentes grupos de tratamento, cada um precisa de um tamanho amostral suficiente. Então, como são vários grupos, o tamanho amostral completo se mostra consideravelmente maior.
E.1. No desenho por meio de estímulos, por que devemos medir o impacto por meio dos que recebem e dos que não recebem o estímulo, em vez dos que participam e que não participam do programa?
A. O estímulo é o único fator que determina se os indivíduos participam do programa. 
B. Os indivíduos que, no final, participam do programa podem ser diferentes dos que não participam. 
C. Os indivíduos que recebem o estímulo são diferentes dos que não recebem o estímulo. 
D. Queremos ver o impacto de receber o estímulo e de receber o programa separadamente. 
A resposta é a alternativa B. O problema de avaliar o impacto comparando os participantes aos não participantes é que eles podem ser sistematicamente diferentes. No entanto, dado que a alocação de estímulos foi aleatória, os que receberam e os que não receberam o estímulo são sistematicamente iguais, o que nos permite medir o impacto do programa. O que se espera é que exista uma alta correlação entre receber o estímulo e participar do programa.
F.1. Escolha o método de aleatorização, considerando as condições que recomendariam o seu uso.
A. O programa está em fase de expansão e, eventualmente, todos devem receber o tratamento. Desenho por etapas 
B. O programa tem a intenção de atingir toda a população, mas por diversas razões, isso ainda não ocorre. Desenho por estímulos 
C. Há mais candidatos do que vagas no programa. Loteria simples 
D. A organização implementadora deseja avaliar o impacto de duas diferentes intervenções para entender qual tem maior impacto. Múltiplos tratamentos