Baixe o app para aproveitar ainda mais
Prévia do material em texto
Como aleatorizar? Bruno Ferman Professor da FGV-SP Pesquisador afiliado do J-PAL Importância Os experimentos aleatorizados constituem o método mais confiável para estimar o impacto de um programa, sempre e quando forem corretamente desenhados e realizados 2 Objetivos • Entender que é possível aleatorizar de maneiras diferentes • Compreender que a melhor maneira não existe: depende do contexto • Ser capaz de identificar a maneira mais adequada para um programa determinado 3 Estrutura da aula • O que é uma avaliação aleatorizada? • Tipos de aleatorização • Desenhos de aleatorização 4 O que é uma avaliação aleatorizada? O que significa “aleatório”? Dicionário Michaelis “aleatório a· le· a· tó· ri· o adjetivo Que depende do acaso ou de acontecimentos incertos, favoráveis ou não a um determinado evento; casual; contingente, fortuito.” • Em estatística – Não contém padrões reconhecíveis ou regularidades – Cada possível resultado tem a mesma probabilidade de acontecer 6 Amostragem aleatória vs. Designação aleatória 7 Amostragem aleatória Designação aleatória 8 Amostragem aleatória vs. Designação aleatória População de interesse Amostra Tratamento Controle DesignaçãoAmostragem (opcional) Nesta aula veremos diferentes maneiras para aleatorizar a designação Tipos de aleatorização Tipos de aleatorização • Aleatorização completa • Aleatorização restritiva • Aleatorização estratificada • Aleatorização por cluster 10 Aleatorização completa: probabilidade fixa • Aleatorização sem nenhuma restrição • Probabilidade fixa de ser designado ao grupo de tratamento (ex.: 50%) • Pode resultar em um grupo de tratamento um pouco maior/menor do que o esperado 11 ID Moeda Grupo 1 Cara Tratamento 2 Cara Tratamento 3 Coroa Controle 4 Cara Tratamento 5 Coroa Controle 6 Cara Tratamento 7 Coroa Controle 8 Coroa Controle 9 Cara Tratamento 10 Cara Tratamento Total T: 6 C: 4 Aleatorização restritiva: proporção fixa • Pré-determina-se o número de pessoas em T e C • Determina-se de maneira aleatória quem conforma ambos os grupos • Ordenar as pessoas de maneira aleatória • Tirar números de uma urna • Usar gerador de números aleatórios • Requer espaço amostral Fonte: Chris Blattman 12 13 Aleatorização estratificada Nordeste Sudeste Amostra de avaliação Grupo ControleGrupo Tratamento Dividir a amostra por região Aleatorizar dentro de cada região Centro-Oeste Criar grupos de tratamento e controle 15 Aleatorização estratificada • Por que estratificar? – Para assegurar equilíbrio nas variáveis de interesse – Para aumentar o poder estatístico – Para estudar subgrupos – Por razões políticas ou logísticas • Quais variáveis utilizar? – Variáveis correlacionadas com o resultado de interesse – Variáveis das quais se deseja fazer uma análise de subgrupo Aleatorização por cluster (agrupamento) • A unidade de aleatorização não é o indivíduo, mas um grupo de indivíduos (escolas, municípios, cidades, etc.) • Todos os indivíduos de um mesmo agrupamento recebem a mesma designação 16 Unidade de aleatorização: individual 17 Unidade de aleatorização: individual 18 Tratamento Controle Unidade de aleatorização: por cluster 19 Unidade de aleatorização: escola 20 Unidade de aleatorização: escola 21 Tratamento Controle 22 Vantagens e desvantagens • Vantagens Por vezes, tratar a amostra em clusters permite viabilizar uma pesquisa por motivos – Logísticos – De contaminação – De interesse para gestores públicos • Desvantagens Agrupamento em clusters incorre na redução da amostra, gerando – Perda de poder – Redução da precisão Desenhos de aleatorização Desenhos de aleatorização Diferentes opções de desenho incluem: – Loteria básica – Por etapas – Múltiplos tratamentos – De estímulos Essas alternativas não são excludentes 24 Loteria básica Loteria básica • As unidades (indivíduos, casas, escolas, etc.) são designadas aleatoriamente ao grupo de tratamento e ao grupo de controle – O grupo de tratamento obtém acesso ao programa – O grupo de controle NÃO obtém acesso ao programa 26 Loteria básica 27 Tratamento Controle Loteria básica • Quando é útil? – Quando não há recurso suficiente para cobrir todas as pessoas elegíveis ao programa • Que possível restrição poderia ter? – O grupo que não recebe o programa (o grupo de controle) pode não cooperar com a avaliação 28 Exemplo: Programa de Ampliação de Cobertura da Educação Secundária (Colômbia) • 1.600 candidatos a bolsas de estudo para estudantes de bairros desfavorecidos: cobrem mais da metade do custo de frequentar uma escola privada na Colômbia • Demanda excede o número de bolsas de estudo disponíveis ...aleatoriza-se a entrega das bolsas 29 30 Loteria básica: exemplo Amostra 1.600 candidatos à bolsa de estudo Tratamento 800 estudantes recebem bolsa Controle 800 estudantes não recebem bolsa Desenho por etapas Desenho por etapas • Quando todos os candidatos devem receber o programa, mas o programa é implementado em etapas – Pode-se escolher aleatoriamente quem participa na primeira etapa e quem participa nas etapas seguintes • No início, os grupos que ainda não receberam o programa fazem parte do grupo de controle 32 Desenho por etapas Etapa 1 Tratamento: 1/3 Controle: 2/3 Etapa 2 Tratamento: 2/3 Controle: 1/3 Finaliza avaliação aleatória Etapa 3 Tratamento: 3/3 Controle: 0 33 2 2 2 2 2 2 2 2 2 2 2 2 2 1 1 1 1 1 1 1 1 1 1 1 1 1 3 33 3 3 3 3 33 3 33 3 3 3 Desenho por etapas • Quando é útil? – Quando implementar o programa de uma só vez não é factível – Quando não se pode excluir ninguém completamente – Em última análise, todos recebem o programa • Que possível restrição poderia ter? – Difícil de medir efeitos a longo prazo – Possibilidade do grupo de controle alterar seu comportamento antecipando o tratamento no período seguinte 34 Exemplo: Programa Bolsa Verde, de Pagamento por Serviços Ambientais (Brasil) • Há famílias que preenchem os requisitos necessários para serem beneficiárias, mas que ainda não integram o programa: há um excesso de demanda • Se o programa tivesse um aumento no número de vagas, o critério de definição de quais famílias da fila de espera seriam beneficiadas poderia ser sorteio de um primeiro grupo • Depois de alguns anos de tratamento, tentar-se-á verificar se houve um aumento, nas regiões e famílias inicialmente contempladas, em: – Cobertura vegetal – Consumo de bens duráveis – Valor das propriedades 35 36 Desenho por etapas: Exemplo Amostra 2.000 potenciais beneficiários ainda não haviam sido selecionados Tratamento 1.000 candidatos são beneficiados Controle 1.000 famílias aguardam mais pelo benefício Tratamento 1.000 famílias são beneficiadas Tratamento 1.000 famílias são beneficiadas Etapa 1 Etapa 2 Desenho de múltiplos tratamentos Desenho de múltiplos tratamentos Às vezes queremos testar • Qual de várias intervenções tem maior impacto? • Qual é o componente mais efetivo do programa? • Qual é a intensidade ideal do tratamento? • Qual é a interação entre diferentes componentes de um programa? É possível aleatorizar múltiplos tratamentos e analisar como se comparam uns com os outros e como se complementam 38 Tratamento 1 Tratamento 2 Tratamento 3 Múltiplos tratamentos Múltiplos tratamentos 40 Que possível restrição poderia haver? • Quando não há um grupo de controle puro, o impacto estimado mede apenas o impacto relativo de uma intervenção versus outra ...além disso, são necessárias amostras muito grandes nos casos em que há vários tratamentos e se deseja fazer uma comparação entre eles Exemplo: Efeito do envio de SMS aos pais na frequência de alunos (Brasil) 43 • Há evidência crescente na literatura de que melhorar a comunicação entre pais e escolas melhora a performance dos estudantes• O funcionamento dos mecanismos é menos claro e se desejava conhecê- lo mais detalhadamente • Há uma avaliação experimental em curso em São Paulo utilizando diferentes tratamentos de SMSs enviadas aos pais: – Conscientização (“Ir à escola todos os dias é importante para as notas de Maria”) – Conscientização + informação (“Maria faltou à escola menos de três vezes nas últimas 3 semanas”) – Conscientização + informação relativa (“Maria faltou à escola menos de três vezes nas últimas 3 semanas. A média da sala dela no mesmo período foi de quatro faltas.”) 44 Amostra Pais de estudantes de escolas públicas de São Paulo Tratamento 1 Recebem mensagem tipo 1 (Conscientização) Controle Não recebe mensagens Tratamento 2 Recebem mensagem tipo 2 (Conscientização + Informação) Tratamento 3 Recebem mensagem tipo 3 (Conscientização + Informação relativa) Exemplo: Efeito do envio de SMS aos pais na frequência de alunos (Brasil) Esquema de incentivos à participação Esquema de incentivos à participação • Às vezes é prático ou eticamente impossível designar o acesso a um programa de forma aleatória – Mas a maioria dos programas tem uma participação inferior a 100% da população alvo • Nesses casos é possível oferecer aleatoriamente um estímulo para participar da intervenção 46 Esquema de incentivos à participação 47 Estímulo Sem estímulo Participam Não participaram Cumprem Não cumprem Esquema de incentivos à participação 48 Comparar incentivados com não incentivados Não comparar participantes com não participantes Ajustar por não cumprimento na fase de análise Estes devem estar correlacionados Estímulo Sem estímulo Participam Não participaram Cumprem Não cumprem Esquema de incentivos à participação 49 Que possível restrição poderia ter? • Mede o impacto daqueles que respondem ao incentivo • Necessita de um incentivo suficientemente potente para elevar a quantidade de participantes • O próprio incentivo pode ter um efeito direto sobre a variável de interesse Exemplo: Programa de capacitação a microempreendedores (Chile) 50 • São oferecidas 20h de oficinas de capacitação a microempresas • Quatro módulos: orçamento, poupança, empréstimo responsável e investimento • Cobertura – Beneficiários de alguns programas de empreendimento do Fundo Chileno de Solidariedade e Investimento Social – Três regiões do Chile (V, VII, Região Metropolitana) 51 Exemplo: Programa de capacitação a microempreendedores (Chile) Amostra 4.570 beneficiários de programas de empreendimento do FOSIS Com incentivo 1.959 pessoas receberam convite Sem incentivo 2.611 pessoas não receberam convite Capacitados Não capacitados Não capacitados Capacitados Conclusões Em resumo • É possível aleatorizar de muitas maneiras diferentes – diferentes opções de acordo com o tipo e o desenho de aleatorização • A melhor maneira não existe: depende do contexto • Pensar bem como aleatorizar… – assegura validade interna – permite responder a perguntas mais interessantes 53
Compartilhar