Enap - Avaliação de Impacto de Programas e Políticas Sociais - Módulo 04

Prévia do material em texto

Como aleatorizar?
Bruno Ferman
Professor da FGV-SP
Pesquisador afiliado do J-PAL
Importância
Os experimentos aleatorizados constituem o método mais confiável para 
estimar o impacto de um programa, sempre e quando forem corretamente 
desenhados e realizados
2
Objetivos
• Entender que é possível aleatorizar de maneiras diferentes
• Compreender que a melhor maneira não existe: depende do contexto
• Ser capaz de identificar a maneira mais adequada para um programa 
determinado
3
Estrutura da aula
• O que é uma avaliação aleatorizada?
• Tipos de aleatorização
• Desenhos de aleatorização
4
O que é uma avaliação aleatorizada?
O que significa “aleatório”?
Dicionário Michaelis
“aleatório
a· le· a· tó· ri· o
adjetivo
Que depende do acaso ou de acontecimentos incertos, favoráveis ou não 
a um determinado evento; casual; contingente, fortuito.”
• Em estatística
– Não contém padrões reconhecíveis ou regularidades
– Cada possível resultado tem a mesma probabilidade de acontecer
6
Amostragem aleatória vs. 
Designação aleatória
7
Amostragem 
aleatória
Designação 
aleatória
8
Amostragem aleatória vs.
Designação aleatória
População de 
interesse
Amostra
Tratamento
Controle
DesignaçãoAmostragem
(opcional)
Nesta aula veremos 
diferentes maneiras para 
aleatorizar a designação
Tipos de aleatorização
Tipos de aleatorização
• Aleatorização completa
• Aleatorização restritiva
• Aleatorização estratificada
• Aleatorização por cluster
10
Aleatorização completa: 
probabilidade fixa 
• Aleatorização sem nenhuma restrição
• Probabilidade fixa de ser designado 
ao grupo de tratamento (ex.: 50%)
• Pode resultar em um grupo de 
tratamento um pouco maior/menor 
do que o esperado
11
ID Moeda Grupo
1 Cara Tratamento
2 Cara Tratamento
3 Coroa Controle
4 Cara Tratamento
5 Coroa Controle
6 Cara Tratamento
7 Coroa Controle
8 Coroa Controle
9 Cara Tratamento
10 Cara Tratamento
Total
T: 6
C: 4
Aleatorização restritiva: 
proporção fixa
• Pré-determina-se o número de 
pessoas em T e C
• Determina-se de maneira aleatória 
quem conforma ambos os grupos
• Ordenar as pessoas de maneira 
aleatória
• Tirar números de uma urna
• Usar gerador de números aleatórios
• Requer espaço amostral
Fonte: Chris Blattman 12
13
Aleatorização estratificada
Nordeste Sudeste
Amostra de avaliação
Grupo ControleGrupo Tratamento
Dividir a amostra por região
Aleatorizar dentro de cada região
Centro-Oeste
Criar grupos de tratamento e controle
15
Aleatorização estratificada
• Por que estratificar?
– Para assegurar equilíbrio nas variáveis de interesse
– Para aumentar o poder estatístico
– Para estudar subgrupos
– Por razões políticas ou logísticas
• Quais variáveis utilizar?
– Variáveis correlacionadas com o resultado de interesse
– Variáveis das quais se deseja fazer uma análise de subgrupo
Aleatorização por cluster (agrupamento)
• A unidade de aleatorização não é o indivíduo, mas um grupo de 
indivíduos (escolas, municípios, cidades, etc.)
• Todos os indivíduos de um mesmo agrupamento recebem a mesma 
designação
16
Unidade de aleatorização: individual
17
Unidade de aleatorização: individual
18
Tratamento
Controle
Unidade de aleatorização: por cluster
19
Unidade de aleatorização: escola
20
Unidade de aleatorização: escola
21
Tratamento
Controle
22
Vantagens e desvantagens
• Vantagens
Por vezes, tratar a amostra em clusters permite viabilizar uma pesquisa
por motivos
– Logísticos
– De contaminação
– De interesse para gestores públicos
• Desvantagens
Agrupamento em clusters incorre na redução da amostra, gerando
– Perda de poder
– Redução da precisão
Desenhos de aleatorização
Desenhos de aleatorização
Diferentes opções de desenho incluem:
– Loteria básica
– Por etapas
– Múltiplos tratamentos
– De estímulos
Essas alternativas não são excludentes
24
Loteria básica
Loteria básica
• As unidades (indivíduos, casas, escolas, etc.) são designadas 
aleatoriamente ao grupo de tratamento e ao grupo de controle
– O grupo de tratamento obtém acesso ao programa
– O grupo de controle NÃO obtém acesso ao programa
26
Loteria básica
27
Tratamento
Controle
Loteria básica
• Quando é útil?
– Quando não há recurso suficiente para cobrir todas as pessoas elegíveis 
ao programa
• Que possível restrição poderia ter?
– O grupo que não recebe o programa (o grupo de controle) pode não 
cooperar com a avaliação
28
Exemplo:
Programa de Ampliação de Cobertura da Educação Secundária 
(Colômbia)
• 1.600 candidatos a bolsas de estudo para estudantes de bairros 
desfavorecidos: cobrem mais da metade do custo de frequentar uma 
escola privada na Colômbia
• Demanda excede o número de bolsas de estudo disponíveis
...aleatoriza-se a entrega das bolsas
29
30
Loteria básica: exemplo
Amostra
1.600 candidatos à 
bolsa de estudo
Tratamento
800 estudantes 
recebem bolsa
Controle
800 estudantes não 
recebem bolsa
Desenho por etapas
Desenho por etapas
• Quando todos os candidatos devem receber o programa, mas 
o programa é implementado em etapas
– Pode-se escolher aleatoriamente quem participa na primeira etapa 
e quem participa nas etapas seguintes
• No início, os grupos que ainda não receberam o programa 
fazem parte do grupo de controle
32
Desenho por etapas
Etapa 1
Tratamento: 1/3
Controle: 2/3
Etapa 2
Tratamento: 2/3
Controle: 1/3
Finaliza avaliação aleatória
Etapa 3
Tratamento: 3/3
Controle: 0
33
2
2
2 2
2
2
2
2
2
2
2
2
2 1
1
1
1
1
1
1
1
1
1
1
1
1
3
33
3
3
3
3
33
3
33
3 3
3
Desenho por etapas
• Quando é útil?
– Quando implementar o programa de uma só vez não é factível
– Quando não se pode excluir ninguém completamente
– Em última análise, todos recebem o programa
• Que possível restrição poderia ter?
– Difícil de medir efeitos a longo prazo
– Possibilidade do grupo de controle alterar seu comportamento 
antecipando o tratamento no período seguinte
34
Exemplo:
Programa Bolsa Verde, de Pagamento por Serviços Ambientais (Brasil)
• Há famílias que preenchem os requisitos necessários para serem beneficiárias, 
mas que ainda não integram o programa: há um excesso de demanda
• Se o programa tivesse um aumento no número de vagas, o critério de 
definição de quais famílias da fila de espera seriam beneficiadas poderia ser 
sorteio de um primeiro grupo
• Depois de alguns anos de tratamento, tentar-se-á verificar se houve um 
aumento, nas regiões e famílias inicialmente contempladas, em:
– Cobertura vegetal
– Consumo de bens duráveis
– Valor das propriedades
35
36
Desenho por etapas: Exemplo
Amostra
2.000 potenciais 
beneficiários ainda 
não haviam sido 
selecionados
Tratamento
1.000 candidatos 
são beneficiados
Controle
1.000 famílias 
aguardam mais pelo 
benefício
Tratamento
1.000 famílias são 
beneficiadas
Tratamento
1.000 famílias são 
beneficiadas
Etapa 1 Etapa 2
Desenho de múltiplos tratamentos
Desenho de múltiplos tratamentos
Às vezes queremos testar
• Qual de várias intervenções tem maior impacto?
• Qual é o componente mais efetivo do programa?
• Qual é a intensidade ideal do tratamento?
• Qual é a interação entre diferentes componentes de um programa?
É possível aleatorizar múltiplos tratamentos e analisar como se 
comparam uns com os outros e como se complementam
38
Tratamento 1
Tratamento 2
Tratamento 3
Múltiplos tratamentos
Múltiplos tratamentos
40
Que possível restrição poderia haver?
• Quando não há um grupo de controle puro, o impacto estimado mede 
apenas o impacto relativo de uma intervenção versus outra
...além disso, são necessárias amostras muito grandes nos casos em que há 
vários tratamentos e se deseja fazer uma comparação entre eles
Exemplo: Efeito do envio de SMS aos pais na frequência de alunos (Brasil)
43
• Há evidência crescente na literatura de que melhorar a comunicação 
entre pais e escolas melhora a performance dos estudantes• O funcionamento dos mecanismos é menos claro e se desejava conhecê-
lo mais detalhadamente
• Há uma avaliação experimental em curso em São Paulo utilizando 
diferentes tratamentos de SMSs enviadas aos pais:
– Conscientização (“Ir à escola todos os dias é importante para as notas de 
Maria”)
– Conscientização + informação (“Maria faltou à escola menos de três vezes nas 
últimas 3 semanas”)
– Conscientização + informação relativa (“Maria faltou à escola menos de três 
vezes nas últimas 3 semanas. A média da sala dela no mesmo período foi de 
quatro faltas.”)
44
Amostra
Pais de 
estudantes de 
escolas públicas 
de São Paulo
Tratamento 1
Recebem mensagem tipo 1 
(Conscientização)
Controle
Não recebe mensagens
Tratamento 2
Recebem mensagem tipo 2
(Conscientização + Informação)
Tratamento 3
Recebem mensagem tipo 3
(Conscientização + Informação 
relativa)
Exemplo: Efeito do envio de SMS aos pais na frequência de alunos (Brasil)
Esquema de incentivos
à participação
Esquema de incentivos à participação
• Às vezes é prático ou eticamente impossível designar o acesso a um 
programa de forma aleatória
– Mas a maioria dos programas tem uma participação inferior a 100% da 
população alvo
• Nesses casos é possível oferecer aleatoriamente um estímulo para 
participar da intervenção
46
Esquema de incentivos à participação
47
Estímulo
Sem estímulo
Participam
Não 
participaram
Cumprem
Não 
cumprem
Esquema de incentivos à participação
48
Comparar incentivados com não incentivados
Não comparar participantes com não 
participantes
Ajustar por não cumprimento na fase de análise
Estes devem estar correlacionados
Estímulo
Sem estímulo
Participam
Não 
participaram
Cumprem
Não 
cumprem
Esquema de incentivos à participação
49
Que possível restrição poderia ter?
• Mede o impacto daqueles que respondem ao incentivo
• Necessita de um incentivo suficientemente potente para elevar a 
quantidade de participantes
• O próprio incentivo pode ter um efeito direto sobre a variável de interesse
Exemplo: Programa de capacitação a microempreendedores (Chile)
50
• São oferecidas 20h de oficinas de capacitação a microempresas
• Quatro módulos: orçamento, poupança, empréstimo responsável e 
investimento
• Cobertura
– Beneficiários de alguns programas de empreendimento do Fundo Chileno 
de Solidariedade e Investimento Social
– Três regiões do Chile (V, VII, Região Metropolitana)
51
Exemplo: Programa de capacitação a microempreendedores (Chile)
Amostra
4.570 beneficiários 
de programas de 
empreendimento do 
FOSIS
Com 
incentivo
1.959 pessoas 
receberam 
convite
Sem 
incentivo
2.611 pessoas 
não receberam 
convite
Capacitados
Não capacitados
Não capacitados
Capacitados
Conclusões
Em resumo
• É possível aleatorizar de muitas maneiras diferentes
– diferentes opções de acordo com o tipo e o desenho de aleatorização
• A melhor maneira não existe: depende do contexto
• Pensar bem como aleatorizar…
– assegura validade interna
– permite responder a perguntas mais interessantes
53