Clase 2

Vista previa del material en texto

TRADUCIENDO LA INVESTIGACIÓN EN ACCIÓN 
Inferencia Causal y Diseños 
Experimentales 
Ryan Cooper 
J-PAL Latinoamérica y el Caribe 
 
povertyactionlab.org 
1. Problema de Atribución Causal 
2. Qué es una Evaluación Experimental 
3. ¿Ética? Ejemplo Evaluación UTPMP 
4. Cómo realizar una evaluación experimental 
 
 
 
 
 
2 
Inferencia Causal y Eval Experimental 
2 
TRADUCIENDO LA INVESTIGACIÓN EN ACCIÓN 
povertyactionlab.org 
I – El Problema de Atribuir 
Causalidad 
• Ciencias Sociales buscan medir: CAUSA-EFECTO. 
 
• Ej: Cura de enfermedad / aumentar productividad laboral 
 
• Preguntas de política pública => RELACIONES CAUSALES. 
 
 
4 
Relaciones Causales 
4 
• Ejemplos de preguntas causales en Ciencias Sociales: 
¿Cuál es el Efecto de(l): 
1. Transferencias condicionadas en educación 
2. La provisión de agua potable en reducción mort infantil 
3. tamaño de la clase (n° alumnos) en la rendimineto niños 
4. encarcelamiento en la reincidencia criminal 
 
 
5 
Preguntas causales 
5 
• Ejemplo 1: Alumno con bajas calificaciones. Causa: pocas 
horas de estudio? 
-Otros factores? Circunstancias particulares que llevaron a mala 
performance; desmotivación por bajas notas anteriores a pesar de 
haber estudiado mucho… 
• Ejemplo 2: Paciente con enfermedades respiratorias. 
Causa: fumar? 
- Otros factores? Vida sedentaria; antecedentes familiares… 
 En general podemos asociar un presunto efecto a múltiples 
causas. ¿Cómo Atribuir Causalidad? 
 
 
6 
Problema de Atribuir Causalidad 
6 
Complejidad de medición causal 
Tipo Colegio Simce 
Aporte Padres 
Educación Padres Ingresos 
Repitencia 
Pre-Básica 
NO OBSERVABLES 
-0.2 
6.8 
7.4 
13.4 
8.1 
16.6 
18.2 
• Condiciones Atribuir Causalidad (John Stuart Mill): 
• A es la presunta causa del efecto B si: 
1. A sucede antes que B. 
2. Variación en A => consecuente variaciones en B. 
3. No hay otra explicación a efecto B, que la causa A. 
En esta clase ¿qué método nos asegura las 3 condiciones? 
8 
Problema de Atribuir Causalidad 
8 
Condiciones de Stuart y nuestro Ej 
 
• Analizar CAUSALIDAD es contestar la pregunta: 
¿qué hubiera pasado si las unidades bajo 
“Tratamiento” no lo hubieran recibido? 
 
 Se requiere estimar el contrafactual. 
10 
Problema de Atribuir Causalidad 
10 
 
• El Problema Fundamental de la Inferencia Causal es que 
el contrafactual no es observable. 
 
– Ej. ¿resultado niño de clase pequeña SI HUBIESE ido a una 
clase con más alumnos? 
– Notar: es “el mismo niño” el que debemos observar. 
Problema de Atribuir Causalidad 
iii YY 01 
El problema es que es imposible observar y simultáneamente. 
 10 días de enfermedad 30 días de enfermedad 
 Impacto de 20 días de enfermedad. 
iii YY 01 
Problema de Atribución 
  
  
 10 días de enfermedad 30 días de enfermedad 
¿Impacto de 20 días de enfermedad? 
¿Qué ocurre en la realidad? 
ESTE RESULTADO NO SERÍA CONFIABLE!!!!! 
Problema de Atribución 
BUENA NOTICIA!? 
 
• Es posible estimar EFECTO PROMEDIO. 
 
• Resultado promedio: GRUPOS T y C. 
 
• El GRUPO de CONTROL busca recrear 
 
• El RESULTADO O ESCENARIO CONTRAFACTUAL. 
14 
Problema de Atribuir Causalidad 
14 
 10 días de enfermedad - 30 días de enfermedad 
Impacto Promedio de 20 días de salud. 
G1 
G2 
(promedio) (promedio) 
)1/( 1 ii TYE - )0/( 0 ii TYE
Solución 
• Un buen contrafactual: 
 
• Grupo de C igual en promedio a grupo de T: 
 
• Esto incluye: 
– Características observables y medibles. 
– Características NO observables y NO medibles. 
 
• Única diferencia entre T y C debería ser la intervención. 
16 
Importancia del Grupo Control 
16 
El Invisible Contrafactual 
Tiempo 
In
g
re
so
 l
ab
o
ra
l 
Impacto 
Capacitación 
Laboral 
17 
Impacto: Escenario #2 
Tiempo 
In
g
re
so
 L
ab
o
ra
l 
Impacto 
Capacitación 
laboral 
18 
Impacto: Escenario #3 
Tiempo 
In
g
re
so
 L
ab
o
ra
l 
Impacto 
Capacitación 
Laboral 
19 
Impact - Contrafactual - Grupo Control 
R
es
u
lt
ad
o
 p
ri
m
ar
io
 
Impacto 
Intervención 
G2 
G2 
G2 
G1 
G2 
Pero MUY difícil… 
…Estimar el contrafactual 
Porque típicamente… 
Sesgo de Selección 
• Individuos toman decisiones y eligen bs y servicios. 
• Gobiernos y ONGs seleccionan a personas. 
• Quienes deciden por A o B, generalmente diferentes. 
• Seleccionados vs. No seleccionados no son iguales. 
 
• Ej. : ¿Por qué una empresa solicita un crédito? 
– Problemas económicos… 
– Buenas expectativas… 
 
• Ej2: comparar encarcelados y no encarcelados 
• ¿que nos llevaría a concluir? 
 
Problema de Selección 
22 
G1 
G2 
Sesgo de Selección 
Impacto Real Intervención 
Sesgo Selección 
24 
Métodos de Evaluación de Impacto 
24 
Todos los métodos buscan lo mismo: 
 
1. Estimar qué hubiera pasado sin programa 
 
2. Creación de Grupo de comparación o de control. 
 
3. Estimar diferencia entre grupo control y tratamiento. 
 
 Principal diferencia: cómo recrean el contrafactual. 
 
25 
Métodos de Evaluación de Impacto 
25 
1. Evaluaciones Experimentales: 
• Se asignan unidades al programa aleatoriamente (al azar). 
 
• En probabilidad las unidades de ambos grupos son iguales. 
 
• Estudios Prospectivos. 
 
2. Estudios Observacionales o Cuasi-Experimentales: 
• Asignación del programa NO es por sorteo. 
 
• Diferentes métodos para elegir grupo comparación. 
 
• Generalmente Estudios Retrospectivos. 
 
 
26 
Métodos de Evaluación de impacto 
TRADUCIENDO LA INVESTIGACIÓN EN ACCIÓN 
II – ¿Qué es una evaluación 
aleatoria? 
Diferentes Definiciones 
Evaluación Aleatoria 
Evaluación Aleatorizada 
Evaluación Experimental 
Estudio Controlado Aleatorio 
RCT 
Experimento Aleatorio 
28 
¿Qué es una evaluación aleatoria? 
Evaluación donde el programa se asignan 
aleatoriamente. 
 Grupo de tratamiento – se le ofrece programa 
 Grupo de control – no recibe progrma 
29 
Método experimental 
El ÚNICO MÉTODO que garantiza tener grupos 
comparables y estimada contrafactual es la asignación 
aleatoria (Estudios Experimentales). 
 
30 
Método Cuasi experimental 
31 
Ejemplo Cuasi Experimental 
Cuando la asignación de un tratamiento no es aleatoria el 
problema de identificación se hace realmente relevante. 
)0()0/()1()1/(
)0()0/()1()1/(
00
11


iiiiii
iiiiii
TpTYETpTYE
TpTYETpTYE
No conozco 
No conozco Conozco 
Conozco 
Tratados No Tratados 
Ejemplo Cuasi Experimental 
Cuando la asignación de un tratamiento no es aleatoria el 
problema de identificación se hace realmente relevante. 
)0()0/()1()1/(
)0()0/()1()1/(
00
11


iiiiii
iiiiii
TpTYETpTYE
TpTYETpTYE
No conozco 
No conozco Conozco 
Conozco 
Tratados No Tratados 
Ejemplo Cuasi Experimental 
¿Cómo estimo ? 
Lo puedo estimar mediante la técnica de Matching o Pareamiento 
Grupo Tratado Población No Tratada 
 1/0 DYE i
Ejemplo Cuasi Experimental 
)/()/1(Pr)( iiiii XDEXDobXp 
iiiii XXXXp   3423121)(
Con el modelo anterior se computar una 
probabilidad para cada individuo del 
grupo de tratamiento y de control. Luego 
se hace el matching: 
0.75 
0.8 
0.82 
0.53 
0.61 
0.54 
0.53 
0.22 
0.4 
0.1 
0.54 
0.8 
0.73 
0.24 
0.31 
0.14 
0.09 
0.61 
0.80 
- 
- 
- 
- 
- 
- 
= 
= 
= 
= 
= 
= 
10 
20 
15 
29 
16 
27 
 IMPACTO PROMEDIO = 19,5 
Experimental Cuasi Experimental 
36 
G1 
G2 
Pasos claves para realizar un experimento 
37 
1
. Lin
ea d
e
 b
ase 
2. DIVISION ALEATORIA 
 2. INTERVENCIÓN 
 4
. M
ed
ició
n
 fin
al 
POBLACIÓN META 
 
 3. STATUS QUO 
 
TRADUCIENDO LA INVESTIGACIÓN EN ACCIÓN 
III – ¿Ética?: Ejemplo UTPMP 
povertyactionlab.org 
“Llegar a los Pobres de los Pobres”UTPMP intuye que la mediagua sirve 
como un primer paso…. 
Voluntarios en acción 
The Model 
www.untechoparamipais.org 
Construcción masiva 
de 
viviendas mínimas 
Habilitación social Vivienda 
definitiva 
Costa Rica 
El Salvador 
Guatemala 
Ecuador 
Nicaragua 
Rep. Dominicana 
Argentina 
Uruguay 
Colombia 
Paraguay 
Perú 
Brasil 
México 
Chile 
474 
1437 
84 
201 
39 
9 
928 
1283 
1141 
82 
2897 
185 
753 
32618 
5 
Total Houses 
Built: 42.136 
La Casa 
o 18 m2 
o Madera o aluminio 
o Piso levantado del suelo 
o Protección del clima 
o Mejor ventilación 
o Se construye en 1-2 días / 6-12 voluntarios 
o Cost o de materiales: US$ 1000 
o Beneficiarios contribuyen el 10% 
www.untechoparamipais.org 
Beneficiary Selection 
www.untechoparamipais.org 
Focalización: 
“Llegar a Pobres 
de los Pobres” 
Evaluación: 
“Entregar casas 
por sorteo” 
Desafío Inicial 
www.untechoparamipais.org 
Desafío Inicial 
Selección de Beneficiarios 
www.untechoparamipais.org 
 Peras con Manzanas 
 Focalización relativamente débil 
 Manzanas con Manzanas 
 Mejor focalización 
TRADUCIENDO LA INVESTIGACIÓN EN ACCIÓN 
IV - ¿Cómo aleatorizar? 
povertyactionlab.org 
Muestreo Aleatorio 
Vs 
Asiganción aleatoria 
50 
 Muestreo aleatorio vs. Asignación aleatoria 
Muestra aleatoria 
es para 
representar a la 
población 
51 
Asignar 
aleatoriamente a 
tratamiento 
y control es para 
evitar sezgos de 
selección 
 Muestreo aleatorio vs. Asignación aleatoria 
52 
Muestreo aleatorio vs. Asignación 
aleatoria 
Población Muestra 
Grupo 
Control 
Grupo 
Tratamiento 
Aleatorización Aleatorización 
1 ra Etapa: 
Asegura que el resultado de 
la muestra va a representar el 
resultado de la población, 
dado un nivel de error de 
muestreo 
Validez Externa 
2 da Etapa: 
Asegura que el efecto 
observado en la variable de 
resultado se debe a algún 
aspecto del Tratamiento y 
no a otros factores 
Validez Interna 
53 
Población 
Elegible 
Unidad de aleatorización: 
¿individual? 
54 
Unidad de aleatorización: 
¿individual? 
55 
Unidad de aleatorización: 
¿unidades agrupadas? 
“Grupos de personas”: Estudio aleatorio en unidades agrupadas 56 
Unidad de aleatorización: ¿clase? 
57 
Unidad de aleatorización: ¿clase? 
58 
Unidad de aleatorización: ¿escuela? 
59 
Unidad de aleatorización: ¿escuela? 
60 
1. Método de exceso de demanda (lotería) 
 
2. Método de Introducción Progresiva: 
 
3. Aleatorización en punto de corte (o en la burbuja) 
 
4. Aleatorización por sub-grupos 
 
 
 
Estrategias de aleatorización 
61 
• …la mecánica es simple. 
 
• Comandos en Stata y Excel. 
 
 
 
Asignación aleatoria en la práctica 
62 
62 
• Si no es posible tener una lista podemos usar otros 
métodos menos rigurosos como: 
– Sacar papeles de una urna 
– Usar la primera letra del nombre 
 
 
 
 
• Siempre verifique que el resultado final parezca 
aleatorio (e.g. pruebas de medias o de distribuciones 
entre los grupos). 
– Estratificación 
 
 
 
Asignación aleatoria en la práctica 
63 
Tratamintos Múltiples 
64 
• A veces la pregunta central es decidir entre 
diferentes intervenciones posibles. 
 
65 
Tratamientos múltiples 
• ¿Cuáles son los mecanismos relevantes? 
 
• ¿Cuál es la combinación más económica? 
 
• Puede ser clave para la definición de políticas. 
Tratamiento 1 
Tratamiento 2 
Tratamiento 3 
 Tratamientos múltiples 
66 
• Una forma de definir los distintos tratamientos es 
separando los componentes de un programa, y 
estableciendo diferentes combinaciones. 
 
• ¿Cuál es la combinación más económica? 
 
• Ventaja: situación gana-gana para operaciones, 
pueden ser útiles para responder preguntas más allá 
del simple “impacto”. 
 
Tratamientos múltiples 
67 
• En un programa de capacitación laboral, un grupo 
recibo el “tratamiento” completo: capacitación en 
aulas y pasantías. 
 
• A otro grupo sólo se les da la capacitación en las 
aulas. 
 
• Otro grupo sólo recibe la pasantía. 
 
• Además de medir impacto, nos ayuda a identificar 
mecanismos. 
Tratamientos Múltiples 
68 
Estratificación 
69 
• Realizar aleatorización por sub grupos. 
• Notas: 
• Estratificar en variables que podrían tener un impacto. 
• Estratificar en subgrupos que le interesan 
70 
Estratificación 
Estratificación 
Vulnerable
 
Más Pobre 
Pobre 
1. Problema de Atribución Causal 
2. Qué es una evaluación Experimental 
3. ¿Ética? Ejemplo Evaluación UTPMP 
4. Cómo realizar una evaluación experimental 
 
 
 
 
 
72 
Inferencia Causal y Eval Experimental 
72 
¡Gracias! 
73