Post on 04-Apr-2019
Variaciones Unidad y método Restricciones Muestro vs Asignación Tipos Eval.
Variaciones Unidad y método Restricciones Muestro vs Asignación Tipos Eval.
Clase 4 Evaluación experimental II. ¿Cómo se implementan?
Claudia Martínez A.
Profesora Asistente de Economía
Universidad de Chile
cmartineza@econ.uchile.cl
Variaciones Unidad y método Restricciones Muestro vs Asignación Tipos Eval.
Horario
Variaciones Unidad y método Restricciones Muestro vs Asignación Tipos Eval.
Objetivos
Después de esta sesión, los participantes
serán capaces de:
Identificar los diferentes métodos de
aleatorización.
Entender las ventajas y desventajas de cada
método de aleatorización dadas sus
restricciones respectivas.
Identificar el nivel apropiado de aleatorización.
Variaciones Unidad y método Restricciones Muestro vs Asignación Tipos Eval.
Esquema de la presentación
1. Unidad y método de aleatorización
2. Restricciones prácticas
3. Repensando unidades y métodos
4. Variaciones de la aleatorización simple
5. Tipos de Programas a Evaluar
5
Variaciones Unidad y método Restricciones Muestro vs Asignación Tipos Eval.
1. Unidad y método de aleatorización
6
Variaciones Unidad y método Restricciones Muestro vs Asignación Tipos Eval.
Unidad de aleatorización
Existen dos posibilidades:
Aleatorizar al
nivel individual.
¿A qué nivel aleatorizar?
7
Aleatorizar al
nivel de cluster.
T
T T
C
C
C
T
C
Variaciones Unidad y método Restricciones Muestro vs Asignación Tipos Eval.
Unidad de aleatorización
Suponga se quiere estudiar el impacto de
entregar un computador a cada niño.
8
Variaciones Unidad y método Restricciones Muestro vs Asignación Tipos Eval.
Unidad de aleatorización: Individual
Variaciones Unidad y método Restricciones Muestro vs Asignación Tipos Eval.
Unidad de aleatorización: Individual
Variaciones Unidad y método Restricciones Muestro vs Asignación Tipos Eval.
Unidad de aleatorización: Clúster
Variaciones Unidad y método Restricciones Muestro vs Asignación Tipos Eval.
Unidad de aleatorización: Clase
Variaciones Unidad y método Restricciones Muestro vs Asignación Tipos Eval.
Unidad de aleatorización: Clase
Variaciones Unidad y método Restricciones Muestro vs Asignación Tipos Eval.
Unidad de aleatorización: Escuela
Variaciones Unidad y método Restricciones Muestro vs Asignación Tipos Eval.
Unidad de aleatorización: Escuela
Variaciones Unidad y método Restricciones Muestro vs Asignación Tipos Eval.
Unidad de aleatorización
Algunas consideraciones:
¿Cuál es la unidad de tratamiento? ¿Sobre
cuál unidad quiere tener efectos el programa?
Por ejemplo: ¿Intervenimos escuelas o niños?
¿Cuál es la unidad de análisis?
Por ejemplo: ¿Vamos a investigar el impacto de un
programa sobre escuelas o niños?
Externalidades
Viabilidad
16
Variaciones Unidad y método Restricciones Muestro vs Asignación Tipos Eval.
2. Restricciones Prácticas al Diseño
17
Variaciones Unidad y método Restricciones Muestro vs Asignación Tipos Eval.
Restricciones: Recursos
Generalmente recursos limitados
(implementación y evaluación).
Puede implicar exceso demanda.
Oportunidad/necesidad sorteo.
18
Variaciones Unidad y método Restricciones Muestro vs Asignación Tipos Eval.
Restricciones: Elegibilidad
Los criterios de elegibilidad son claves
Inciden en el método que elegimos
Considere:
Tenemos 500 cupos y 500 postulantes
elegibles.
¿Cómo aleatorizamos?
¿Es ético evaluar de esta manera?
19
Variaciones Unidad y método Restricciones Muestro vs Asignación Tipos Eval.
Restricciones: Elegibilidad
Considere:
Tenemos 500 cupos, 2000 aplicantes y 1000
elegibles.
¿Cómo aleatorizamos?
¿Es ético evaluar de esta manera?
20
Variaciones Unidad y método Restricciones Muestro vs Asignación Tipos Eval.
Restricciones: Elegibilidad
En estos casos,
importante entender criterios de selección.
Algunas preguntas útiles para entenderlas:
¿Por qué estamos aplicando estos criterios?
¿Qué buscamos identificar al aplicarlos?
¿Cuáles elementos son esenciales?
21
Variaciones Unidad y método Restricciones Muestro vs Asignación Tipos Eval.
Restricciones: Externalidades
Recordemos objetivo: estimar contrafactual.
¿Qué tienen que ver las externalidades?
¿Contaminación?
¿Puede interesarme medir contaminación?
22
Variaciones Unidad y método Restricciones Muestro vs Asignación Tipos Eval.
Restricciones: Timing
Necesidad de lanzar programa.
Necesidad llevar a escala rápido.
Tomar tiempo puede beneficiar:
Implementación de programa.
Evaluación de impacto del programa.
Pilotear.
No evaluar muy temprano, ni muy tarde.
23
Variaciones Unidad y método Restricciones Muestro vs Asignación Tipos Eval.
Restricciones: Justicia
¿Es justo aleatorizar?
Las loterías son simples.
Comunes y transparentes.
Se pueden hacer públicas.
24
Variaciones Unidad y método Restricciones Muestro vs Asignación Tipos Eval.
Restricciones: Tamaño Muestral
Programas pequeños.
Esto puede ser un problema para medir
impacto. Hablaremos sobre cálculos de
poder y tamaño muestral mañana.
25
Variaciones Unidad y método Restricciones Muestro vs Asignación Tipos Eval.
3. Muestreo vs. Asignación Aleatoria
26
Variaciones Unidad y método Restricciones Muestro vs Asignación Tipos Eval.
Muestreo versus asignación
Primero, hablemos sobre la diferencia
entre asignación aleatoria y muestra
aleatoria.
27
Variaciones Unidad y método Restricciones Muestro vs Asignación Tipos Eval. Muestreo aleatorio vs. Asignación aleatoria
Muestra aleatoria es
para representar a
la población
Variaciones Unidad y método Restricciones Muestro vs Asignación Tipos Eval.
Asignar
aleatoriamente a
tratamiento
y control elimina
sesgo selección
Muestreo aleatorio vs. Asignación aleatoria
Variaciones Unidad y método Restricciones Muestro vs Asignación Tipos Eval.
4. Variaciones de la aleatorización simple
30
Variaciones Unidad y método Restricciones Muestro vs Asignación Tipos Eval.
Alternativas al aleatorizar
Diferentes opciones:
Lotería básica.
Diseño aleatorio por etapas.
Asignación aleatoria en la “burbuja”.
Diseño de estímulos.
Las alternativas no son excluyentes.
31
Variaciones Unidad y método Restricciones Muestro vs Asignación Tipos Eval.
Métodos de asignación aleatoria - recapitulación
32
• Lotería Básica Diseño
• La suscripción al programa es mayor al número de cupos
Son más útiles cuando…
• Familiares.
• Fáciles de entender.
• Fáciles de implementar.
• Se pueden implementar en público.
Ventajas
• Desgaste diferencial. Desventajas
Variaciones Unidad y método Restricciones Muestro vs Asignación Tipos Eval.
Diseños por etapas
¿Cuándo es útil?:
Nadie está siendo excluido totalmente: A la larga, todos obtienen algo.
Progresa/Oportunidades (1997) se implementó en etapas.
¿Qué posible restricción podría tener?
33
Variaciones Unidad y método Restricciones Muestro vs Asignación Tipos Eval.
Diseño por etapas
Ronda 3 Tratamiento: 3/3
Control: 0 1
1
1 1
1
1
1
1
1
1 1
1
1
1
2
2
2 2
2
2
2 2
2
2
2
2 2
2
2
2
3
3 3 3
3
3
3
3 3
3
3 3
3
3
3 3
3
Ronda 1 Tratamiento: 1/3
Control: 2/3
Ronda 2 Tratamiento: 2/3
Control: 1/3
La evaluación
aleatoria finaliza
Variaciones Unidad y método Restricciones Muestro vs Asignación Tipos Eval.
Métodos de asignación aleatoria - recapitulación
35
• Diseño Por Etapas Diseño
• El programa es universal, pero se implementa en etapas.
Son más útiles cuando…
• Fáciles de entender.
• La restricción es fácil de explicar.
• El grupo de control cumple, porque ellos esperan beneficiarse más tarde.
Ventajas
• La anticipación del tratamiento puede afectar la conducta a corto plazo.
• Es difícil medir el impacto a largo plazo.
Desventajas
Variaciones Unidad y método Restricciones Muestro vs Asignación Tipos Eval.
Aleatorización en “la burbuja”
¿Costo de sacrificar buenos candidatos?
Ejemplo: Microfinanzas.
Pero la institución implementadora podría estar dispuesta a
aleatorizar en “la burbuja”.
Las personas “en la burbuja” están en el límite de elegibilidad.
Las personas justo por encima del umbral no son elegibles, pero casi.
Karlan and Zinman (2007)
Aleatorizan la asignación de crédito entre las solicitudes “marginales”
de un banco en Sudáfrica, establecidas por un sistema de “credit
scoring”.
¿Qué efecto del tratamiento se mide?
¿Qué significa esto para la validez externa?
36
Variaciones Unidad y método Restricciones Muestro vs Asignación Tipos Eval.
Asignación aleatoria en “la burbuja”
Dentro de la
burbuja,
compare el
tratamiento
con el control
Muy apropiados Claramente no
elegibles
Tratamiento
Control
Variaciones Unidad y método Restricciones Muestro vs Asignación Tipos Eval.
Métodos de asignación aleatoria - recapitulación
38
• Burbuja Diseño
• No se quiere aleatorizar dentro de todos los elegibles.
• Hay personas “en la burbuja”, justo en el punto limíte en términos de elegibilidad.
Son más útiles cuando…
• Los que “deben” recibir el programa lo reciben. Ventajas
• Mide el impacto sobre aquellos que están en la burbuja. Desventajas
Variaciones Unidad y método Restricciones Muestro vs Asignación Tipos Eval.
Diseño de estímulos
En ocasiones, es práctica o éticamente imposible asignar
el acceso al programa en forma aleatoria.
Pero la mayoría de los programas tiene una aceptación inferior al
100%.
Puede asignarse aleatoriamente el estímulo de recibir tratamiento.
Ejemplo: incentivos al ahorro
Existen incentivos tributarios al ahorro
No se puede aleatorizar quien tiene el incentivo (es un derecho)
Pero se puede aleatorizar a quién se le informa/estimula a
recibirlo
39
Variaciones Unidad y método Restricciones Muestro vs Asignación Tipos Eval.
Diseño de estímulos
Estimular
No estimular
Participó
No participó
Cumplió
No cumplió
Compare los
estimulados con los no
estimulados
No compare participantes
con no participantes
Ajuste por incumplimiento en la
fase de análisis
Estos deben estar correlacionados
Variaciones Unidad y método Restricciones Muestro vs Asignación Tipos Eval.
Diseño de estímulos
Tener cuidado con la interpretación! Se puede evaluar el estimulo directamente
No se puede evaluar directamente el programa estimulado
41
Variaciones Unidad y método Restricciones Muestro vs Asignación Tipos Eval.
Métodos de asignación aleatoria - recapitulación
42
• Estímulo Diseño
• El programa debe estar abierto a todos los recién ingresados.
• Cuando la aceptación es baja, pero se puede mejorar fácilmente con un estímulo.
Son más útiles cuando…
• Se puede asignar en forma aleatoria a nivel individual, aún cuando el programa no sea administrado a ese nivel.
Ventajas
• Mide el impacto de aquellos que responden al estímulo.
• Necesita un aliciente suficientemente grande para mejorar la aceptación.
• El estímulo mismo puede tener un efecto directo.
Desventajas
Variaciones Unidad y método Restricciones Muestro vs Asignación Tipos Eval.
Lotería desde una
canasta.
Stata
Les enseñaremos
cómo hacerlo
mañana…
¿Pero cómo aleatorizar en la práctica?
43
Variaciones Unidad y método Restricciones Muestro vs Asignación Tipos Eval.
5. Tipos de Evaluaciones
44
Variaciones Unidad y método Restricciones Muestro vs Asignación Tipos Eval.
Tipos de Evaluaciones
Programas nuevos ya diseñados.
Programas existentes
Componentes
Innovaciones
Programas diseñados para testear
hipótesis.
Comparar entre programas
45
Variaciones Unidad y método Restricciones Muestro vs Asignación Tipos Eval.
Tipos Evaluaciones: Ejemplos
Programas nuevos ya diseñados
Progresa en México
Programas existentes
Programa de Apoyo al Microemprendimiento
en Chile:
• Transferencia de activos (US$600 aprox)
• Entrenamiento (1 mes aprox)
• Acompañamiento
46
Variaciones Unidad y método Restricciones Muestro vs Asignación Tipos Eval.
Tipos de Evaluaciones: Ejemplos
Programa de Apoyo al Microemprendimiento en Chile:
• Transferencia de activos (US$600 aprox)
• Entrenamiento (1 mes aprox)
• Acompañamiento
Opciones: • Evaluar el programa como tal.
• Evaluar cada componente por separado.
• Evaluar innovaciones a los componentes.
47
Variaciones Unidad y método Restricciones Muestro vs Asignación Tipos Eval.
Tipos de Evaluaciones: Ejemplos
Programas diseñados para testear
hipótesis.
Dinkelman y Martínez (2013)
Hipótesis: bajo esfuerzo escolar causado por
bajas expectativas en la probabilidad de
estudiar en educación superior.
Intervención: DVD con información de ayuda
financiera para educación terciaria
Variaciones Unidad y método Restricciones Muestro vs Asignación Tipos Eval.
Tratamiento Múltiples
Para testear: Distintos componentes.
Diferentes intervenciones posibles.
Distintas hipótesis
Se puede aleatorizar estos
programas/tratamientos.
49
Variaciones Unidad y método Restricciones Muestro vs Asignación Tipos Eval.
Tratamiento 1
Tratamiento 2
Tratamiento 3
Tratamientos múltiples
Variaciones Unidad y método Restricciones Muestro vs Asignación Tipos Eval.
email@povertyactionlab.org
email@povertyactionlab.org
¡Gracias!
Claudia Martínez A.
Profesora Asistente de Economía
Universidad de Chile
cmartineza@econ.uchile.cl
Variaciones Unidad y método Restricciones Muestro vs Asignación Tipos Eval.
¿Cuáles son algunas críticas que ha
escuchado en contra de la evaluación aleatoria?
A. No son justas.
B. Son muy
complicadas.
C. Tratan a las
personas como
ratas.text...