VI CONFERENCIA DE LA RED DE MONITOREO Y EVALUACIÓN EN...
Transcript of VI CONFERENCIA DE LA RED DE MONITOREO Y EVALUACIÓN EN...
Evaluación de Impacto
Luis Rubalcava
26 de Agosto de 2010
VI CONFERENCIA DE LA RED DE MONITOREO Y
EVALUACIÓN EN AMÉRICA LATINA Y EL CARIBE
2
¿Por qué evaluar?
• Necesidad saber qué funciona
– Presupuestos limitados
– Asignar el gasto bajo criterios objetivos de efectividad e impacto
• Mejorar la implementación del programa o política
– Mejorar programas o políticas (quién recibe, lo que recibe, diseño)
– Eliminar programas de bajo costo-efectividad
– Responsabilidad ética y compromiso con la sociedad
• La información es importante para la sustentabilidad
– Negociación del presupuesto
– Informar a la opinión pública
3
Evaluación de Impacto• ¿Qué beneficios trae el Programa a la población beneficiaria?
¿Cuáles son los beneficios positivos?
¿Cuales son los efectos no deseados?
• ¿Se puede mejorar el diseño del Programa o Política Pública?
¿Cuáles son los componentes/acciones del Programa que mayor impacto
generan?
¿Cómo se puede potencializar el Programa?
• ¿Es el Programa costo-efectivo?
¿Son los costos del Programa razonables de acuerdo a los beneficios que
ofrece a la población?
¿Existe algún otro diseño de Programa que pueda alcanzar lo mismos
beneficios a un menor costo?
Ejemplos
Programa Oportunidades
• ¿Cuántos niños dejan de ser desnutridos gracias al Programa
Oportunidades?
Programa Estancias Infantiles
• ¿Cuántas mujeres puede entrar a la fuerza de trabajo gracias al
Programa Estancias Infantiles?
Programa Seguro Popular
• ¿Cuánto ha evitado los gastos catastróficos por parte de los
hogares, el Programa del Seguro Popular?
Evaluar impacto vs resultados o tendencias
Seguro Popular: hogares beneficiarios por año (millones)
¿Es bueno el crecimiento de la cobertura?
Evaluar impacto vs resultados o tendencias
Fuente: Parker y Scott. An Evaluation of the Mexican Seguro Popular program: Work and Formal sector Participation, 2008.
Criterio: Pareamiento a nivel individual.
Diferencias en Diferencias
Tratamiento: Municipios 2002 – 2003
Control: Municipios 2004 – 2005
0
-12
-10
-8
-6
-4
-2
0
2
4
6
8
Afiliación IMSS (URBANO)
Capacidad para trabajar Gastos médicos
Impacto del Seguro Popular
La evolución del empleo informal, sector externo y Seguro Popular
Fuente: Arias, Azuara, Bernal, Heckman, Villarreal. Policies to Promote Growth and Economic Efficiency in Mexico. 2010. IZA DP No. 4740
Evaluar Impacto vs resultados o tendencias
• Barros (2009) no encuentra efecto del Seguro Popular sobre
Participación de la fuerza de trabajo
horas trabajadas de los beneficiarios1.
• Knox (2008) no encuentra un efecto del Seguro Popular sobre
tasas de empleo formal
horas y/o semanas trabajadas del jefe de hogar2.
1 Barros, Rodrigo (2009). "Wealthier but Not Much Healthier: Effects of a Major Health Insurance Program for the Poor in Mexico." Stanford University
2 Knox, Melissa (2008). "Health Insurance for All: An Evaluation of Mexico's Seguro Popular Program." Unpublished manuscript, Department of
Economics, University of California Berkley
-7.2 %
-17%
15 %
-20
-15
-10
-5
0
5
10
15
20
Prevalencia de anemia (48 a 59 meses)
Prevalencia de baja talla (24 a 71 meses)
Incremento en habilidades motoras (36 a
71 meses)
¨
P
r
o
p
o
r
c
i
ó
n
Fuente: “Evaluación externa de impacto del Programa Oportunidades 2001-2006”, Cruz, de la
Torre y Velázquez (Compiladores), INSP, 2006
Disminuye
Anemia
Disminuye
baja talla
Aumenta
habilidad
motora
Impacto de Oportunidades sobre acumulación de capital humano
Evaluación de Impacto: Pregunta central
Pregunta:
• ¿Qué hubiera pasado si no se hubiera tenido el
programa?
• Sin embargo, es una pregunta difícil de responder,
porque o se tiene o no se tiene el programa
12
¿Cómo se mide el impacto?
• El impacto del programa se mide a través de métodos estadísticos
que construyen un escenario contra-factual
• Qué habría pasado si no existiera el programa.
• Impacto estimado es la diferencia entre el
individuo/escuela/clínica/localidad beneficiada y su contra-factual.
• Construir el contra-factual es la clave en la evaluación de impacto
13
Qué se requiere
• Se necesita construir grupos de tratamiento (beneficiarios) y grupos de control que son comparables (contra-factual)
• Encontrar un diseño contra-factual implica que SOLAMENTE las diferencias restantes entre el grupo de tratamiento y control se pueden atribuir a la intervención.
14
Medición de ImpactoMétodos más usados:
• Métodos Aleatorios Contra-factual: Selección de grupos de control y tratamiento en forma aleatoria
• Matching o PareamientoContra-factual: Selección de grupos de control y tratamiento por características observables similares
• Regresión discontinuaContra-factual: Selección de grupos de control y tratamiento en base a un criterio o valor de corte definido ad- hoc que distingue a un grupo de otro pero sin ninguna relación con el efecto de la intervención
• Experimentos NaturalesContra-factual: Selección de grupos de control y tratamiento antes y después de un cambio no anticipado de política pública
ETAPA 3
ETAPA 4
ETAPA 2
ETAPA 1
Método de AleatorizaciónUn solo Universo
Selección
aleatoria
Control Tratamiento
APLICACIÓN DEL PROGRAMA
Control: SIN
Programa
Tratamiento:
CON Programa
ANÁLISIS DE
DIFERENCIAS
16
Diferencias en Diferencias
• Comparar cambios en los resultados entre el grupo de tratamiento y el grupo de control (contra-factuales)
• El impacto es la diferencia en el cambio de los resultados.
• Impacto = (Yt1-Yt0) - (Yc1-Yc0)
17
TiempoTratamiento
Indicador de
interés
Grupo de
Tratamiento
Grupo de Control
Efecto
Promedio
del
Programa
B
A
D
C
Consideraciones del Método de aleatorización
• Validez internaEl diseño de evaluación debe tener consistencia interna. El carácter aleatorio entre grupos de control y tratamiento debe respetarse durante todo el periodo de la evaluación.
Falla cuando se da una pérdida de controles y tratamiento a lo largo del tiempo.
Posibles causas: migración.; falta de compromiso de las autoridades de respetar el diseño.
• Validez externaLas características de la muestra que conforma los grupos de control y tratamiento debe ser representativa de las características de la población donde se implantará el Programa.
Pareamiento (Matching)
•Selecciona al grupo contra-factual en función de características similares observables en relación al grupo que recibe el beneficio del Programa (Edad, sexo, educación, localidad, ingreso etc.).
•Problema: estas características pueden ser el resultado de la presencia del programa y generar un sesgo de estimación
•La muestra de controles y tratamientos debe estar balanceada en cuanto a sus características que los hacen similares y la probabilidad de participar o no en el Programa.
20
Muestra balanceada
Density of scores for
participants
Density
0 1Propensity score
Region of
common
support
Densidad
Densidad de las puntuaciones de
participantes
Región de
soporte
común
Regresión discontinua
• Regresión discontinua
Contra-factual: Selección de grupos de control y tratamiento en base a un criterio o valor de corte definido ad- hoc que distingue a un grupo de otro pero sin ninguna relación con el efecto de la intervención.
Ejemplo:
Programa de nivelación académica.
El criterio de corte puede ser la calificación o resultado prueba enlace.
Los alumnos por debajo de calificación deficiente de acuerdo al criterio de corte entran en un programa de nivelación académica.
23
65
70
75
80
Outc
om
e
20 30 40 50 60 70 80Score
Regression Discontinuity Design - Post Intervention
IMPACTO
Con efecto
Control Tratamiento
Fuente: “Evaluación del programa Oportunidades. Impacto en el sector laboral y escolar”,
Teruel, Rubalcava, Parker y Bello, CONEVAL, 2009
-6 meses
4 %
-14 %
-3.5 hrs.
28 %
-15
-10
-5
0
5
10
15
20
25
30
Años de rezago escolar
Prueba de Raven Trabaja actualmente Hrs. Trabajadas a la semana
Pasar a secundaria vs abandonar la
escuela
Disminuye
trabajo
P
r
o
p
o
r
c
i
ó
n
Impacto de Oportunidades sobre acumulación de capital humano
Disminuye
rezago
escolar
Aumenta
habilidad
cognitiva Disminuye
horas
trabajadas
Aumenta
pasar a
secundaria
Conclusiones
• Las evaluaciones de impacto ayudan a distinguir las políticas públicas adecuadas de las no adecuadas.
• Dado los recursos públicos limitados frente a las carencias y/o necesidades de la población los hacedores de las políticas públicas del país tienen una responsabilidad ética de evaluar las políticas públicas.
• Los recursos que se destinan a la evaluación de políticas públicas no son recursos desperdiciados sino recursos bien invertidos.
• No hay evaluaciones exitosas sin una importante planeación previa a su implementación.