Evaluaciones experimentales y política pública · que sus resultados (incluso intermedios) sean...
-
Upload
phunghuong -
Category
Documents
-
view
216 -
download
0
Transcript of Evaluaciones experimentales y política pública · que sus resultados (incluso intermedios) sean...
Evaluaciones experimentales y política pública
Ximena Peña
Universidad de los Andes
Contexto del Curso
1. Introducción a las Evaluaciones de Impacto
2. Teoría de Cambio e Indicadores
3. Por qué y Cómo Aleatorizar
4. Tamaño de Muestra y Cálculos de Poder
5. Inferencia Causal
6. Evaluaciones Experimentales y Políticas
Públicas
7. Evidencia de Evaluaciones Experimentales
8. Evaluación Experimental de Principio a Fin
1. Introducción
2. Evaluaciones en América Latina
3. Colombia
SINERGIA
Jóvenes en Acción
4. México
CONEVAL
Progresa
5. Perú
Esquema de presentación
I. Introducción
• Determinan el tipo de efectos
que tiene una intervención en la
población tratada
• Ayudan a evaluar el efecto de las
políticas públicas
• Ofrecen recomendaciones para
mejorar programas, modificarlos,
mantenerlos o cancelarlos de
acuerdo a los resultados de la
evaluación
Evaluaciones de impacto
• Varias organizaciones y muchos gobiernos regionales están
abiertos a la medición rigurosa de impacto en América Latina y
existe una gran variedad de instituciones y órganos
gubernamentales dedicadas a la medición
• Las instituciones internacionales de crédito son cada vez más
rigurosas en cuanto a prestar dinero y son gran promotoras de
las evaluaciones de impacto
• América Latina está bien posicionada para realizar
evaluaciones de impacto, en particular en comparación a otras
regiones del mundo
Evaluaciones de impacto
2. Evaluaciones en América
Latina
• Existe una gran tradición en
LAC de evaluaciones de
impacto para distintos
programa. Estas
evaluaciones difieren en sus
características y calidad.
• Es importante analizar cuál
ha sido el impacto de las
evaluaciones en las políticas
públicas
Evaluaciones de impacto en América Latina
Evaluaciones de Jpal en América Latina
Evaluaciones de impacto J-PAL en América Latina por país
País Evaluaciones
Bolivia 5
Brasil 2
Chile 6
Colombia 9
República Dominicana 4
Ecuador 2
El Salvador 2
Guatemala 1
Honduras 1
México 16
Nicaragua 4
Perú 12
Evaluaciones de impacto J-PAL en América Latina por área
Tema Evaluaciones
Agricultura 3
Educación 6
Medio Ambiente 17
Finanzas 27
Salud 4
Mercados Laborales 6
Gobernabilidad 8
¿Qué pasa con
los resultados
de estas
evaluaciones?
No sabemos si
se traducen en
mejoras o sólo
quedan en
recomendaciones
de política no
implementadas…
Financiamiento a Evaluación de Impacto
Más Evaluación de Impacto
en LAC
Recomendaciones de política
Políticas públicas
Evaluaciones de impacto en América Latina
¿Cuándo se justifica la evaluación de
impacto como inversión social?
13
1. 2. 3.
33% 33%33%1. Cuando se mejora el
conocimiento de un
programa y su
impacto
2. Cuando se puede
mejorar el diseño del
programa
3. Cuando, con base a
la evidencia, se
expande o cierra el
programa
Evaluaciones de impacto en América Latina
Dos organizaciones de evaluación y monitoreo con
lecciones importantes:
• SINERGIA en Colombia
• CONEVAL en México
3. Colombia
SINERGIA
Sistema Nacional de
Evaluación de Gestión y
Resultados
Historia de SINERGIA
Primer Periodo (1990-1996)
Segundo Periodo
(1996-2002)
Tercer Periodo
(2002-presente)
Sistema de evaluación nacional, nace
en 1990, del deseo de replicar el
enfoque de las organizaciones
multilaterales en cuanto a monitoreo y
evaluación (MNE)
SINERGIA | Colombia • Se busca replicar el modelo de
evaluación del Banco Mundial con la
ayuda técnica del mismo
• Se realizan cambios a la constitución
que requieren de ciertas evaluaciones
de programas
• Se formaliza el sector con la creación de
SINERGIA, un sistema nacional para el
manejo de evaluaciones y resultados
• Hace parte del Departamento Nacional
de Planeación
SINERGIA | Colombia
• Importancia de SINERGIA decae dentro
del gobierno
• Se explora la posibilidad de cerrar
programa
• Hacia el final de esta época, el BID y el
Banco Mundial financian tres grandes
evaluaciones utilizando los recursos de
SINERGIA
• Jóvenes en Acción
• Empleo en Acción
• Familias en Acción
SINERGIA | Colombia
• Administración Uribe le da más
recursos y enfoque a SINERGIA
• Se impulsa el “control social” de los
proyectos del estado, sujetos a buen
desempeño de acuerdo a ciertos
objetivos presidenciales
• Banco Mundial y BID expandieron
cooperación sustancialmente
SINERGIA | Colombia
• La recesión a finales de los noventa motivó al gobierno
a implementar la Red de Apoyo Social, un grupo de
programas de asistencia social, incluyendo:
» Familias en Acción
» Empleo en Acción
» Jóvenes en Acción
SINERGIA | Colombia
Empleo en Acción:
• Programa de empleo para jóvenes vulnerables (2001-
2004)
• Costo: $183 millones a 2004, cuando se canceló el
programa
• Financiamiento exigía de una evaluación rigurosa de
impacto
• Hacia principios del 2004, economía mejora y el
programa presentaba problemas de implementación
SINERGIA | Colombia
Dimensión Resultados
Ingreso Incremento positivo, pero
no logra subir los ingresos
al objetivo prestablecido
Empleabilidad de
participantes
Incremento positivos
Trabajos públicos Incrementos positivos
Número de participantes No se logra llegar al
número prestablecido de
participantes (beneficiarios)
Estudios recientes indican que el programa no fue costo-efectivo
en comparación a otro tipo de proyectos que apoyan a los
desempleados.
SINERGIA | Colombia
• Aunque no influenció la política pública, varias lecciones:
– Se requiere mucha coordinación de alto nivel para
implementar una evaluación cara, asegurándose que sus
resultados (que durarán varios años en estar listos) sean
utilizados
– Las evaluaciones deben estar diseñadas de tal manera
que sus resultados (incluso intermedios) sean puestos a
disposición de los que administran los programas
SINERGIA | Colombia
– Priorizar evaluaciones: se debe pensar bien sobre si se
necesita evaluar cierto programa, tomando en cuenta
costo, relevancia y la profundidad de análisis requerido
– Aún si la evaluación contribuyera sólo a una leve mejora
en el desempeño del programa, la evaluación puede ser
altamente costo-efectiva:
$1,5M gastados en las evaluación impacto
$183M gastados en intervención
= probablemente muy costo-efectivo
Jóvenes en Acción Colombia
Jóvenes en Acción
• Programa gratuito de capacitación
laboral para jóvenes entre 18-25
años de escasos recursos en
grandes ciudades
• Impartido por entidades de
capacitación acreditadas
• Capacitación consistía en 3 meses
de clases seguidos por 3 meses de
capacitación en el lugar de trabajo
Jóvenes en Acción
• Programa implementado de 2002 a
2006
• Evaluación experimental se hizo
con el último grupo de
participantes en 2005 (primer
experimento puro en Colombia)
• La evaluación experimental fue
posible ya que los institutos de
capacitación tuvieron un exceso de
demanda
Jóvenes en Acción
Efectos positivos:
• Variables resultado de los
beneficiarios en términos de
mercado laboral tuvieron
efectos muy positivos
• Salarios mensuales
aumentaron US$11
• Impactos en mujeres altos y
positivos: Ingresos
aumentaron un 18% e
ingresos formales un 31%
(Attanasio et al, 2009b).
¿Cuál fue el impacto de la evaluación
sobre el diseño de política?
30
1. 2. 3.
33% 33%33%1. Se amplió el
programa
2. Se mantuvo el
programa sin
cambios
3. Se cerró el
programa
Jóvenes en Acción
• Los resultados de la evaluación no se
vieron reflejados en la política
implementada!!!
• El programa se reformó por completo
• Cambiaron las limitaciones para
participar
• Se perdió una de las características
más importantes: la descentralización
de los cursos según oferta y demanda
laboral de la región dejó de suceder y
el programa entró a formar parte del
SENA
4. México
CONEVAL | México
Contexto político de México cambia a finales de la década de
los 90 con mayor énfasis al control ciudadano
Durante este periodo se evalúa PROGRESA, que se
convierte en un referente internacional en cuanto a
evaluación de impacto
CONEVAL | México
1998, ley requiere que todos los programas federales con
subsidios preparen reglas de operación, enumerando
objetivos, indicadores y población objetivo
1999, ley requiere que todos los programos con reglas de
operación sean evaluados por evaluadores independientes:
representa 25-30 del presupuesto federal
CONEVAL | México
• 2004 la Ley de Desarrollo Social crea el Consejo Nacional de
Evaluació de la Política de Desarrollo Social (CONEVAL).
• CONEVAL:
– Regula, realiza y coordina la evaluación de políticas sociales
a nivel local
– Decide los criterios y el diseños para medir pobreza a nivel
nacional, estatal y municipal
– El indicador clave es la reducción de la pobreza, por lo tanto
todos los programas sociales deben contribuir a su reducción
CONEVAL | México
– Prepara reportes para el congreso, agencias de gobierno y la
sociedad civil
– Tiene un equipo de 70 profesionales
– Presupuesto de $9.2M en el 2008
– Estructura relativamente independiente:
• Se encuentra dentro del poder ejecutivo y su director es
seleccionado por el gobierno federal
• A la vez, CONEVAL se encuentra supervisado por un
equipo independiente de académicos compuesto de seis
profesores. Este equipo es responsable de certificar todas
las evaluaciones hechas por CONEVAL
PROGRESA
Programas de Transferencias Condicionadas
La evaluación de PROGRESA en México fue la
primera, creando así un ejemplo importante sobre
cómo evaluar programas de gran escala.
A pesar que los impactos del programa fueron
identificados de manera confiable en México, es
necesario evaluar el programa en diferentes
contextos para poder generalizar los resultados.
Esto ha llevado a un gran número de evaluaciones.
Programas de Transferencias Condicionadas
Las diversas evaluaciones de los programas de
transferencias condicionadas son un ejemplo a seguir sobre
cómo diseñar políticas públicas basadas en evidencia.
A pesar de ser programas masivos a gran escala, ha sido
posible evaluar su impacto de manera rigurosa – muchas
veces de manera experimental.
Esto requiere mucha planificación y esfuerzo antes de la
implementación del programa.
¿Cuál de las siguientes programas fueron inspirados en PROGRESA?
40
1. 2. 3. 4.
25% 25%25%25%1. Familias en Acción
(Colombia)
2. Bolsa Familia
(Brasil)
3. Red de
Oportunidades
(Panamá)
4. Avancemos
(Costa Rica)
PROGRESA/Oportunidades
PROGRESA/Oportunidades
ha transformado el diseño
y la implementación de
políticas públicas al
incorporar una evaluación
experimental desde su
inicio.
PROGRESA/Oportunidades
Empieza en 1997 con dos objetivos principales:
• Aliviar la pobreza
inmediata mediante
transferencias monetarias
• Terminar la pobreza inter-
generacional al invertir en
capital humano, haciendo
las transferencias
condicionales a cumplir
ciertos requisitos de
educación y salud
PROGRESA/Oportunidades
Pese a la magnitud del
programa, se hizo una
evaluación experimental del
programa.
Esto permitiría saber si el
programa funciona o no –
información importante al
momento de decidir si
continuar o expandir el
programa.
PROGRESA/Oportunidades
En vez de ser implementado
uniformemente en todo el país,
el programa fue implementado
progresivamente, en diferentes
fases
Permitiendo así realizar una
evaluación experimental del programa
PROGRESA/Oportunidades
• En Noviembre de 1997, 506 comunidades rurales fueron
escogidas aleatoriamente para recibir el programa o para
formar el grupo de control
• En Diciembre de 2000, las comunidades que fueron parte del
grupo de control empezaron a recibir los beneficios del
programa
PROGRESA/Oportunidades
Resultados Principales:
Educación
• Incrementa la tasa de
asistencia escolar entre los
estudiantes beneficiados que
cursaban grados entre 2do y
8avo
• Impacto mayor entre
estudiantes terminando el
sexto grado y aquellos en
escuela secundaria
PROGRESA/Oportunidades
Resultados Principales:
Salud
• Programa incrementa uso de los
servicios de salud pública
• Programa disminuye las
incidencias de enfermedades
severas
• Mejoras significativas en la
salud de adultos y niños
PROGRESA/Oportunidades
Otros resultados
Gracias al buen diseño de la
evaluación, se ha podido evaluar
el impacto del programa en una
cantidad de variables:
• Ingresos futuros
• Consumo
• Condición de la mujer
• Empleo infantil
• Trabajo, ocio y uso de tiempo
PROGRESA/Oportunidades
Impacto en Políticas Públicas
• Debido a la evidencia, el programa continuó sin
cambios mayores después del cambio de gobierno en
México en 2000. – La evaluación “protegió” al
programa
• La evidencia justificó la expansión del programa, lo
que llevó a que más personas fueran beneficiadas por
PROGRESA/Oportunidades
• Sirve como ejemplo de cómo realizar una política
pública en base a evidencia: cada vez más políticas
públicas incorporan evaluaciones rigurosas en su
diseño
5. Perú
• Educación en Perú es gratis y
obligatoria hasta el final de
educación secundaria
• Niños obtienen calificaciones
similares a las de sus
compañeros latinoamericanos
(controlando por ingreso)
• En comparación a otras regiones
del mundo, los niños peruanos no
están aprendiendo bien, o lo
suficiente
Una Laptop Por Niño
• One Laptop Per Child
(OLPC) es un programa
diseñado para dar a niños
computadoras de bajo costo
• La idea es que las
computadoras ayuden a los
maestros a enseñar el
material y hacerlo más
entretenido para los
estudiantes.
Una Laptop Por Niño
En Perú el programa parte en 2008
• Primera etapa: distribución de 40.000
laptops a 500 escuelas (prioridad regiones
pobres con electricidad e internet)
• Segunda etapa: Se elimina requisitos
(electricidad e internet) y terminan de
distribuir cerca de 900.000 laptops en 1.909
escuelas.
Una Laptop Por Niño
• Acceso a computadores:
– Positivo. En tratamiento 1,18 laptops por niño.
En comparación 0,12 laptops por niño
• Uso de computadores:
– Positivo, e intenso. En grupo de tratamiento,
uso promedio de laptops es de 40 minutos por
sesión
• Comportamiento
– No hay efecto significativo sobre asistencia a
clases
Una Laptop Por Niño: Resultados
• Calificaciones:
– No hay efectos significativos en calificaciones en
Matemáticas y Español (Castellano)
(tiene sentido en vista de falta de modelo pedagógico
adecuado para incluir a las laptops en el proceso educativo)
• Habilidades cognitivas
– Positivo. Tres exámenes de habilidades cognitivas. Todos
reportan un efecto positivo (alrededor de 0,11
desviaciones estándar, p-level 10%)
Una Laptop Por Niño: Resultados
En conclusión:
1. Incremento dramático en acceso a laptops.
2. Ningún impacto en calificaciones de Matemáticas y
Español.
3. Algunos beneficios en habilidades cognitivas.
Una Laptop Por Niño: Resultados
¿Cuál fue el impacto de la evaluación
sobre el diseño de política?
57
1. 2. 3.
33% 33%33%1. Se amplió el
programa
2. Se mantuvo el
programa sin
cambios
3. Se cerró el
programa
¿Fue una buena inversión?
Una Laptop Por Niño
¡Gracias!
Referencias
• Attanasio O.; Kugler A. Y Meghir C. (2011). “Subsidizing Vocational Training for
Disadvantaged Youth in Colombia: Evidence from a Randomized Trial”
• Barrera F., Bertrand M., Linden L., Perez F. (2011). “Improving the Design of
Conditional Transfer Programs: Evidence from a Randomized Education
Experiment in Colombia”
• Briceño B., Cuesta L., Attanasio O. (2011) “Behind the Scenes: Managing and
Conducting large Scale Impact Evaluations in Colombia “
• DPS y DNP. (2012). “Más Familias en Acción”