Taller de Evaluación de Impacto - The Abdul Latif Jameel …. Principio a... · Matrícula para...

Balance Contexto Preguntas Diseño Trab. Campo Amenaza / Análisis Conclusiones TdC

2

Evaluación de principio a fin

Leigh Linden

Assistant Professor of Economics and Public Affairs

University of Texas, Austin

[email protected]

mailto:[email protected]


Testeando Diseños Alternativos de

Programas de Transferencia

Monetarias Condicionadas en

Educación:

Evidencia de Colombia Trabajo en conjunto con: Felipe Barrera-Osorio (World Bank)

Marianne Bertrand (U Chicago)

Francisco Perez (Ministerio de Educación, Colombia)


Esquema

4

1. Contexto

2. Teoría de Cambio

3. Preguntas de investigación

4. Diseño experimental

5. Balance en muestra

6. Administración de trabajo de campo

7. Análisis de datos

8. Conclusiones de política pública


1. Contexto


Contexto Más educación es deseable en áreas pobres

Nivel Macro: Alguna evidencia de educación relacinado a crecimiento (Krueger, Lindahl, 2001 entre mucho otros)

Nivel Micro: Educación aumenta ingresos (Angrist y Krueger, 1991; Duflo, 2001)

Hacer que niños vayan a la escuela es dificil África subsahariana: 64 por ciento tasa de matrícula

Oceanía: 80 por ciento tasa de matrícula

Oeste de Asia: 83 por ciento tasa de matrícula

Variación en participación entre familias y dentro de familas Familias de ingresos bajos son los que asisten menos

Niñas tienden a asistir menos que niños

Niños y niñas mayores generalmente asisten menos que niños y niñas menores

6


Educación en Bogotá

7

Colombia es un contexto relevante en el cual trabajar País latinoamericano típico de ingreso medio

Ingreso per cápita es de US$ 7,748

Gobierno de la ciudad de Bogotá maneja Educación Administra recursos educacionales locales con fondos nacionales que

complementa con fondos locales (impuestos a la propiedad, préstamos, etc.)

Estructura académica Año académico: Enero – Diciembre

Años escolares: Primero básico (1-5), Secundaria básica (6-8), Secundaria Media (9-11), Terciaria (Universidad / Opciones Vocacionales)

Reto es evitar deserción: Matrícula para niñ@s de 5-13 años está en los 90’s medio/altos

Matrícula para los de 17 años baja a 80 por ciento.

La mayoría de la deserción viene de familias pobres 74 por ciente de deserción de SISBEN 1 y 2


Piloto Subsidios Bogotá Trabajamos con la Secretaría de Educación (SED) de la

Ciudad de Bogotá Programa piloto para informar el programa más amplio

Tres contribuciones principales:

1. Tratamientos múltiples: Variar incentivos directos a la familia Modelo Básico

Modelo de Ahorros: Cambiar tiempo de transferencias

Modelo Terciario: Incentivar graduación y luego matrícula terciaria

2. Variación a nivel de niño: Variar densidad de tratamiento Dentro de colegios, familias, y redes sociales

3. Usar medidas directas para determinar asistencia TMCs pueden ser particularmente susceptibles al sesgo de auto-reporte

Contrataron a un equipo para observar directamente a los estudiantes en clase

Comparar asistencia auto-reportada usada en otros estudios de TMCs

Otros resultados fueron auto-reportados

8


2. Teoría de Cambio


Teoría de Cambio

10

Necesidades Insumos /

Actividades Productos Resultados Resultado Final

Altas tasas de deserción en educ

secundaria

Registrar estudiantes para pago de

estipendio Estudiantes que

cumplen objetivos de asistencia reciben

pago

Menos deserción

Supuestos

Familias tienen

acceso a cajeros

automáticos para

sacar dinero

Supuestos

Ciudad puede

administrar de forma

adecuada el

proyecto.

Supuestos

Profesores

reportarán tasas de

asistencia.

Baja asistencia

Costos de oportunidad altos por tiempo de

estudiantes

Altos costos para

ahorrar

Baja tasa de

matrícula terciaria

Entregar tarjetas bancarias a estudiantes

Recolección de datos de asistencia

Administrar pagos cuándo corresponde

Pago se efectúa en periodos establecidos

Posibles cambios en asignación de recursos entre niños del hogar

Más recursos destinados a gastos educacionales

Reducción número de estudiantes trabajando

Mejores tasas de asistencia

Mejores puntajes en pruebas

Mejor acceso a fondos cuando estudiantes

necesitan pagar gastos escolares

Mayores tasas de re-

matriculación

Mayores tasas de

graduación

Mayores tasas de

matrícula terciaria


3. Preguntas de investigación


Preguntas de investigación Necesitamos poder entender la decisión detrás de

la participación ¿Qué determina el nivel de participación del estudiante?

¿Qué determina la asignación de oportunidades académicas dentro

de la familia?

Alguna evidencia existe La calidad de la educación parece no afectar las tasas de

asistencia.

Salud importa

Costos inciales o incentivos directos a la participación sí importan.

Se ha mostrado que las Transferencias Monetarias

Condicionadas funcionan Sorprendentemente poca varianza en tratamiento y diseño

12


Preguntas de investigación

Nuestra investigación está motivada por dos preguntas:

¿Podemos mejorar los TMCs cambiando su estructura? Por ejemplo, sabemos que las familas tienen dificultades

ahorrando

¿Cómo afectan indirectamente los incentivos a estudiantes que no participan? Externalidades intra-familiares

Efectos pares

13


4. Diseño experimental


Diseño experimental

Objetivo: Variar los incentivos de participación

académica de las familias. Ofrecer tres tratamientos que incentivan diferentes partes

independientes de la trayectoria académica del niño o la niña.

Subsidios son aproximadamente neutras en términos de gastos

públicos si los estudiantes empiezan en el año 6 y continúan al

año 11 – 1.800.000 pesos ($900) durante 6 años

Tratamientos básicos y de ahorros son los más equivalentes en

términos de financiamiento

Tratamiento terciario solo se testea sobre 9-11 grado

15


Tratamiento I Tratamiento Básico – OPORTUNIDADES

Estudiantes reciben 30.000 pesos (US$15) por 80% de asistencia

Más de 3 veces lo que estudiantes reportan ganar en promedio

por mes

Valor anual de 300 mil es ligeramente por encima de los 250 mil

que las familias reportan gastar

16

Pago hecho de forma bi-mensual a

través de tarjetas de débito

proporcionadas por un banco

nacional.

Estudiantes son expulsados por:

Reprobar dos veces

Fallar la meta de asistencia en dos

periodos bimensuales

consecutivos


Tratamiento II Tratamiento de Ahorro:

Variación en tiempo de pago Motivado por restricción de ahorros que impide el pago de los

costos de matrícula

Estudiantes reciben 30.000 pesos al mes por cumplir con los

objetivos de asistencia.

20.000 pesos (US $10) son pagados de forma bimensual.

10.000 pesos son guardados y pagados de una en diciembre

Restricciones de liquidez de muy corto plazo vs. restricciones de

ahorro

Teorías sobre sus diferencias con el Básico:

Menor asistencia durante el año si existen restricciones de corto

plazo

Se espera tasas más altas de matrícula el año siguiente si ahorrar

es una restricción 17


Tratamiento III Tratamiento Terciario:

Variación en incentivo de graduar Motivado por costos relativamente altos de matrícula para

estudios vocacionales

Estudiantes reciben 20.000 pesos (US$10) al mes.

Al graduarse tienen derecho a recibir 600.000 pesos.

Lo reciben de inmediato si documentan matrícula terciaria

Lo reciben después de 12 meses sin matrícula

Teoría de sus diferencias con el Básico:

Menor asistencia durante el año si existen restricciones de corto

plazo

Por el contrario, podría haber altos niveles de participación justo

antes de graduación

Mayores tasas de matrícula terciaria después de graduación 18


Intervenciones

19


20

Dos experimentos en dos

localidades similares San Cristóbal: Básico y Tratamiento

de Ahorro

Suba: Básico (6-8 grado) y Terciario

(9-11 grado)

Aleatorización


Condiciones de matrícula (verificados por SED): Estudiantes deben estar inscritos en un colegio

Deben de haber completado el quinto año

Deben estar en SISBEN 1 y 2

Reclutamos a 17.309 estudiantes a través de una

campaña publicitaria

Realizamos dos aleatorizaciones a nivel de estudiante Estratificamos: localidad, tipo de colegio, curso y género

Proporciones varían por localidad 64% tratados en San Cristóbal vs. 45% en Suba

Ponderamos observaciones al agrupar datos de las dos localidades

21

Aleatorización


5. Balance en la muestra


23

Tabla de

balance:


6. Administración de trabajo de

campo


Trabajo de Campo

Nuestro reto principal fue iniciar la

evaluación

La ciudad estaba de acuerdo con la lotería

en principio

Pero necesitábamos suficiente exceso de

suscripción

Necesitábamos solucionar la logística de la

lotería

25


Trabajo de Campo

1. Exceso de suscripción: Campaña de publicidad muy

grande

26

2. Logística de la lotería: Evento público

Abierto a participantes, medios de comunicación, oficiales

Código fue “certificado” por un “tercero”; un economista que

no estaba trabajando en el proyecto

Código fue proyectado en una pantalla mientras ejecutaba

aleatorización

Resultados fueron inmediatamente impresos y firmados por

un oficial de la ciudad


Seis Fuentes de Datos

Datos de Encuesta Originales del SISBEN Recolectados en 2003 y 2004

Bienes del hogar, ingresos, y características

Contiene todos los hogares elegibles en Suba y San Cristóbal

Datos de Registro Edad, género, último año completado, y colegio actual

Verificado por SED

Encuesta de Línea Base (mayo – julio 2005) 68 colegios con mayor número de estudiantes registrados

Identificamos estudiantes con información correcta de colegio

Redes de pares

Información de contacto para encuesta de seguimiento

27


Seis Fuentes de Datos Verificar Datos de Asistencia (agosto – nov 2005)

68 colegios con mayor número de registrados durante más de 13 semanas

No limitado a estudiantes de línea base

Datos Administrativos de Matrícula (2006)

Encuesta de Seguimiento (feb – marzo 2006) Participación académica, esfuerzo académico, consumo, trabajo

Recolectamos variables de mercado laboral para todos los niños en el hogar

Menos del 2% de tasa de desgaste de la línea base, balanceados entre grupos de investigación

28


7. Amenazas y análisis de

datos


Amenazas y análisis

Validez interna

Desgaste por resultados de encuesta

No hubo asuntos con los resultados administrativos

Otras amenazas típicas fueron eliminadas gracias al diseño del experimento:

Por ejemplo: Cumplimiento • Estudiantes fueron registrados cuando se inscribieron

al sorteo.

• Eran automáticamente inscritos al programa al ser seleccionados

30


Efectos sobre Asistencia

Especificación: Asistencia verificada Efecto general de 2,8 puntos porcentuales (ppts)

Similar para todos los años escolares

Efecto ligeramente más alto para estudiantes con menor asistencia proyectada

Tratamientos individuales: Básico: 3,3 ppts San Cristóbal, 0,9 ppts Suba

Secundaria: 2,8 ppts

Terciaria: 5 ppts

Efectos menores, pero parecidos para estudiantes de línea base Tasas más altas de asistencia proyectadas

31


Efectos sobre Matrícula

Especificación: Datos Administrativos y Seguimiento

Efecto general de 2,6 ppts para todos los estudiantes en el estudio San Cristóbal: Tiempo importa, efecto de ahorro 2,7 ppts más alto que básico.

Terciaria: Aumento de 3,3 ppts para 9-10 grado

Básico: Efectos inconsistentes entre 6-8 grado en Suba y San Cristóbal

Efectos significativamente más altos para familias con menos probabilidad de re-matricular

Otros resultados Efectos en colegios monitoreados parecidos a efectos para estudiantes en general.

Efectos menores para estudiantes en colegios seleccionados para línea base

El sobre-reportaje acerca de participación es significativo en datos auto-reportados

32


Especificación: Datos Administrativos y Seguimiento

Matrícula terciaria Consistente con otros datos auto-reportados para estudiantes en grado

11 en 2005

Aumento general en tasas de graduación (4 ppts)

Aumentos en matrícula terciaria para tratamiento de ahorro (8,8 ppts) y

tratamiento terciario (49,7 ppts)

33

Efectos sobre Matrícula


Otros Resultados Especificación: Pocos efectos sobre resultados académicos

Efecto de tratamiento terciario sobre tarea (+0,5 horas)

Tasa de aprobación (1,6 ppts)

Consumo Pequeño aumento en cantidad y calidad de comidas

Gastos educacionales:

Tratamiento de ahorros incrementa gastos en estudios secundarios

Aumento de 250 mil pesos (a 390 mil) para estudiantes terciarios elegibles

Actividades de mercado laboral: Reducción general en horas trabajadas para grados 6-10.

Tratamiento terciario, grado 11: Aumento de 43 ppt en estudiantes quienes su actividad principal es estudiar

Reduce horas de trabajo por 7 horas a la semana, ingresos por 11 mil a la semana

34


Heterogeneidad de Efectos

Especificación Ponderada

Efectos grandes para niños con baja proyección

en tasa de asistencia

Efectos sobre niñas tratadas es menor que para

niños Tasas mayores de asistencia explica algunas pero no todas las

diferencias

No hay efectos sobre estudiantes tratados de

las familias más pobres Ingresos de menos de $3 al día

35


Resultados para Familias Efectos sobre hermanos de los tratados son ambiguos

Los padres podrían igualar oportunidades para todos los niños

Los padres podrían destinar más recursos a los niños tratados, quitándole recursos a los niños no tratados (Oster, 2007)

Oportunidades ya desiguales al momento de registrarse: 6.619 familias de la encuesta de seguimiento tienen 2,5 niños, pero

registraron 1,3 niños.

Estos estudiantes son diferentes. Comparando familias sin subsidios:

93% de niños registrados están matriculados vs. 75% para niños no-registrados

Niños registrados reportan trabajar 3,1 horas menos a la semana

Hijos registrados: Hermanos no-tratados terminan peor Comparamos 1.329 hogares que registraron 2 hijos

Tratados vs. No-tratados en el mismo hogar

Estudiantes tratados terminan mejor (podría ser debido incentivos restringidos)

Efecto tratamiento es ligeramente mayor que el efecto promedio general

Estudiantes tratados en hogares con un solo tratado son iguales que los estudiantes en hogares tratados

Estudiantes NO-tratados en hogares con un solo tratado terminan peor que los de hogares no tratados

36


8. Conclusiones de política

pública


Conclusión En general, tratamientos son efectivos para niños

tratados Aumentan asistencia, matrícula, tasa de aprobación, tasa de graduación,

y matrícula terciaria

Momento de entrega de las transferencias importa Menores transferencias mensuales no reducen asistencia

Sin embargo, relajar restricciones de ahorros puede mejorar tasa de matrícula

3,6 ppts en secundaria, 8,8 ppts en terciaria

Incentivar graduación/matrícula terciaria es efectivo Aumenta asistencia en 5,0 ppts

Aumento matrícula terciaria en 49,7 ppts.

Externalidades importantes Efectos pares fuertes

Evidencia de externalidades negativas en otros hijos dentro del hogar, particularmente en niñas.

38


¿Qué implica para las políticas

públicas? Tratamiento Estándar o Tratamiento de Ahorros?

Necesidad de testear diseño de TMCs y otros programas Después de Bolsa Familia y PROGRESA, TMCs fueron

implementados alrededor de Latinoamérica con muy poca variación

Necesidades pueden ser diferentes dependiendo del lugar • En Colombia, necesidad de dinero a corto plazo (ej. necesidad

que los estudiantes trabajen) no parece ser tan significativo como impedimentos al ahorro

Resalta el valor de tener a gobiernos trabajar con investigadores para optimizar el desarrollo de políticas públicas

39


¡Gracias!

40

Leigh Linden

Assistant Professor of Economics and Public Affairs

University of Texas, Austin

[email protected]

mailto:[email protected]

Taller de Evaluación de Impacto - The Abdul Latif Jameel …. Principio a... · Matrícula para...

Documents

Transcript of Taller de Evaluación de Impacto - The Abdul Latif Jameel …. Principio a... · Matrícula para...