Programa Red Solidaria: Evaluación de Impacto

San Salvador, 13 de Agosto de 2008

Concepto de Pobreza

Carencia de ingresos

Necesidades básicas insatisfechas

Falta de oportunidades sociales y económicas

Enfoque multidimensional

Mapa de pobreza extremaUna herramienta de focalización geográfica

Fuente: FLACSO/FISDL. San Salvador, 2005.

Indicadores:-pobreza extrema (ingreso)-tasa de retardo en talla-índice de carencias de servicios

AL 2009: 100 MUNICIPIOS Meta: 210 mil familias, 17% de la población total TMC: 120 mil familias

Ejes de Intervención

EJE 1: Red Solidaria a las FamiliasTransferencias monetarias condicionadas a la madre que incluye las siguientes corresponsabilidades en educación, salud y nutrición y capacitación a las familias

EJE 2: Red de Servicios Básicosel fortalecimiento de la red de servicios de educación y salud y la mejora del acceso de servicios básicos (agua y saneamiento, electrificación)

EJE 3: Red de Sostenibilidadproyectos productivos y micro-crédito para las familias pobres rurales: huertos escolares, huertos caseros, capacitaciones productivas

Familias con menores de 18 años y/o mujeres embarazadas

Familias en comunidades sin acceso a servicios básicos.

Pobladores y usuarios de los Centros escolares, establecimientos de salud, caminos, puentes.

Familias del municipio, priorizando lo rural

Esquema institucional y operativo

La coordinación estrecha entre diferentes entidades públicas se vuelve clave para la intervención y la priorización de las inversiones

y acciones, de acuerdo al Mapa de Pobreza

Comité Municipal de CoordinaciónInstancia local de coordinación en el que participan representantes de gobiernos locales e instituciones gubernamentales, líderes comunitarios y otros actores locales de los municipios de la Red Solidaria. Principales funciones: validar los distintos procesos del programa, priorizar los proyectos de infraestructura a realizarse en el municipio con fondos Red en armonía con el Plan Participativo de la municipalidad, entre otras.

1. El Alcalde o Alcaldesa Municipal ó representante de la Alcaldía Municipal

2. Asesor Municipal – FISDL

3. Médico/a Director/a de la Unidad de Salud o representante del Ministerio de Salud Pública y Asistencia Social – MSPAS

4. Asesor/a de Gestión y/o Pedagógico/a del Ministerio de Educación – MINED

5. Coordinador/a Municipal de la ONG de Seguimiento y Apoyo Familiar

6. Líderes y lideresas de los Cantones y/o representantes de las ADESCOS del Municipio

¿Quiénes forman parte del Comité?Hay 6 miembros mínimos necesarios:

... el Comité puede decidir invitar a otros participantes que puedan facilitar la operación del programa. (Párroco, Pastor, Radios Comunitarias, etc.)

Transparencia:Monitoreo y Evaluación

Sistema interno de monitoreo y evaluaciónSistema de registro de

beneficiariosSistema de chequeo in situSistema de monitoreo local

(presencial y virtual) Evaluación externa de impacto

IFPRI/FUSADES 2007-2010 Control social

Comités municipales de coordinación

Comités comunitarios Auditorías del Programa

El objetivo es medir constantemente el

avance, logro de resultados e impacto del

Programa, para informar y retroalimentar a los

principales actores en la toma de decisiones

oportunas.

¿Porqué una evaluación de impacto en Red

Solidaria?

9

¿Porqué una evaluación de impacto?

• Evidencia sobre lo que sí funciona– Presupuestos limitados– Evaluar la eficiencia del programa y su continuidad

• Mejorar la implementación del programa o política– Diseño: elegibilidad, beneficios– Operación: eficiencia y focalización

• Los resultados se convierte esencial para su sostenibilidad– Negociación del presupuesto – Informar a la opinión pública y la prensa

Fuente: Retomado presentación Chritel Vermeersch, BM en evento Clinica de Evaluación RS 2007

10

La evaluación de impacto responde..

• Efecto de los programas– ¿Cuál fue el efecto del programa en los

resultados obtenidos?

– ¿Cuánto mejoró la situación de los beneficiarios debido al programa/política?

– ¿Cómo cambiarían los resultados si alteráramos el programa?

• Costo-efectividad del programa– ¿Es el programa coste-efectivo? ¿Mejor

invertimos en otra cosa?

Fuente: Retomado presentación Chritel Vermeersch, BM en evento Clinica de Evaluación RS 2007

11

¿Cómo se resuelve la evaluación de impacto?

No se puede comparar al mismo individuo con o sin el programa

• Contrafactual: qué habría pasado si no existiera el programa

• Impacto estimado es la diferencia entre la observación tratada y el contrafactual

• Nunca se puede observar al mismo individuo en el mismo punto del tiempo con y sin el programa

• Necesidad de estimar el contrafactualFuente: Retomado presentación Chritel Vermeersch, BM en evento Clinica de Evaluación RS 2007

Se necesita garantizar la comparabilidad de los grupos de control y de tratamiento

Cómo se identifica?:• Aleatorización/ evaluación prospectiva

– Dar la misma probabilidad a los individuos de pertenecer al grupo de control o de tratamiento

– Garantiza que todos los factores/características en promedio serán iguales entres los grupos

– La única diferencia es la intervención

• Identificación retrospectiva:– Saber, observar y medir todas las razones por las

que los tratamientos obtienen el programa y los controles no

– Es necesario una encuesta basal previa a la intervención

– Es necesario tener buenos datos administrativos

13

Posibilidades retrospectivas

“Cuasi-experimentales”– Discontinuidad en la regresión (RD)

– Diferencia en diferencias-datos de panel

– Otros: matching, variables instrumentales

– Combinación de los anteriores

En todos los casos, éstos implican conocer la regla para asignar el tratamiento.

Algunos Resultados: México(Fuente, Coady 2003)

• Focalización:• 58% (80%) de los beneficios a 20% (40%) mas

pobre

• Educación:• Primaria: Mayoría de los impactos en tasas de

progresión• Educación secundaria aumenta:

– 7.2-9.3pp para mujeres (desde 67%)– 3.5-5.8pp para hombres (desde 73%)

• Nutrición:• Aumento en la talla y peso

– Niños 1-4% mas altos, 3.5% mas pesado• Reducción en anemia de niños 24-48 meses en

19%

Evaluación de Red Solidaria

La evaluación de impacto externa es una de las herramientas de Red Solidaria que permitirá determinar la pertinencia, eficiencia y eficacia del Programa en relación con los propósitos y objetivos perseguidos.

Los resultados de la evaluación pueden asegurar la continuidad y sostenibilidad del Programa como ha sucedido con otros programas similares en América Latina.

Objetivo General

Determinar los avances alcanzados en los dos primeros ejes de intervención del Programa para verificar el cumplimiento de las metas y retroalimentar las acciones de Red Solidaria

Principales preguntas• 1- ¿Cuál es la cobertura de las distintas intervenciones?• 2- ¿Qué tan eficaz es el algoritmo de focalización que se utilizará a partir de

2007?• 3- ¿Cuáles son los impactos de la Red Solidaria a corto, mediano y largo plazo?• 4- ¿La combinación de las TMC con la provisión de agua y saneamiento básico

genera los mayores impactos?• 5- ¿El efecto del paquete básico de servicios de salud y nutrición se mantiene

sin las TMC?• 6- ¿Cuál es la satisfacción de los usuarios de la Red Solidaria en cuanto al

funcionamiento de los servicios de salud, educación, agua y saneamiento básico?

• 7- ¿Cuál es el efecto de la calidad de la oferta de servicios en los impactos de la Red Solidaria?

• 8- ¿Cuál es el efecto de Red Solidaria sobre la participación ciudadana y social?• 9- ¿Cuál es la sostenibilidad del bienestar familiar cuando la Red Solidaria salga

de las comunidades?10- ¿Cuáles son los resultados de los indicadores claves de la extensión de servicios de salud?

Consultoras: Consorcio International Food Policy Research Institute (IFPRI) con FUSADES

Coordinación:Comisión Evaluación conformada por FISDL, MSPAS, MINED y FOSEP

Principales Productos: •Informe de Línea Base •Informe Intermedio de Impactos•Informe Final de Impactos •Informe sobre la Sostenibilidad del Programa

Principales Pautas: •Seguimiento de los Principales indicadores del programa•Nivel de Satisfacción de las familias beneficiarias•Impacto social a corto, mediano y largo plazo•Eficacia de la focalización del Programa•Cuantitativo y Cualitativo

Principales productos

www.redsolidaria.gob.sv