Taller de Evaluación de Impacto -...
-
Upload
hoangquynh -
Category
Documents
-
view
228 -
download
0
Transcript of Taller de Evaluación de Impacto -...
Taller de Evaluación de Impacto
Reunión Anual
Noviembre 2013
Introducción
Sistema de seguimiento y evaluación
Seguimiento y evaluación: el poder de medir los resultados
Resultados
= respaldo público
Si no puede reconocer el fracaso no lo puede corregir
Si no puede ver el éxito, no puede aprender de él
Si no puede recompensar el éxito, quizás está premiando el fracaso
Si no puede ver el éxito no lo puede recompensar
Si no mide resultados, no puede distinguir entre el éxito y el fracaso
3
Definición del sistema de SyE
Herramienta de gestión: Ayuda a formular programas y rastrear sus avances, demostrar su impacto (Oportunidades)
No tiene un enfoque tradicional de ejecución, basado en insumos y productos (convocatorias)
Responde a la pregunta “¿Y qué?” (ofrecer flores)
Es producto de una decisión política (no sólo técnica, de la sombra a la luz) y no existe un modelo lineal y único para implementarlo
Seguimiento: función continua que utiliza la recolección sistemática de datos sobre indicadores específicos para obtener una medición de los desarrollos en curso, el logro de los objetivos y el uso de los recursos.
Evaluación: Evalúa un programa desde su diseño, ejecución y resultados. Determina satisfacción y relevancia de los resultados, eficiencia en el desarrollo, su efectividad, sostenibilidad e impacto.
4
Funciones complementarias SyE
Seguimiento Evaluación
Aclara objetivos del programaAnaliza porqué se lograron o no se
lograron los resultados esperados
Enlaza actividades y sus recursos con
objetivos
Evalúa aportes causales específicos de
actividades a resultados
Traduce objetivos en indicadores de
desempeño y fija metasExamina el proceso de ejecución
Rutinariamente obtiene datos sobre
esos indicadores, compara resultados
reales con objetivos
Estudia resultados no propuestos
Informa sobre avances a gerentes y los
alerta sobre problemas
Brinda lecciones, resalta el logro
significativo del potencial del programa
y ofrece recomendaciones de mejoría
5
10
paso
s para la im
plem
en
tación
de
un
sistem
a de se
guim
iento
y evaluació
n
6
10 pasos: Estimación de la Preparación (ejercicio 1.1)
Entender los factores políticos, culturales, organizativos: antes de ¿Cuál,o, qué? Preguntar ¿Porqué queremos implementar un sistema de evaluación y seguimiento basado en resultados?
¿Preparado para pasar de: la medición de los productos a los efectos?
Preguntas claves para determinar requisitos previos:
1. ¿Quién promociona la construcción de sistema del sistema de SyE?
2. ¿El promotor tiene suficiente influencia y el la decisión es consensada/participativa?
3. ¿Quién se va a beneficiar con él? ¿Quién no?
4. ¿Quién va a producir los datos (accesibles, comprensibles, pertinentes, oportunos), analizarlos y darles seguimiento?
5. ¿De qué maneja va a mejorar el logro de las metas y la asignación de recursos?
7
10 pasos: Elegir los efectos (ejercicio 1.2)
Los indicadores son pertinentes en relación con un objetivo, fijar metas para determinar efectos
¿Cuáles son las prioridades estratégicas de mi organización?
Preguntas claves para determinar requisitos previos:
•¿Existe un consenso dentro (y fuera) de mi organización en cuanto a las metas que se persiguen?
• ¿Cómo puedo recolectar información sobre el punto de vista de las partes interesadas?
•¿Conozco las preocupaciones de las partes interesadas en cuanto a: ¿para quién? (población objetivo), ¿dónde? (sector), ¿cuánto? (cuantificar el cambio), ¿cuándo? (marco temporal)
Ejemplo: los niños de comunidades rurales disponen de mejor acceso a programas de preescolar
8
10 pasos: Seleccionar indicadores Los indicadores son variables cuantitativas o cualitativas
Instrumento confiable y sencillo para medir logros, cambios, desempeño
Permiten saber si existen avances hacia el logro de los efectos deseados e impulsan actividades de recolección, análisis y presentación de informes de datos. Necesitan una medición regular.
El número ideal de indicadores es el que permite contestar, ¿Se han logrado los efectos?
EFECTO: Los niños de comunidades rurales del país disponen de mejor acceso a programas de preescolar
INDICADOR: Porcentaje de niños rurales elegibles matriculados en preescolar.
9
10 pasos: Seleccionar indicadores Hacer seguimiento a los efectos: retroinformación continua y flujos
de datos permanentes
Alertan los gestores sobre:
• Discrepancias en el desempeño
• Insuficiencias en el logro de los objetivos
• Desviación del efecto deseado
Ejemplo: Cuestionario de Indicadores de Bienestar Básico
Conjunto fijo de preguntas claves, rápido ingreso y validación de datos, presentación sencilla de informes, muestra grande, cuestionario corto.
“un instrumento para hacer seguimiento en el tiempo a cambios en los indicadores sociales clave y brinda a los países una herramienta sencilla que produce resultados rápidos” (BM)
10
10 pasos: Seleccionar indicadores (ejercicio 1.3)
La “CREMA” de los indicadores:
• Claro (preciso y inequívoco)
• Relevante (apropiado al tema)
• Económico (disponible a un costo razonable)
• Mensurable (validación independiente)
• Adecuado (base suficiente para estimar el desempeño)
Tiempo e intentos (3, tendencia), apoyo externo
Un número no indica un logro, una TASA si
Cualitativos miden: percepción, descripción de un comportamiento (subjetivos pero útiles en fase exploratoria)
Cuantitativos: avance real (y no su percepción)
Indicadores sustitutos (precaución) y diseñados de antemano (IDH: longevidad, conocimiento, nivel de vida) pero metas específicas del país y apropiación.
11
10 pasos: Recolectar datos
Obtener datos básicos como primera medición de un indicador: determinar situación actual (diagnóstico) y darle seguimiento
Ofrecer evidencias para medir el desempeño: presión sanguínea, ejercicio físico… punto de partida para dar seguimiento
¿Fuentes? ¿Métodos de recolección? ¿Quién va a conseguirlos? Etc.
Realidad del sistema de información existente (SEP)
¿Datos básicos relacionados con indicador identificado?
EFECTO: Los niños de comunidades rurales del país disponen de mejor acceso a programas de preescolar
INDICADOR: Porcentaje de niños rurales elegibles matriculados en preescolar.
DATOS BÁSICOS: 1. En 2012, 80% de niños con edades de 3 a 5 años 2. . En 2013, 85% de niños con edades de 3 a 5 años
12
10 pasos: Recolectar datos
Métodos informales:
• Conversación con personas interesadas
• Entrevistas con la comunidad
• Vistas a campo
• Examen de registros oficiales
• Entrevistas de grupo de estudio
Métodos formales estructurados:
• Cuestionarios
• Encuestas
• Grupos de enfoque
• Censos
• Pruebas de campo
13
10 pasos: Planificar, seleccionar objetivos Selección de objetivos, paso final para la construcción del contexto de desempeño
Niveles cuantificables de los indicadores que pretende alcanzar la organización
Ejemplo: “para el año 2018, todas las familias beneficiarias deben de tener la capacidad de comer dos veces al día, todos los días”
Factibles en base a la capacidad y los datos básicos, tendencias
Representan la situación al finalizar el programa, ser razonables sin ser modestos, no predecir qué pasará en 15 años sino intervalos periódicos
Un objetivo por indicador
14
10 pasos: Planificar, seleccionar objetivos (ejercicio 1.4)
Marco de desempeño es la base de la planeación: presupuestos, recursos, personal, etc.
EFECTO: Los niños de comunidades rurales del país disponen de mejor acceso a programas de preescolar
INDICADOR: Porcentaje de niños rurales elegibles matriculados en preescolar.
DATOS BÁSICOS: 1. En 2012, 80% de niños con edades de 3 a 5 años 2. . En 2013, 85% de niños con edades de 3 a 5 años
OBJETIVO: Para 2018, el 95% de los niños
15
10 pasos: Seguimiento
Un sistema de SyE basado en resultados permite gestión mejorada de los recursos, ajustarse a planes de trabajo de la organización y marco temporal: apropiación, gestión, mantenimiento, credibilidad.
Dos tipos: seguimiento de la ejecución (recursos, insumos) y resultados, complementarios .
Nexos entre seguimiento y asignación de recursos (sola unidad, PND), capacidad de rendir cuentas y compartir información, plan anual.
Meta: Menor mortalidad infantil
EFECTO: Menor mortalidad infantil
OBJETIVO: -20% de enfermedades gastrointestinales
MEDIOS: - Programas de prevención del cólera – Complementos de vitamina A – Alentar terapia de rehidratación oral
16
10 pasos: Seguimiento (ejercicio 1.5)
El triangulo de la calidad de los datos:
Confiabilidad: el enfoque de recolección estable y consistente en
tiempo y espacio
Validez: indicadores miden clara y directamente
lo que se requiere
Oportunidad: frecuencia, actualidad,
disponibilidad y pertinencia
17
10 pasos: Papel de la evaluación
Seguimiento: información permanente a través de indicadores sobre dirección, ritmo y magnitud del cambio. No determinan causalidad del cambio (impacto).
Evaluación complemento al seguimiento: Seguimiento da origen a preguntas de Evaluación, y Evaluación genera nuevos campos de seguimiento.
Uso:
• Tomar decisión sobre asignación de recursos
• Identificar problemas nacientes
• Clarificar pugnas sobre mejoras alternativas
• Reformar, innovar y evidenciar
• Crear consenso sobre causas y soluciones
Características: imparcialidad, utilidad, suficiencia técnica, participación de partes interesadas, retroinformación y divulgación
18
10 pasos: Informes
La información de desempeño deriva del seguimiento y la evaluación
Uso:
•Demostrar responsabilidad
•Convencer
•Educar
•Explorar e investigar
•Documentar
•Involucrar
•Fomentar la comprensión
No se pueden recibir solo buenas noticias: explicar efectos inadecuados y presentar medidas correctivas… no castigar al mensajero
19
10 pasos: Usar hallazgos
Diez usos (Haltry, 1999):
1. Responder a las demandas de rendición de cuentas (auditoria)
2. Ayudar a formular y justificar solicitudes presupuestarias (proyectos)
3. Ayudar a tomar decisiones operativas de asignación de recursos (gestión)
4. Impulsar exámenes a profundidad del tipo de problemas de desempeño (mejora continua)
5. Motivar al personal para continuar haciendo mejoras al programa (asignación de responsabilidades)
6. Formular y hacer seguimiento al desempeño de contratistas y adjudicadores (fijar metas a apoyos externos)
7. Proporcionar información para evaluaciones especiales (impacto)
8. Ayudar a prestar servicios con mayor eficacia (uso de recursos)
9. Apoyar trabajos de planeación estratégica (gestión presupuestal)
10. Mejorar la comunicación con el público para crear confianza
20
10 pasos: Sustentar el sistema de SyE Trabajo de largo plazo:
• Demanda (sostenida, rendición de cuentas)
• Funciones y responsabilidades claras (coordinación interna, rebasar lo local, comprometer)
• Información confiable y creíble (examen independiente)
• Rendición de cuentas (no recompensar el fracaso)
•Capacidad (destreza en recolección y análisis de datos)
• Incentivos (donadores)
Dificultades:
Capacitación del personal, costos y factibilidad, cambios en prioridad, mantener indicadores en el tiempo, resistencia de los gestores, constante actualización y mejora del sistema
21
¿Qué es una evaluación?
22
Preguntas de evaluación • Preguntas descriptivas. ¿Qué ocurre? Describe procesos,
condiciones, relaciones organizativas y opiniones de las partes interesadas. (encuesta de clima laboral)
• Preguntas normativas. Compara lo que está ocurriendo con lo que debería ocurrir; evalúa actividades, logro o no de objetivos. Aplican para insumos, las actividades y los productos (matriz de indicadores).
• Preguntas sobre causa y efecto. Examina resultados e intenta determinar la diferencia que ejerce la intervención sobre estos. (¿Oportunidades incrementa poder adquisitivo u otra razón?)
Las evaluaciones de impacto buscan saber cuál es el efecto causal de un programa sobre un resultado de interés: analiza los cambios en el resultado directamente atribuibles al programa.
23
La evaluación orientada a resultados Definir metas: ¿Cuáles son los resultados que busco conseguir?
Por ejemplo: Aumentar el rendimiento escolar, reducir la desnutrición, incrementar los ingresos, etc.
Los resultados son diferentes a los insumos:
o INSUMO = Distribuir suplementos alimenticios a 100 niños
o RESULTADO = Reducir en un 50% la tasa de niños con anemia
El insumo no permite saber si el programa ha alcanzado su objetivo y si dio RESULTADOS.
24
Monitoreo vs evaluación
MONITOREO:
Proceso continuo de recolección y análisis de información Comparar el desempeño de un proyecto, programa o política relativo a
sus objetivos propuestos Informar la implementación y gestión del programa
EVALUACIÓN: Una valoración sistemática y objetiva sobre el diseño, la implementación o los resultados de un proyecto, programa o política Determinar la relevancia y el logro de los objetivos de desarrollo y Generar aprendizajes para informar el proceso de toma de decisiones Realizado para responder preguntas especificas
25
Monitoreo Evaluación
Frecuencia Regular, continuo Periódico
Cobertura Todos los programas Selectivamente
Datos Universal Muestra
Información Generada
Implementación: actividades, productos
Efecto en resultados y porque
Costo Asumido por programa A veces alto
Uso Gestión de programa Decisiones estratégicas,
Bien público
Monitoreo vs evaluación
26
Tipos de evaluación… que no son de impacto
27
Tipos de evaluación • Existen diversos tipos de evaluación:
Evaluación de necesidades Evaluación teórica del programa Evaluación de procesos Evaluación costo-beneficio
• El monitoreo y las diversas formas de evaluación son herramientas
complementarias • PERO…un programa puede estar bien diseñado e implementado pero no
tener impacto
• Nuestro enfoque en este taller es sobre las evaluaciones de impacto y su “ingrediente” clave, los datos generados con encuestas… pero estudiemos las demás
28
Evaluación de necesidades
• Los programas se realizan para remediar una situación específica. Ejemplo: incidencia alta de diarrea en población infantil.
• ¿Causas? Pueden ser muchas… agua contaminada, mal manejo de los
alimentos, casas con piso de tierra, uso de fertilizantes, etc. • Si es el tipo de fertilizante es la causa del problema de diarrea y que se
implementa un programa de saneamiento de agua, ¿Cuál es el resultado?
• Si no se detecta la causa claramente, el programa será inefectivo por no atacar el origen del problema
• Se interesa por el entorno y las características de la población que
demanda (o no) los servicios • Existen diversos tipos de necesidades (normativa, percibida, relativa,
expresada) y evaluaciones (participativas o no) para saber a quién prestar el servicio y qué tipo de programa es el más adecuado
29
Evaluación teórica o de diseño
• Los programas se realizan para remediar una situación específica. Ejemplo: infecciones por tomar agua contaminada
• ¿Causas? Pueden ser muchas… • Elegir la solución para tratar el problema:
¿Las personas no saben que el agua está contaminada? ¿No tienen acceso a cloro para desinfectarla? ¿Se rechaza el uso de cloro por razones particulares?
• Se necesita tomar en cuenta el contexto político (los contaminadores
son inatacables…) y las capacidades (financieras, humanas, institucionales, etc.)
• Implica modelar (políticamente) la teoría que está detrás del programa
con un enfoque de Marco Lógico o Teoría del Cambio para determinar la mejor intervención
30
Evaluación de procesos
• Analiza la efectividad de las operaciones del programa, la implementación y la entrega de servicios, una vez lanzado, frente a las realidades del terreno.
• Se define también cómo Monitoreo:
Los servicios y metas están alineados apropiadamente. Los servicios están siendo entregados a los destinatarios, como se
pretendía. Cuán bien está organizado el servicio de entrega. La efectividad de la gestión del programa. Cuán efectivamente se están usando los recursos del programa.
• Las metas están fijadas por los administradores o los donantes, deben
de existir mecanismos de recolección de datos. 31
• Dos estrategias con métodos y costos diferentes pueden llegar a tener el mismo resultado…
• Dos opciones:
Una inversión en infraestructura que reduce la diarrea en un 80%? un programa de distribución de tabletas de cloro que cuesta 1/100ª
parte del precio, y reduce la diarrea en un 50%?
• Las metas están fijadas por los administradores o los donantes, deben de existir mecanismos de recolección de datos.
Evaluación de costo beneficio
32
Evaluación de costo beneficio • ¿Está el programa produciendo suficientes beneficios para compensar
los costos? O en otras palabras, ¿La sociedad será más rica o más pobre después de realizar esta inversión?
• Controversial: cuantificar el beneficio de la salud de los niños en términos monetarios es difícil y subjetivo…
Análisis costo efectividad • Toma el costo del programa y lo divide por su impacto. Ejemplo:
Número de casos de diarrea prevenidos por dólar invertido
Análisis de comparación de costos • ¿Cuánto cuesta, por dólares, la reducción de la diarrea de cada
estrategia?
33
La evaluación de impacto
El proceso de evaluación de impacto • Las evaluaciones de impacto forman parte de un programa más
amplio de formulación de políticas y programas basados en evidencias.
• Tendencia mundial creciente caracterizada por un cambio de enfoque: de los insumos a los resultados.
Este enfoque no sólo sirve para fijar metas y hacer seguimiento. Los resultados permiten:
Rendir cuentas
Informar para conseguir recursos
Orientar las decisiones de política social
Mejorar la calidad, la eficiencia y la efectividad
35
Ejemplo: Progresa/Oportunidades
• Tipo: programa innovador de transferencias monetarias condicionadas (asistencia escolar, centros de salud), Zedillo.
• Objetivo: incentivar inversiones en el capital humano de los niños
• Medio: apoyo económico a madres de familias de hogares pobres, índice de pobreza
• Evaluación experimental (97-98): selección aleatoria por etapas de 506 comunidades, VI = consumo per cápita
• Indicadores:
Tasa de matriculación escolar,
Nivel de desnutrición,
Incidencia de enfermedades,
Días de trabajo perdidos en población adulta
36
Ejemplo: Progresa/Oportunidades
• Resultados:
Mejoró 29.3 pesos consumo per cápita
0,7 años adicionales de escolarización
reducción de la probabilidad de retraso del crecimiento de un centímetro al año (12 a 36 meses de edad)
23% reducción de incidencia de enfermedad (niños)
19% reducción de días no trabajados por enfermedad (adultos)
• Consecuencia:
Permanencia desde 1990
Introducción de becas para la educación secundaria básica, media superior y mejora de los programas de salud para adolescentes
Difusión internacional
Aprobación de nuevas leyes que requieren la evaluación de todos los proyectos sociales 37
¿Por qué evaluar? Necesitamos evidencia sobre efectividad de políticas
Presupuestos limitados
Toma de decisiones:
o Promover/expandir políticas con impactos positivos
o Parar/reformular políticas con impactos negativos
Sostenibilidad de políticas
Entender porque funciona una política (prueba de hipótesis)
Analizar como funciona una política (componentes)
Identificar quien se beneficia (elegibilidad y focalización)
Mejorar diseño de políticas
Negociaciones presupuestarias
Informar al publico (prensa, sociedad civil)
Agenda de efectividad en el desarrollo
38
La evaluación de impacto
Mide la relación causal entre un proyecto, programa o política y los resultados en los beneficiarios: Compara un estimado de la situación de los beneficiarios en la ausencia de la intervención (con grupos de comparación o control) con el estado observado de los beneficiarios (grupo de intervención o tratamiento) para determinar el efecto (impacto) de la intervención en los resultados intermedios o finales.
Responde a: Cual es el efecto de un programa sobre los resultados de interés? Por cuanto mejoró la situación de los beneficiarios gracias al
programa? Como cambiarían los resultados si alterásemos el programa? El programa es costo-efectivo? 39
La evaluación de impacto atribuye
un resultado en base a un contrafactual
40
Ejemplo Problema de desarrollo:
Alta tasa de deserción
escolar entre niños pobres
Reduce la adquisición de
capital humano
Reproducción social y ciclo de
la pobreza
41
Ejemplo Pregunta de desarrollo:
¿Cómo reducir la deserción escolar?
Hipótesis:
Los niños abandonan debido al costo de oportunidad de ingreso en el mercado laboral
Solución propuesta:
Becas escolares para reducir el costo de oportunidad
Pregunta de evaluación:
¿Cuál es el impacto de las becas escolares en la deserción escolar?
42
Ejemplo: Caso 1 (ejercicio 2)
Diagnóstico
• Observamos en el 2010 que la tasa de deserción fue del 10%
Programa
• Implementamos un programa de becas
Resultado
• Observamos en el 2012 que la tasa de deserción es del 5%
¿El impacto de las becas fue una reducción en la deserción de 5 puntos porcentuales?
43
Ejemplo: Caso 2
Participantes
• Observamos en el 2012 que la tasa de deserción entre niños que solicitaron beca fue de 5%.
No participantes
• Al mismo tiempo, observamos que la tasa de deserción entre niños que NO solicitaron beca fue de 10%
¿El impacto de las becas fue una reducción en la deserción de 5 puntos porcentuales?
44
Ejemplo: Caso 3
Participantes
• Observamos en el 2012 que la tasa de deserción entre niños que solicitaron beca fue del 10%.
No participantes
• Al mismo tiempo, observamos que la tasa de deserción entre niños que NO solicitaron beca fue del 5%.
¿El impacto de las becas fue una incremento en la deserción de 5 puntos porcentuales?
45
Respuesta… ¿Quién sabe…?
Ejemplo 1: pre-post (antes – después)
• Otros factores que varían en el tiempo
• ¿Por ejemplo?
Ejemplo 2 y 3: solicitantes no solicitantes
• Auto selección
• ¿Quien solicita las becas?
• El grupo de “comparación” no es comparable
El impacto del programa es la diferencia en la deserción con el programa y sin el programa, para el mismo individuo, al mismo tiempo (?)
46
Teoría de la evaluación: el contrafactual … Nunca observamos a la misma persona con y sin programa al mismo tiempo
Contrafactual: lo que hubiera sucedido en la ausencia del programa (o el clone perfecto)
El impacto estimado es la diferencia entre el resultado observado del beneficiario y el estimado del contrafactual .
El contrafactual o grupo de control es crítico para poder responder una pregunta de evaluación
47
Si los Tratamientos y Contrafactuales :
(1) Tienen características idénticas
(2) Excepto el beneficio del programa
Entonces no existen otras razones, más allá de las becas, para explicar las diferencias observadas de la tasa de deserción
Logramos estimar el impacto de las becas escolares
Hay que garantizar la comparabilidad del grupo de tratamiento y control entonces la única explicación para una diferencia en resultados es el programa
Teoría de la evaluación: el contrafactual
48
En la práctica…
En práctica una evaluación requiere:
• Compatibilidad con diseño operativo del proyecto
• Presupuesto y expertise técnico
• Datos
• Producción y diseminación de resultados
La evaluación es una operación dentro de una operación
Queremos evaluar cuando la intervención es:
• Innovadora
• Replicable
• Estratégica
• No probada
• Influyente
49
La evaluación comienza con la pregunta de desarrollo
• Los métodos de evaluación son herramientas para responder la pregunta de “¿y qué?”.
Evaluar:
• Intervenciones similares en múltiples contextos (validez externa).
• Intervenciones diferentes con los mismos resultados (costo-efectividad).
Averiguar no solamente si una intervención funciona o no, pero porqué funciona, y aprovechar los aprendizajes de intervenciones que NO funcionan tanto como los que si.
El desarrollo es un proceso continuo de aprendizaje, revisión de políticas, y más aprendizaje
Evaluar Estratégicamente…
50
Prospectivo v.s. Retrospectivo
• Prospectivo:
Evaluación integrada en diseño operativo del programa desde un comienzo
- Aclara los objetivos, fija metas claras
- Predefinir preguntas y medición de resultados (Medición de Línea Base para tratamiento y control)
- Más y mejores opciones metodológicas
• Retrospectivo:
Evaluación diseñada y realizada al final del programa
Opciones más limitadas para:
- Estimar contrafactual
- Obtener datos, no se dispone de línea base
Evaluar Estratégicamente…
51
La cadena de resultados
Fuente: La evaluación de impacto en la práctica, 2011 Banco Internacional de Reconstrucción y Fomento/Banco Mundial 52
La cadena de resultados
Fuente: La evaluación de impacto en la práctica, 2011 Banco Internacional de Reconstrucción y Fomento/Banco Mundial
53
La cadena de resultados (ejercicio 3)
Insumo(s) de mi programa:
1.
2.
Actividad(es) de mi programa:
1.
2.
Producto(s) de mi programa:
1.
2.
Resultado(s) de mi programa:
1.
2.
Resultado(s) finales de mi programa:
1.
2.
54
Encuesta y recolección de datos de calidad
• No todas las organizaciones disponen de un padrón de beneficiarios sistematizado, (CENSO) actualizado y con información relevante acorde a sus metas e indicadores de impacto…
• No todas las organizaciones aplican encuestas o evaluaciones (en base a una muestra representativa) para conocer los resultados específicos de un programa particular…
¿Dónde conseguir los datos para el seguimiento y la evaluación?
La encuesta permite recolectar información para explicar la varianza de una variable de interés y atribuirla al desempeño del programa como a
variables externas
56
• Reconocer que los errores no muestrales son, al menos, tan serios como los muestrales
• Organizar al personal de campo en equipos autosuficientes
• Recoger los datos con base en un plan de encuesta y un programa de trabajo realista - Plan de encuesta: qué equipo visita cada sitio y cuándo
- Programa de trabajo: qué hace cada equipo en cada sitio
• Asegurar de manera permanente la calidad del trabajo de campo, por la vía de - Procedimientos de supervisión explícitos
- Monitoreo continuo de los datos
• Integrar los controles de calidad informáticos al trabajo de campo
Encuestas: calidad de los datos
57
La tecnología ofrece muchas posibilidades
- Digitación rápida de los cuestionarios en computadores de escritorio, con re-visitas programadas a los puntos de muestra (inconsistencias)
- Digitación de los cuestionarios en los mismos puntos de muestra
- En ciertos casos, se puede suprimir el papel, y digitar las respuestas directamente, en laptops
Para eso, hay que:
Concebir y elaborar software competente y ergonómico
Detectar rápidamente las inconsistencias, y resolverlas en el terreno
Transferir rápidamente los datos para monitoreo
58
Encuestas: calidad de los datos
Sistema para la conformación del padrón en base a indicadores:
¿Cómo conseguir los datos para el seguimiento y la evaluación?
59
¿Dónde conseguir los datos para el seguimiento y la evaluación?
60
Ejemp
lo: P
rogram
a de
asisten
cia alimen
taria
Recolección de datos de línea base para la medición de indicadores claves de impacto
61
Ejemplo: Programa de asistencia alimentaria
62
Ejemplo: Programa de asistencia alimentaria
63
Ejemplo: Programa de asistencia alimentaria (línea base)
25.6% Pobres Extremos
218 familias
3.5 carencias promedio
98.4% Pobreza
multidimensional,
837 familias,
2.4 carencias
promedio.Carencias
Derechos Sociales
0.4% Vulnerables por carencia social,
3 familias,
2 carencias promedio.
0% Población
no pobre y no
vulnerable
Bie
nesta
r
In
gre
so
72.7% Pobres Moderados
619 familias 1.3%
Vulnerables
por Ingreso,
11 familias,
0.4 carencias
1.9 carencias
promedio
64
Ejemplo: Programa de asistencia alimentaria
Indicador
Con carencia en el
levantamiento 2
Con carencia en el
levantamiento 1 Diferencia
Valor Chi-
cuadrado
Prueba de
significancia (Mc
Nemar)
Inseguridad
alimentaria 44.6% 68.2% -23.6% 67.592 .0000
Calidad de la
vivienda 24.0% 31.6% -7.6% 15.362 .0001
Seguro social 24.4% 29.8% -5.4% 7.078 .0078
Impacto después de 6 meses de exposición al tratamiento (muestra pareada, evaluación experimental transformada en antes - después)
65
Tipos de evaluación de impacto 1. Con contrafactuales falsos 2. Semi experimentales 3. Experimentales
66
1. Pre-Post (contrafactual falso)
Descripción metodológica: Mide cómo los beneficiarios de un programa cambian a través del tiempo.
Grupo de comparación: Los mismos beneficiarios del programa, usualmente antes de que empecé el programa.
Supuesto: El programa es el único factor para explicar las posibles diferencias entre la situación inicial y la situación final de los beneficiarios… ¡pero otros factores varían en el tiempo!
Datos requeridos: Datos sobre los beneficiarios antes del programa y al finalizar el programa.
67
1. Autoselección (contrafactual falso)
Descripción metodológica: Mide los beneficiarios de un programa en comparación con personas que eligieron no participar o son inelegibles.
Grupo de comparación: Las personas que decidieron o no pueden participar.
Supuesto: El programa es el único factor para explicar las posibles diferencias entre la situación inicial y la situación final de los beneficiarios en comparación con los no beneficiarios… ¡pero la decisión de participar se confunde con el resultado de interés! Existe un sesgo de selección entre los nunca, los siempre o los inscrito si se lo ofrecen.
Datos requeridos: Datos sobre los inscritos y los no inscritos en el programa al empezar y al finalizar.
68
2. Diferencia en diferencias (semi experimental)
Descripción metodológica: Mide el cambio en los participantes de un programa en comparación con el cambio en los no participantes.
Grupo de comparación: Personas que por alguna razón no han participado en el programa pero sobre las cuales se han levantado datos antes y al terminar el programa.
Supuesto: Si el programa no existiera, la tendencia de cambios en los dos grupos serían iguales a través del tiempo.
Datos requeridos: Datos sobre los beneficiarios y no beneficiarios antes del programa y al finalizar el programa.
69
2. Diferencia en diferencias (semi experimental)
70
2. Diseño de regresión discontinua (semi experimental)
Descripción metodológica: Individuos clasificados en base a un criterio medible. Puntos de corte determinan la participación o no en el programa. Participantes comparados con NO participantes (índice de pobreza, becas de excelencia, apoyos agrícolas)
Grupo de comparación: Individuos muy cercanos al punto de corte para la participación pero que, por su puntaje, no son elegibles para beneficiarse del programa (49.9 vs 50.1 hectáreas)
Supuesto: Los individuos elegibles y no elegibles cercanos al punto de corte para la participación son idénticos y no existe sesgo en base a las variables observadas. Se respeta escrupulosamente la selección de participantes en base al punto de corte.
Datos requeridos: Datos de resultados, datos de variables de selección para la participación así como variables de control.
71
2. Diseño de regresión discontinua (semi experimental)
72
2. Diseño de regresión discontinua (semi experimental)
73
2. Pareamiento estadístico (semi experimental)
Descripción metodológica: Los individuos del grupo de tratamiento son comparados con individuos idénticos del grupo de control.
Grupo de comparación: (Propensity Score Matching) los no participantes tienen un conjunto de características similares a los participantes, lo que permite decir que tenían la misma probabilidad de participar en el programa.
Supuesto: Los factores que han sido excluidos (porque no son observables y/o no han sido medidos) no sesgan los resultados porque no se encuentran correlacionados con el resultado o no son diferentes entre participantes y no participantes.
Datos requeridos: Datos de resultados así como datos de variables de pareamiento para los participantes y los no participantes.
74
2. Pareamiento estadístico (semi experimental)
75
3. Evaluación aleatoria o experimental
Descripción metodológica: Método experimental para medir la relación de causa a efecto entre dos variables.
Grupo de comparación: Los participantes al programa son asignados aleatoriamente al grupo de control antes de su comienzo.
Supuesto: La aleatorización funciona. Los dos grupos son estadísticamente similares tomando en cuenta los factores observables y no observables.
Datos requeridos: Datos de resultado para el grupo de control y tratamiento. Las variables de control pueden ayudar a explicar la varianza y fortalecer el poder explicativo. Factible en evaluaciones prospectivas cuando demanda excede oferta del beneficio (ética).
76
El resultado difiere dependiendo del método elegido: todo depende de la calidad del contrafactual.
Nota: **estadísticamente significativo al 1% Fuente: Sebastian Martinez, Banco Inter-Americano de Desarrollo 77
Impacto de Progresa en Consumo
Caso 1: Pre-programa 34.28**
Caso 2: Auto-seleccionados -4.15
Caso 3: Diferencias en Diferencias 25.53**
Caso 4: Diseño de Regresión Discontinua 30.58**
Caso 5: Pareamiento 7.06
Caso 6: Asignación aleatoria 29.75**
Seleccionar un método
78
Preguntas claves para la selección del método
Índice continuo de
focalización y umbral
Sin Indice continuo de
focalizacion y umbral
Índice continuo de
focalización y umbral
Sin Indice continuo de
focalizacion y umbral
Expansion en fases a
lo largo del tiempo
o Asignación Aleatoria
o Diseño de Regresión
Discontinua
o Asignación
Aleatoria o
Diferencia en
Diferencias con
Pareamiento
o Asignación
Aleatoria en fases
o Diseño de
Regresión
Discontinua
o Asignación
Aleatoria en fases
o Diferencia en
Diferencias con
Pareamiento
Implementación
Inmediata
o Asignación Aleatoria
o Diseño de Regresión
Discontinua
o Asignación
Aleatoria o
Diferencia en
Diferencias con
Pareamiento
o Diseño de
Regresión
Discontinua
o Diferencia en
Diferencias con
Pareamiento
Exceso de demanda para programa
(recursos limitados)
Sin exceso de demanda para el programa
(recursos suficientes)
Sele
cció
n del
méto
do
Fuente: Gertler et al. “Impact Evaluation in Practice” (2010) 79
Ejercicio 4: ¿Qué tipo de evaluación conviene para
mi programa?
80
La presentación para el taller está disponible en:
www.depis.org.mx
¡Gracias por su participación!
81