La importancia del monitoreo y Título de la … · La importancia del monitoreo y la evaluación...
33
www.coneval.org.mx Título de la presentación Fecha 00/00/2016 Sede donde se realizará la presentación La importancia del monitoreo y la evaluación de las políticas públicas Dirección General Adjunta de Coordinación Puebla, Puebla a 30 de junio de 2017
Transcript of La importancia del monitoreo y Título de la … · La importancia del monitoreo y la evaluación...
www.coneval.org.mx
Título de la presentación
Fecha 00/00/2016
Sede donde se realizará la presentación
La importancia del monitoreo y
la evaluación de las políticas
públicas
Dirección General Adjunta de Coordinación
Puebla, Puebla a 30 de junio de 2017
La candidata ….. propuso la alimentación a
base de “elotes”, como una medida para la
prevención de suicidios.
Fuente: EL UNIVERSAL Publicada el 2016-05-18 1
Hay interés por atender un
problema social
Buena voluntad para
implementar políticas públicas
El Gobierno está para conseguir resultados para la población
Por lo tanto el objetivo central
de cualquier gobierno es
dar resultados, no hacer o
entregar muchas cosas…
El Gobierno cobra impuestos
para poner en marcha
programas/acciones que
buscan mejorar la situación
de la población
¿Cómo cumplir con esto?: Pero también lograr:
¿Cuánto gasté?
¿Cuántas reuniones tuve?
¿Cuántos créditos/despensas/
desayunos/capacitaciones repartí?
¿Cuánta gente atendí?
¿Cuántas fotos me tomé?
¿Cuánto logré en aumento del
ingreso familiar;
casas con mejor calidad;
niñ@s que aprenden en las
escuelas;
acceso de calidad en servicios de
salud;
tener seguridad en las calles;
aumentar la confianza en la
comunidad, en le gobierno, en la
policía;
El Gobierno está para conseguir resultados para la población
¡Es importante contar con esquemas que
faciliten el diseño, ejecución y evaluación
de programas y políticas públicas!
¿Cómo lograrlo?
Los programas se diseñan mejor con
información y la evidencia
De esta forma…
¿Cuáles intervenciones funcionan y cuáles no?
Disponible en:
http://www.coneval.gob.mx/Evaluacion/ESEPS/Paginas/Guias_mejorar_politica_publica.aspx
Con base en la información y la evidencia
Un Sistema de Monitoreo y Evaluación para articular instrumentos
Puede ser llevado a cabo en diversos niveles, por ejemplo a nivel de país, estados, municipios de políticas, de programas y de proyectos.
El monitoreo y la evaluación son dos
estrategias separadas, pero
interrelacionadas, para recopilar datos e
informar sobre las conclusiones respecto de
qué tan bueno (o no) es el desempeño del
sector público
Es un conjunto integrado de principios, prácticas
gerenciales y técnicas que permiten informar a los
diversos involucrados en un programa/política, si
éste es (o no) exitoso.
Qué es un
Sistema de
M&E
Monitoreo Evaluación
¿Cómo se ha realizado a nivel federal?
Componentes de un Sistema Integral de M&E
Uso de la información
Valoración de una política pública antes, durante o una vez concluida para
determinar su relevancia, eficiencia, efectividad, y
sustentabilidad
Proceso continuo para medir el desempeño de un
programa, política o estrategia respecto a los
resultados esperados
Sistema de M&E
Indicadores de resultados y de gestión
Diagnósticos y otras herramientas
1. Monitoreo 2. Evaluación
Evaluación de diseño, proceso, impacto, entre
otras
3. Seguimiento de recomendaciones
4. Mejor toma de decisión: Resultados
Internas y Externas
Monitoreo Evaluación
Diagnóstico de la problemática social
Diseño de la Matriz de Indicadores
(MIR)
E0
E1
Evaluación de Diseño
Definición de Indicadores para
contribuir a objetivos sectoriales
Levantamiento de Línea de Base
Mejora de MIR y Medición de
Indicadores
E2 Mejora de MIR y Medición de
Indicadores
Evaluación de Consistencia y
Resultados
E3
Aprobación de indicadores
E4 Implementación de Sistema de
Monitoreo
Evaluación de
Impacto
Evaluación de
Procesos
Evalu
ació
n E
specífic
a d
e D
esem
peñ
o
Fic
ha d
e M
onitore
o
Etapas
Horizonte de seguimiento y evaluación del
programa
Alineación al
Plan de
Desarrollo
Componentes
Actividades
Propósito??? Im
ple
men
tació
n
Resu
ltad
os
Se pretende pasar de esto…
¡Caricatura de una realidad!
Componentes
Actividades
Propósito? Im
ple
men
tació
n
Resu
ltad
os
…a este esquema en un primer momento
Estrategia de mediano y largo plazo
Componentes
Actividades
Propósito
Fin
Objetivos
Nacionales
Resu
ltad
os
Im
ple
me
nta
ció
n
…a esto en un segundo momento…
La meta esperada…
PND Nivel 1
Planes sectoriales
Nivel 2
Objetivos de las dependencias
Nivel 3
Programas presupuestarios Nivel 4
Objetivos Nacionales
Ejes política pública
Objetivos y Estrategias
Objetivos de las programas del
PND
Estrategias
Líneas de acción
Objetivo estratégico de
la Dependencia
Programa
presupuestario
Fin
Propósito
Componentes
Actividad
Reglas de
operación
Planeación y marco lógico
La Matriz de Indicadores para Resultados (MIR) es un cuadro con cuatro
filas y cuatro columnas.
Componentes
Fin
Actividades
Propósito
Resumen
Narrativo Indicador
Medio de
Verificación Supuesto
Matriz de Indicadores para Resultados
DIAGNÓSTICO
del diseño de
MIR e
Indicadores por
Programa
Revisión de
diseño de MIR
e indicadores
Diseño de
Fichas de
Revisión
INFORME de
Mesa Técnica
de Revisión de
Indicadores de
Resultados
Revisión de
Indicadores de
Resultados por
MTRI
Selección de
Experto
Temático y
Estadístico
DICTAMEN
sobre
Indicadores por
programa
Se turna
Dictamen a
Comité
Directivo
Se turna
Dictamen a
Comisión
Ejecutiva
Consideración de la SHCP y ASF
I. Valoración integral de
indicadores de resultados,
servicios y gestión
II. Valoración especifica de
los Indicadores de
Resultados
III. Dictamen de Aprobación
de los indicadores
El CONEVAL desarrolló una metodología para la aprobación de indicadores de los programas
de desarrollo social y se encuentra disponible en
Ir a Metodología
Metodología de Revisión de Indicadores
Nota / píe de página Aspectos generales Nombre del programa
Núm. de
Objetivos
Núm. de
Indicadores
Programa de Desarrollo Innovador 2013-2018 5 12
Programa Nacional para la Igualdad de Oportunidades y no
Discriminación contra las Mujeres PROIGUALDAD 2013-20186 18
Programa para Democratizar la Productividad 2013-2018 6 6
Programa Sectorial de Desarrollo Agrario, Territorial y Urbano
2013-20185 12
Programa Sectorial de Desarrollo Agropecuario, Pesquero y
Alimentario 2013-20185 7
Programa Sectorial de Desarrollo Social 2013-2018 6 18
Programa Sectorial de Educación 2013-2018 6 13
Programa Sectorial de Medio Ambiente y Recursos Naturales
2013-20186 17
Programa Sectorial de Salud 2013-2018 6 16
Programa Sectorial de Trabajo y Previsión Social 2013-2018 4 12
Total 55 131
En 2015, se revisaron y analizaron diez planes que se derivan del Plan Nacional de Desarrollo 2013-2018, los cuales integran:
55 objetivos que describen las prioridades de
política pública.
131 indicadores para monitorear el grado de avance y cumplimiento de sus objetivos.
Un promedio de dos indicadores para medir un objetivo.
Análisis de los indicadores sectoriales
Nota / píe de página
71 indicadores (54.2%) miden la solución de problemas concretos, por lo que se considera con un enfoque hacia resultados; el restante, 60 indicadores, (45.8%) monitorean aspectos sobre servicios y gestión.
52.7% 47.3%
Objetivos con enfoquede resultados
Objetivos con enfoquede gestión y servicios
Enfoques de resultados y gestión y servicios
. Indicadores de los planes derivados del PND
54.2%
45.8%
Indicadores con enfoquede resultados
Indicadores con enfoquede gestión y servicios
Objetivos de los planes derivados del PND
29 objetivos (52.7%) miden aspectos relacionados a los
resultados, mientras que 26 objetivos (47.3%) mide aspectos vinculados a los servicios y la gestión.
Objetivo con enfoque de resultados
Contribuir a erradicar la carencia por acceso a la alimentación
Objetivo con enfoque de gestión y servicios
Asegurar la generación y el uso efectivo de los recursos en salud
Indicador con enfoque de resultados
Porcentaje de la población con seguridad alimentaria
Indicador con enfoque de gestión y servicios
Porcentaje de gasto público en salud destinado a la provisión de atención médica y salud pública
extramuros
Ejemplos:
Análisis de los indicadores sectoriales
Resultados de vinculación de los indicadores de los planes, derechos sociales y el bienestar económico
Nota / píe de página • 72% (94 indicadores) se encuentra vinculado a algún derecho social o la dimensión de bienestar económico.
• 28% de los indicadores (37 indicadores) no presenta vinculación alguna con los derechos sociales o el bienestar económico.
• 18% (23 indicadores) presenta una vinculación directa, es decir, la relación existente entre la(s) variable(s) del indicador del plan con la(s) variable(s) de los indicadores de derechos sociales o de la dimensión del bienestar económico es alta.
• 54% (71 indicadores) se vincula de manera indirecta
con los derechos sociales y la dimensión del bienestar económico.
18%
54%
28% Vinculación directa
Vinculación indirecta
Sin vinculación
Número de indicadores vinculados por derecho social o
bienestar económico
Análisis de los indicadores sectoriales
Vinculación de los indicadores de los programas derivados del Plan Nacional de Desarrollo 2013-
2018 y los indicadores de los Pp
Nota / píe de página
• De los 131 indicadores de los planes el 45% (59 indicadores) al menos un indicador de Propósito de los programas Pp pudiera
influir directamente en su cumplimiento.
• Más de la mitad indicadores de los planes (72 indicadores) no cuenta con indicadores de Propósito de los Pp que influyan directamente
en su cumplimiento.
• De los 271 indicadores de Propósito contenidos en las 152 MIR de los programas sociales en 2016, casi una tercera parte (84
indicadores) miden alguna variable relevante de al menos un indicador de los planes.
• De las variables que se miden en 69% de los indicadores de los Pp (187 indicadores) no se encuentra vinculación directa con
alguno de los indicadores de los planes.
45%
55%
Indicadores del PNDvinculados
Indicadores del PND sinvinculación
31%
69%
Indicadores de losPp vinculados
Indicadores de losPp sin vinculación
Análisis de los indicadores sectoriales
Vinculación de los indicadores de los programas derivados del Plan Nacional de Desarrollo 2013 -
2018 y los indicadores de los Pp
Nota / píe de página
29%
71%
7% 4%
14%
78%
40%
13%
31%
13%
4%
69%
13%
7%
7%
4%
18%
6%
11%
20%
9%
19%
75%
7%
71%
27%
11%
46%
13%
54%
19%
38%
8%
25%
7%
14% 15%
7%
4%
9%
13% 7% 7%
36%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Programa de DesarrolloInnovador 2013-2018
Programa Nacional parala Igualdad de
Oportunidades y noDiscriminación contra lasMujeres PROIGUALDAD
2013-2018
Programa paraDemocratizar la
Productividad 2013-2018
Programa Sectorial deDesarrollo Agrario,
Territorial y Urbano 2013-2018
Programa Sectorial deDesarrollo Agropecuario,Pesquero y Alimentario
2013-2018
Programa Sectorial deDesarrollo Social 2013-
2018
Programa Sectorial deEducación 2013-2018
Programa Sectorial deMedio Ambiente y
Recursos Naturales 2013-2018
Programa Sectorial deSalud 2013-2018
Programa Sectorial deTrabajo y Previsión Social
2013-2018
SHCP SAGARPA SE SEP SALUD STPS SEDATU SEMARNAT IMSS-PROSPERA SEDESOL ENTIDADES NO SECTORIZADAS IMSS ISSSTE
Análisis de los indicadores sectoriales
Instrumentos generados para el monitoreo
Ficha de Evaluación de la MIR
Ficha de Evaluación del indicador
Mesa Técnica de Revisión de
Indicadores de Resultados
Curso de Diseño de programas
sociales con enfoque a resultados
Formación y
Desarrollo de
Capacidades
Revisión
Informes
Metodologías
Metodología de Aprobación de
Indicadores
Diagnóstico de MIR
Diagnóstico de Monitoreo de
Programas Sociales
Informe de Indicadores sectoriales
El CONEVAL evalúa
Derechos Sectores Programas
http://www.coneval.org.mx/Ev
aluacion/Paginas/InformeEval
uacion.aspx
¿Cómo mejorar la política o el
programa?
¿Cuál es el problema a
resolver?
¿Cuál es su magnitud?
¿Logra el programa las metas
propuestas?
¿Los bienes y/o servicios se han
entregado oportunamente?
¿Cómo cambia la situación de
la población beneficiada
después de recibir el apoyo?
Proveer de
información útil
para la mejora
de las políticas
y programas
1
4
5
3
2
6
¿Cuál es el propósito de generar evaluaciones?
Diseño
Consistencia y lógica interna de los programas
Consistencia y Resultados
Diagnóstico de la capacidad
institucional para alcanzar
resultados
Procesos
Análisis de los procesos
operativos y su contribución al
propósito
Estratégicas
Valoración de las políticas y
estrategias de desarrollo social
Indicadores
Pertinencia y alcance de los indicadores de un programa
Complementarias
Profundizar sobre aspectos relevantes del desempeño
Específica de Desempeño
Valoración sintética de la
información del programa en el
SED
Impacto
Medir los efectos netos del programa
Diagnóstico de Programas
Nuevos
Definir el problema y
justificar que es un problema
público
Implementación de modelos de evaluación a programas sociales
Esquema lógico de
programas
Uso de la MML
Mecanismo de Seguimiento a las
Recomendaciones
Un instrumento
para la Mejora de la
Acción Pública
Se detalla la forma en la que los
responsables de los programas y las
unidades de evaluación…
El Mecanismo consiste en:
Mecanismo para el seguimiento de
los
Aspectos Susceptibles de Mejora
…compromisos para corregir, modificar,
reorientar, adicionar o en un caso
suspender programas.
deben establecer
•Clasificar los ASM de acuerdo con las instituciones que participan en la mejora del programa.
•Elaborar documentos en los que se definen las acciones de mejora y los responsables.
•Dar seguimiento a los avances en los compromisos y valorar éstos en las evaluaciones anuales de los programas
Sistema de Evaluación del Desempeño
¿Dónde se aplica la información en el marco del GpR-PbR?
Retroalimentación
del ciclo
Fortalecer la capacidad institucional para realizar acciones de M&E
Marchar de la mano de las áreas con atribuciones de M&E
Realizar pequeños ejercicios de M&E que tienen un efecto multiplicador y complementarlos entre sí
Garantizar la continuidad de los ejercicios de M&E más allá del periodo de la administración
Construir un sistema de M&E requiere política, técnica y rendición de cuentas
1
2
3
4
Algunos cambios en la política social
derivados de la información del CONEVAL
El gobierno implementó en 2014 una
estrategia para reducir la pobreza
extrema y el hambre.
El presupuesto del Programa Piso
firme se incrementó casi 400% entre
2007 y 2012.
El programa de empleo para jóvenes
fue cancelado en 2009.
El suplemento alimenticio del
programa Progresa – Oportunidades
fue modificado para tener una mejor
fórmula en 2003.
El CONEVAL publicó que la
pobreza y la carencia alimentaria
se incrementó entre 2008 y 2012.
La evaluación de impacto demostró
la reducción de muertes por
enfermedades gastrointestinales en
los niños debido al programa.
La evaluación de diseño del
programa mostró varios defectos
operativos y de diseño con un
costo considerable.
La evaluación de impacto mostró
que el hierro no había sido
absorbido por los niños.
Recomendación del informe de
Evaluación 2008, la cual estableció que
el Programa de Abasto Social de Leche
había tenido un impacto en la reducción
de la anemia de niñas y niños menores
de tres años a raíz de la fortificación de la
leche en 2002.
Evaluación Específica de Desempeño
2010- 2011 del CONEVAL.
Con base en la recomendaciones del
Informe de Evaluación 2012
En 2007 la Cámara de Diputados
incrementó el presupuesto al
programa Liconsa.
En 2012 Indesol incrementó el
presupuesto destinado a desalentar
la violencia en contra de las mujeres
a través del Programa de Apoyo a
Instancias de Mujeres (PAIMEF).
En 2013 la Cámara de Diputados
incrementó el presupuesto del
Programa de Infraestructura Básica
para la Atención de los Pueblos
Indígenas (PIBAI) para infraestructura
básica, como electrificación, agua
potable, saneamiento y caminos
rurales.
Algunos cambios en la política social
derivados de la información del CONEVAL
Evaluación del Programa PROCAMPO.
Evaluación de Diseño del programa
Primer Empleo (2007).
Se establecieron topes a las
transferencias de los beneficiarios
con más propiedad del programa.
Se suspendió el programa.
Algunos cambios en la política social
derivados de la información del CONEVAL
En conclusión…El CONEVAL es un aliado para
mejorar políticas públicas
Gestión para resultados
Política de transparencia
Rendición de cuentas
Descargar los datos en formato libre
Metodología para analizar y replicar los resultados
que genera el Consejo
Acceso a los resultados de la política social
Fácil acceso a la información generada
Información sobre el uso de los recursos públicos
Medición de la pobreza
Evaluación de la política de desarrollo social
Consideraciones para el proceso presupuestal
Inventario de programas y acciones federales,
estatales y municipales
¡Gracias por su atención!
Israel Escobar Blanco
