GuanajuatoNoviembre 2014
GESTIÓN POR RESULTADOS
RELEVANCIA DE LA CALIDAD DE LOS INDICADORES
Se ha adoptado un modelo de Gestión por Resultados, con dos componentes:
Sistema de Evaluación de DesempeñoPrograma de Mejora de la Gestión
Entidades federativas deben de rendir cuentas del uso de los recursos federales asignados, además de poder maximizar la calidad de su propio gasto.
GpR requiere: sistemas de planificación, programación, presupuestación, seguimiento y evaluación y acuerdos institucionales entre entidades rectoras.
GESTIÓN POR RESULTADOS
GuanajuatoNoviembre 2014
Para informar al presupuesto, conocer el desempeño de programas públicos y rendir cuentas, se requieren Indicadores Oportunos y Confiables. Sin esto, la eficiencia de un sistema de GpR se ve limitada.
El objetivo general de la asistencia técnica del Banco Mundial es de apoyar a la consolidación del sistema de GpR del Estado de Guanajuato. Entre las actividades se encuentra la evaluación de la calidad de los indicadores claves de intervenciones prioritarios.
IMPORTANCIA DE INDICADORES
GuanajuatoNoviembre 2014
¡ La consolidación del sistemas estatal de GpR exige atención sobre la cantidad y calidad de los indicadores.
¡ Si el número de indicadores es enorme y su calidad no se controla, las posibilidades de identificar hallazgos del desempeño yprovocar recomendaciones es baja o nula.
CANTIDAD Y CALIDAD DE INDICADORES
GuanajuatoNoviembre 2014
¡ La cantidad se limita por mecanismos de sistematización y requerimientos de autoridades de planeación y presupuestales.
¡ Así, en varias iniciativas hay un “número definido de indicadores”: CONEVAL/Hacienda en México; SINERGIA en Colombia; RUTA en la República Dominicana, etc.
CANTIDAD DE INDICADORES
GuanajuatoNoviembre 2014
AVANCES EN LIMITAR INDICADORES
GuanajuatoNoviembre 2014
IndicadoresDependencias yProgramas
Autoridad PresupuestalCoordinador M&E
Indica
dor=
Var1
------
Var 2
Indica
dor=
Var1
------
Var 2
Ind
ica
do
r=
Va
r1
------
Va
r 2
Ind
ica
do
r=
Va
r1
------
Va
r 2
Indicador=Var1
------
Var 2
Indica
dor=V
ar1
------V
ar 2
Ind
ica
do
r=
Va
r1
------
Va
r 2
Ind
icad
or=
Var1
------V
ar 2
Ind
icad
or=
Var1
------
Var 2
¡Diversas iniciativas aplican el criterio CREMA para valorar laCALIDAD al definir los indicadores.
¡ Iniciativas de M&E como CONEVAL en México y SINERGIA en Colombiahan desarrollado guías específicas para la aplicación de dichos criterios.
CALIDAD DE INDICADORES - CREMA
DEFINICIÓN DE METAS
GuanajuatoNoviembre 2014
¡ Si la definición de metas no considera: series de tiempo, benchmarks y análisis de recursos disponibles, será poco realista.
¡Dos problemas: definición poco precisa pordesconocimiento o “gaming”: definición a modo para maximizarel logro de resultados.
¡ Criterio SMART
¡ Sin embargo, pocas iniciativas evaluan la calidaden la definición de las metas.
¡ CONEVAL estima que 40% metas de los programasfederales plantear metas muy faciles de lograr(eficacia o eficiencia de 300 % o mayor) o inalcanzables, muestran fracasos donde no hay.
DEFINICIÓN DE METAS
¡ CREMA/SMART son herramientas necesarias pero no suficientes para valorar la calidad de un indicador y su meta.
¡ La experiencia al evaluar indicadores en varios países es: Indicadores y metas cada vez mejor definidos pero basadas en archivos de datos inconsistentes, incompletos y poco confiables.
FUENTES DE INFORMACIÓN
GuanajuatoNoviembre 2014
CREAM
SMART
INDICADORES, METAS Y FUENTES
Var 1
Var 2Indicador A =
Descripción: Mide el grado dedesnutrición de los niños de 6 a 14 añosmatriculados en los Colegios del Estado deNayarit. Año 2013
SMARTCREAM
GuanajuatoNoviembre 2014
ARCHIVOS DE DATOS(Excel; SPSS;Stata,DBF, etc.)
FUENTES DEINFORMACIÓN
v1 v2 v3 v4Hombre 2 3 5Hombre 22 22 21Mujer 2 4 2
v1 v2 v3 v4Calvillo 2 3 5San Fco 22 22 21Calvillo 2 4 2Agostadero 56 43 23
Avanzar en el GpR requiere de indicadores, metas y fuentes de calidad.
Sin embargo, hacen falta herramientas que permiten su evaluación integral y la formulación de planes de mejora.
POR LO TANTO...
GuanajuatoNoviembre 2014
GuanajuatoNoviembre 2014
HERRAMIENTA PARA EVALUAR CALIDAD DE INDICADORES, METAS Y FUENTES DE
INFORMACIÓN
APLICACIÓN DE LA HERRAMIENTA
¡ Objetivo: Analizar la formulación de indicadores y metas a través de criterios como CREMA y SMART. Hacer una valoración rápida de las fuentes de información utilizadas para tal fin.
¡ Participantes: Responsables de la preparación de las MIRs y responsables del manejo de los archivos de datos.
¡Material: archivo Excel, archivo de datos (sin importar formato), formulario, formatos, documentos técnicos, documentación relativa al indicador, etc.
LA HERRAMIENTA
La herramienta se conforma de tres partes:
§Evaluación de Calidad de los Indicadores (9 preguntas)§Evaluación de Calidad de las Metas de los
Indicadores (8 preguntas)§Evaluación de Calidad de las Fuentes de Información
(10 preguntas) → acceso archivo de datos
SECCIÓN 1: EVALUACIÓN DE LA CALIDAD LOS INDICADORES
Rubros de Evaluación de Calidad de los Indicadores3) Medible Evaluación Ejemplo Puntuación
3.1 ¿Se ha definido con claridad la línea base para el indicador?
0. No existe una clara definición de las características de la línea de base para el indicador 3. Se ha definido la línea base pero aún no se ha hecho el cálculo 5. Existe una clara definición de la línea de base 99. No aplica
La línea de base es el valor de referencia que toma el indicador, a partir del cual se pueden realizar análisis de series temporales y valorar el resultado o gestión del programa. Para lo anterior, la metodología de cálculo del indicador no debe cambiar para que la serie temporal no sea interrumpida y la línea de base sea consistente en diferentes puntos a lo largo del tiempo.
5
1) Clara 4) Adecuada2) Relevante3) Medible
SECCIÓN 2: EVALUACIÓN DE CALIDAD DE LAS METAS DE LOS INDICADORES
Rubros de la Evaluación de Calidad de las Metas de los Indicadores
2) Comparabilidad Evaluación Ejemplo Puntuación
2.2 ¿Existe un punto de referencia (nacional o internacional) que sirva de apoyo a la formulación de la meta?
0. No existe un punto de referencia (nacional o internacional) para el indicador 5. Si existe un punto de referencia (nacional o internacional) para el indicador 99. No aplica
Por ejemplo: el indicador mortalidad materna en México fue de 51 muertes por cada 100,000 nacimientos vivos en 2010. Este indicador puede compararse con el objetivo de 22.2 muertes por cada 100,000 nacimientos establecidos en los Objetivos de Desarrollo del Milenio por la ONU. Un programa para disminuir la población analfabeta mayor de 15 años en el estado de Guanajuato, cuyo indicador es 8.2, puede utilizar como referencia para su meta el promedio nacional el cual es 6.9 Si un programa es nuevo y único, y por tanto no tiene punto de referencia se debe responder "No aplica".
5
1) Específico 4) Pertinente2) Comparable 5) Acotado en el tiempo3) Acordado
SECCIÓN 3: EVALUACIÓN DE CALIDAD DE LAS FUENTES DE INFORMACIÓN
Rubros y Sub-rubros de Evaluación de Calidad de las Fuentes de Información
2) Metadatos Evaluación Criterios y/o Ejemplos Puntuación
2.2 ¿Existe una variable de identificación única por cada unidad de observación de los registros en la fuente de información?
0. No existe Las variables de identificación unívoca permiten identificar de manera única cada caso en particular. Por ejemplo: CURP, RFC, identificador del hogar, etc.
55. Si existe
99. No aplica
1) Fuente de información2) Metadatos3) Datos
Top Related