Evaluación Ex Post - SNI - cepal.org · TIPOS DE DE EVALUACIÓN EX POST Evaluación Ex Post...
Transcript of Evaluación Ex Post - SNI - cepal.org · TIPOS DE DE EVALUACIÓN EX POST Evaluación Ex Post...
Evaluación Ex Post - SNI Fernando Cartes Mena
Jefe División de Evaluación Social de Inversiones Ministerio de Desarrollo Social - Chile
SISTEMA NACIONAL DE INVERSIONES (SNI)
El SNI norma y rige el proceso de inversión pública de Chile.
Reúne las metodologías, normas y procedimientos que
orientan la formulación, ejecución y evaluación de las
Iniciativas de Inversión (IDI) que postulan a fondos públicos. El
SNI está compuesto por 4 subsistemas:
Evaluación Ex Ante
Formulación Presupuestaria
Ejecución Presupuestaria
Evaluación Ex Post
Ministerio de Desarrollo Social
Ministerio de Hacienda
OBJETIVOS
TIPOS DE EVALUACIÓN EX POST
EVALUACIÓN EX POST DE CORTO PLAZO
EVALUACIÓN EX POST DE MEDIANO PLAZO
EVALUACIÓN EX POST DE LARGO PLAZO
TEMARIO
OBJETIVOS DE LA EVALUACIÓN EX POST
• Identificar el grado de cumplimiento de los objetivos planteados y la validez
de las proyecciones ex ante.
• Analizar el cumplimiento de los procesos y procedimientos técnicos y
administrativos establecidos en la evaluación ex ante.
• Derivar acciones correctivas para mejorar los procesos de inversión vigentes
y la gestión de los proyectos.
• Generar información y lecciones para apoyar el proceso de actualización de
metodologías, capacitación, criterios de formulación y evaluación ex ante.
TIPOS DE DE EVALUACIÓN EX POST
Evaluación Ex Post Oportunidad en que se realiza
la evaluación
Alcances
Corto Plazo
(Producto)
Al término de la Ejecución
Entrada en Operación (1 o 2 años)
Fase I: Medición y análisis de variables
relevantes.
Fase II: Visitas a terreno de proyectos
en operación.
Mediano Plazo
(Intermedio)
En la etapa de Operación.
Proyectos con 3 a 7 años de operación.
Medición de flujos (demanda, oferta,
beneficiarios, costos de operación) y
efectos intermedios.
Aspectos de calidad de servicio
Análisis de la operación y modelo de
gestión
de Largo Plazo
(Impacto)
En la etapa de operación en régimen.
Proyectos con más de 7 años de operación
Levantamiento de línea base
Medición de resultados a nivel de
impacto.
EVALUACIÓN EX POST DE CORTO PLAZO
1. Conceptualización
2. Características del proceso, variables e Indicadores
3. Sistema Informático
4. Informes
Programado Real
Evaluación
EX POST DE CORTO PLAZO
1. CONCEPTUALIZACIÓN
Ex Post de Corto Plazo
Consiste en la evaluación y análisis de los costos, plazos y magnitudes de los proyectos (al término de su ejecución), a objeto de contar con referencias para la formulación y evaluación de proyectos nuevos.
Fase I
Consiste en visitar proyectos en operación para observar, registrar y analizar cómo funcionan aspectos relevantes de la formulación, con el objeto de extraer lecciones aprendidas, que sean útiles para otros proyectos.
Fase II
EX POST DE CORTO PLAZO
Dimensiones Aspectos Hasta el Proceso 2010 Del Proceso 2011 al 2014
A partir del Proceso 2015
COBERTURA
Modalidad de Evaluación
Muestra de proyectos, programas y estudios
básicos
100% de proyectos
Selección Estratégica de proyectos por subsector y
visitas a terreno
N° Proyectos 200 Más de 600 FASE I: Alrededor de 215 FASE II: Piloto: entre 3 y 5 proyectos.
Fuente Financiamiento
FNDR FNDR y Sectoriales
Período de Referencia
Dos años anteriores a la evaluación
El año anterior a la evaluación
GENERACIÓN DE
RESULTADOS
Informes Nacional Nacional y Sectorial
Informes Nacional, Sectorial y de Visita
Registro por Proyecto evaluado
Ninguno Informe Individual en el Banco Integrado de
Proyectos
OPTIMIZACIÓN DEL TIEMPO
Sistema Manual Automático
(con carga de información del BIP)
2. CARACTERISTÍCAS DEL PROCESO
EX POST DE CORTO PLAZO: FASE I
3. ¿QUÉ ANALIZA?
EX POST DE CORTO PLAZO: FASE I
Variable Nombre indicador Descripción
Plazos (meses)
Variación plazo recomendado por ítems Plazo Real vs Plazo Recomendado de: Obra Civil, Equipos, Equipamiento, Consultorías,
Terreno
Variación plazo total recomendado
Plazo Total Real vs Plazo Total recomendado de Ejecución del Proyecto
Costos (M$)
Variación del monto recomendado
Monto Contratado v/s Monto Recomendado
Monto Ejecutado v/s Monto Recomendado
Variación del Monto Contratado
Monto Ejecutado v/s Monto Contratado
Costo por Magnitud Monto Ejecutado v/s Magnitud Real
Magnitud Cumplimiento de la magnitud
recomendada Magnitud Ejecutada v/s magnitud
recomendada
4. INDICADORES
EX POST DE CORTO PLAZO: FASE I Módulo Unidad
Financiera Módulo SEREMI
Usuario
Técnico
Usuario
Financiero
Evaluación
Analista
Módulo Unidad Técnica
Control
Comunicación
Cierre
Sistema en línea de empuje y simultáneo
Control
Retorno a Evaluación
5. FUNCIONAMIENTO DEL SISTEMA INFORMÁTICO : AVANCES TECNOLÓGICOS IMPLEMENTADOS
EX POST DE CORTO PLAZO: FASE II
¿QUÉ ANALIZA?
Las Visitas a Terreno buscan entender las causas que generan un determinado resultado (el porqué), en las siguientes áreas…
Identificación del problema Funcionalidad
Área de influencia Uso de la infraestructura
Localización Calidad del servicio
Población beneficiaria Equipos y equipamiento
Estimación de demanda Operación y mantenimiento
Capacidad instalada Personal
Diseño Adecuación metodológica
…para expresarlas en forma de lecciones aprendidas.
EX POST DE CORTO PLAZO INFORMACIÓN PAGINA WEB
EVALUACIÓN EX POST DE MEDIANO PLAZO
1. Objetivo
2. Metodología Selección de Proyectos
3. Aspectos a Evaluar
4. Estudios Realizados
5. Información Disponible
EX POST DE MEDIANO PLAZO
Anteproyecto y Proyecto Ejecutado
“Mejoramiento Estadio Municipal Nelson Oyarzún Arenas de Chillán” Código BIP 300758980-01
Fuente: Evaluación ex post de Mediano Plazo a Estadios Mundialistas (2012).
1. OBJETIVO
Analizar y comparar el comportamiento de lo estimado en la formulación del proyecto vs lo real en las variables relevantes de un proyecto; y se lleva a cabo cuando el proyecto lleva entre 3 a 7 años de operación. Algunos aspectos analizados en esta etapa son los flujos de oferta y demanda, costos operacionales y de mantenimiento; como también, el modelo de gestión de la infraestructura, calidad del servicio (satisfacción del usuario), flexibilidad de la infraestructura en operación, entre otros.
EX POST DE MEDIANO PLAZO
Aspectos Proceso vigente
Modalidad de Evaluación Selección de proyectos relevantes en coordinación con el sector y los equipos de Inversiones y Metodologías
Modalidad de Ejecución Selección de alrededor 15 proyectos según tipo de proyecto, considerando la disponibilidad de información
Fuente FNDR y Sectorial
Período de Referencia En operación (entre 3 y 7 años)
Estudio Licitación pública
Producto final Informe y presentación de la evaluación de indicadores
La metodología depende principalmente del objetivo del estudio, considerando qué para el análisis de la evaluación social del proyecto se aplica la misma metodología ex ante, pero esta vez, considerando antecedentes reales o efectivos del proyecto, obtenidos en el ex post (Inversión real, costos de operación y mantenimiento, demanda, entre otros). A partir del 2014 para la evaluación ex post de mediano plazo se priorizan proyectos que presenten evaluación ex post de corto plazo, con una operación mínima de 3 años.
2. METODOLOGÍA DE SELECCIÓN DE PROYECTOS
EX POST DE MEDIANO PLAZO
Dimensión Variable
Demanda Demanda efectiva
Económico Costo de operación y mantenimiento
Indicador económico en operación
Gestión Modelo de gestión
Calidad servicio Satisfacción usuario
Infraestructura Uso efectivo, mantenimiento efectivo y estado actual
Beneficiarios
Localización / Accesibilidad
Área de influencia
Población atendida
Las variables medidas están relacionadas con los resultados de la operación del proyecto y se ajustan dependiendo del origen del proyecto.
Los aspectos transversales analizados y medidos en la evaluación ex post de mediano plazo son:
3. ASPECTOS A EVALUAR
EX POST DE MEDIANO PLAZO
4. ESTUDIOS
Sector Estudio / Año N° Proyectos Aspectos analizados
Educación Establecimientos Educacionales (2012)
10
N° matrículas, Capacidad de uso, Costos de operación y mantenimiento, Calidad del servicio, Indicador económico en operación.
Multisectorial Complejos Fronterizos (2011) 4
Demanda efectiva, Costo de operación y mantenimiento, Modelo de gestión, Calidad del servicio, Indicador económico en operación.
Riego
Embalse Santa Juana (2012) 1 Costo de operación y mantenimiento, Modelo de gestión, Traspaso, Designación derechos de agua, Volumen acumulado, Indicador económico en operación. Embalse Puclaro (2012) 1
4. ESTUDIOS
EX POST DE MEDIANO PLAZO
Sector Estudio (Año) N° Proyectos Aspectos analizados
Agua potable y alcantarillado
Agua Potable Rural (2014) 12 N° Arranques, consumo efectivo, Costo de operación y mantenimiento, Satisfacción usuario, Tarifas, Indicador económico.
Defensa y Seguridad
Cuarteles de Carabineros (2013) 12 Siniestros, Costo de operación y mantenimiento , Modelo de gestión Calidad del servicio,Indicador económico
Deporte
Estadios Mundialistas (2011) 4 Demanda de actividades y deportes, Costo de operación y mantenimiento, Modelo de gestión, Estado de conservación , Modificaciones programa arquitectónico, indicador económico, calidad del servicios, localización, Traspaso, área de influencia.
Polideportivos y Gimnasios recreativos (2015)
15
La línea de ex – post de mediano plazo es la más antigua implementada, comenzó el año 1992 y en forma casi ininterrumpida ha realizado estudios de distintos sectores y proyectos de distinta envergadura. A continuación se presenta una muestra de los sectores analizados en el periodo 2010-2015:
EX POST DE MEDIANO PLAZO
4. ESTUDIOS
Sector Estudio / Año N°
Proyectos Aspectos y variables analizadas
Salud
Hospitalización Domiciliaria (2013) 7 N° de camas, rotación, demanda efectiva, costos de operación y mantenimiento, recursos humanos, modelo de gestión, equipamiento, indicador económico.
Efecto de la construcción de hospitales sobre su Red asistencial (2013)
2
Eficiencia Modelo Gestión Equipos Imaginología (2012)
8
Transporte
Transporte caminero (2014) 5 Flujo vehicular, Costos de operación y mantenimiento, Velocidades, Tasa de ocupación, Rugosidades, indicador económico.
Tránsito generado (2012) 12
Vivienda
Viviendas para Adultos Mayores ELEAM y CVT (2015)
15
Oferta y Demanda, Costo de operación y mantenimiento, equipamiento, estándares, Modelo de gestión, Traspaso, Rentabilidad
EX POST DE MEDIANO PLAZO
5. INFORMACIÓN PAGINA WEB
FICHA RESUMEN ESTUDIO
EX POST DE MEDIANO PLAZO
EVALUACIÓN EX POST DE LARGO PLAZO
1. Objetivo
2. Avances
MOMENTOS DE LA DE EVALUACIÓN EX POST
Evaluación Ex Post Oportunidad en que se realiza la evaluación Alcances/Tipo de resultados medidos
Corto Plazo
(Producto)
Al término de la Ejecución
Entrada en Operación
Fase I: Análisis de productos, procesos y
procedimientos realizados en la
ejecución.
Fase II: Visitas a terreno de proyectos
en operación.
Mediano Plazo
(Intermedio)
En la etapa de Operación.
Proyectos con 3 a 7 años de operación.
Medición de flujos (demanda, oferta,
beneficiarios, costos de operación) y
efectos intermedios.
Aspectos de calidad de servicio
Análisis de la operación y modelo de
gestión
de Largo Plazo
(Impacto)
En la etapa de operación en régimen.
Proyectos con más de 7 años de operación
Levantamiento de línea base
Medición de resultados a nivel de
impacto.
EX POST DE LARGO PLAZO (IMPACTO)
1. OBJETIVO
Medir los resultados finales (impacto) a nivel de propósito o fin del proyecto. En general, la evaluación de largo plazo mide el beneficio de mediano y largo plazo ejercido en la población objetivo (indicadores macroeconómicos y socioeconómicos) . El horizonte de tiempo para medir resultados de largo plazo es variable según el tipo de proyecto, sin embargo se estima en más de 7 años de operación del proyecto. El análisis puede estar enfocado en proyectos de gran envergadura o en grupos de proyectos.
EX POST DE LARGO PLAZO (IMPACTO)
Este proceso aún es incipiente en el Subsistema de Evaluación Ex Post .
El año 2009 se inició con un primer intento de traspasar la metodología de evaluación de
impacto de programas a proyectos de inversión en infraestructura, con un estudio en el
tema que entrega lineamientos muy básicos y revisa exhaustivamente la evaluación de
programas entregando una propuesta metodológica para el caso de inversión en
infraestructura.
Por otra parte, el SNI está sentando las bases para efectuar evaluación de impacto a
través de la generación de Líneas de Base para proyectos de gran envergadura, para el
caso de embalses y carreteras de gran magnitud. (Embalses Chacrillas y Valle Hermoso,
Carretera Austral, p.ej.)
2. AVANCES
Gracias…