MATERIAL COMPLEMENTARIO DE SEGUIMIENTO Y EVALUACIÓN · seguimiento y evaluación internas del...
49
MATERIAL COMPLEMENTARIO DE SEGUIMIENTO Y EVALUACIÓN
Transcript of MATERIAL COMPLEMENTARIO DE SEGUIMIENTO Y EVALUACIÓN · seguimiento y evaluación internas del...
MATERIAL COMPLEMENTARIO DE SEGUIMIENTO Y EVALUACIÓN
1
ÍNDICE
1. SIGNIFICADO DEL PROCESO DE SEGUIMIENTO Y EVALUACIÓN EN EL MARCO DE LA INICIATIVA COMUNITARIA EQUAL.
1.1. Reglamentos y Normativa Comunitaria.
1.2. Sistemas de Seguimiento.
1.3. Evaluación de los principios básicos y de las prioridades horizontales de la Iniciativa.
1.4. Los procesos de Seguimiento y Evaluación, y su relación con el Principio de Transferencia y visibilidad de las Acciones Innovadoras.
2. INTEGRACIÓN DE LA PERSPECTIVA DE GÉNERO EN LOS PROCESOS DE SEGUIMIENTO Y EVALUACIÓN.
2.1. La Iniciativa EQUAL y la Integración del Género en los Sistemas de Seguimiento y Evaluación.
2.2. Principios básicos para la incorporación de la perspectiva de género.
2.3. Dónde y cómo se incorpora la perspectiva de género.
2
3. SEGUIMIENTO Y EVALUACIÓN.
3.1. Definición de conceptos.
3.2. Características básicas de los procesos.
3.3. Modelos o tipologías de Evaluación.
3.4. Criterios básicos para construir un Sistema de Seguimiento y Evaluación.
3.5. Mecanismos de Coordinación y Participación.
3.6. Procesos de recogida de la información. Los Indicadores.
3.7. Técnicas cuantitativas y cualitativas.
3.8. La aplicación del Sistema de Seguimiento y Evaluación.
Este material ha sido elaborado por Fundación Mujeres y la Escuela Superior de Gestión Comercial y Marketing (ESIC).
3
1. SIGNIFICADO DEL PROCESO DE SEGUIMIENTO Y EVALUACIÓN EN EL MARCO DE LA INICIATIVA COMUNITARIA EQUAL.
El ejercicio de evaluación de un proyecto que se desarrolla en el marco de la Iniciativa EQUAL no es un ejercicio aislado.
La necesidad básica de realizar un ejercicio de reflexión, inherente a todo proyecto, y por ende el diseño de un plan en este sentido y el establecimiento de los mecanismos para que este ejercicio pueda ser llevado a cabo, dependen en gran parte de todo un entramado construido por las entidades y personas que participan en el desarrollo de la Iniciativa desde el nivel comunitario hasta el nivel local.
El efecto más visible e inmediato de este hecho es que el Sistema de Seguimiento y Evaluación de un proyecto, debe responder a las necesidades de recogida de información y peticiones de colaboración de distintas instancias, en el marco de un calendario concreto, pero hay otros aspectos que afectan si cabe más profundamente a nuestros planes de seguimiento y evaluación, y que se refieren a los objetivos y contenidos de los mismos.
El hecho de estar inmersos en un sistema con varios niveles incide, a veces negativamente, en el seguimiento y evaluación internas del proyecto, sobre todo si no se comprende la lógica y la estructura del sistema en su conjunto. Son a veces tantos los requerimientos de otros sistemas que podemos llegar a la conclusión de que no necesitamos un proceso sistemático y propio de seguimiento y evaluación; pero sin estos procesos no es posible la reflexión, y gran parte de la potencialidad del proyecto se perderá sin remedio.
4
El reto del seguimiento y evaluación de nuestros proyectos es disponer de sistemas que se adapten a nuestras necesidades, así como a las condiciones singulares y únicas de nuestro proyecto, pero que a la vez respondan a las necesidades de evaluación de distintos niveles y diversas instancias.
La normativa comunitaria es la primera fuente de información, sobre la estructura y requerimientos de la Comisión respecto a las intervenciones, en este caso de la Iniciativa EQUAL, acogidas a los Fondos estructurales. A pesar de que las disposiciones comunitarias por regla general comprometen y regulan las relaciones entre la misma Comisión y los Estados miembros, es aquí donde encontraremos el armazón del que dependen los sistemas de seguimiento y evaluación de nuestros proyectos.
Estas disposiciones básicas se desarrollan posteriormente en el establecimiento en la práctica de una serie de sistemas y mecanismos de seguimiento y evaluación de los cuales dependemos y que en el caso de la Iniciativa están gestionados y son responsabilidad de la Comisión a nivel comunitario y de la UAFSE como autoridad de gestión de nuestro Estado miembro.
Para el desarrollo de los contenidos y procedimientos del seguimiento y evaluación la Comisión presentó en su día unas orientaciones metodológicas recogidas en el “Vademécum de orientaciones para el nuevo período de programación 2000-2006” que orientan las intervenciones de los Fondos estructurales; asimismo y para el caso concreto de la Iniciativa EQUAL en España, la UAFSE ha producido la “Guía metodológica de evaluación: orientaciones metodológicas para la evaluación interna de los proyectos de la Iniciativa comunitaria EQUAL”. En esta guía se indican los mínimos comunes que deben contener los sistemas de seguimiento y evaluación de los proyectos con el objetivo de consensuar los contenidos y hacer posible una evaluación conjunta de la Iniciativa.
5
1.1. Reglamentos y Normativa Comunitaria.
Los Reglamentos y otras disposiciones normativas comunitarias regulan los procedimientos de seguimiento y evaluación, que son de obligado cumplimiento por parte de las diversas instancias responsables de la gestión y control de las intervenciones comunitarias.
Las disposiciones comunitarias que afectan a la puesta en marcha y desarrollo de la Iniciativa comunitaria EQUAL y, en particular, en lo que respecta a los procedimientos de seguimiento y evaluación, son, por un lado, las recogidas en el Reglamento general de los Fondos estructurales, y, por otro lado, la Comunicación EQUAL de la Comisión. En estas disposiciones podemos encontrar las características básicas de los ejercicios de seguimiento y evaluación en lo que respecta a objetivos, contenidos y procedimientos así como las instancias responsables de llevar a cabo los procesos y el calendario de su ejecución.
Reglamento 1260/1999 del Consejo por el que se establecen disposiciones generales sobre los Fondos Estructurales.
En varios capítulos de este Reglamento se establecen las normas de seguimiento y evaluación de las intervenciones y acciones de los Fondos estructurales. Comisión, Estado miembro y autoridad de gestión quedan de esta manera comprometidas a llevar a cabo una serie de procedimientos, con el objeto de asegurar la eficacia y controlar la ejecución de las intervenciones que se realizan al amparo de los fondos estructurales.
En toda intervención comunitaria, la autoridad de gestión del Estado miembro correspondiente es la responsable de establecer los dispositivos de recogida de datos, los indicadores de seguimiento y las evaluaciones que se indican en el texto del mismo Reglamento. Asimismo, es la responsable de la transmisión de todos estos datos, preferentemente a través de sistemas informáticos que permitan el intercambio de información con la Comisión.
6
Los indicadores de seguimiento físicos y financieros, deben ser elaborados siguiendo las orientaciones metodológicas y las listas publicadas por la Comisión, y servirán para mostrar el estado de la intervención en los siguientes aspectos: objetivos específicos de la intervención y su coherencia; realizaciones físicas, resultados e impacto de la intervención; desarrollo del plan de financiación.
La autoridad de gestión deberá presentar un Informe Anual y, en el caso de intervenciones plurianuales, un Informe Final en el que se recoja al menos la siguiente información: cambios del contexto socioeconómico y de las políticas que puedan afectar a la intervención; situación de la ejecución en función de los indicadores de seguimiento; ejecución financiera de la intervención; disposiciones tomadas por la autoridad de gestión para garantizar la eficacia y calidad de la intervención; medidas de coordinación del conjunto de ayuda estructural.
El capítulo específico de Evaluación establece en sus disposiciones generales que, con el fin de valorar la eficacia de las intervenciones estructurales, se debe realizar una evaluación previa, otra intermedia y una posterior de la acción. Se indica también que se pueden acordar evaluaciones temáticas si se consideran pertinentes y que los resultados de las evaluaciones deben ser de carácter público.
La Evaluación Previa sirve de base para la preparación de las acciones y debe incluir los siguientes aspectos:
Evaluación previa de la situación socioeconómica, tendencias del mercado laboral, estrategia global en el ámbito del desarrollo de los recursos humanos y conexión de dicha estrategia con los planes nacionales de empleo.
Evaluación previa de la situación medioambiental, situación medioambiental actual e impacto previsto de la estrategia y de la intervención.
Evaluación previa de la situación en términos de igualdad entre hombres y mujeres, y estimación del impacto de la intervención y de la estrategia, en concreto, en los aspectos relacionados con la integración de hombres y mujeres en el mercado laboral y la conciliación de la vida familiar y profesional.
7
La Evaluación Intermedia debe ser realizada por un equipo evaluador independiente, y se llevará a cabo en dos fases: la primera será presentada ante la Comisión a más tardar el 31 de diciembre de 2003 y ofrecerá los primeros resultados que sirvan para adaptar y corregir las intervenciones; la segunda fase, a presentar antes de finalizar 2005, que servirá para preparar el siguiente período de programación.
La Evaluación Posterior servirá para sacar conclusiones sobre la estrategia política en materia de cohesión económica y social, se realizará por equipos de evaluación independientes y es responsabilidad de la Comisión en colaboración con el Estado miembro y la autoridad de gestión.
Comunicación 853/2000 de la Comisión a los Estados miembros por la que se establecen las orientaciones relativas a la Iniciativa comunitaria EQUAL.
La Iniciativa comunitaria EQUAL, como intervención de fondos estructurales está sujeta a las disposiciones establecidas por el reglamento general y por el reglamento del FSE. La Comunicación indica una serie de obligaciones a este respecto adaptando las disposiciones generales a las características específicas de la Iniciativa comunitaria que comprometen a la Comisión y al Estado miembro.
Evaluación Previa. El Estado miembro español, presentó el Programa de la Iniciativa Comunitaria EQUAL en España, que fue aprobado por Decisión de la Comisión en marzo de 2001, y que comprende tres estudios que conforman la evaluación previa en base a la cual se realizó la programación: estudio sobre la situación socioeconómica, las tendencias del mercado laboral y las situaciones de desigualdad y discriminación en este mercado; estudio sobre la igualdad de oportunidades entre hombres y mujeres; estudio de evaluación de coherencia entre las situaciones descritas y las estrategias propuestas en el Programa.
Evaluación Intermedia. Tal y como se indica en los Reglamentos la evaluación intermedia está compuesta de dos fases; en su primera fase está siendo realizada por un equipo evaluador independiente y será presentada por España ante la Comisión antes del 31 de diciembre de 2003.
8
El objetivo principal de esta evaluación es conocer los términos en que se debe reorientar la programación de la segunda convocatoria de la Iniciativa, tanto en los aspectos procedimentales como en los de contenidos. La evaluación analizará el grado de cumplimiento de los principios básicos de la Iniciativa así como de las prioridades horizontales e incluirá un estudio de coherencia, eficacia, eficiencia, pertinencia y procesos.
La segunda fase de la evaluación intermedia se presentará en diciembre de 2005 y tiene como objetivo facilitar la programación del nuevo período.
Evaluación Comunitaria. Por otro lado y dadas la características especiales de las Iniciativas comunitarias, ya que se desarrollan al unísono en todos los Estados miembros, la Comisión considera la necesidad de llevar a cabo un proceso de evaluación a escala comunitaria que describe en el capítulo quinto de la Comunicación de la Comisión “Difusión y Evaluación a Nivel Europeo”.
En este capítulo, el artículo 51 establece los principios de una evaluación comunitaria de la Iniciativa:
“Es de crucial importancia evaluar la repercusión de EQUAL. La Comisión creará un mecanismo de
evaluación a nivel de la Unión, con objeto de estimar las implicaciones de EQUAL para la estrategia
europea de empleo y otros programas comunitarios”.
A lo largo del capítulo, la Comisión relaciona estrechamente el ejercicio de evaluación con la difusión e intercambio de buenas prácticas y resultados, entre los Estados miembros en la consecución del objetivo principal de la Iniciativa, es decir, la búsqueda de soluciones innovadoras en la lucha contra las discriminaciones desde la perspectiva de un mejor funcionamiento del mercado laboral .
En el mismo capítulo, artículo 52, la Comunicación establece otros niveles de evaluación, tales como el de las “evaluaciones periódicas del valor añadido aportado por EQUAL en relación con los planes nacionales
de acción para el empleo”, así como la realización de evaluaciones comparativas de los resultados a través de “revisiones temáticas”, que se llevarán a cabo mediante el establecimiento de grupos de ADs para cada una de las áreas temáticas de la Iniciativa.
9
La responsabilidad de esta evaluación recae en la Comisión que la llevará a cabo en colaboración con los Estados miembros y que debe ser llevada a cabo antes de tres años a partir de la finalización de la intervención.
Evaluación Interna de los proyectos. La Comunicación hace referencia explícita sobre la necesidad de desarrollar una evaluación continua en el marco de los proyectos. En el capítulo cuarto “Acciones que serán financiadas por EQUAL”, el artículo 35 indica que el Acuerdo de Agrupación de Desarrollo debe contener:
“un mecanismo para la evaluación continua, incluida la presentación de datos e informaciones sobre la AD y el análisis de resultados”
Asimismo, el artículo 37 indica que el acuerdo de cooperación transnacional debe presentar:
“la metodología para el seguimiento y evaluación de las actividades transnacionales conjuntas”
10
1.2. Sistemas de Seguimiento.
Las instrucciones y orientaciones contenidas en la normativa y disposiciones, a las que hemos hecho referencia, han dado lugar al desarrollo de una serie de sistemas de seguimiento y evaluación que dependen de diversas entidades responsables, y que comprometen en forma de cascada a un ejercicio de reflexión de todas las entidades y personas participantes en la puesta en marcha y ejecución de la Iniciativa.
• Comisión Europea, Dirección General de Empleo y Asuntos Sociales.
• Unidad Administradora del Fondo Social Europeo (UAFSE).
• Estructura de Apoyo de la Iniciativa EQUAL.
• Consejería de Empleo y Desarrollo Tecnológico de la Junta de Andalucía.
Comisión Europea, Dirección General de Empleo y Asuntos Sociales.
La Comisión a través de su Unidad de Iniciativas Comunitarias de la DG Empleo y Asuntos Sociales realiza el seguimiento y evaluación de la Iniciativa a nivel comunitario. A este efecto, se han desarrollado una serie de procedimientos y mecanismos que aseguren el trasvase de información entre los Estados miembros y la Comisión de los cuales el principal es la Base de Datos Común Europea (BDCE), que contiene información de los proyectos de todos los Estados miembros.
La transferencia de datos de los proyectos a la BDCE se hace de común acuerdo entre la Comisión y la UAFSE, que es la encargada de recoger la información de los proyectos de nuestro Estado miembro.
11
Unidad Administradora del Fondo Social Europeo (UAFSE).
Como autoridad de gestión de la Iniciativa EQUAL en nuestro Estado miembro, la UAFSE es la responsable del control, seguimiento y evaluación de la Iniciativa tanto a nivel de seguimiento financiero como de resultados de las actividades y del cumplimiento de los principios y objetivo general de la Iniciativa en España.
El Complemento de Programa de EQUAL en España, en sus capítulos 4 y 5, describe en líneas generales los sistemas de seguimientos y evaluación a nivel comunitario, nacional y de auto-evaluación o evaluación interna de los proyectos; en estos capítulos se indican los mecanismos de recogida de datos así como los procesos de transferencia de datos y también se señalan los objetivos, contenidos e indicadores que deben ser tenidos en cuenta por todas las partes implicadas en los procesos.
Para facilitar la aportación de datos de seguimiento por parte de los proyectos, la UAFSE tiene puesta en marcha una Base de Datos Nacional específica para EQUAL, mediante la cual obtiene información relevante de los proyectos en términos de ejecución financiera, de desarrollo de actuaciones y de cumplimiento de los principios de la Iniciativa.
De manera más concreta la “Guía de gestión y control de los proyectos de la Iniciativa comunitaria EQUAL” editada por la UAFSE y dirigida a los gestores de proyectos, indica, en su epígrafe dedicado al tema de los reembolsos, que entre los requisitos obligatorios para acceder a la ayuda concedida es necesario que:
Se introduzcan los datos de ejecución en el sistema de seguimiento informático.
Se incorpore un informe sobre las actividades y los gastos que se certifican.
12
Estos requisitos tienen una periodicidad obligatoria anual, aunque se pueden presentar peticiones de reembolso tantas veces como quede establecido por los socios integrantes de la AD, previo cumplimiento en todas las ocasiones de los dos requisitos relativos al sistema de seguimiento.
Asimismo, se indica la obligatoriedad de presentar un Informe Final del conjunto del proyecto, que incorpore los resultados de las evaluaciones que se hayan llevado a cabo en el proyecto tanto de carácter interno como externo.
Estructura de Apoyo de la Iniciativa EQUAL.
La UAFSE mantiene además un sistema de seguimiento continuo, a través de la Estructura de Apoyo que realiza las funciones de asistencia técnica de la Iniciativa.
Entre las actividades que debe llevar a cabo dicha Estructura, se encuentra la de seguimiento y evaluación de los proyectos y del conjunto de la Iniciativa que se realizará principalmente a través de visitas a los proyectos, informes individuales y del conjunto de la Iniciativa para lo cual será precisa la recogida de datos a través de cuestionarios u otras herramientas diseñadas al efecto.
Consejería de Empleo y Desarrollo Tecnológico de la Junta de Andalucía.
Entre las funciones que desempeña esta Consejería como socio de las Agrupaciones de desarrollo de los 21 proyectos en los que participa, se encuentra la función de responsable del seguimiento y evaluación de las actuaciones.
La Consejería ha puesto en marcha el Sistema Informático Equal - GSE, sistema de seguimiento financiero y de ejecución de actividades que, entre otros objetivos, tiene el de cubrir las demandas de información a nivel nacional y europeo.
13
1.3. Evaluación de los principios básicos y de las prioridades horizontales de la Iniciativa.
Con la publicación de la ”Guía Metodológica de Evaluación: Orientaciones Metodológicas para la
Evaluación Interna de los Proyectos de la Iniciativa Comunitaria EQUAL”, la UAFSE cumple con un doble objetivo. Por un lado, desarrolla un marco común mínimo de contenidos que ya habían sido esbozados en el Complemento del PIC español, y por otro lado, ofrece algunas orientaciones metodológicas así como diversas herramientas para llevar a cabo los ejercicios de seguimiento y evaluación interna de los proyectos EQUAL.
Mientras que las orientaciones metodológicas suponen una ayuda para el proyecto que puede utilizarlas o adaptarlas a sus necesidades, la Guía plantea una serie de contenidos mínimos que son de obligado cumplimiento para todos los proyectos. Estos mínimos hacen referencia a tres grupos de contenidos:
La evaluación del cumplimiento de los principios básicos de la Iniciativa.
La evaluación del cumplimiento de las prioridades horizontales de la Iniciativa.
La evaluación de la contribución del proyecto al objetivo general de la Iniciativa.
Siguiendo las indicaciones del PIC español y de la Resolución de la UAFSE, por la que se convocan las ayudas EQUAL en España, los principios básicos de la Iniciativa son los siguientes:
Cooperación transnacional como valor añadido de las actuaciones del proyecto y fuente de innovación.
Innovación en la ejecución de las políticas relativas al proceso, al objetivo y al contexto.
Capacidad de transferencia a políticas generales, difusión e intercambio de buenas prácticas y sensibilización para el cambio de actitudes.
14
Complementariedad de las actuaciones del proyecto con las políticas desarrolladas a escala local, regional, nacional o comunitaria.
Colaboración institucional y capacitación en la toma de decisiones de las entidades implicadas en el proyecto, y de los destinatarios finales del proyecto como principios básicos en el funcionamiento de la AD.
Enfoque integrado en el tratamiento de las problemáticas de desigualdad y discriminación, y concentración de las actuaciones en aquellos grupos más afectados por tales discriminaciones.
Por otro lado, y siguiendo las orientaciones comunitarias dirigidas a fomentar la cohesión económica y social así como el desarrollo sostenible, toda intervención o acción comunitaria debe promover y respetar las siguientes prioridades horizontales:
Igualdad de Oportunidades entre hombres y mujeres.
Medio Ambiente.
Sociedad de la Información.
Además de estas tres prioridades, la Iniciativa EQUAL considera el Desarrollo Local y la Eliminación de Barreras Físicas y Culturales, como principios que deben ser tenidos en cuenta en el planteamiento y desarrollo de los proyectos.
Por último, el proyecto debe presentar una evaluación de cómo ha contribuido a la realización del objetivo principal de la Iniciativa EQUAL tal y como se enuncia en la Comunicación de la Comisión a los Estados miembros:
15
”El objetivo de EQUAL es promover nuevas maneras de combatir todas las formas de discriminación y
desigualdad en relación con el mercado de trabajo a través de la cooperación transnacional. EQUAL
tendrá asimismo en cuenta la integración social y profesional de los solicitantes de asilo”.
El primer paso para poder realizar un seguimiento y evaluación del cumplimiento de estos principios y prioridades, es comprender en profundidad su significado e implicaciones tanto para el progreso de la estrategia europea para el empleo a nivel comunitario y nacional, como para el desarrollo de nuestros territorios a nivel local.
El segundo paso es establecer una metodología para llevar a cabo una correcta reflexión, en torno a nuestra contribución como proyecto singular al desarrollo de estos principios en el conjunto de la Iniciativa.
La Guía ofrece ambos aspectos a través del análisis del significado de los principios y prioridades, así como de la interrelación existente entre ellos. Por otro lado, presenta en forma de listas de comprobación una serie de cuestiones clave cuyo cumplimiento deben plantearse los proyectos, y que resultan de mucha utilidad para el establecimiento de los contenidos de evaluación de cada uno de los principios y prioridades.
16
1.4. Los procesos de Seguimiento y Evaluación, y su relación con el Principio de Transferencia y visibilidad de las Acciones Innovadoras.
La evaluación de resultados y el análisis de los procedimientos de puesta en marcha de las acciones y su impacto cobra especial importancia en el contexto de los proyectos de la Iniciativa EQUAL.
Los proyectos que participan en la Iniciativa deben plantear soluciones innovadoras a los problemas que detectan, y tienen la obligación de extender a las políticas generales todas aquellas experiencias que puedan mejorar la práctica de dichas políticas. Por lo tanto, si no se establecen procedimientos adecuados que sirvan para analizar y reflexionar sobre los efectos e impacto de las acciones, que se están desarrollando en el marco del proyecto, se está perdiendo gran parte de la aportación que se espera de la Iniciativa comunitaria.
En este sentido, se puede decir que el seguimiento y evaluación de un proyecto EQUAL tiene como uno de sus objetivos prioritarios contribuir a la transferencia de prácticas innovadoras a políticas generales, convirtiéndose de esta manera en un instrumento fundamental para el desarrollo de dos de los principios básicos de la Iniciativa.
Será por tanto necesario comprobar que entre nuestros objetivos de evaluación se encuentra el de facilitar la transferencia de resultados, buenas prácticas y todos aquellos elementos que puedan tener un carácter innovador.
17
Asimismo, cuando evaluemos el cumplimiento de los principios de transferencia e innovación, uno de los aspectos que debemos comprobar es cómo y en qué medida contribuye nuestro Plan de Seguimiento y Evaluación a la realización de dichos principios.
¿El Plan de Seguimiento y Evaluación tiene entre sus objetivos prioritarios el de contribuir a la transferencia de resultados, buenas prácticas y acciones innovadoras?
¿El Plan de Seguimiento y Evaluación contiene la elaboración de materiales y productos dirigidos a transferir e intercambiar experiencias?
¿Se ha diseñado un Plan de Difusión de los productos resultantes del Plan de Seguimiento y Evaluación?
18
BIBLIOGRAFÍA Y PÁGINAS WEB.
Guía Metodológica de Evaluación: Orientaciones Metodológicas para la Evaluación Interna de los proyectos de la Iniciativa Comunitaria EQUAL. Ministerio de Trabajo y Asuntos Sociales, Unidad Administradora del Fondo Social Europeo (UAFSE).
Guía de Gestión y Control de los proyectos de la Iniciativa Comunitaria EQUAL. UAFSE.
Guías de Auto-Evaluación para los proyectos de la Iniciativa Empleo y de la Iniciativa Adapt. Comisión Europea, Dirección General de Empleo y Asuntos Sociales.
El nuevo período de programación 2000-2006. Documento de Trabajo Metodológico nº 3. Indicadores de Seguimiento y Evaluación: Orientaciones Metodológicas. Comisión Europea.
Páginas Web de la Comisión, en las que se pueden encontrar las estrategias fijadas en el ámbito del Seguimiento y Evaluación, documentos metodológicos e informes con los últimos resultados de evaluación:
http://europa.eu.int/comm/budget/evaluation/index_en.htm
http://europa.eu.int/comm/regional_policy/sources/docgener/evaluation/evaluation_en.htm
http://europa.eu.int/comm/employment_social/evaluation/evaluation_en.htm
19
2. INTEGRACIÓN DE LA PERSPECTIVA DE GÉNERO EN LOS PROCESOS DE SEGUIMIENTO Y EVALUACIÓN.
El género en las intervenciones estructurales. La integración de la perspectiva de género en las intervenciones de los Fondos estructurales ha sido una prioridad, que se ha ido desarrollando a lo largo de los períodos de programación, de acuerdo con las Estrategias Marco sobre Igualdad de Oportunidades entre hombres y mujeres que forman parte de las políticas y programas de la Unión Europea.
En el actual período de programación 2000-2006, la Igualdad de Oportunidades entre hombres y mujeres no es sólo un principio político o un requisito en la programación, sino que constituye una estrategia que debe ser tenida en cuenta en todas las fases de diseño, planificación, ejecución y seguimiento y evaluación.
La mención a la Igualdad de Oportunidades entre hombres y mujeres, aparece en diez de los cincuenta y seis artículos del Reglamento 1260/99 del Consejo, por el que se establecen disposiciones generales sobre las intervenciones de los Fondos Estructurales. Estos enunciados constituyen los hitos básicos en materia de género, que deben ser tenidos en cuenta en cualquier acción estructural comunitaria y que deben ser objeto de un seguimiento y una evaluación continua.
La importancia de un seguimiento y evaluación apropiada de la integración de la perspectiva de género en las intervenciones estructurales, entre las que se cuenta la Iniciativa EQUAL, viene reflejada en las implicaciones que ésta supone para la Evaluación Intermedia que debe ser presentada ante la Comisión antes de finales de este año. Un aspecto muy importante de esta evaluación es su relación con la Reserva de Eficacia, ya que según el artículo 44 del Reglamento general, la Comisión se reserva la asignación del 4% del total de los créditos del compromiso hasta que se compruebe la eficacia del programa.
20
El objetivo principal de esta Evaluación Intermedia es analizar las intervenciones, de manera que sea posible realizar las modificaciones pertinentes para poder alcanzar los objetivos inicialmente previstos. En el caso concreto que nos ocupa, la Evaluación Intermedia debe comprobar que la Igualdad de Oportunidades entre hombres y mujeres, se ha llevado a cabo de forma efectiva, así como detectar las posibles mejoras que permitan replanificar las intervenciones de manera adecuada.
Orientaciones de la Comisión para integrar el género en el Seguimiento y la Evaluación. Respecto a los procesos de seguimiento y evaluación, dos artículos del Reglamento 1260/99 hacen referencia explícita a la perspectiva de género:
El artículo 36, indica que en la elaboración de indicadores se tendrán en cuenta las orientaciones metodológicas y las listas de indicadores publicadas por la Comisión, y que las estadísticas deben ser desagregadas por sexo.
El artículo 41, establece que la Evaluación Previa, que sirve de base para la programación, tendrá en cuenta la situación de la igualdad entre hombres y mujeres, y llevará a cabo una estimación del impacto de las intervenciones en esta materia.
Es efectivamente en las orientaciones metodológicas elaboradas por la Comisión, en donde podemos encontrar, de forma más precisa, los supuestos mínimos que se espera sean cumplidos por las intervenciones estructurales en materia de seguimiento y evaluación, desde una perspectiva de género.
Entre los documentos técnicos, metodológicos y temáticos, que publicó la Comisión con el objeto de orientar el nuevo período de programación de los Fondos Estructurales, se encuentra uno en concreto sobre la estrategia para la integración de la Igualdad de Oportunidades para hombres y mujeres, en los programas y proyectos de Fondos Estructurales.
Este documento hace mención específica sobre los procesos de seguimiento y evaluación, y los elementos imprescindibles para que éstos se realicen desde una perspectiva de género.
21
En primer lugar, indica que se debe realizar una recogida de datos y de información teniendo siempre en cuenta la perspectiva de la Igualdad de Oportunidades; en este sentido, desagregar los datos por sexo es el primer paso, que dará lugar a un análisis más detallado sobre las diferencias en las situaciones de hombres y mujeres.
Los datos desagregados por sexo son también la base para la elaboración de indicadores de igualdad, de forma que los informes de evaluación puedan contrastar los avances que se están realizando en este ámbito. Este documento facilita asimismo una serie de indicadores en función de una serie de objetivos concretos de igualdad, en relación con los tres niveles de resultados, realizaciones e impacto.
Para la construcción de un sistema de indicadores de género, la Comisión hace una serie de recomendaciones en el sentido de que éstos deben servir para cuantificar y medir los hechos, pero también deben profundizar en el significado de los mismos. En este sentido, propone la utilización de indicadores cualitativos y cuantitativos que expliquen las diferencias y desigualdades así como analizar el impacto de las realizaciones de las actividades a medio largo plazo.
22
2.1. La Iniciativa EQUAL y la Integración del Género en los Sistemas de Seguimiento y Evaluación.
Además de ser un área temática específica, la Igualdad de Oportunidades para hombres y mujeres, es una prioridad horizontal que debe ser incorporada en el resto de áreas temáticas, así como en todas las fases de los proyectos; diseño, planificación, ejecución de actividades y evaluación, deben incorporar la perspectiva de género tal y como se indicaba en la Guía de Presentación de proyectos EQUAL, y en el resto de documentación relativa a los procedimientos en la Iniciativa en nuestro Estado miembro.
El PIC EQUAL español define una batería de indicadores que posteriormente han sido especificados y desarrollados en el módulo de seguimiento, a través fundamentalmente de su base de datos informatizada.
El módulo de seguimiento de la UAFSE, incluye un epígrafe que recoge información sobre el grado de cumplimiento de la Igualdad de Oportunidades, como principio transversal en todas las fases, procedimientos y actividades propuestas por el proyecto, y que debe ser considerada como un conjunto de contenidos mínimos a tener en cuenta en nuestro propio sistema de seguimiento y evaluación interna.
El epígrafe hace un recorrido por los siguientes aspectos del proyecto:
La Igualdad de Oportunidades en la composición y capacitación de los socios de la AD.
La integración de la IO en la gestión y coordinación del proyecto.
La perspectiva de género en los sistemas de seguimiento y evaluación.
La IO en acciones de difusión, sensibilización, elaboración de productos y materiales.
23
La integración de la IO en el desarrollo de actuaciones del proyecto.
Respecto a la integración de la perspectiva de género en los sistemas de seguimiento y
evaluación, el módulo recoge información sobre la puesta en marcha de una serie de
procedimientos tales como la evaluación de impacto, recogida de datos desagregada por
sexo, indicadores de género y realización y difusión de informes periódicos de evaluación de
la incorporación de la igualdad de oportunidades en nuestro proyecto.
Por otro lado, la Guía Metodológica de Evaluación editada por la UAFSE, propone una serie de cuestiones clave relativas a los contenidos de evaluación de la Igualdad de Oportunidades en el proyecto, que también deben ser considerados como aspectos básicos en nuestros sistemas de seguimiento y evaluación.
24
2.2. Principios básicos para la incorporación de la perspectiva de género en los Sistemas de Seguimiento y Evaluación de los proyectos EQUAL.
El género como categoría de análisis.
Pongamos un supuesto práctico. La oferta formativa de un proyecto contiene, entre otros, un curso de ofimática y otro de diseño asistido por ordenador; cuando medimos el número de participantes por sexo en cada curso comprobamos que la presencia de hombres y mujeres se encuentra completamente desequilibrada. Mediante la aplicación de la variable sexo estamos describiendo un hecho, pero nos interesa saber más; en realidad lo que queremos conocer son las causas de estas diferencias, y saber todas las implicaciones y los efectos que esta situación supone para el acceso y permanencia de hombres y mujeres en el mercado laboral.
Cuando reflexionamos en este sentido, sobre tales desequilibrios, lo que estamos llevando a cabo es el análisis de una situación desde una perspectiva de género, es decir, estamos utilizando el género como una categoría de análisis.
La evaluación debe detectar, pero sobre todo, debe ser capaz de analizar y reflexionar sobre el cumplimiento de los objetivos de igualdad de nuestro proyecto, y el impacto que suponen sus actuaciones sobre la discriminación, a la que hace referencia el objetivo principal de la Iniciativa EQUAL.
El género como categoría de análisis se convierte, de esta manera, en un principio básico de nuestro sistema de seguimiento y evaluación, que nos permite posicionarnos en un marco teórico desde el que seremos capaces, en primer lugar, de reflexionar y explicar, para, por último, sugerir y proponer modificaciones que mejoren los supuestos de igualdad de nuestro proyecto.
La utilización del género como categoría de análisis, implica el conocimiento de todos los factores que intervienen en la discriminación, cómo y dónde actúa dicha discriminación, sus causas y consecuencias así como los cambios a lo largo de la historia; supone, por tanto, una especialización teórica y práctica.
25
Personas especializadas en Igualdad de Oportunidades.
La aplicación de la perspectiva de género en nuestros sistemas de seguimiento y evaluación, implica disponer de suficientes conocimientos técnicos en materia de Igualdad de Oportunidades como para poder diseñar el plan, desarrollarlo y obtener resultados de suficiente calidad en el análisis.
Asegurar un correcto enfoque de la Igualdad de Oportunidades en nuestro proyecto, es importante en cualquiera de las fases, pero, tiene carácter de trascendente en nuestro sistema de seguimiento y evaluación, que debe ser desarrollado por el equipo que gestiona y coordina la evaluación.
Un sistema de evaluación eficaz realiza las funciones de observatorio del proyecto y, sobre todo, tiene el enorme potencial de ser la plataforma técnica, desde la que se pueden realizar propuestas de modificación y sugerencias a los órganos de decisión de las AD.
Formación de los equipos en Igualdad de Oportunidades.
La Igualdad de Oportunidades es un principio transversal a tener en cuenta en todo el proyecto, por lo que las personas y equipos que participan en el desarrollo del mismo, deben tener un conocimiento adecuado que les permita desempeñar sus funciones con la debida perspectiva de género.
Se debe poner en marcha un plan formativo y de sensibilización que afecte a todos los niveles y
competencias de las estructuras organizativas; de ello depende el éxito de la integración de la
Igualdad de Oportunidades en nuestros proyectos. El plan formativo debe tener unos contenidos
comunes, sobre conceptos básicos de género y cómo funcionan las discriminaciones de género, y
luego, unos contenidos especializados y adaptados a las funciones de las personas y los equipos.
26
En el caso de la evaluación y seguimiento, debemos asegurar que todas las personas que participan en la recogida de información, el tratamiento de los datos y el análisis de los mismos comprenden los objetivos, contenidos y metodología apropiada para realizar un seguimiento y evaluación adecuados de la Igualdad de Oportunidades; las personas especializadas en género con las que debe contar todo proyecto, y de las que hablábamos en el epígrafe anterior, son la asistencia técnica idónea que deben buscar los equipos competentes en el desarrollo de metodologías, técnicas y herramientas de seguimiento y evaluación.
Participación de entidades y personas usuarias.
Las entidades que trabajan en el ámbito de la Igualdad de Oportunidades, los grupos de mujeres y mujeres beneficiarias de las actuaciones del proyecto, son las fuentes de información más adecuadas para realizar un seguimiento de la Igualdad de Oportunidades en nuestros proyectos. Debemos por tanto asegurar su participación en los procesos de seguimiento y evaluación aplicando las técnicas y herramientas que sean necesarias para conseguir su colaboración.
27
2.3. Dónde y cómo se incorpora la perspectiva de género en los procesos de Seguimiento y Evaluación de los proyectos EQUAL.
El diseño de un sistema de seguimiento y evaluación desde una perspectiva de género es especialmente importante, porque de ello, depende que se reflexione y analice adecuadamente la integración de la Igualdad de Oportunidades en el desarrollo del proyecto.
Una vez que se realiza el diseño y se elabora el plan técnico de seguimiento y evaluación, tenemos que comprobar que dicho plan contiene una serie de requisitos que garanticen una evaluación desde la perspectiva de género. No debemos olvidar que un sistema de seguimiento y evaluación es objeto a su vez de evaluación, por lo que periódicamente debemos hacernos una serie de preguntas acerca de la validez de dicho sistema:
¿Nuestro sistema está recogiendo información suficiente en relación con la Igualdad de Oportunidades?
¿Es capaz de detectar y hacer circular la información adecuada en relación con situaciones imprevistas en materia de discriminación e Igualdad de Oportunidades?
¿Puede analizar y proponer modificaciones en el tiempo y de la manera apropiadas?
¿Nuestro sistema de evaluación tiene los mecanismos adecuados para difundir y transferir sus resultados de análisis en relación con la Igualdad de Oportunidades?
Por otro lado, es preciso que nuestro plan de seguimiento y evaluación contenga al menos los siguientes requisitos que garanticen la integración de la Igualdad de Oportunidades en el mismo. A continuación, se propone un ejercicio de revisión de los aspectos básicos que debe presentar un plan desde la perspectiva de género.
28
Objetivos del Plan de Seguimiento y Evaluación.
Los objetivos del plan deben contener claramente enunciados aquellos relativos al seguimiento de la Igualdad de Oportunidades.
Entre los objetivos generales, debe aparecer uno que exprese la evaluación del cumplimiento del principio transversal de igualdad en el proyecto, de manera que se compruebe de qué forma se está contribuyendo a la eliminación de la discriminación y a la consecución de la igualdad.
Revisión de los contenidos del Plan.
Los contenidos de igualdad deben desarrollar el objetivo general, en la medida en que se definan los aspectos más importantes en los que se concentrará la evaluación de la actuación por la igualdad de oportunidades: en qué ámbitos se espera mejorar los desequilibrios, en qué sentido se pretende igualar los posicionamientos de hombres y mujeres.
Además de estos contenidos estrechamente relacionados con el área temática en el marco de la cual se desarrolla el proyecto, la evaluación debe precisar de qué manera han contribuido los principios básicos de la Iniciativa a reforzar la Igualdad de Oportunidades; qué y cómo se han transferido las buenas prácticas en igualdad de oportunidades, cómo ha contribuido la innovación al desarrollo de la igualdad, en qué sentido se han complementado las políticas y prácticas dirigidas a mejorar la Igualdad de Oportunidades, y así en relación con el resto de los principios.
Técnicas y herramientas de Seguimiento y Evaluación.
Se deben emplear procedimientos tanto de carácter cuantitativo como cualitativo, teniendo siempre en mente que pretendemos describir situaciones, pero, también comprender el significado y profundizar en las causas y consecuencias.
29
Datos desagregados por sexo.
Es el procedimiento básico para proceder a la descripción de las situaciones; la variable sexo nos permite un conocimiento de la situación de hombres y mujeres, y debe estar presente en todos los niveles de la recogida de la información.
Indicadores de género. Estos indicadores son herramientas que nos permiten evaluar las acciones, los resultados y el impacto del proyecto desde una perspectiva de género.
La construcción de indicadores debe ser llevada a cabo desde una perspectiva de género, es decir, en la definición y descripción del indicador se debe reflexionar sobre cómo y hasta qué punto influyen los desequilibrios y la discriminación en la situación que queremos medir, contrastar o evaluar.
Hay indicadores que se refieren a situaciones directamente relacionadas con las desigualdades, pero existen otras situaciones en las que nos puede parecer que no es pertinente el enfoque de género; es necesario decir que existen pocos hechos y situaciones en las cuales no sea pertinente una perspectiva de género, prácticamente todas las actuaciones y procedimientos son susceptibles a algún indicador con perspectiva de género.
Evaluación de Impacto Previa. Es este un tipo de análisis muy válido ya que nos puede evitar posteriores trastornos y modificaciones en las actuaciones. Básicamente se trata de un ejercicio posterior a la planificación y previo a la ejecución y que, por tanto, nos sirve para replanificar con antelación.
Este tipo de evaluación nos propone el siguiente ejercicio que, si es posible, es recomendable realizar en reuniones grupales de personal técnico: supongamos que llevamos a cabo la actuación tal y como la hemos diseñado, vayamos por todos los pasos y procesos, teniendo en cuenta el máximo número de factores, pero sobre todo hagámoslo pensando en el posible impacto en hombres y mujeres, y en las situaciones de desigualdad que hemos detectado en nuestro entorno.
30
Resultados del Seguimiento y Evaluación y su Difusión.
Una de las utilidades principales del plan de seguimiento y evaluación es servir para el intercambio de información, difusión de resultados y buenas prácticas, y transferencia de las innovaciones a políticas generales. El grado de cumplimiento de los objetivos de Igualdad de Oportunidades entre hombres y mujeres debe siempre estar presente en todos los informes, materiales y publicaciones de resultados. Algunas actividades en relación con la presentación y difusión de resultados podrían ser:
Informes periódicos y específicos de Evaluación de la Igualdad de Oportunidades.
Presentación de dichos informes en grupos de trabajo y discusión, al comité director, al personal de coordinación y gestión, al personal técnico y que desarrolla las actuaciones.
Realización de materiales de difusión así como de actos de presentación de los resultados a entidades del territorio, a decisores y responsables políticos.
31
BIBLIOGRAFÍA.
Guía Metodológica para la Evaluación del Principio de Igualdad de Oportunidades entre hombres y mujeres en las intervenciones de los Fondos Estructurales. Ministerio de Trabajo y Asuntos Sociales, Instituto de la Mujer, 2002.
Guía para la Evaluación de Impacto de Género. Comisión Europea, Dirección General de Empleo y Asuntos Sociales.
Líneas Directrices para la Integración y la Evaluación de la Igualdad de Oportunidades entre mujeres y hombres en las propuestas de los programas del FSE. Comisión Europea, Dirección General de Empleo y Asuntos Sociales.
The New Programming Period 2000-2006. Technical paper by theme nr.3. Mainstreaming equal opportunities for women and men in structural fund programmes and project. Comisión Europea.
La Perspectiva de Género: Guía para diseñar, poner en marcha, dar seguimiento y evaluar proyectos e investigación de acciones públicas y civiles. D. Cazés, M. Lagarde y B. Lagarde. Méjico, 1999.
32
3. SEGUIMIENTO Y EVALUACIÓN.
3.1. Definición de conceptos.
El Seguimiento y la Evaluación de un proyecto son procesos complementarios que se desarrollan para conocer la realización de ese proyecto y valorar su ejecución. Ambos procesos cumplen funciones distintas y aportan información precisa en momentos diferentes del proyecto.
Habitualmente el seguimiento es de carácter interno al propio proyecto, y se dirige a observar atenta y permanentemente su propia ejecución. La evaluación añade una peculiaridad singular a esa observación, ya que a partir de ésta se adentra en el análisis objetivo y sistemático de los efectos del desarrollo del proyecto, que pueden hacer referencia a distintos niveles de análisis.
En consecuencia, el Seguimiento se convierte en herramienta fundamental de la Evaluación al aportar información recogida a lo largo de dicha observación. Ahora bien, ¿qué información ha de recogerse en el Seguimiento de un Proyecto? Podemos hablar de tres de información básica:
a) Las actuaciones o actividades que lo desarrollan, que en función de los objetivos, muestra información sobre los resultados que se van obteniendo y la adecuación del proyecto al plan inicial.
b) La metodología desarrollada, esto es, el conocimiento del desarrollo de los procesos de ejecución de dichas actividades, lo que permite conocer necesidades que surgen a lo largo de la ejecución del proyecto, y la adecuación de las actuaciones en relación al contexto de actuación.
c) Los mecanismos de participación y coordinación de las distintas entidades participantes, que aportan información sobre la contribución de los distintos actores, así como el grado de integración de recursos del territorio para apoyar y facilitar la ejecución del proyecto.
33
Desde esta perspectiva, el Seguimiento se convierte en un elemento esencial en el proyecto, ya que cumple una doble función: Conocer el nivel de cumplimiento de los objetivos planteados y reflexionar sobre su desarrollo, lo que posibilita identificar disfunciones en su ejecución, corregirlas y mejorar su calidad sobre la base de las necesidades reales del contexto de intervención.
La Evaluación se realiza para analizar los efectos del desarrollo del proyecto, que en términos generales, proporciona:
a) Información sobre el nivel de ejecución en relación a los objetivos: actuaciones desarrolladas y resultados obtenidos a través de dichas actuaciones.
b) Conocimiento del proceso seguido para llegar a esos resultados, esto es, recursos, estrategias, procedimientos empleados para su consecución.
c) Valoración de los efectos producidos en relación a la población destinataria y el entorno.
Como se podrá observar, la evaluación se alimenta de los resultados del Seguimiento, pero a partir de esta información, se propone profundizar sobre la realidad propia de la ejecución del proyecto y sus efectos, de manera que en función de los objetivos evaluativos que queramos alcanzar, la evaluación puede adoptar distintas dimensiones, habitualmente, las que hacen referencia a resultados, proceso e impacto.
34
3.2. Características básicas de los procesos.
Podemos caracterizar los procesos de seguimiento y evaluación en torno dos cuestiones básicas: el proyecto, propiamente dicho, y las personas implicadas en él. A continuación se presentan las características básicas de cada una de ellas.
En relación al proyecto, se trata de procesos:
Integrados, ya que forman parte del propio proyecto, tanto en su propio diseño como en su desarrollo, que es transversal a su ejecución.
Proactivos, ya que al desarrollarse transversalmente, lo acompaña y tutela, proponiendo e interviniendo de acuerdo con la información obtenida, con el fin de mejorar su desarrollo, la calidad de la intervención, el ajuste a los objetivos y la adecuación a las necesidades de las personas y/o entidades participantes.
Útiles, ya que se convierten en una herramienta que facilita información que permite reflexionar, valorar y tomar decisiones.
Flexibles ya que la información que proporcionan permite adaptar el proyecto a la propia realidad de intervención.
Pertinentes, ya que se diseñan y realizan, en función del contexto de intervención del proyecto, de sus objetivos y de sus actuaciones.
35
En relación a las personas, se trata de procesos:
Informativos, al proporcionar información sobre la realización del proyecto y permitir, en consecuencia, la difusión de resultados.
Participativos, al promover la implicación de los distintos actores implicados, ya sean promotores, colaboradores o destinatarios.
Formativos, al propiciar conocimiento en las personas implicadas en la ejecución del proyecto, tanto relacionado con los propios procesos de seguimiento y evaluación, como con los de mejora de desarrollo del proyecto.
36
3.3. Modelos o tipologías de Evaluación.
La evaluación de un proyecto no responde a un solo tipo de evaluación, sino que contempla varios de ellos en función de los objetivos planteados y/o necesidades que puedan derivarse del proyecto. Destacaremos tres tipos de evaluación que responden a los siguientes criterios: la temporalidad o momento de realización, la procedencia del equipo evaluador y el contenido a evaluar.
Temporalidad.
Evaluación Inicial o Previa. Alude al contexto en el que se desarrolla el proyecto, esto es, al análisis previo de las necesidades, problemas y población diana, lo que ha permitido fundamentar y definir el proyecto. Existe una segunda dimensión, que se refiere al análisis del propio diseño del proyecto y su adecuación a las necesidades que quiere cubrir, y cuya finalidad es identificar puntos débiles para reforzarlos y/o tenerlos presente en el desarrollo del proyecto, para acabar de ajustarlos en la propia realización.
Evaluación Continua. Supone la observación continuada del desarrollo del proyecto. Se corresponde, en consecuencia, con el seguimiento del proyecto.
Evaluación Intermedia. Es aquélla que se realiza a mitad de desarrollo del proyecto, con el fin de conocer su nivel de ejecución y los efectos que éste está produciendo en el contexto de intervención. Se convierte en herramienta de participación, intercambio de experiencias entre el personal y las organizaciones implicadas en el desarrollo del proyecto, lo que promueve la mejora de la calidad del mismo. Recomendable para proyectos de más de un año de duración.
Evaluación Final. Es la evaluación definitiva del proyecto, realizada a su terminación, con el fin de conocer y valorar el grado de consecución de los objetivos, los resultados alcanzados, los recursos empleados y el impacto obtenido. Habitualmente se apoya en los resultados obtenidos en los distintos tipos de evaluación, realizadas a lo largo del proyecto, sirviendo éstos como elemento aproximativo a la realidad de la ejecución del proyecto.
37
Equipo Evaluador.
Evaluación Interna. Aquélla que se realiza con el propio equipo técnico que desarrolla el proyecto o la entidad o entidades participantes en el mismo.
Evaluación Externa. Cuando es una entidad ajena al proyecto la que la realiza, lo que aporta objetividad a sus resultados.
Evaluación Mixta. Aquélla en la que intervienen una entidad ajena al proyecto y la entidad o entidades participantes. Este tipo permite un acercamiento mayor a la propia realidad del proyecto, sin perder la objetividad que aporta la entidad externa.
Contenido Evaluativo. Se refiere a los niveles de análisis que puede tener una evaluación, determinados por el tipo de información que queremos obtener, analizar y evaluar. Cuanto más niveles de análisis contemple mayor será el grado de acercamiento a los resultados y efectos conseguidos por el proyecto. Destacamos los siguientes niveles de análisis.
Evaluación de Resultados. Analiza el grado de consecución de los objetivos propuestos, tanto generales como específicos, así como la relación existente entre objetivos y resultados.
Evaluación de Proceso. Se ocupa del análisis de recursos, metodologías y procedimientos de coordinación y participación puestos en marcha para el desarrollo del proyecto.
Evaluación de Impacto. Analiza el efecto que el desarrollo del proyecto ha producido tanto a la población (destinataria y global) como en el ámbito de intervención (socioeconómico, laboral, social, ...).
Evaluación de Eficacia. Analiza el alcance de los objetivos y de los resultados de la ejecución del proyecto en la población beneficiaria.
Evaluación de Eficiencia. Supone el análisis de los recursos empleados en relación a los resultados obtenidos.
38
3.4. Criterios básicos para construir un Sistema de Seguimiento y Evaluación.
La elaboración de un Sistema de Seguimiento y Evaluación ha de responder, al menos, a dos cuestiones:
¿Qué alcance queremos dar a la Evaluación?
¿Cuál es el contenido básico del sistema de Seguimiento y Evaluación?
Alcance de la evaluación. Determinar el tipo de evaluación que vamos a realizar en un proyecto supone tener en cuenta los siguientes criterios:
a) Duración del proyecto: determina si procede definir distintos momentos evaluativos, así como la variedad de niveles de análisis a considerar. De manera que un proyecto reducido en el tiempo probablemente supondrá realizar una evaluación simple, basada fundamentalmente en una evaluación final de resultados; mientras que cuanto más larga sea su duración, seguramente más complejo sea en objetivos, actividades, metodología, resultados esperados e impacto, lo que requerirá una evaluación más completa.
b) Finalidad del proyecto: ésta suele determinar la dimensión y complejidad del proyecto, que se manifiesta en los objetivos, actuaciones, metodología y duración. Cuanto mayor sea ésta, más requerirá de procesos evaluativos que contemple distintos tipos de evaluación, con la finalidad de abordar de la forma más completa el análisis de los efectos del proyecto.
c) Trascendencia: ligada a la finalidad, también determina la dimensión del proyecto, en función de los efectos y resultados esperados que se prevé, tanto en relación a la población beneficiaria como sobre el contexto general de intervención. A mayor trascendencia más necesidad de una evaluación completa, que incluirá varios niveles de análisis, especialmente los referidos al impacto.
d) Financiación: en general la línea de financiación adscrita a un proyecto contemplan indicaciones, recomendaciones o requisitos para la evaluación que se convierten en patrón para diseñar el sistema de seguimiento y evaluación de ese proyecto.
39
Contenido básico del Sistema de Seguimiento y Evaluación.
La definición del Sistema de Seguimiento y Evaluación de un proyecto requiere previamente la adquisición del compromiso político de las distintas organizaciones promotoras y colaboradoras del proyecto, ya desde el mismo momento del diseño del proyecto, con el fin de dotar de presupuesto para desarrollar el proceso de evaluación, así como apoyar su desarrollo a lo largo de la ejecución del proyecto. En ese momento ya se fija el tipo de evaluación a realizar en función del equipo evaluador. Una vez salvada esta cuestión, el diseño del sistema de seguimiento y evaluación ha de contemplar los siguientes aspectos:
a) Definición de los objetivos, contenidos, metodología y calendario de recogida y análisis de la información. Ésta ha de realizarse atendiendo a los objetivos, contenido y características específicas del proyecto a evaluar, así como al alcance que se le quiere dar, teniendo en cuenta además los criterios de la línea de financiación del proyecto y el enfoque de género. El resultado aporta el tipo de evaluación que se realizará en relación a su temporalidad y niveles de análisis.
b) Elaboración de los indicadores de análisis. Se construyen en función de los distintos niveles de análisis que contempla el sistema de seguimiento y evaluación y teniendo en cuenta perspectiva de género.
c) Establecimiento del mecanismo de coordinación y participación. Es fundamental articular un comité específico de seguimiento y evaluación que apoye y supervise el proceso de evaluación, lo que significa nombrar a sus miembros, representantes de las distintas entidades implicadas, promotoras del proyecto, asegurando una participación paritaria de mujeres y hombres, así como definir sus funciones, responsabilidades y calendario de trabajo.
d) Aprobación del sistema de seguimiento y evaluación por parte de las distintas organizaciones colaboradoras del proyecto, a través de los mecanismos de coordinación y participación articulados para su desarrollo.
40
e) Elaboración de las herramientas de recogida de información, en base a los niveles de análisis definidos y considerando la perspectiva de género.
f) Definición de los procedimientos, relativos a la recogida de información, el papel de la entidades participantes en cada uno de los procesos de evaluación definidos, del personal técnico y de la propia asistencia técnica externa, así como los mecanismos de coordinación entre ellos y de contacto con las personas participantes.
41
3.5. Mecanismos de Coordinación y Participación.
Son una herramienta básica del Sistema de Seguimiento y Evaluación dirigida a favorecer la participación de todas las entidades implicadas en el proyecto, de manera que cumplen con una triple finalidad: compartir información, valorar de forma conjunta los resultados que se vayan obteniendo y facilitar la toma de decisiones respecto al desarrollo del proyecto.
Se trata, en cualquier caso, de vehicular la participación de las distintas organizaciones y reforzar los procesos de evaluación, de manera que podemos encontrar varios niveles de participación en función del tipo de entidad e implicación o relación existente con el proyecto.
Existe un primer nivel, básico, que articula la coordinación y participación de los actores implicados directamente en la ejecución del proyecto (entidades promotoras y colaboradoras), que como se ha comentado antes, han de crear y componer un Comité de Seguimiento y Evaluación del proyecto.
Existe, además un segundo nivel, dirigido a canalizar la participación de grupos locales (asociaciones, redes, ...), en tanto que se convierten en recursos del territorio que pueden aportar información, identificar necesidades y, propiciar, en un futuro, el mantenimiento de los resultados alcanzados. La articulación de estos mecanismos no sólo presupone la representación de las distintas organizaciones comentadas, sino que entre las personas que las representen ha de promoverse una distribución paritaria de mujeres y hombres, con la finalidad de garantizar la existencia de visiones complementarias que proporcionarán una información y valoración más cercana a la realidad.
Desde esta perspectiva, se hace fundamental invitar a las asociaciones de mujeres, en tanto que su aproximación a la realidad propia de las mujeres y, en consecuencia, de sus necesidades, intereses, dificultades, aporta un valor añadido esencial para el desarrollo del proyecto.
42
La participación de todas estas organizaciones requiere el desarrollo de mecanismos de coordinación y participación bien fijados, que permita una adecuada canalización de la participación de las distintas entidades en función del papel que desempeñan en el proyecto. Esto implica la necesidad de una clara definición de los procedimientos de participación, calendarización y objeto de las mismas, así como la determinación de comisiones que pueden ser de carácter temático y/u organizacional.
Destacamos las funciones básicas de estos mecanismos:
Aprobar el Sistema de Seguimiento y Evaluación.
Valorar y aprobar de cambios que pudiera requerir el proyecto para reconducirlo en base a los resultados del seguimiento y evaluación.
Garantizar la integración de la perspectiva de género.
Valorar el desarrollo del proyecto en general.
Participar en la elaboración de propuestas de futuro que faciliten el sostenimiento de los cambios o resultados que se van obteniendo.
43
3.6. Procesos de recogida de información. Los Indicadores.
Indicadores de evaluación.
Se trata de instrumentos de análisis elaborados para obtener información en torno a la realidad de análisis. La característica básica de un indicador es que ha de ser fácilmente medible. Esto es, nos ha de permitir recoger fácilmente la información e interpretarla.
Los indicadores nos permiten aproximarnos de forma más completa al desarrollo del proyecto, tanto en lo relativo a sus resultados, como al propio proceso o su impacto. En definitiva, construimos indicadores en relación a los niveles de análisis contemplados en el proceso de evaluación y en base al diagnóstico inicial (el contexto del proyecto), así como los objetivos planteados, actividades que lo desarrollan y los resultados esperados. Es por esta razón por la que no existen indicadores tipo válidos para cualquier proyecto, sino que cada proyecto requiere de indicadores específicos.
Tipos de indicadores.
Destacamos dos tipos de indicadores: cuantitativos y cualitativos. Los indicadores cuantitativos son de carácter descriptivo, más fáciles de elaborar e interpretar en la medida en que miden la información a través de datos cuantificables, un dato numérico que, por lo general, es válido para el momento en el que se obtuvo, pero que es muy posible que transcurrido un corto período de tiempo quede obsoleto (por ejemplo, nº de personas atendidas en el servicio de orientación por sexo).
Los indicadores cualitativos, sin embargo, se refieren a información de carácter explicativa que aporta información sobre aspectos difícilmente cuantificables o que, convertida aquélla en un dato numérico, aporta éste información complementaria para conocer las causas o los porqués del hecho analizado. Así mismo y, a diferencia de los indicadores cuantitativos, son dinámicos, esto es, proporcionan información que puede ser válida más allá del momento de recogida de información. Se trata de indicadores que miden opiniones, procesos metodológicos, así como de participación y comunicación, motivos, cambios de actitudes, percepciones, etc.
44
3.7. Técnicas cuantitativas y cualitativas.
Los datos que necesitamos recabar para construir el indicador se obtienen utilizando técnicas diversas, en función del tipo de indicador. Éstas se pueden ser de carácter cuantitativo y cualitativo.
Las técnicas cuantitativas permiten la recogida y análisis de información descriptiva o cuantificable numéricamente, sea cual sea el nivel de análisis contemplado en la evaluación. Partimos, en consecuencia, de indicadores de carácter numérico y herramientas de recogida de información que permiten obtener los datos que construyen ese indicador. Suelen aportar datos para la evaluación de resultados y de eficiencia.
Las técnicas cualitativas ofrecen información de elementos no cuantificables que complementan la valoración cuantitativa y aportando un valor añadido a partir de aspectos explicativos. Suelen estar estar relacionadas con la evaluación de proceso e impacto.
Estas técnicas cuentan herramientas de recogida de información muy distintas, en función del tipo de información que nos interesa recabar. No obstante, una misma herramienta puede aportar información cuantitativa y cualitativa, incluso aportar datos referidos a los distintos niveles de análisis contemplados en nuestra evaluación. Diferenciaremos entre herramientas físicas y herramientas participativas.
HERRAMIENTAS FISICAS HERRAMIENTAS PARTICIPATIVAS
• Base de Datos.
• Ficha de Seguimiento.
• Cuestionario.
• Reuniones de equipo.
• Mecanismos de coordinación y participación.
• Herramientas relacionadas con técnicas cualitativas de recogida de información.
45
Herramientas físicas.
Base de Datos. Básica cuando se interviene con personas. Permite realizar el seguimiento y ofrece información valiosa para la evaluación de resultados, especialmente relacionada con perfiles de personas participantes o beneficiarias e información sobre las trayectorias de participación.
Ficha de Seguimiento. Es una herramienta que aporta información sobre el desarrollo de cada actuación o actividad, así como sobre la participación de las distintas personas o entidades beneficiarias del proyecto.
Cuestionario. Herramienta complementaria a otras, tiene la cualidad de recoger opiniones de las personas participantes, respecto a su satisfacción, el modo de intervención, el apoyo que ha obtenido, así como información sobre el conocimiento del proyecto o una valoración sobre su desarrollo. Se trata, así mismo, de una herramienta básica para la evaluación de impacto.
Herramientas participativas.
Reuniones de equipo. Se trata de una herramienta ligada a la evaluación continua y seguimiento del proyecto, así como de proceso, ya que posibilita el intercambio de experiencias respecto a la propia ejecución del proyecto donde se miden y/o analizan las actuaciones desarrolladas, la integración de recursos, la adecuación del proyecto a las personas destinatarias, las dificultades experimentadas, las soluciones y los modelos de intervención óptimos.
Mecanismos de coordinación y participación. Herramienta igualmente ligada al seguimiento, al facilitar la participación de todas las entidades en un proceso de información compartida, valoración conjunta de los resultados y toma de decisiones respecto a desviaciones del proyecto.
46
Herramientas relacionadas con técnicas cualitativas de recogida de información. Destacan la entrevista en profundidad y los grupos de discusión. Las entrevistas se dirigen habitualmente a agentes del entorno, informantes clave y responsables de entidades colaboradoras, participantes del proyecto. Mientras que los grupos de discusión se realizan con personas beneficiarias directas o indirectas, así como con población en general. Suelen realizarse para aportar información a las evaluaciones de proceso e impacto. Estas técnicas se acompañan de soporte físico: los guiones (de entrevista y grupo), y tras la aplicación de la técnica, las transcripciones.
47
3.8. La aplicación del Sistema de Seguimiento y Evaluación.
La aplicación de las técnicas identificadas en el Sistema de Seguimiento y Evaluación, se realiza de forma periódica y puntual, en función de los hitos previstos y tipo de evaluación definida. Se han de tener en cuenta dos elementos básicos en la recogida de información: la utilización de las herramientas elaboradas y aprobadas en el marco del sistema y la participación de las personas y organizaciones identificadas.
Tras la recogida de información se procede a su análisis sobre la base del enfoque de la evaluación que ha determinado los distintos tipos de evaluación, así como en relación a los objetivos del proyecto y, siempre contemplando la perspectiva de género.
Una vez realizado el análisis, se obtienen informes parciales que, además de conocer los resultados propios de la ejecución del proyecto, permiten informar y difundir su ejecución, cuestión fundamental, tanto interna como externamente, ya que facilita una retroalimentación del proceso de ejecución del proyecto (a nivel interno), así como la difusión de los resultados, favoreciendo y reforzando, con ello, el desarrollo de las actuaciones de información y difusión previstas en el proyecto. De esta manera, la obtención de informes periódicos que aporta el sistema de seguimiento y evaluación enriquecerá el desarrollo del proyecto en materia de información y difusión, así como su propia ejecución desde el punto de vista interno.
Así mismo, y a lo largo del desarrollo de la evaluación, se procederá a un control del desarrollo, mediante los mecanismos de seguimiento y evaluación articulados para facilitar la participación y el control de los procesos de evaluación (comisiones, comités, ...).
La evaluación termina, por último, con la elaboración del Informe Final, que como su nombre indica, se realizará a la terminación del proyecto. El informe contemplará los resultados de los distintos tipos de evaluación desarrollados, analizados desde el enfoque de género, teniendo en cuenta los efectos que ha producido el proyecto sobre las relaciones de género y, en consecuencia, si ha promovido la igualdad de oportunidades entre mujeres y hombres.
48
BIBLIOGRAFÍA.
Guía Metodológica de Evaluación: Orientaciones Metodológicas para la Evaluación Interna de los proyectos de la Iniciativa Comunitaria EQUAL. Ministerio de Trabajo y Asuntos Sociales, Unidad Administradora del Fondo Social Europeo (UAFSE).
Guía de Gestión y Control de los proyectos de la Iniciativa Comunitaria EQUAL. UAFSE.
Metodología de Evaluación de la Cooperación Española. Ministerio de Asuntos Exteriores. Secretaría de Estado para la Cooperación Internacional y para Iberoamérica, 2001.
Guía práctica para la Evaluación Teórico-Metodológica de Proyectos de Igualdad de Oportunidades para las mujeres, Mancomunidad del Norte de Tenerife (proyecto Now-Emprendedoras), Patricia García Ojeda.
“Guía para Evaluación del Impacto en Función del Género” Comisión Europea.
Mecanisme et indicateurs de suivi du Mainstreaming, Dossier/SOC97-102512 05 DOO, Dina Sensi. 1997.
Evaluación de las Políticas de Igualdad. Serie Debate, 24. Instituto de la Mujer, Ministerio de Trabajo y Asuntos Sociales, 1999.
