EVALUACIÓN PARTICIPATIVA DEL PLAN DIRECTOR DE LA .... plan de... · Tiene experticia en proyectos...

Evaluación Plan Director

Gobierno Vasco

PLAN DE TRABAJO Versión 2

1

DEPARTAMENTO DE EMPLEO Y ASUNTOS SOCIALES

EVALUACIÓN PARTICIPATIVA DEL PLAN DIRECTOR DE LA

COOPERACIÓN DEL GOBIERNO VASCO 2008- 2012

Plan de trabajo para la evaluación

- 2º borrador -

Presenta:

Bilbao, 10 de septiembre 2010

DEPARTAMENTO DE EMPLEO

Y ASUNTOS SOCIALES

ENPLEGU ETA GIZARTE

GAIETARAKO SAILA


Gobierno Vasco


2


INDICE

1. Nuestro Enfoque de trabajo y Experiencia 2. Nuestro Equipo humano

3. Antecedentes y Normativa aplicable 4. Objeto del contrato y Servicios principales

4.1 Objeto + mejoras 4.2 Enfoque innovador 4.3 Actividades principales

5. Propuesta de la Evaluación 5.1 Enfoque: tenemos nuestro propio modelo de evalu ación 5.2 Metodología a aplicar 5.3 Actividades principales

ANEXOS:

- Presentación institucional - Matriz de evaluación v.3


Gobierno Vasco


3


1. Nuestro Enfoque de Trabajo y Experiencia demostrada

es, una organización de consultoría social con vocación de acompañamiento y de fortalecimiento institucional, orientada a la calidad y la mejora de la gestión en el tercer sector. Apoyamos cualquier iniciativa ligada al desarrollo social desde el trabajo en equipo y con una visión multidisciplinar y participativa para acompañamiento, asesoría, formación e investigación en los ámbitos en los que somos especialistas. Para todo esto, una de las claves que difundimos para el fortalecimiento organizativo es la capacitación activa , con metodologías participativas, centradas en generar capacidades y habilidades técnicas, sociales, comunicativas o socioculturales. En ese sentido, durante el 2009 celebramos el aniversario de diez años de experiencia y promoción, difusión y de la evaluación. Los procesos públicos en los que hemos participado, así como diversas pub licaciones, nos avalan. En los últimos años hemos participado en procesos evaluativos importantes, así como en la promoción de la evaluación como práctica necesaria orientada al aprendizaje y la mejora , en el ámbito de acciones en el Sur y en el Norte, entre otras: Para la administración pública

Han sido 10 años “de vocación por la evaluación ”

Letras negras


Gobierno Vasco


4


- 2010: Evaluaciones de dos proyectos de cooperación en Honduras dentro del sector de acción de las infraestructuras y servicios sociales para el Gobierno Balear. - 2010: Evaluación del I Plan Director de la Cooperación Na varra 2007- 2010 y la redacción del borrador de anteproyecto de II Plan Director de la Cooperación Navarra 2011- 2014. Gobierno de Navarra. - 2008: En el apoyo y revisión del Protocolo de evaluación de Evaluació n del Ajuntament de Barcelona . - 2007- 2008: Asistencias técnicas para el estudio, seguimiento y control de los informes finales de las subvenciones concedidas a ONGD, en el marco del programa de Cooperación Internacional al Desarrollo del Gobierno de Navarra. - 2005: En el diseño y seguimiento al Plan estratégico y su evaluación de la Coordinadora de ONGD de Euskadi (2005- 2009). - 2005- 2006: Elaboración del Borrador de Anteproyecto del I Pl an Director y Sistema de evaluación del Servicio de Cooperación del Gobierno Vasco . - 2006: En el diseño del Protocolo de evaluación interno de la Dirección de cooperación del Gobierno Vasco. - 2004: Estudio META Evaluación para la AECI sobre las Evaluaciones realizadas a nivel internacional sobre desarrollo rural integrado. Para las ONGD:

- En la realización y apoyo a múltiples evaluaciones a ONGD desde 1998, Evaluación de proyectos para ONGD en Perú, Colombia, Salvador, Kenya, Nicaragua, Honduras, Guatemala y Sahara.

- Evaluaciones de Proyectos de Educación al Desarrollo e Incidencia

Política en el Norte, entre las más recientemente publicadas:

o Grupo de Género de la Coordinadora de ONGD de Euskadi la evaluación- sistematización del proyecto de Educación al Desarrollo “Promoviendo procesos de Cambio entre las ONGD vascas” publicado. Financiado por la Diputación de Bizkaia y la BBK.


Gobierno Vasco


5


o En la creación y gestión del Proyecto de sensibilización “Generando Cultura evaluativa ”, desde 2005 a 2008, también de reciente publicación y financiado por el Gobierno Vasco.

Pueden encontrar mayor información sobre nuestra organización en el apartado de “KOMPARTIENDO” en nuestra Web. http://www.kalidadea.org/documentos.htm http://www.kalidadea.org/experiencias.htm

NUESTRO EQUIPO


Gobierno Vasco


6


2. Nuestro Equipo Humano

cuenta con equipos de consultores profesionales, altamente cualificados en desarrollo y cooperación internacional, y con una amplia experiencia en seguimiento y evaluación de dicho campo. Apoyamos cualquier trabajo ligado al desarrollo social desde el trabajo en equipo y una visión participativa y multidisciplinar para acompañamiento, asesoría, formación e investigación.

Nuestros equipos están conformados por personal especializado en enfoque de género y cooperación al desarrollo, desarrollo l ocal y ciudadanía, políticas públicas, educación, medio ambiente, segu ridad alimentaría, crédito y generación de empresas, fortalecimiento o rganizativo, entre otras.

Tiene experticia en proyectos de acción humanitaria , gestión y evaluación de proyectos, gestión estratégica y organizacional, políticas públicas, recursos humanos, liderazgo y trabajo en equipo, ca lidad, mejora continua y gestión por procesos.

Los equipos de trabajo en nuestra organización se conforman según los enfoques requeridos en cada evaluación, siempre tratando de establecer una visión multidisciplinar y equilibrada.


Gobierno Vasco


7


En esta evaluación se conformará un equipo altamente cualificado ante las temáticas , motivado antes los fines de la organización, con conocimiento de los países acompañados y con experiencias compartidas anteriores. Nuestro equipo ha realizado numerosas evaluaciones en Centroamérica a intervenciones vinculadas al sector de soberanía alimentaria, acceso al agua potable, conservación de zonas protegidas, ecoturismo, desarrollo rural, etc. en Honduras, El Salvador, Nicaragua y Guatemala. Además ha realizado la evaluación del I Plan Director de la Cooperación del Gobierno de Navarra (durante 2010). Un buen equipo de evaluación, debiera garantizar, desde nuestra concepción, al menos, los siguientes puntos:

- Conocimientos globales sobre el desarrollo y, en concreto, desarrollo social y humano sostenible.

- Conocimientos y experiencias en el ámbito de la Investigación, Educación al Desarrollo, y la Sensibilización y acción política.

- Conocimientos de formulación, gestión y seguimiento de proyectos de desarrollo y con EML

- Conocimientos sobre métodos y técnicas básicas de investigación social y evaluación.

- Carácter multidisciplinar entre las personas que conforman el equipo, así como equilibrio de género y con conocimientos del enfoque de género.

- Personal con capacidades de comunicación, diálogo, negociación y trabajo en equipo.

- Contacto cercano con el medio social y humano donde se desarrolla el Plan.

- Experiencia acumulada y demostrada de otros seguimientos y evaluaciones en el ámbito de la cooperación y específicamente de administración pública.

El equipo humano que desarrollará el proceso garantiza una respuesta global a todos ellos al contar con:

- Personas que tienen experiencia acumulada en la realización de evaluaciones con perspectiva de género desde hace una década.

- Personas con experiencia en el fortalecimiento institucional y la generación de capacidades de gestión.

- Personas con experiencia en el manejo, diseño, seguimiento y evaluación con el Enfoque del Marco Lógico.

- Personas con conocimiento de las políticas públicas de cooperación

- Personas con formación en Sociología, investigación y evaluación


Gobierno Vasco


8


- Personas con formación especializada en cooperación al desarrollo.

- Personas con formación especializada en Evaluación de Políticas públicas

- Personas con formación y experiencia ambiental. Es por ello que en este caso se contará con un equipo base de 5 personas con diversas funciones y responsabilidades:

CARGO NOMBRE FORMACIÓN EXPERIENCIA

Coordinadora

Lara González

� Licenciada en Ciencias Políticas y Sociología,

� Master en Gestión del

Desarrollo � Doctorado en Sociología

Experiencia en Evaluación y varias publicaciones sobre el tema. Experiencia en gestión estratégica. Docente en varias universidades sobre evaluación de Proyectos y organizaciones del sector de la Cooperación.

Responsable evaluación cualitativa

Sara Maza

� Licenciada en Pedagogía � Master en Desarrollo

Sostenible y Acción Humanitaria

Experiencia en formulación de proyectos y evaluación de Proyectos y Programas de Cooperación.

Responsable evaluación cuantitativa

Monika Mena*

� Licenciada en Ciencias Políticas y de la Administración

� Master en Evaluación de

Programas y Políticas Públicas

Experta en evaluación, con experiencia en valoración previa de propuestas, y evaluación en Centroamérica.

Responsable de análisis estadístico y Aplicación GV

Liliana Zambrano

� Licenciada en Ciencias Políticas

� Especialista en Políticas y Asuntos Internacionales

� Master en Acción Internacional Humanitaria

Experta en análisis de datos, estadísticas sobre conflicto ha trabajado con varias ONG internacionales en Colombia. Ha trabajo en la Dirección de Cooperación en seguimiento a Convenios de acción directa.

Administradora- Secretaría

Claudia Calle � Auxiliar Contable

Administradora y Archivo y Secretaría de contratos públicos en KALIDADEA desde 2006

* Puntualmente se contará con el apoyo y asesoría de Zaloa Pérez. La coordinación recaerá en la consultora Lara González, que mantendrá la coordinación e interlocución principal y permanente con la Dirección de cooperación del Gobierno Vasco. Esta consultora será la responsable del cumplimiento de las tareas contempladas en este contrato y velará por la calidad de los informes presentados al Gobierno.


Gobierno Vasco


9


Para una fácil valoración de los/as consultores/as les hacemos llegar un resumen de su currículum (Ver CV completo en anexos). Lara González Gómez FORMACION: Licenciada en Ciencias Políticas y Sociología por la Universidad de Deusto y Suficiencia Investigadora de los Cursos de Doctorado en Ciencias Sociales. Master en Ciencias Sociales: énfasis en gestión del desarrollo social por la Universidad de Antioquia y Diplomada en Gestión de proyectos de la Cooperación Internacional. Experta en Investigación participativa, Evaluación de proyectos y programas de desarrollo, y de evaluación organizacional. Formación específica en Calidad y EFQM. EXPERIENCIA LABORAL: Consultora independiente desde 1997 con alta experiencia en formulación de intervenciones de desarrollo en varios formatos basados en Marco Lógico y herramientas participativas (AECI, Gobierno Vasco, Diputaciones, entidades privadas BBK, etc.). Alta experiencia en evaluación de proyectos y programas de desarrollo así como en evaluación de políticas y planes de cooperación. Acompañamiento a equipos públicos y privados en la gestión estratégica, diagnósticos internos y evaluación organizacional ligada a procesos de calidad EFQM. Ha coordinado equipos de trabajo desde 2006. Monika Mena


Gobierno Vasco


10


FORMACIÓN: Licenciada en Ciencias Políticas y de la Administración por la Universidad del País Vasco. Master en Evaluación de Programas y Políticas Públicas por la Universidad Complutense de Madrid. EXPERIENCIA: Responsable del área de evaluación de KALIDADEA. Especializada en Procesos de Calidad y en evaluación de Políticas Públicas, ha participado en procesos evaluativos de administraciones autonómicas. Ha sido evaluadora de la convocatoria social de la Fundación EDE y es trabajadora en KALIDADEA desde 2009, participando en evaluaciones de proyectos en el Norte y el Sur, baremaciones ex ante y evaluación del Plan Director del Gobierno de Navarra. Sara Maza FORMACIÓN: Licenciada en Pedagogía por la Universidad de Deusto. Master en Cooperación al Desarrollo sostenible y Acción Humanitaria por la Universidad de Comillas. Suficiencia Investigadora del Programa de Doctorado Globalización, Desarrollo y Cooperación Internacional en Universidad del País Vasco y HEGOA. Formación adicional en gestión y evaluación, así como en calidad. EXPERIENCIA: Más de 3 años de experiencia en gestión de subvenciones a Diputaciones, ayuntamientos y AECI en una ONGD internacional. Especializada en la gestión de Proyectos de cooperación al desarrollo y acción humanitaria. Gran experiencia de trabajo en el sector ambiental. Ha trabajado en Greenpeace y ha sido consultora del Instituto de Turismo Responsable y otras organizaciones. Consultora colaboradora de KALIDADEA desde 2009 ha participado en evaluaciones de proyectos, baremaciones ex ante y evaluación del Plan Director del Gobierno de Navarra. Claudia Calle FORMACIÓN: Técnico de Contabilidad y Secretariado Sistematizado y Experta en Gestión Contable. Cursos en gestión contable, fiscalidad y financiación de las ONGD. EXPERIENCIA LABORAL: Más de veinte años de experiencia como Gerente de Ventas, Gestión contable, administración y archivo. Integración laboral como extranjera en la empresa en áreas de administración, contabilidad, logística y archivo. Experiencia en el estudio de expedientes del Servicio de Cooperación internacional del Gobierno Vasco y en preparación de Licitaciones y su gestión administrativa. Trabajadora en KALIDADEA desde 2006 realizando labores


Gobierno Vasco


11


administrativas, de logística y coordinación de trabajos de campo cuantitativos. Apoyo a la gerencia y otras labores de consultoría técnica y económica.


Gobierno Vasco


12


3. Antecedentes y normativa aplicable

En el marco de la propuesta global de trabajo esbozada por el equipo de la nueva Dirección de cooperación al desarrollo, se establecen como prioridades la orientación de los esfuerzos hacia una mayor eficiencia y solidez de la estructura interna, y hacia un modelo de gestión más orientado a resultados de calidad e impacto, que incorpore mecanismos de evaluación a varios niveles (de proyectos y programas pero también a nivel de gestión y a nivel estratégico) que puedan mostrar resultados reales y visibles de de la inversión pública realizada. En ese sentido, es que la Dirección desea contar con asistencia técnica, que evalúe el propio Plan Estratégico y Director 2008- 2011, en cumplimiento a las propias directrices esbozadas por el mismo. Esta contratación de asistencia técnica tiene un objetivo claro: realizar una evaluación del Plan Director vigente para que la actual Dirección de Cooperación de la Consejería de empleo y asuntos sociales, y próxima Agencia de Cooperación, pueda articular un nuevo plan en la mejora de la gestión y articulación de los instrumentos de cooperación, esbozados en el marco de nueva agencia Vasca de cooperación al Desarrollo). Con la aprobación de la ley 1/2007 de Cooperación para el Desarrollo se prevé el desarrollo de los planes estratégicos y su evaluación establecer orientaciones estratégicas para la actuación de la cooperación vasca. Tal y como recoge el propio plan, la evaluación debe ser un proceso previo indispensable para la formulación de futuras planificaciones. A fin de cumplir con esta cuestión, el Departamento de Empleo y Asuntos Sociales requiere la colaboración de un equipo consultor que asuma la realización de las tareas más prácticas vinculadas a dicha evaluación. En este sentido y con el fin de concursar ante el Pliego de Bases técnicas relativas a la ejecución de la evaluación del Plan Estratégico y Director de Cooperación para el Desarrollo 2008- 2011, es que se presenta la siguiente propuesta. Derivado de estos antecedentes, nuestra empresa propone el siguiente Enfoque de trabajo para un proceso participativo y satisfactorio para todos los agentes involucrados:

- Participativo real: con tiempos para participar. - Articulación representativa (a través de representantes de la CONGD de

Euskadi).


Gobierno Vasco


13


- Con metodología flexible, trianguladora e intregradora, pero sobre todo dinámica e innovadora.

- Las ONGD entendidas como agentes, no como medios. - Coordinación con otras administraciones. - Con enfoque de género y Visión Sur.

Por su parte, la Dirección de Cooperación al Desarrollo desea una propuesta que contenga:

- Contar con un equipo que disponga de experiencia en la evaluación de Planes Directores y/o procesos similares

- Un proceso que cuente con cronograma de actuación concreto y afinado pero lo suficientemente amplio para dar lugar a la participación efectiva.

- Acreditar un proceso de calidad. - Metodología y contenido dinámico-participativo. - Composición de un equipo de trabajo con formación y experiencia de

cada miembro en este ámbito.

En cualquier caso, la normativa de referencia para este trabajo es:

- LEY 1/2007, de 22 de febrero, de Cooperación para el Desarrollo.

- Plan Director de Cooperación para el Desarrollo 2005-2008

- Plan Director de Cooperación para el Desarrollo 2008-2012

- DECRETO 34/2007, de 27 de febrero, por el que se regulan las ayudas a proyectos con cargo al Fondo de Cooperación al Desarrollo

- ORDEN de 3 de mayo de 2007, del Consejero de Vivienda y Asuntos Sociales, por la que se convocan ayudas a proyectos con cargo al Fondo para la Cooperación y Ayuda al Desarrollo para 2007.

- ORDEN de 30 de abril de 2008, del Consejero de Vivienda y Asuntos Sociales, por la que se convocan ayudas a proyectos con cargo al fondo para la cooperación y ayuda al desarrollo para 2008.

- ORDEN de 25 de marzo de 2009, del Consejero de Vivienda y Asuntos Sociales, por la que se convocan ayudas a proyectos con cargo al fondo para la cooperación y ayuda al desarrollo para 2009.

- ORDEN de 14 de abril de 2010, de la Consejera de Empleo y Asuntos Sociales, por la que se convocan ayudas a proyectos con cargo al fondo para la cooperación y ayuda al desarrollo para 2010.

- Otras ordenes y convocatorias referidas a Programas, Acción humanitaria y otras como:


Gobierno Vasco


14


- convocatoria anual, para la subvención a proyectos de acciones humanitarias para ONGD y entidades sin ánimo de lucro (PRE), con cargo a la cooperación para el desarrollo.

- convocatoria de subvención a personas cooperantes vascas para trabajar en diferentes proyectos de cooperación para el desarrollo llevados a cabo por parte de agentes de cooperación vascos (KOP).

- convocatoria de subvenciones a personas cooperantes vascas para trabajar en los diferentes organismos multilaterales de desarrollo de las Naciones Unidas como PNUD, UNESCO, UNICEF, UNIFEM o ACNUR (NBE).

- convocatoria anual, para subvencionar el programa Juventud Vasca Cooperante.

- convocatoria anual de ayudas a entidades de cooperación para promover procesos cambio organizacional pro-equidad de género.

- Una disposición adicional que brinda la posibilidad al Gobierno vasco de establecer convenios directos con entidades de diverso tipo (ZUZ).


Gobierno Vasco


15


4. Objeto del Contrato y Servicios principales 4.1 Objeto + mejoras Tal y como se menciona en los Pliegos de Cláusulas administrativas del contrato que rige esta contratación, el objeto del contrato será la asistencia técnica para la evaluación de la ejecución del Plan Director de la Cooperación Vasca 2008- 2012. En este sentido, el contrato entre el Gobierno Vasco y b tiene como objetivo una evaluación independiente y objetiva del I Plan.

Nuestra organización, plantea como objetivo de fondo mejorar la calidad de la gestión de la cooperación del Gobierno Vasco y en este sentido, el valor agregado que nuestra entidad ofrece, es acompañar un proceso de mejora, que a través de la evaluación (eje fundamental de la Calidad), añadirá mejoras a la cooperación Vasca en su conjunto. Como se podrá observar más detalladamente, en el marco del enfoque de nuestra entidad, la evaluación y la planificación son procesos participativos , en los que debieran involucrarse los distintos agentes del proyecto, y además, integrar diversas metodologías, enfoques multidisciplinares y herramientas que la hagan posible.

El proceso va a lograr 4 grandes resultados:

1.- La conformación de un equipo de trabajo ad hoc para coordinar la evaluación y la planificación, designados por la actual Dirección de Cooperación al Desarrollo del Departamento de Empleo y Asuntos Sociales.

2.- La activa participación de las organizaciones involucradas en el proceso, sobre todo ONGD de la Coordinadora, dando sus opiniones, reorientando las conclusiones y proponiendo estrategias a futuro, de tal modo que el proceso evaluativo sea incorporado como un elemento que fortalecedor y de aprendizaje para el nuevo plan.

3.- La realización de un informe final de evaluación , validado por la Dirección de Cooperación y la Coordinadora de ONGD de Euskadi.


Gobierno Vasco


16


4.- La socialización de las conclusiones obtenidas del proceso evaluativo, a través de una jornada de reflexión que permita difundir los aprendizajes entre las organizaciones, para disponer de propuestas de mejora hacia el futuro inmediato y posteriormente una Jornada de socialización y debate.

Más específicamente y para cada servicio, se aportará los siguientes productos y resultados:

� Proceso participativo de evaluación con herramientas innovadoras. � Participación real a través de la articulación representativa. � Matriz de Evaluación que articula criterios del Propio Plan, criterios

Cooperación y Criterios de la Evaluación de Políticas Públicas. � Análisis cuantitativo estadístico de la evolución de la cooperación

vasca (convocatorias, agentes, etc.). � Documento independiente de evaluación avalado por la UGE. � Socialización interna con documento anexo con propuestas de mejora

para Anteproyecto del siguiente Plan Director. � Jornada de Socialización pública con los resultados fundamentales de

la Evaluación.

Como mejoras al contrato solicitado nuestra empresa ofrece:

� Programar una jornada y proceso de diseño participativo con la Coordinadora de ONGD de Euskadi

� Asumir la programación de 1 Jornada socialización p ública de la

evaluación e intercambio con los agentes � Publicación editada y maquetada (CD) de la evaluación y otros

materiales de interés. Anexo (metodología, documentación de interés, ppt, etc.)

4.2 Enfoque innovador Nuestro equipo, adopta enfoques cada vez más innovadores para dar respuesta a los requerimientos de cada cliente y de cada proceso. Entre ellos, cabe destacar:

- Aplicación de la metodología CIRCULOS DE CALIDAD – con enfoque del trabajo en equipo, que permite articular la participación en base a EJES temáticos o de agentes, y agilizar así los procesos y la participación organizada. Por ello se conformará una UNIDAD


Gobierno Vasco


17


GESTORA DE LA EVALUACION- UGE) según, al menos, 3 EJES: ONGD; Gobierno Vasco y Otros agentes involucrados (si se considera relevante).

- EVALUABILIDAD de cada proceso. Se someterá a evaluación la

planificación de la propia evaluación de este Plan, de tal modo que se logre el mayor consenso posible en la metodología y cronograma de partida (como referencia se utilizará en propuesto por AECID en su manual de evaluación, 2007. Págs. 53- 55).

- TÉCNICAS AVANZADAS DE GESTIÓN- BENCHMARKING : Para

agilizar el proceso de análisis de la evaluación y sus recomendaciones, se analizará y tendrá en cuenta otras evaluaciones realizadas a Planes Directores autonómicos para aplicar aquello que sea útil. Se presentará un resumen comparativo de los puntos de mejora y los puntos destacables de Otros planes directores de referencia (AECID y otros autonómicos) que permitan ser tomados como referencia, en el marco de sus especificidades.

- USO DE LAS TICS aplicadas a la evaluación y planifi cación

participativa:

o Se utilizarán las Plataformas On- line disponibles. A saber: la WEB de la Dirección para articular propuestas, avances, encuestas, etc.,

o Se abrirá un correo electrónico durante todo el proceso que

servirá como plataforma para recibir aportes, sugerencias de mejora, etc.:

[email protected] o También se utilizarán otras metodologías modernas para recibir

aportes individuales o FOROS de participación a la metodología a


Gobierno Vasco


18


través de la WIKI o FACEBOOK (si se considera oportuno por su carácter público).

o Por último se realizarán entrevistas por SKYPE a organizaciones

locales públicas y privadas, así como a organismos fuera de Vasca (AECID; UE, etc.,) para recabar determinada información o contrastar opiniones.

- Aplicación del Método DELPHI (consulta a expertos/as) en una gama adaptada más sencilla para incluir en cada documento a debate, la opinión y experiencia de personalidades del ámbito público, privado de la cooperación y del movimiento social que apunten mejoras al proceso.

4.3 Actividades principales A realizar desde final de julio a diciembre de 201 0 (5m) 1. Sensibilización y mecanismos de coordinación (agosto) 2. Diseño participativo (TdR) (septiembre) 3. Trabajo de campo cuantitativo y cualitativo (septiembre- octubre) 4. Análisis e informe (noviembre) 5. Socialización y toma de decisiones (diciembre)


Gobierno Vasco


19


5. Propuesta de la Evaluación 5.1 Enfoque: Tenemos nuestro propio modelo de evalu ación

Desde el enfoque propuesto por la OCDE en 1995 la Evaluación se entiende como una función que consiste en hacer una apreciación, tan sistemática y objetiva como sea posible, sobre un proyecto en curso o acabado, un programa o un conjunto de líneas de acción, su concepción, su realización y sus resultados. Se trata de determinar la pertinencia de los objetivos y su grado de realización, la eficiencia en cuanto al desarrollo, la eficacia, el impacto y la viabilidad. Una evaluación debe proporcionar unas intervenciones creíbles y útiles, que permitan integrar las enseñanzas sacadas en los mecanismos de elaboración de las decisiones, tanto de los países de acogida como de los donantes1.

En el marco del enfoque de las personas que conforman nuestra entidad, la evaluación es un proceso participativo de reflexión, análisis y valo ración, en el que debieran integrarse los distintos agentes involucrados en el proyecto, así sea de cooperación en el Sur, como en el Norte 2, integrando otros enfoques evaluativos al marco lógico que permitan complementarlo, como la evaluación participativa y la económica- cuantitativa; y además, integrando diversas metodologías, enfoques multidisciplinares, y combinando herramientas cuantitativas con cualitativas en aras a encontrar aprendizajes que sirvan para orientar las acciones en el futuro cercano.

La evaluación será realizada desde la perspectiva integrada con enfoque de género, propuesta por el equipo y referido en varias publicaciones reseñadas.

Como su nombre indica, se trata de un modelo que integra agentes, modelos y herramientas. De manera que:

- A nivel de agentes se pretende conformar un equipo mixto que permita complementar la visión externa de la evaluación, con la visión interna del personal involucrado.

- Con respecto al modelo, la respuesta a donantes requiere de la realización de evaluaciones con el enfoque del CAD- OCDE antes citados (eficacia, eficiencia, pertinencia, sostenibilidad e impacto). En este caso, tal y como se desprende de la lectura de la Matriz elaborada se contemplarán adicionalmente los criterios del propio Plan Director, AECID, Evaluación de Políticas públicas.

- Esto implica, además, la necesaria combinación de herramientas cuantitativas y cualitativas en la investigación evaluativa que

1 NORAD (1997): Evaluación de proyectos de ayuda al desarrollo. Manual para evaluadores y gestores. IUDC- CEDEAL, Madrid. 2 Términos generalmente utilizados, sabiendo de su inexactitud geográfica y política.


Gobierno Vasco


20


permitan recoger los datos objetivos y ser complementados con las visiones personalizadas y contextualizadas de las personas implicadas bajo su contexto. Herramientas, de necesaria complementariedad con las novedades que nos ofrecen las TICs y que facilitan, sobremanera, la participación.

A pesar de que existen diversas corrientes y metodologías para la evaluación, el enfoque principal de KALIDADEA. Acompañamiento, Calidad y Desarrollo, es fomentar la evaluación como un proceso participativo pero riguroso, en el que debieran participar los distintos agentes involucrados en el proyecto, por ello, consideramos relevante, y totalmente necesario para el buen desarrollo de la evaluación, la difusión de sus resultados, la puesta en práctica de recomendaciones y que el equipo participe activamente en el proceso evaluativo, de una u otra manera. De manera general es importante disponer de unos términos de referencia que permitan tener claridades y consensos sobre cómo vamos a realizar la evaluación y a partir de ahí concretar el plan de trabajo. Es parte del proceso evaluativo que llamamos ITINERARIO DE EVALUACIÓN. 1- Decisión y Constatación de la voluntad por evalu ar 2- Diseño participativo

� Creación del equipo de trabajo y consulta sobre los TdR � Aprobación del plan de trabajo � Aprobación de la Matriz de evaluación (Criterios, preguntas- categorías e

instrumentos) � Diseño de los instrumentos evaluativos

3- Trabajo de campo

� Análisis de bases de datos (estadístico) � Trabajo de campo cuantitativo: cuestionarios � Trabajo de campo cualitativo: entrevistas, talleres

4- Análisis multidisciplinar e informes parciales 5- Informe agregado interno a debate 6- Aportes y elaboración del informe final 7- Socialización interna y externa


Gobierno Vasco


21


Este itinerario es muy similar al propuesto por la AECID en su manual de 2007, que enfatiza la importancia del aprendizaje y la mejora continua como claves de la evaluación.

Fuente: MINISTERIO DE ASUNTOS EXTERIORES. SECRETARIA DE ESTADO PARA LA COOPERACIÓN INTERNACIONAL Y PARA IBEROAMÉRICA (MAE- SECIPI) (2007): Manual de Gestión de Evaluación de la Cooperación Española. Aprender para mejorar. Dirección General de Planificación y Evaluación de Políticas para el Desarrollo. Madrid. Pág. 9. http://www.mae.es

En este proceso es que definimos desde qué criterios y con qué categorías será evaluada la política o proyecto en cuestión. Cuadro: Preguntas que tenemos que responder ante un a evaluación (TdR)

Pregunta Término de referencia ¿Por qué necesitamos una evaluación con impacto de género? Justificación ¿Para qué la vamos a utilizar? Objetivos ¿Quien la necesita? Sujetos/as ¿Quién la realiza? Agentes ¿Con qué modelo de evaluación? Modelo ¿Qué información y con qué criterios? Criterios, variables ¿Cómo recogemos la información? Metodología: instrumentos ¿Cuánto tiempo necesitamos? Cronograma ¿Cuánto dinero requerimos? Presupuesto

Fuente: Adaptado de González, Lara (2005). En el marco de la elaboración del Plan de trabajo de la evaluación es que debemos definir: que vamos a evaluar (áreas, criterios- categorías (ítems); revisando qué información; elaborando instrumentos para recoger nueva información. Esto se ve reflejado en la Matriz de Evaluación (M.E.)


Gobierno Vasco


22


En ese sentido, una vez iniciado el proyecto, será el equipo de evaluación el que tenga de decidir qué herramientas formarán parte de su proceso de recogida de información, al igual que ha decidido anteriormente sobre las categorías desde las que analizará dicha información. El proceso que seguimos para llegar a la herramienta y su uso es el siguiente: Fuente: González, Lara: “ El camino a seguir para poner en marcha un proceso de evaluación de impacto de género”, apartado 5 del Manual Murguialday, Vásquez y González (2008): Un Paso más: Evaluación del impacto de género. Cooperacció. Segunda edición revisada, Barcelona.

Equipo debate Plan de trabajo

Define criterios de evaluación generizados: Eficacia, eficiencia, pertinencia, sostenibilidad e impacto Complementa con criterios sectoriales y transversales , según el caso, u otros de políticas públicas

Construye y consensúa categorías para cada criterio o componente de evaluación

Agrupa las categorías que van dirigidas a un mismo grupo: organización de mujeres: líder del comité xxx, formadores, agentes clave…cada una requiere unas preguntas distintas

Diseña la herramienta necesaria para recoger la información de ese grupo desde esas categorías previamente definidas y consensuadas en el equipo de evaluación

Valida el instrumento

RECOGE LA INFORMACIÓN

ANALIZA LA INFORMACIÓN desde las categorías definidas y las herramientas del análisis de género


Gobierno Vasco


23


5.2 Metodología a aplicar El trabajo de campo se realizará en coordinación absoluta con las entidades involucradas y a partir de la elaboración de una AGENDA de CAMPO que será consensuada previamente, al igual que la MATRIZ DE EVALUACIÓN que contendrá los Criterios, Subcriterios- Categorías y los Instrumentos a aplicar. 5.2.1 Instrumentos de recogida de información para la evaluación El trabajo de campo se organizará con base a varios instrumentos:

A nivel de FUENTES SECUNDARIAS , se tomarán como base toda la documentación existente relativa a la planificación, diseño, y puesta en marcha del Plan Director desde 2008 hasta 2010. Entre ellas, se realizará un análisis exhaustivo de los datos estadísticos en términos de la gestión de la ayuda según las prioridades SECTORIALES; GEOGRÁFICAS Y TRANSVERSALES (sobre lo que se dispongan datos). Una vez iniciado el proceso se listará todas las fuentes secundarias a revisar por el equipo evaluador. LISTA PROVISIONAL DE DOCUMENTACIÓN A REVISAR FUENTES SECUNDARIAS YA DISPONIBLES

- Normativa general condicionante y reguladora en materia de cooperación: o LEY 1/2007, de 22 de febrero, de Cooperación para el Desarrollo. o LEY 5/2008, de 19 de junio, por la que se crea y regula la Agencia Vasca de

Cooperación para el Desarrollo. o DECRETO 34/2007, de 27 de febrero, por el que se regulan las ayudas a proyectos con

cargo al Fondo de Cooperación al Desarrollo o ORDEN de 3 de mayo de 2007, del Consejero de Vivienda y Asuntos Sociales, por la

que se convocan ayudas a proyectos con cargo al Fondo para la Cooperación y Ayuda al Desarrollo par a 2007.

o ORDEN de 30 de abril de 2008, del Consejero de Vivienda y Asuntos Sociales, por la que se convocan ayudas a proyectos con cargo al fondo para la cooperación y ayuda al desarrollo para 2008.

o ORDEN de 25 de marzo de 2009, del Consejero de Vivienda y Asuntos Sociales, por la que se convocan ayudas a proyectos con cargo al fondo para la cooperación y ayuda al desarrollo para 2009.

o ORDEN de 14 de abril de 2010, de la Consejera de Empleo y Asuntos Sociales, por la que se convocan ayudas a proyectos con cargo al fondo para la cooperación y ayuda al desarrollo para 2010.

o DECRETO 57/2007, de 3 de abril, por el que se regulan ayudas a programas con cargo al Fondo de Cooperación al Desarrollo.

o DECRETO 22/2007, de 13 de febrero, por el que se regulan las ayudas a Organismos internacionales del sistema de las Naciones Unidas y a personas jurídicas vinculadas a ellos, para becar a los/as cooperantes voluntarios/as que participen en proyectos de desarrollo de dichos Organismos Internacionales en países empobrecidos.


Gobierno Vasco


24


o DECRETO 124/2005, de 31 de mayo, modificado por el Decreto 2/2006, de 10 de enero y por el Decreto 264/2006, de 26 de diciembre por el que se regulan las ayudas a los cooperantes vascos con cargo al fondo para la cooperación y ayuda para el desarrollo.

o DECRETO 31/2008, de 19 de febrero, por el que se regulan las ayudas a acciones humanitarias con cargo a la cooperación para el desarrollo.

o DECRETO 197/2008, de 25 de noviembre, por el que se regulan ayudas a entidades de cooperación para promover procesos de cambio organizacional pro-equidad de género.

o Disposición adicional que brinda la posibilidad al Gobierno vasco de establecer convenios directos con entidades de diverso tipo (ZUZ).

o Plan Director de Cooperación para el Desarrollo 2005-2008 o Plan Director de Cooperación para el Desarrollo 2008-2011 o Plan Anual 2010

- Estrategias país y documentación existente sobre proceso de elaboración. - Aportes de los agentes participantes en el proceso de reflexión y elaboración del Plan 2008-

2011. - Mapeo de proyectos vigentes que apoya la Dirección de Cooperación del Gobierno Vasco a 20

de noviembre de 2009.

FUENTES SECUNDARIAS PENDIENTES - Actas del Consejo Vasco de Cooperación. - Actas de reunión y trabajo con agentes en distintos procesos de reflexión y elaboración de

documentos (ej.: convocatoria de programas, convocatoria género, creación de la Agencia Vasca de Cooperación al Desarrollo).

- Datos estadísticos sobre distribución de la ayuda por modalidad, área geográfica y ámbito de intervención, años 2008, 2009 y 2010.

- Resoluciones de las distintas modalidades de ayuda años 2008, 2009 y 2010. - Convenios firmados por la Dirección de Cooperación al Desarrollo, años 2008, 2009 y 2010. - Documentación sobre convenios o alianzas estratégicas existentes con otros agentes locales,

autonómicos u organismos internacionales. - Gestión del Servicio (protocolos y justificación) - Documentación sobre la constitución y funcionamiento de la Comisión Gestora del Fondo para la

Cooperación y Ayuda al Desarrollo (FOCAD) - Ediciones y publicaciones realizadas por el Departamento desde el año 2008 (guías, manuales,

etc.).

A nivel de FUENTES PRIMARIAS, se recogerá información cualitativa y cuantitativa, orientada a conocer los cambios reales en la distribución de la ayuda, participación en la ejecución del Plan, Impacto de convocatorias, etc. Se utilizarán las siguientes técnicas:

- ENCUESTA CERRADA -ON LINEA- A AGENTES: Se colgará de

la Web y se enviará a todos los agentes participantes en la cooperación del Gobierno vasco entre 2008 y 2010, una encuesta que permita disponer de información general sobre el propio plan.

- ENTREVISTAS A INFORMANTES CLAVE: Se trata de entrevistas individuales semi- estructuradas a hombres y mujeres clave que tengan un PERFIL relevante: de los agentes


Gobierno Vasco


25


principales- ONGD; de la Administración Pública, Otros involucrados (otras administraciones- CCAA, AECID, UE, etc.) , anterior equipo técnico, etc.

- ENTREVISTAS GRUPALES- TALLERES : A lo largo del proceso se realizarán varios talleres- grupos de discusión según cronograma: Equipo Dirección de Cooperación, Coordinadora de ONGD, otros.

5.2.2 Los criterios y categorías de análisis Las categorías son temáticas, items, cuestiones que deben ser revisadas a lo largo de una evaluación global de una intervención. Son, en realidad, el EJE fundamental sobre el que versa un proceso de investigación evaluativo. Un enfoque participativo de la evaluación descansa, sobre todo en la elaboración participativa de estas categorías a partir de un consenso sobre los criterios desde donde analizar una política. En ese sentido, pueden ser agrupadas y clasificadas de varias formas según en los criterios evaluativos en que desea poner el énfasis. Este estudio de evaluación se puede centrar, en nuestra opinión, en el análisis de categorías o temáticas según varios tipos de criterios:

1. Categorías según las estrategias- directrices del Propio Plan Director 2. Categorías para la valoración de los criterios CAD- OCDE ampliados

(+AECID+ París): 3. Categorías según Criterios de la Evaluación de la Calidad de Políticas

Públicas. CRITERIOS DE ANÁLISIS ESTABLECIDOS INICIALMENTE

BLOQUE- CRITERIOS REFERENTE CRITERIOS PROPUESTOS

1. PLAN DIRECTOR (POLÍTICA PÚBLICA DE COOPERACIÓN)

Capítulo de evaluación modulo III- sistema de seguimiento y evaluación del Plan Director 2008- 2011. Establece pautas específicas para la evaluación del propio plan y del sistema general de evaluación de todo el Programa de Cooperación

- Evaluación estrategia – estructura - Evaluación agentes y fondos - Revisión de matriz- objetivos- directrices- indicadores - informes de seguimiento anual - Evaluación estrategias- país - Evaluación 15 ONGD de mayor financiación

2. COOPERACIÓN INTERNACIONAL Criterios OCDE- - Eficacia

- Eficiencia


Gobierno Vasco


26



1995 El Comité de Ayuda al Desarrollo establece en 1995 una definición de evaluación que incluye la medición de cinco criterios amplios a la hora de valorar una intervención de desarrollo:

- Pertinencia - Sostenibilidad (factores: institucionales,

políticos, ambientales, tecnológicos, socioculturales, género)

- Impacto

Manual DEGPOLDE- AECID -2007 Esta nueva guía de Evaluación establece los llamados criterios ampliados del CAD como referentes para la evaluación de políticas y proyectos de cooperación al desarrollo.

- 5 Criterios OCDE: Eficacia, Eficiencia, Pertinencia, Sostenibilidad e impacto +

- Coherencia - Apropiación - Alineamiento - Armonización - Participación - Cobertura - Rendición de Cuentas

DECLARACIÓN DE PARIS La declaración de París, remarca, además, la gestión orientada a resultados y la responsabilidad compartida

- Alineación - Apropiación - Armonización - Gestión orientada a resultados - Mutua responsabilidad


Gobierno Vasco


27



3. EVALUACIÓN DE LA CALIDAD DE POLÍTICAS PÚBLICAS

Guía para la evaluación de políticas públicas

� Racionalidad � Coherencia � Enfoque Integrado � Participación � Enfoque Concentración � Parternariado � Visibilidad � Transnacionalidad � Transparencia � Innovación � Eficacia � Eficiencia � Impacto � Satisfacción

Una vez definidos los criterios y categorías de evaluación, se realizará una priorización y se elaborarán los instrumentos de recogida de información. Dada la gran extensión de número de criterios y las conexiones existentes entre unos grupos y otros, así como su duplicidad, el equipo de evaluación de KALIDADEA propone una priorización y unificación de criterios de cara a simplificar el análisis, dotarlo de sencillez, pero sin abandonar los ejes fundamentales. De cara a la elaboración participativa del plan de trabajo, es que KALIDADEA somete esta MATRIZ a valoración del equipo designado por la Coordinadora Para ver MATRIZ de EVALUACION- propuesta v.3, Ver a nexo.


Gobierno Vasco


28


5.3 Actividades a realizar

1. Sensibilización y mecanismos de coordinación

Nos parece absolutamente necesario realizar una primera reunión- taller con la Coordinadora de ONGD de Euskadi para recoger las expectativas de los agentes, socializar y complementar la propuesta de trabajo. De igual modo, es fundamental conformar una Unidad Gestora de la Evaluación (UGE), derivada de la Coordinadora y representantes de la Dirección de Cooperación (o asignada por ella), para coordinar y revisar todos los avances del proceso, la orientación del mismo y su metodología. Esta Unidad someterá a valoración de la evaluabilidad de la propuesta realizada y estará conformada por 1- 2 personas de la Dirección, 2- 3 personas de la Coordinadora y 2 personas de KALIDADEA. ACTIVIDADES PRINCIPALES:

a. Taller inicial- expectativas con Coordinadora de ONGD de Euskadi)

b. Conformación del EQUIPO de evaluación DURACIÓN: 1 semana (Septiembre) PRODUCTO: 1 propuesta inicial de plan de trabajo

2. Diseño participativo (TdR)

Para poder realizar un proceso realmente participativo, es necesario dedicar un tiempo al diseño de propio proceso. Es importante alcanzar un alto nivel de consenso en los CRITERIOS desde los que valorar el Plan, así como la metodología general a utilizar. Como parte fundamental del diseño de un proceso evaluativo es necesario delimitar los Criterios de Evaluación y los Instrumentos que se volcarán en la Matriz de evaluación y la agenda de campo .

UNIDAD GESTORA DE LA EVALUACIÓN- UGE

- 2 persona de la Dirección de Cooperación - 3 personas de la Coordinadora de ONGD - 2 miembros de KALIDADEA


Gobierno Vasco


29


ACTIVIDADES PRINCIPALES:

a. Revisión de la documentación secundaria b. Diseño de los TdR- Plan de trabajo c. Construcción participativa de la Matriz de evaluación completa d. Agenda de campo e. Diseño de instrumentos

� Encuesta � Entrevistas � Talleres

Sesión taller UGE para valoración de la evaluabilidad del Plan de trabajo (septiembre) DURACIÓN: 3 semanas (agosto- septiembre) PRODUCTO: Plan de trabajo (TdR)- Matriz- Agenda- Instrumentos- Ok de la Coordinadora al Plan de trabajo.

3. Trabajo de campo

Durante esta etapa se realizará el análisis de la documentación primaria, en términos del cumplimiento cuantitativo de los objetivos marcados en el Plan Director.

ACTIVIDADES PRINCIPALES: a. Revisión de las fuentes secundarias: Análisis de evolución estadística; Actas, normativa, posicionamientos, nuevas órdenes, protocolos, etc.) b. Ejecución de los instrumentos diseñados a

* Encuesta – Cuestionario a los Agentes: i. ONGD – agentes 2008- 2010

TdR- Preguntas clave a definir:

- Objetivos - Sujetos - Agentes (tipo de evaluación) - Enfoque - criterios - Metodología - Cronograma - Estructura del informe


Gobierno Vasco


30


ii. Socias locales (organizaciones sociales, admón. Pública, etc.) 2008- 2010.

* Entrevistas a Entidad responsable del Plan

iii. Consejo de Cooperación iv. Dirección de Cooperación v. Equipo Técnico de la Dirección vi. Departamento de Empleo y Asuntos Sociales

* Entrevistas a Otros involucrados

vii. Otros Departamentos del G. Vasco (medio ambiente, juventud, educación, Emakunde).

viii. Ayuntamientos capitales ix. EUDEL x. Diputaciones xi. Euskal Fondoa xii. AECID- DGPOLDE xiii. Unión Europea y otros organismos multilaterales (UNIFEM,

PNUD, ACNUR, ONUSAID, UNICEF) xiv. Anterior equipo técnico (y anterior director).

• Talleres grupales:

- Coordinadora de ONGD - Equipo técnico de la Dirección de Cooperación - Otros que se consideren relevantes

DURACIÓN: 8 semanas (septiembre- octubre) PRODUCTOS: Documento análisis estadístico, encuestas, entrevistas, relatorías talleres, reporte fotográfico

4. Análisis e informe

Una vez se haya finalizado el trabajo de campo se procederá a sistematizar, procesar y analizar la información recabada. La ordenación y análisis de la información se realizará conforme a los CRITERIOS definidos en la Matriz de Evaluación, contenida en los Términos de Referencia aprobados.

ACTIVIDADES PRINCIPALES

a. Digitar datos (cuantitativos) b. Sistematización de los datos cualitativos c. Análisis y redacción de informes parciales d. Informe global preliminar

DURACIÓN: 6 semanas (noviembre- diciembre)


Gobierno Vasco


31


PRODUCTO: Informe preliminar

5. Socialización y toma de decisiones

El informe elaborado por KALIDADEA será enviado a la Unidad Gestora de Evaluación, que tendrá la oportunidad de hacer una única ronda de aportes en 2 semanas y que serán incorporados por el equipo de redacción de nuestra empresa, en los que haya acuerdo, y en los que no, se anotará la discrepancia a pié de página.

ACTIVIDADES PRINCIPALES a. Entrega del Informe preliminar a la UGE, recogida de aportes (2-

semanas en Diciembre ) b. Incorporación de aportes y sugerencias (2 semanas) c. Taller final con la UGE para establecer lo ejes clave para el nuevo

Plan. d. Jornada de socialización externa

DURACIÓN: 6 semanas (diciembre 2010 y enero 2011). PRODUCTO: Informe preliminar-Informe final con aportes- Cierre Jornada

Este es un documento borrador que nuestro EQUIPO ha elaborado entre el 1 y 10 de septiembre.

Será presentado como propuesta de TdR inicial en la reunión

con la Coordinadora de ONGD de Euskadi el día 13 de Septiembre y se podrán recibir aportaciones para su cierre

hasta el día 17 de septiembre en

[email protected]


Gobierno Vasco


32


ANEXOS

- Presentación institucional

- Matriz de evaluación v.3

EVALUACIÓN PARTICIPATIVA DEL PLAN DIRECTOR DE LA .... plan de... · Tiene experticia en proyectos...

Documents

Transcript of EVALUACIÓN PARTICIPATIVA DEL PLAN DIRECTOR DE LA .... plan de... · Tiene experticia en proyectos...