DIAGNÓSTICO DEL FUNCIONAMIENTO DE LOS …evalperu.org/sites/default/files/resources/file/GUIA DC EN...

DIAGNÓSTICO DEL FUNCIONAMIENTO DE LOS SISTEMAS DE

SEGUIMIENTO Y EVALUACIÓN Y MEDICIÓN DEL DESARROLLO DE CAPACIDADES.

Guía para unidades e instituciones gubernamentales ejecutoras de proyectos de desarrollo rural.

Febrero de 2009

GUIA PARA EL DESARROLLO DE CAPACIDADES

© PROGRAMA REGIONAL PARA EL DESARROLLO DE CAPACIDADES DE SEGUIMIENTO Y EVALUACIÓN EN AMÉRICA LATINA Y EL CARIBE

Se permite la reproducción siempre que se cite la fuente.

Serie Documentos de Trabajo N° 3

Primera edición Febrero 2009 _________________________________________________________________ Autores: Brenda Bucheli y Emma Rotondo

Edición técnica: Emma Rotondo

Con los aportes de Daniel Jesús Ccori y Antonio Pozo Solís.

Por sus comentarios a la Nota Conceptual que antecedió a la Guía se agradece a las siguientes personas:

Miembros de la Comunidad de Evaluadores de PREVAL Walter Aguilar – Perú

Consuelo Ballesteros – Chile/Colombia

Maria Delfina Flores – Honduras

Carmen Lucía Jaramillo – Colombia

Daniel Jesús – Perú Antonio Pozo – Perú

Jorge Rodríguez Sosa – Perú

Gloria Vela – Colombia

Miembros de la Iniciativa Pelican Kaia Ambrose

Peter Ballantyne

Osvaldo Feinstein Niels Keijzer

Dina Najjar

Especialistas internacionales en desarrollo de capacidades y evaluación Anne Garbutt – I NTRAC

Frans van Gerwen – MDF

Elizabeth Kummer – Pact

Peter Morgan – Independiente 2


TABLA DE CONTENIDO

Página

SIGLAS Y ACRÓNIMOS 4

PRESENTACIÓN 5

PRIMERA PARTE: EL ENFOQUE

1.1. Objetivos 8

1.2. El porqué de las capacidades evaluativas 10

1.3. Medición y desarrollo de capacidades 12

1.4. El funcionamiento eficaz del SyE 16

SEGUNDA PARTE: METODOLOGÍA PARA LA MEDICIÓN DE

CAPACIDADES

2.1. Descripción del proceso 19

2.2. Desarrollo de cada paso 21

TERCERA PARTE: HERRAMIENTAS

3.1. Bases de las herramientas 30

3.2. Orientación para su aplicación y procesamiento 30

3.3. Herramienta N° 1 – Unidades de Proyecto 34

3.4. Herramienta N° 2 – Instituciones Gubernamentales 38

ANEXOS 41

1. Bibliografía revisada

2. Infografía sobre Sistemas de Seguimiento y Evaluación

3. Programa detallado para el taller N° 1: visión de SyE y plan de trabajo

4. Ejemplo de matriz para la evaluación

5. Programa detallado para el taller N° 2: autoevaluación

6. Ejemplo de reporte individual 7. Programa detallado para el taller N° 3: discusión de hallazgos y

planificación por actor 8. Ejemplo de plan de acción para el desarrollo de capacidades

9. Programa detallado para el taller N° 4: planificación conjunta

3


ACRONIMOS

FIDA Fondo Internacional de Desarrollo Agrícola

GTZ Deutsche Gesellschaft für Technische Zusammenarbeit

(GTZ) GmbH

IIRR Instituto Internacional de Reconstrucción Rural

INTRAC Internacional NGO Training and Research Centre

MARENASS Proyecto de Manejo de los Recursos Naturales en la Sierra

Sur

MDF Management for Development Foundation

PACT Private Agencies Collaborating Together

PREVAL Programa para el Fortalecimiento de la Capacidad Regional

de Seguimiento y Evaluación en América Latina y el

Caribe

SyE Seguimiento y Evaluación

4


PRESENTACION

Tras diez años de actividades, PREVAL1 y sus asociados se hallan en momento oportuno

para reflexionar sobre sus experiencias y aprendizajes en el desarrollo de capacidades en planificación, seguimiento y evaluación, así como para contrastar sus hallazgos con los de otras organizaciones.

Si bien PREVAL reconoce importantes avances en este campo, es consciente que aún quedan desafíos vinculados a la institucionalización de la capacidad adquirida en Seguimiento y Evaluación (SyE), sobre todo para que los sistemas operen desde una perspectiva de fortalecimiento de las capacidades locales y con múltiples actores.

Una lección aprendida2 importante es que los sistemas de SyE internos funcionan mejor si

cuentan con arreglos organizacionales ad-hoc dentro de la gestión, lo que significa un marco operacional con roles y delegaciones para el SyE, recursos humanos y financieros, así como trabajo en equipo y motivación para intervenir en un proceso participativo.

Otra lección aprendida es que el uso y calidad de los productos debe estar en línea con las necesidades e intereses diarios de los actores (comunidades y organizaciones rurales, unidades ejecutoras de proyectos y representantes de las entidades gubernamentales), es

decir que los productos del SyE3 han de ser útiles para ellos y ellas, a fin de que puedan

conocer claramente qué cambió y por qué, mejorando la acción efectiva, cada cual desde su rol específico pero viendo a la comunidad y sus organizaciones como los sujetos centrales del cambio.

La presente Guía retoma estas y otras lecciones aprendidas, y trata de ser un recurso de uso práctico para que las unidades de proyecto e instituciones gubernamentales de desarrollo rural que los albergan, puedan orientar el fortalecimiento de sus capacidades para hacer el

seguimiento y evaluación en sus acciones de lucha contra la pobreza rural, considerando a la comunidad como el eje del desarrollo. De esta manera se espera contribuir a los esfuerzos de empoderamiento de la comunidad, clave metodológica de los proyectos que auspicia el Fondo Internacional de Desarrollo Agrícola (FIDA). Asimismo, la Guía orienta la coherencia que debe haber entre las capacidades de la unidad de proyecto y la institución gubernamental, en sus roles de facilitador y soporte del desarrollo de la comunidad. La presente Guía no se dirige propiamente al diseño de sistemas de SyE, sino al desarrollo de las capacidades necesarias para que tales sistemas operen con eficacia, según la cultura y contextos organizacionales de la comunidad y de modo que sean útiles para la transformación y el cambio.

Además de los actores involucrados en los proyectos auspiciados por FIDA, esta guía puede ser utilizada y adecuada por organizaciones afines, que se sientan identificadas con los principios orientadores postulados en este documento. Concretamente, se puede aplicar la metodología y herramientas propuestas en las siguientes situaciones:

1Programa para el Fortalecimiento de la Capacidad Regional de Seguimiento y Evaluación en América Latina y El

Caribe. Más información en www.preval.org 2

Ver “Institucionalización de los sistemas de SyE de lucha contra la pobreza rural”, Jesús Ccori, Daniel. PREVAL, setiembre 2007 en www.preval.org Biblioteca Virtual – Publicaciones PREVAL. 3

Se consideran productos del SyE: marco lógico e hipótesis de cambio, estudios de base, autoevaluaciones, monitoreo del POA, etc. 5

http://www.preval.org/


Para estimular la reflexión y debate sobre la visión de desarrollo inherente a la intervención, las mejores prácticas y roles apropiados para cada actor en el seguimiento y evaluación participativo y empoderador correspondiente.

Para orientar la medición de las capacidades necesarias para realizar SyE participativo enfocado en la comunidad, que requieren las unidades de proyecto e instituciones gubernamentales ejecutoras de los proyectos apoyados por FIDA y otras organizaciones afines.

Para llamar la atención y sugerir la acción sobre los aspectos a reforzar en cuanto al desarrollo de capacidades para el SyE en unidades de proyecto e instituciones gubernamentales.

La elaboración de esta Guía ha pasado por diversas etapas. Inspirándose en el concepto de comunidades de aprendizaje, PREVAL convocó en sucesivos momentos a consultores y aliados para el desarrollo de esta Guía, elaborada y redactada bajo la responsabilidad de la coordinación del Programa y de dos miembros de la comunidad de evaluadores, Brenda

Bucheli y Rusty Biñas4

, teniendo como hitos los siguientes: (a) Construcción colectiva de los enfoques y usos Con miembros de la comunidad de consultores del PREVAL y socios estratégicos se realizó un taller en marzo del 2006, al que asistieron Maria Delfina Flores (Asesora de Río Plus-GTZ de Honduras), Rusty Biñas (entonces Director Regional del Instituto Internacional de Reconstrucción Rural –IIRR- en América Latina), Emma Rotondo y Antonio Pozo (PREVAL), junto con profesionales independientes como Gloria Vela (Colombia), Brenda Bucheli y Walter Aguilar (Perú), todos vinculados a PREVAL. Con ellos se determinó el enfoque, la utilidad, usos y usuarios, así como el proceso de preparación y validación.

(b) Búsqueda bibliográfica Rogério Silva y Daniel Brandao, del Instituto Fonte de Brasil, realizaron en el año 2006 un exhaustivo trabajo de compilación bibliográfica sobre desarrollo de capacidades en Seguimiento y Evaluación, incluyendo una selección de enlaces a páginas web y un

directorio de instituciones regionales e internacionales5, lo cual permitió obtener un “estado

del arte” en el tema. Esta compilación se encuentra en un disco compacto editado por PREVAL.

(c) Nota Conceptual Se elaboró una Nota Conceptual sobre la presente Guía, que circuló entre marzo y mayo del 2007, recibiéndose aportes de miembros de la Comunidad de Evaluadores de PREVAL como Carmen Lucía Jaramillo (Colombia), Consuelo Ballesteros (Colombia) y Jorge

Rodríguez Sosa (Perú). Asimismo, fue consultada con miembros de la iniciativa Pelican6,

4

Rusty Biñas ([email protected]) es ex -Director Regional para América Latina del IIRR y actual asesor de Cordaid en Reduction de Riesgo de Desastres. Brenda Bucheli ([email protected]) es ex Directora de Pact Perú y actualmente consultora independiente. 5

Ver la publicación multimedia “Desarrollo de Capacidades en Seguimiento y Evaluación” del PREVAL, 2008. 6

Pelican Initiative: Platform for Evidence-based Learning & Communications for Social Change, http://www.dgroups.org/groups/pelican/ 6

mailto:oticbabes@yahoo.

GUIA PARA EL DESARROLLO DE CAPACIDADES entre ellos Kaia Ambrose, Peter Ballantyne, Osvaldo Feinstein, Dina Najjar y Niels Keijzer, además de recibir las apreciaciones de especialistas internacionales en desarrollo de capacidades y evaluación como Anne Garbutt (INTRAC), Frans van Germen (MDF), Elizabeth Kummer (Pact) y Peter Morgan, consultor independiente.

(d) Desarrollo y validación de la guía Se continuó con el desarrollo de la guía, su enfoque y componentes, en el transcurso de los años 2007 y 2008. La validación fue progresiva, y se aprovechó de las oportunidades de trabajo de PREVAL en la región, y de otras como la docencia en el Diplomado de Monitoreo y Evaluación de la Pontificia Universidad Católica del Perú. La metodología completa fue probada en Setiembre del 2008, mediante un ejercicio realizado conjuntamente con el Proyecto RUTA en Costa Rica. Deseamos agradecer las opiniones y sugerencias de numerosos colaboradores en torno a temas de alguna manera inéditos, ya que es escasa la bibliografía en español sobre evaluación y aprendizaje organizacional, y menos aún existe documentación que prioritariamente enfoque en el SyE para el desarrollo rural en las comunidades y sus organizaciones.

Esta publicación se ha inspirado en las apreciaciones recibidas y seguirá mejorando y nutriéndose con los aportes que provengan de su aplicación. Estimulamos a los lectores a usarla y recrearla.

Emma Rotondo

Coordinadora PREVAL

www.preval.org

7


PRIMERA PARTE: ENFOQUE

1.1. OBJETIVOS

El interés por fortalecer la evaluación participativa, proviene de los recientes cambios en las concepciones y estrategias de lucha contra la pobreza rural. De proyectos que concentraban las decisiones exclusivamente en el nivel gerencial y técnico, se ha pasado ahora a sistemas de planificación y ejecución en los que el papel activo compete a los propios destinatarios de los proyectos y a la sociedad local.

Tal perspectiva redimensiona el rol de los proyectos y equipos técnicos, ya que en vez de ser considerados éstos como los agentes centrales del cambio, se les concibe más bien como los facilitadores del empoderamiento de la comunidad, dirigidos a proporcionar recursos y abrir oportunidades para el desarrollo local. El siguiente texto es esclarecedor al respecto.

Los enfoques actuales de seguimiento y evaluación consideran que es clave desarrollar las

capacidades evaluativas de los actores7 para mejorar el desempeño de las iniciativas locales

de desarrollo rural, pues conducen a gestiones más eficaces y generan aprendizajes que hacen sostenibles las intervenciones en la comunidad y en las políticas públicas.

Forjar tales capacidades8 es posible a través de procesos donde todas las partes negocian y

concertan el logro de compromisos y responsabilidades compartidas en la gestión y en los resultados. Para desarrollar estas capacidades evaluativas de los actores es vital participar, de forma tal que los procesos de SyE no se limitan a involucrar o consultar esporádicamente a la población, sino que la incorporan en la toma de decisiones, gestando aprendizajes que

llevan al empoderamiento9 de la comunidad y de sus organizaciones en un marco de

desarrollo sostenible.

Fundamentalmente, se trata de orientar a los proyectos e iniciativas hacia la demanda, es decir asegurarse que la comunidad sea la que tome las decisiones sobre su propio desarrollo. Ello equivale a reconocer el rol central de las organizaciones y familias, de modo que los proyectos dispongan el acceso a recursos y oportunidades para ampliar sus conocimientos prácticos y la capacidad de organización, activando espacios institucionalizados de diálogo

sobre políticas de desarrollo rural10

.

En función de ello, este documento busca alcanzar tres objetivos: 7

En el marco de esta Guía, al hablar de actores en general se entiende a las comunidades rurales y sus organizaciones, a los representantes de las entidades gubernamentales y a los integrantes de las unidades técnicas ejecutoras de los proyectos de desarrollo rural auspiciados por el FIDA. 8

Capacidad es “la facultad de individuos y organizaciones para desempeñar funciones de un modo eficaz, eficiente y sostenible” (Guía para el SyE del FIDA). Promover capacidades implica desarrollar esas facultades a

nivel individual y colectivo mediante procesos interactivos, graduales y creativos de aprendizaje mutuo, donde los

sujetos (individuales y colectivos) mejoran y/o complementan sus potencialidades (conocimientos, destrezas,

actitudes y sentimientos) para actuar ante una situación concreta asumida por el sujeto de manera eficiente y

según lo apropiado para el entorno (Taller de Interaprendizaje para Consultores PREVAL, 2005). 9

El empoderamiento alude al logro de capacidades para impulsar procesos de desarrollo sostenible, tales como facultades para negociar, autoestima, poder para decidir y orientar, entre otras. 10

FIDA. Oficina de Evaluación. “Experiencias Innovadoras en los proyectos FIDA en la República del Perú”, junio 2004. 8


Proponer una metodología y herramientas prácticas para “medir” las capacidades y conocimientos requeridos por los actores para lograr desempeños organizacionales que lleven a satisfacer las necesidades de desarrollo de la comunidad.

Orientar la realización de procesos de autoevaluación continua dirigidos a fortalecer

los roles y capacidades en SyE de comunidades, equipos técnicos e instituciones.

Sugerir la ejecución de planes de desarrollo de las capacidades organizacionales que se adapten a las características y necesidades de los tres grupos de actores.

Como se ve, la presente Guía no se dirige propiamente al diseño de sistemas de SyE, sino al desarrollo de las capacidades necesarias para que tales sistemas operen con eficacia, según la cultura y contextos organizacionales de la comunidad y de modo que sean útiles para la transformación y el cambio.

Tal perspectiva redimensiona el rol de los proyectos y equipos técnicos, ya que en vez de ser considerados éstos como los agentes centrales del cambio, se les concibe más bien como los facilitadores del empoderamiento de la comunidad, dirigidos a proporcionar recursos y abrir oportunidades para el desarrollo local. En ese sentido, el SyE crea espacios para la participación protagónica de la población pobre de espacios rurales, de manera que sean capaces de conducir y articular propuestas de cambio y de manejo de su propia información en el marco de un proyecto (así como en el marco más general de la vida comunal). El siguiente texto es esclarecedor al respecto.

La primera clave del éxito parece tan sencilla, tan evidente, que se tiende a olvidarla: el centro del desarrollo rural es la gente, son los actores involucrados, las familias y comunidades cuya vida es la razón de ser (o sirve de pretexto a la presencia) de los proyectos. Al asumir verdaderamente (y no como un saludo a la bandera) que la clave está en la gente, los Proyectos se encontraron lanzados a un vasto proceso de aprendizaje, viendo como el juego entre los diferentes tipos de actores puede rediseñar y redistribuir los roles, los espacios, las capacidades, las relaciones. Los proyectos pasaron de la oferta de soluciones (con su menú de opciones) a la oferta de recursos y oportunidades para que los actores ensayen y encuentren sus propias alternativas, conduzcan sus propios proyectos, cultiven sus propios asuntos, negocien sus propios arreglos.

Extracto tomado de “Diez Claves de Éxito para el Desarrollo Rural” (documento basado en las experiencias de los proyectos FEAS, MARENASS, CORREDOR y SIERRA SUR). FIDA, 2004, páginas 95 y 101.

El Seguimiento y Evaluación puede ser una herramienta eficaz para tal empoderamiento, como lo prueban las experiencias que inspiran esta Guía y que han sido desarrolladas en Perú en los proyectos cofinanciados por el FIDA como MARENASS, “Corredor Cusco- Puno” y “Sierra Sur”. El SyE crea espacios para la participación protagónica de la población pobre de espacios rurales, de manera que sean capaces de conducir y articular propuestas de cambio y de manejo de su propia información en el marco de un proyecto (así como en el 9

GUIA PARA EL DESARROLLO DE CAPACIDADES marco más general de la vida comunal). Es vital que los procesos de SyE no se limiten a involucrar o consultar esporádicamente a la población, sino que la incorporan en la toma

de decisiones, gestando aprendizajes que llevan al empoderamiento11

de la comunidad y de sus organizaciones en un marco de desarrollo sostenible.

Siendo las necesidades de desarrollo de la comunidad el eje de la intervención, el SyE debe procurar que tales necesidades sean correctamente expresadas (desde la comunidad) e interpretadas (desde los actores) para que sean atendidas eficazmente por la intervención. Asimismo, debe asegurar que los roles, conocimientos y capacidades de los actores construyan un desempeño organizacional en SyE en línea con tales necesidades.

Esta Guía avanza en tal sentido, aportando lineamientos para realizar evaluaciones sobre las capacidades en SyE de la comunidad, y de los grupos de actores clave de los proyectos que

auspicia el FIDA en función de las necesidades de la comunidad12

.

1.2. EL PORQUÉ DE LAS CAPACIDADES EVALUATIVAS

Capacidad es “la facultad de individuos y organizaciones de desempeñar funciones de un modo eficaz, eficiente y sostenible”, según la Guía para el SyE del FIDA. Promover capacidades implica desarrollar esas facultades a nivel individual y colectivo, mediante actividades interactivas y dialógicas que prueban ser útiles para construir conocimientos y

destrezas, despertando potencialidades para el ejercicio ciudadano13

.

En el plano organizacional, la capacidad se refiere a los recursos, conocimientos, y procesos que emplea la organización. Esta capacidad interactúa con la motivación organizacional (lo que impulsa a actuar) y el entorno externo (condiciones económicas, políticas, socioculturales, ambientales, demográficas y tecnológicas) para obtener el desempeño

resultante14

. La capacidad organizacional no significa que la organización tenga muchas

herramientas, sino más bien que sepa cuándo usarlas, cómo adaptarlas de acuerdo a sus necesidades, cómo usarlas para mejorar sus propias decisiones, etc.

El desarrollo de las capacidades evaluativas15

en una organización apunta a contribuir a la

mejora de su desempeño, o sea actuar según los roles esperados para el SyE y tener un logro visible en el impacto de sus intervenciones. Ello sucede, en gran parte, en las organizaciones cuyos miembros tienen una visión común, cuentan con espacios para el diálogo reflexivo y participan en la toma de decisiones, sienten motivación y compromiso con el cambio, acelerándolo.

De manera especial, los procesos de evaluación internos (y continuos) son útiles pues llevan a los miembros de las organizaciones a usar los hallazgos para tomar decisiones en la

11

El empoderamiento alude al logro de capacidades para impulsar procesos de desarrollo sostenible, tales como facultades para negociar, autoestima, poder para decidir y orientar, entre otras. 12

Las necesidades de la comunidad se expresan por la brecha existente entre su situación actual y el estado final deseado (visión de futuro). Como verbo, necesitar es requerir soluciones. Ver Witkin, Belle y Altschuld, James “Planning and conducting needs assessments. A practical guide” Sage Publications, 1995. 13

Plan Estratégico de PREVAL III, página 8. 14

Mayor información en Lusthaus; et.al., Evaluación organizacional – marco para mejorar el desempeño. BID - CIID, 2002. 15

Comprende tanto el seguimiento como la evaluación. 10

GUIA PARA EL DESARROLLO DE CAPACIDADES gestión, mediante el uso de la información. De esta manera, pueden advertir a tiempo los errores y corregirlos, a la vez que reforzar las prácticas o medidas apropiadas.

Además, el proceso evaluativo interno conduce a la organización hacia el aprendizaje (sus integrantes aprenden a pensar evaluativamente) como parte de los procesos de desarrollo

organizacional permanente16

. Los aprendizajes así obtenidos proporcionan sostenibilidad y vigencia a las acciones de la organización, además de contribuir más efectivamente al empoderamiento de la comunidad.

Los procesos evaluativos –además de apreciar y medir resultados– logran transformar las capacidades individuales y organizacionales en un desempeño eficaz, siempre y cuando confluyan los factores antes mencionados (facilitación, motivación y contexto apropiados). En tal marco, el aprendizaje proviene de una participación activa en el proceso de creación del saber, en tanto que la reflexión compartida sobre las prácticas transforma el pensamiento

y consecuentemente mejora la acción17

.

Cabe anotar que las capacidades evaluativas expresan las habilidades de individuos y grupos de actores para transformar visiones comunes en estrategias operativas, capaces de lograr resultados y aprendizajes. Así, los procesos de evaluación participativa promueven y orientan procesos de construcción del conocimiento, teniendo en cuenta que en su curso, estas capacidades se potencian y producen efectos múltiples –sinérgicos– para obtener un buen desempeño y propiciar mayores aprendizajes.

Estas capacidades se van formando durante los procesos de seguimiento y evaluación, y parten de las capacidades individuales que aportan los miembros de la organización. En la práctica, se presentan interconectadas y ligadas a los roles de los actores que intervienen en los proyectos de desarrollo rural, quienes deben ser conscientes que se trata de aspectos dinámicos y en permanente recreación, adaptados a los cambios de personas y contextos.

El siguiente diagrama sintetiza los efectos del desarrollo de estas capacidades evaluativas para una mejor gestión y aprendizaje organizacional. 16

Patton, M. Q. (1997). Ver bibliografía. 17

Preskill, H. y Torres, R. citan en su libro a Kolb, D. “Experiential learning: experience as the source of learning and development. Englewood Cliffs, NJ: Prentice Hall” 11


Diagrama N° 1: Las capacidades evaluativas y el desempeño

organizacional en la lucha contra la pobreza rural

Planes de acción Responsabilidades

concertados compartidas

CAPACI- IMPACTO

EN LA

DADES Toma democrática Fortalecimiento de

LUCHA

EVALUA- de decisiones

capacidades locales

CONTRA LA

TIVAS

POBREZA

Interaprendizaje

Proyectos responden

mejor a necesidades

y negociación

locales

Empoderamiento y sostenibilidad

Objetivos: corto mediano largo plazo

Fuente: Preval

1.3. MEDICION Y DESARROLLO DE CAPACIDADES

La medición, o también llamada evaluación de capacidades (EC), es usualmente uno de los primeros pasos que se toman al incursionar en un proceso de fortalecimiento institucional, por cuanto permite establecer en qué áreas y aspectos se debe mejorar para que la organización obtenga los resultados planteados.

En general, la evaluación de capacidades es particularmente útil al iniciarse procesos de planificación estratégica y de redefinición de la estructura organizacional, proporcionando puntos de partida claros para los planes de crecimiento continuo. Asimismo, al constituirse en parte de una línea de base y de sus posteriores reaplicaciones, la EC da vida al sistema de monitoreo y evaluación institucional. Y cuando se realiza participativamente, es en sí un proceso de desarrollo de capacidades y un catalizador de los procesos de cambio.

Los procesos de autoevaluación –como un tipo de EC- se han popularizado debido a que promueven un mayor sentido de pertenencia sobre los resultados y sobre el desarrollo del proceso entre los miembros de la organización, de modo tal que ellos mismos se convierten en sus propios evaluadores, y asumen mayor compromiso frente a las acciones que se derivan. Esta metodología se forja desde instrumentos de medición sugeridos y adaptados a las necesidades específicas de los actores, pudiendo contarse con un evaluador externo como facilitador, para orientar a la organización a través de su propio análisis de capacidades.

La autoevaluación –metodología sugerida por esta Guía- tiene el propósito de ayudar a las personas a ayudarse a sí mismas y a sus organizaciones, utilizando la autoreflexión. Constituye un proceso de fortalecimiento y aprendizaje organizacional que involucra de manera más activa a los miembros de la organización (y a algunos socios cercanos), tanto en la medición como en la búsqueda y posterior implementación de soluciones. Algunos

12

GUIA PARA EL DESARROLLO DE CAPACIDADES cuestionan su “objetividad” porque se recogen las percepciones de los propios interesados;

sin embargo, la triangulación de información18

es un requisito que las autoevaluaciones deben satisfacer para obtener resultados más robustos.

En cuanto al desarrollo de capacidades, no existe una fórmula o receta mágica que sea aplicable a todas las organizaciones para hacerlo. Al definir las prioridades para el desarrollo de capacidades, los líderes de las organizaciones deben considerar diferentes criterios que combinen lo deseable con lo factible y efectivo. Al final, son las propias organizaciones las que se espera que conduzcan el desarrollo de sus capacidades, y este proceso debe ser visto como un trabajo en constante progreso.

Algunos principios que se mencionan para el desarrollo de capacidades en general pueden también ser aplicables para el tema que convoca esta guía: las capacidades para el seguimiento y evaluación. A continuación se muestran unos:

Cuadro N° 2: Principios de un enfoque holístico para el desarrollo de

la capacidad organizacional

Aprópiese de su iniciativa de desarrollo de capacidades organizacionales.

Enfóquese en las necesidades y prioridades de la organización como un todo.

La gestión del proceso de desarrollo de capacidades es crucial para el éxito.

Prepárese para el monitoreo y evaluación de la iniciativa de desarrollo de capacidades desde el principio.

El desarrollo de capacidades es más que un solo evento.

Involucre a los actores clave en el proceso de desarrollo de capacidades.

Cultive el apoyo político.

Preserve su autonomía.

Establezca un ambiente propicio para el aprendizaje y cambio.

Fuente: Horton, et.al. Evaluating Capacity Development – Experiences from Research and Development Organizations around the World. ISNAR /CTA/ IDRC, 2003. Página 55. El desarrollo de capacidades involucra la adquisición de nuevos conocimientos y destrezas, para el cumplimiento de los objetivos individuales e institucionales. Por ello, el aprender-haciendo es la forma como se aplica mejor, y provee además la flexibilidad y compromiso a largo plazo, necesario para que un cambio ocurra.

En este sentido, las iniciativas de desarrollo de capacidades son diferentes a los programas que proveen productos y servicios bien definidos a clientes relativamente uniformes. El

18

Implica comparar las percepciones de los miembros de la organización con percepciones de otros actores involucrados, documentos y otras fuentes. Es una manera de asegurar el recojo de las perspectivas múltiples. 13

GUIA PARA EL DESARROLLO DE CAPACIDADES objetivo no es proveer el producto o servicio, sino más bien incentivar el desarrollo de determinados individuos y de las organizaciones.

Algunas de las formas como se hace el desarrollo de capacidades son mediante: información y difusión, capacitación, facilitación y mentoría, trabajo en redes y comunidades de práctica, investigación – acción, sistematización para promover el aprendizaje de la experiencia, evaluaciones internas que proveen retroalimentación rápida sobre los resultados alcanzados. Estas funcionan mejor cuando se hacen a medida y respondiendo a las necesidades específicas de las organizaciones.

Prácticamente todas estas formas implican cierto nivel de información y difusión. La capacitación es una forma bastante común que se utiliza para reforzar conocimientos, actitudes y prácticas, y para que sea realmente efectiva demanda un proceso, no un solo

evento. La facilitación19

es a la medida y más efectiva para desarrollar capacidades, pero tiende a demandar esfuerzos considerables. Este gráfico relaciona el alcance y costo/ efectividad en tres formas usadas para el desarrollo de capacidades.

Diagrama N°2: Alcance y costo/ efectividad de las intervenciones

Cost

o/

efec

tivi

dad

FA

CIL

ITA

CIO

N

CAPACITACION

INFORMACION Alcance

Fuente: Horton Douglas. Planning, Implementing and Evaluating Capacity Development. ISNAR, Briefing Paper 50, Julio 2002, página 5.

19

Entendida como un acompañamiento a la organización en la ejecución de las acciones decididas por ella. 14

GUIA PARA EL DESARROLLO DE CAPACIDADES Cabe anotar que los teóricos del aprendizaje y educación de adultos han observado que el tomar conciencia del conocimiento es solo una dimensión del aprendizaje y conocimiento. Los cambios en el comportamiento son más probables que ocurran en un ciclo donde los “aprendices” están expuestos a una variedad de experiencias de aprendizaje, que usualmente incluyen iteración de la acción, reflexión, conceptualización, y práctica, o combinan

aprendizaje experimental, presencial, proactivo y práctico20

.

Cuando se desarrollan capacidades se busca propiciar cambios en las organizaciones. Por ello, las siguientes fases pueden ser relevantes para incorporar el plan de acción para el desarrollo de capacidades dentro de la implementación de cambios en las organizaciones:

Cuadro N° 3: Fases para implementar un cambio organizacional

Fase Elementos clave

1. Motivando el cambio Crear conciencia y voluntad de cambio Líderes del cambio

Para qué/ visión

Poder para apoyar el proceso Fe en el éxito

Comunicación e información

Construir alianzas 3. Organizando la transición Crear compromiso para el cambio

Plan de transición/ un proceso claro

Manejo de las expectativas Observar si la organización está lista para el cambio

Analizar las resistencias al cambio

Trabajar en equipos, crear sentido de propiedad 4. Implementando el cambio Desarrollar las capacidades para el cambio

Ofrecer los medios y el apoyo

Mantener el entusiasmo Propiciar “éxitos” de corto plazo

Identificar y afrontar los obstáculos 5. Consolidando el cambio Institucionalizar nuevos enfoques

Prevenir que la “antigua” conducta reaparezca

Desarrollar procedimientos, mecanismos de coordinación, y políticas.

Evaluar el avance y reajustar el plan

Fuente: Adaptado de: Management for Development. Materiales del curso “Desarrollo Organizacional para Asesores y Consultores”, Junio 2006.

20

IDS, “Knowledge management and organisational learning for development – KM4Dev Workshop Background Paper”, July 2006, Page 11. 15


1.4. EL FUNCIONAMIENTO EFICAZ DEL SYE

Un seguimiento y evaluación eficaz consiste no sólo en conducir estudios evaluativos periódicos (que son esenciales) sino en realizar además un trabajo sistémico y participativo durante todo el ciclo del proyecto, a fin de poder usar los hallazgos para mejorar la gestión, valiéndose del proceso mismo para obtener aprendizajes relevantes en los actores relevantes a los proyectos apoyados por FIDA (organizaciones de la comunidad, unidades de proyecto e instituciones gubernamentales).

El SyE eficaz genera productos (como el marco lógico e hipótesis de cambio, estudios de base, autoevaluaciones, monitoreo del POA, etc. ) según las necesidades e intereses diarios de los actores clave, útiles para que puedan conocer claramente qué cambió y por qué, puedan mejorar su acción y aprender, e impulsar políticas favorables para el desarrollo de la comunidad. PREVAL ha producido una infografía sobre los sistemas de seguimiento y evaluación orientados hacia el resultado e impacto que integra estas y otras reflexiones producto de su experiencia (ver Anexo N° 2).

Supone además el ejercicio en cada actor de roles centrales, respondiendo a la pregunta ¿qué se espera que hagan en seguimiento y evaluación?. Buscando dar respuestas a esta pregunta, PREVAL ha identificado los siguientes roles para cada uno de los actores involucrados en los proyectos apoyados por FIDA:

La Organización Comunal (rol Orientador): identifica sus necesidades; conduce y decide cómo se realiza el SyE para verificar los cambios de su propia transformación.

La Unidad de Proyecto (rol Facilitador): gestiona participativamente con actores, facilita y orienta técnicamente el proceso de SyE, brindando recursos y oportunidades así como abriendo espacios para el aprendizaje.

La Institución Gubernamental (rol Soporte): establece las políticas de Estado necesarias y provee un marco organizacional propicio para que la unidad de proyecto logre su misión, acompañando a las comunidades y favoreciendo la rendición de cuentas y la transparencia en la gestión pública.

El siguiente cuadro desagrega con mayor detalle las implicancias de cada uno de estos roles, según los diferentes momentos del SyE.

16


Cuadro N° 4: Roles de los actores clave en el seguimiento y evaluación

MOMENTOS ROLES DE LOS ACTORES

EN EL SyE COMUNIDAD UNIDAD TECNICA ENTIDAD GUBERNAMENTAL

(Orientador) (Facilitador) (Soporte)

Visualiza los Apoya y asesora en la Da respaldo a la unidad técnica en

cambios autoevaluación de implementación del SyE

deseados capacidades para el SyE en participativo.

las comunidades y su Asigna recursos para el SyE:

Participa en el institución. humanos, financieros, equipos.

SyE local. Facilita el diseño del Identifica capacidades para el SyE

Diseño y Sistema de SyE partiendo en su propia organización.

Planificación Convoca y de las necesidades y usos Define funciones y delega

estimula la de las comunidades. responsabilidades en SyE.

participación Provee orientación técnica Participa en el diseño del Sistema

equitativa e para el diseño del SyE. del SyE, incluyendo los TdR

inclusiva Dialoga, negocia e

(género, etnia, involucra a la comunidad y

edad, etc.) su institución en el diseño

del SyE.

Participa activamente en el

diseño del sistema de SyE.

Prepara TdR para estudios

de base y otros.

Participa en la Facilita procesos de Solicita y analiza la información

recolección de recolección y análisis de sobre resultados.

información y evidencias sobre cambios

asume propios y de otros. Interviene en el proceso de

compromisos. Capacita y acompaña a los desarrollo del Plan de SyE.

actores en la práctica

Observa, mide y Consolida y documenta en Asegura recursos oportunos para

documenta forma sistemática SyE.

Implementación cambios información sobre efectos Facilita ambientes y procesos de

significativos e impacto y entorno del aprendizaje

debidos al proyecto.

proyecto. Reporta según audiencias Institucionaliza la gestión por

Facilita ambientes y resultados.

Participa procesos de aprendizaje

activamente en Estimula la participación y Promueve un clima institucional

el análisis de motiva a actores. para la gestión participativa y el

efectos e Facilita herramientas para aprendizaje

impacto del el uso y comunicación de

proyecto. resultados

Se vale de la Usa información para Usa la información para la toma de

información proponer soluciones, decisiones y definición de

para proponer orientar-reorientar sus políticas públicas.

soluciones y acciones. Reporta a la ciudadanía los

orientar Comunicación de resulta- resultados.

Uso de productos estrategias. dos entre distintos actores. Promueve el uso de información

Promueve el uso de la de SyE

Comparte y información para mejorar Promueve la institucionalización

comunica la práctica institucional y de las mejores prácticas y

resultados. de las comunidades. aprendizajes generados por el

Incide en autoridades SyE.

Abre espacios Abre espacios para el

de diálogo y diálogo y la reflexión.

reflexión sobre

los cambios.

17


MOMENTOS ROLES DE LOS ACTORES EN EL SyE COMUNIDAD UNIDAD TECNICA ENTIDAD GUBERNAMENTAL

(Orientador) (Facilitador) (Soporte)

Fuente: Adaptado del producto del taller interno de PREVAL, “Pautas para la elaboración de la guía en desarrollo de capacidades en seguimiento y evaluación”, Febrero del 2006.

El ejercicio de tales roles y funciones demanda determinadas capacidades que los actores han de desarrollar en su organización. Identificar el nivel de los actores respecto a tales capacidades, es el objeto de la siguiente parte de esta Guía, sobre la base de un marco conceptual construido con elementos proporcionados por textos de M.Q. Patton (1997),

Osvaldo Feinstein (1993) y Khadija Khan (2003)21

. Esta identifica y propone tres tipos de

capacidades que garantizan el alineamiento con el sistema de SyE eficaz, y pueden orientar las prioridades de las organizaciones y su constante mejoramiento:

1. Gerencia Social del Desarrollo: se relaciona con la contribución del sistema de SyE a

la gestión del proyecto u organización, teniendo como visión estratégica a la comunidad en el centro del desarrollo, y un estilo de gerencia participativo, inclusivo y equitativo.

2) Aspectos operativos y organizacionales: se refiere a los recursos materiales y humanos con que se cuenta para el SyE, la forma como se distribuyen y organizan en una estructura organizacional y de equipos técnicos, asumiendo responsabilidades y roles claramente definidos. También incluye los aspectos técnicos inherentes al manejo de la información, algunos más especializados que otros, pero todos dirigidos a mostrar los efectos e impactos derivados de los cambios de una intervención para el desarrollo.

3) Aprendizaje: considera si la organización sabe usar y comunicar resultados, es decir si maneja con eficacia y oportunidad la información sobre los cambios, según las necesidades estratégicas de los grupos de actores. Incluye además la existencia de espacios inter e intra institucionales para promover el aprendizaje, y los valores compartidos que sustentan la apertura hacia el intercambio y reflexión.

La institucionalización de un sistema de SyE eficaz supone, de un lado, que el sistema produzca productos de SyE de calidad según lo requerido, y a satisfacción de los usuarios. De otro lado implica que las organizaciones involucradas tengan estos tres tipos de capacidades anotadas (gestión participativa de desarrollo, operativa, aprendizaje), para que puedan cumplir con los roles esperados para ellos en el SyE. Estas capacidades tienen sus especificidades según el tipo de actor que se trate. Este detalle junto con los roles por actor son la base de las herramientas propuestas en esta guía, descritas en la tercera sección de este documento.

21 Feinstein Osvaldo “Método para el Análisis Rápido Concentrado (MARCO) de Sistemas de Seguimiento y

Evaluación”. FIDA, 1993; y Khan, Khadija “Strenghtening of Monitoring and Evaluation System” Pakistan Poverty Alleviation Fund Islamabad. June 2003. 18


SEGUNDA PARTE: METODOLOGÍA PARA LA MEDICIÓN DE CAPACIDADES

2.1. DESCRIPCION DEL PROCESO

Seguidamente se presenta el proceso sugerido para medir y desarrollar las capacidades evaluativas dividido en cinco pasos. El diagrama siguiente muestra la secuencia y lógica entre los pasos. Este se apoya en la aplicación de dos herramientas dirigidas para cada uno de los actores clave de este proceso (unidad de proyecto e institución gubernamental), que complementan una visión de cómo deben ser las capacidades de cada uno de ellos para el SyE eficaz. Se destaca con letras itálicas aquellas actividades que se consideran fundamentales para el éxito de este emprendimiento. Seguidamente se da mayor detalle sobre cada paso.

Cabe recalcar que el planteamiento de esta guía apuesta por un proceso participativo e integrado, autoconducido a través de un comité, y que incentiva la reflexión y acción con un ejercicio de autoevaluación con el que además se miden las capacidades. También se recomienda la triangulación de la información para dar mayor robustez a los resultados de la medición de capacidades. Todos estos son ingredientes de un proceso que fortalece y desarrolla capacidades mientras se hace la medición de las capacidades para el SyE.

Sin embargo, se reconoce su utilidad aún cuando el proceso se realiza parcialmente y/o con las siguientes adaptaciones: 1) sin la conformación de un comité pero con la participación de especialistas externos y el responsable de SyE de la unidad de proyecto, respaldado por las autoridades del proyecto e institución gubernamental, 2) con un ejercicio de autoevaluación y sin la triangulación de la información, 3) aplicando la herramienta como una lista de chequeo para verificación externa, y motivando la reflexión conjunta en torno a los resultados, 4) aplicando el proceso a un solo actor (unidad de proyecto o institución gubernamental), 5) aplicando la herramienta de Institución Gubernamental a una Agencia Ejecutora responsable del proyecto a evaluar, que no sea de carácter público.

La duración de todo el proceso es variable y condicional a la manera en que se diseña, y depende de las circunstancias en cada aplicación. No obstante, se anota como referencia que

en la validación de la guía el proceso hasta el paso 4 tomó una semana22

. 22

La validación se realizó en San José de Costa Rica en Setiembre del 2008, fue una tarea conjunta realizada entre

PREVAL y RUTA. La explicación del proceso y decisión de participar en él se inició previamente. En una semana se absolvieron las dudas e inquietudes pendientes y se prosiguió con la secuencia planteada en la guía. En esta ocasión, no se conformó un comité ni se realizó otro levantamiento de información, pero si se hizo revisión de fuentes secundarias previa a la aplicación de las herramientas. 19

Diagrama N° 3: Proceso de evaluación y desarrollo de capacidades en seguimiento y evaluación

PASO 1 PASO 2

DISEÑO DEL PROCESO PREPARACIÓN DE

•Discusión y decisión

HERRAMIENTAS

•Conformación de comité y • Adaptación de herramientas

selección de facilitador • Preparación de herramientas

•Revisión documentaria adicionales (triangulación).

•Taller 1: testear la visión,

preparar plan de trabajo.

PASO 3

MEDICIÓN DE CAPACIDADES

• Taller 2: autoevaluación

(aplicación de herramienta)

• Procesamiento de datos.

• Recolección de datos

complementarios

Preparación de reporte por

actor.

PASO 4

ANÁLISIS DE RESULTADOS Y PLAN DE ACCIÓN

• Taller 3: discusión de hallazgos y planificación por actor. • Taller 4: planificación conjunta.

PASO 5

SEGUIMIENTO DEL PROGRESO •Verificación de logros del plan de acción (nivel de productos). •Re-aplicación de la medición de capacidades y evaluación (niveles de alcances e impactos).

GUIA PARA EL DESARROLLO DE CAPACIDADES 2.2. DESARROLLO DE CADA PASO

2.2.1. DISEÑO DEL PROCESO

(a) Discusión y decisión

El primer paso consiste en una reflexión entre representantes de los dos grupos de actores, dirigida a determinar si es el momento apropiado para comenzar el proceso medición y desarrollo de capacidades evaluativas, y si éste es factible en cuanto a predisposición de los actores, recursos y disponibilidad de tiempo.

Una autoevaluación de capacidades para el SyE puede ser útil en diferentes momentos

del ciclo de un proyecto23

. Aplicada al comienzo ofrece luces sobre las capacidades existentes en cada actor, permitiendo implementar un sistema de SyE que aproveche desde el inicio las habilidades presentes en la organización, a la vez que defina los pasos necesarios para fortalecer las áreas donde sea pertinente mejorar.

Para ello se recomienda emprenderla armonizada con el diseño del sistema de SyE, a fin de que se tomen en cuenta las capacidades (y las herramientas necesarias para su

medición) requeridas por los actores para su eficaz operación24

. Buen momento para iniciar el proceso es previamente al diseño del sistema, para ajustarlo según las capacidades existentes y considerar su desarrollo como parte del Plan de Trabajo general para el SyE.

A la unidad de proyecto le cabe un papel especial en esta etapa, ya que debe sensibilizar a la institución gubernamental (además de a sí misma) sobre la necesidad de desarrollar las capacidades evaluativas para el éxito del SyE. Al mismo tiempo, ha de aclarar a los directivos y a otros miembros de las organizaciones las dudas que tengan sobre el proceso, preparando el terreno.

(b) Conformación del Comité y selección de facilitador/a

Es importante designar al Comité de Medición y Desarrollo de Capacidades Evaluativas que habrá de conducir el proceso (de preferencia el mismo Comité encargado del SyE), compuesto por representantes de los dos grupos de actores, debiendo integrarlo una o dos personas con posibilidad de intervenir como futuros facilitadores de ese u otros procesos. El Comité de Medición y Desarrollo de Capacidades Evaluativas lidera el comienzo de la autoevaluación explicando a todas las partes interesadas qué es y cómo se llevará a cabo, luego de lo cual conduce sus etapas posteriores. 23

Durante la ejecución del proyecto, la evaluación puede brindar pautas para reajustar el sistema de SyE y

establecer las estrategias para su implementación, así como mejorar el uso que se da a los productos del

sistema, además de ayudar a marcar el paso del progreso alcanzado en el fortalecimiento de capacidades. Al

final del proyecto, la evaluación de capacidades en SyE presenta niveles de logro contrastables con los

establecidos en la línea de base (en el caso de existir ésta), evidenciando la magnitud de los cambios. Antes de

una evaluación externa, la autoevaluación aporta una importante visión interna sobre cómo mejorar. 24

Puede formularse un Plan de Desarrollo de Capacidades dentro del mismo Plan de Trabajo de SyE. 21

GUIA PARA EL DESARROLLO DE CAPACIDADES Respecto al concurso de un facilitador/a externo o interno, la idea es que éste apoye a las organizaciones en el diseño de un proceso adecuado a su situación específica, promoviendo

la discusión y reflexión sobre el estado actual de las capacidades organizacionales, así como

sobre su dirección en el futuro. Los facilitadores desempeñan un rol imparcial al ayudar a

los grupos a volverse más efectivos, actuando como guías de un proceso para crear un

balance entre la participación y los resultados25

.

La primera vez que se implementa la autoevaluación puede contratarse a un facilitador externo (mientras no exista a nivel interno una persona con los conocimientos, habilidades y experiencia requeridas) para ayudar a impulsar el proceso y sentar sus bases. El facilitador puede acompañar en la toma de decisiones o presentar información y evidencias que ayuden a triangular y balancear las perspectivas de los miembros de la organización, documentando el proceso.

(c) Revisión documentaria.

Los miembros del Comité, el facilitador u otros involucrados en la organización de la autoevaluación de capacidades deben darse el espacio para revisar algunos documentos clave de la unidad de proyecto e institución gubernamental ejecutora, para comprender mejor sus desafíos y expectativas, familiarizarse con el lenguaje y terminología que usan, y poder orientarlos mejor durante el proceso de autoevaluación y desarrollo de capacidades.

Se sugiere revisar los documentos que describan el diseño del proyecto, planes de seguimiento y evaluación, informes de avance, evaluaciones, entre otros.

(d) Taller N° 1: visión de SyE y plan de trabajo.

El Comité de medición y desarrollo de capacidades evaluativas convoca a no más de 20 representantes de los dos grupos de actores a participar en un Taller programado para medio día de trabajo. Puede también realizarse este evento con cada actor por separado. La idea es que al terminar el taller se cumplan los siguientes objetivos:

Se reafirme el interés por participar en un proceso como el propuesto.

Se identifiquen los actores con la propuesta de ideal de Sistema de SyE orientado a resultados e impacto desarrollado por PREVAL, y los roles correspondientes para las organizaciones comunales, unidad de proyecto, e institución gubernamental.

Se precisen los aspectos a reajustar en las herramientas para la autoevaluación.

Se recojan los aportes de los participantes para que el Comité elabore un plan de

trabajo para conducir el proceso26

. Este taller es conducido por un facilitador/a, en caso se cuente con uno, o alguien designado por el Comité. En el Anexo Nº 4 se sugiere un programa para el taller con anotaciones para la facilitación. 25

Mayores datos sobre el rol de los facilitadores pueden obtenerse consultando la Declaración de Valores y

Código de Ética para Facilitadores (2004), publicada por la Asociación Internacional de Facilitadores (IAF). 26

Se sugiere que el plan de trabajo contenga los siguientes puntos: objetivos del proceso, resultados esperados, metodología, actividades y cronograma, recursos financieros y organizacionales. 22

GUIA PARA EL DESARROLLO DE CAPACIDADES Dos momentos centrales en este taller son: 1) la reflexión alrededor de la visión del sistema de Planificación, Seguimiento y Evaluación, y 2) los roles que competen a cada

actor en el SyE bajo este enfoque. El primer plano de la reflexión será el deslindar qué

se aspira para el sistema de SyE del proyecto sobre el que gira la autoevaluación de capacidades. El segundo plano alude a la identificación de qué le compete hacer a las

organizaciones comunales en el seguimiento y evaluación de las intervenciones de desarrollo fijadas por ellos mismos, y qué deben hacer en cuanto a seguimiento y

evaluación la unidad de proyecto e institución gubernamental ejecutora para coadyuvar a que se cumpla la visión de la comunidad. Estos roles se sugieren en el cuadro N° 4

incluido en la primera parte, mostrando contenidos que pueden precisarse o modificarse según las características de la intervención, pero que en general expresan las funciones

relevantes de los actores en un sistema de SyE operativo. Este análisis permite a los

participantes ubicar a sus organizaciones en relación con las pautas propuestas, y fijar su desempeño ideal. También identificar posibles puntos de discrepancia que habría que

ubicar cómo se reflejan en las herramientas de autoevaluación y hacer los ajustes respectivos. En el mismo Anexo N° 3 se propone el procedimiento para conducir este

análisis.

Es fundamental recordar que las herramientas de autoevaluación se basan en la visión del SyE y roles sugeridos. Si por algún motivo en este momento las organizaciones descubren que estos elementos se desvían fuertemente de lo que se aplica para su caso, habría que reconsiderar la pertinencia de continuar con el proceso.

Otro momento importante es la discusión sobre la metodología para la recolección de la información. Además de las herramientas planteadas en la siguiente sección para la autoevaluación, pueden ser utilizadas otras metodologías: entrevistas, talleres, revisión documentaria, grupos focales, encuesta anónima, etc. Se recomienda el uso de métodos mixtos para favorecer la triangulación de la información, y por ende conseguir conclusiones mejor fundamentadas. Nuevamente, el Anexo N° 3 da pautas para orientar esta discusión y los acuerdos respectivos.

Puede darse la situación que por cuestiones de tiempo se delegue al Comité la elaboración posterior al taller del plan de trabajo y de la propuesta metodológica. Es importante recoger durante el taller al menos algunas ideas de los participantes sobre estos temas, para elaborar sobre ellas una propuesta de plan de trabajo que vuelva a los participantes para comentarios, y así poder tomar la decisión final con un mayor respaldo.

2.2.2. PREPARACIÓN DE HERRAMIENTAS

(a) Adaptación de las herramientas de autoevaluación

Es fundamental que quienes van a recolectar la información se familiaricen con las herramientas planteadas en la guía. Estas serán en principio revisadas por el Comité para ajustar su correspondencia con la reflexión surgida en el primer taller, sobre la visión deseada para el SyE, y los roles pertinentes para la organización comunal, unidad de proyecto, e institución gubernamental en torno a un proyecto elegido para la autoevaluación en el que confluyen. 23

GUIA PARA EL DESARROLLO DE CAPACIDADES Esta tarea podría ser delegada al facilitador que está apoyando en el proceso, sin descuidar que se cuente con el aval y aprobación del Comité.

Concretamente, la revisión supone adecuar algunos ítems e incluso eliminar o incorporar otros relevantes, según los acuerdos surgidos en el primer taller, manteniendo la sintonía con las definiciones de cada una de las tres capacidades evaluativas: gestión participativa del desarrollo, operativa, y de aprendizaje. También comprende el ajuste de algunos términos. Por ejemplo, en vez de unidad de proyecto tal vez se prefiera usar el término coordinación de proyecto o unidad técnica. Deben considerarse estos ítems como los aspectos que nos permiten deducir hasta que punto se cuenta o no con una parte de algunas de estas capacidades.

(b) Preparación de herramientas adicionales.

En este paso, se retoman los acuerdos sobre cómo se va a levantar la información necesaria, si se va a triangular la información con otros métodos de recolección de información, y se les relaciona con cada uno de los ítems que contiene la herramienta de evaluación de capacidades, considerando con qué evidencias se van a sustentar las capacidades halladas. Puede utilizarse una matriz de evaluación para organizar mejor esta comparación de diferentes fuentes por cada ítem (ver Anexo N° 4).

Según el tipo de metodologías elegidas se elaboran los formatos de recolección de información. Por ejemplo, puede haberse decidido utilizar entrevistas a personas clave, y para hacerlas efectivas se requiere de un formato de entrevista. En caso se haya optado por talleres, habrá que realizar el diseño de estos. Nuevamente, toda la información que se obtenga debe alinearse con los aspectos considerados en las herramientas de autoevaluación de capacidades.

Como cualquier instrumento de captura de datos, estos formatos requieren de algún nivel de validación previamente a su aplicación, como una aplicación piloto, o revisión de expertos.

Este es un buen momento para ajustar el cronograma general del proceso, cuando se tiene el panorama completo del esfuerzo que requiere la recolección de información para este propósito. También para realizar ajustes en la metodología propuesta, contrastando con los recursos disponibles y posibilidades reales de las organizaciones participantes en la autoevaluación de capacidades.

2.2.3. MEDICION DE CAPACIDADES

(a) Taller N° 2: Autoevaluación

En este taller se aplica la herramienta de autoevaluación para medir la brecha entre las capacidades reales e ideales y representa un momento decisivo del proceso. Se realiza en medio día y de manera separada con cada actor, es decir, se hace un taller con los miembros de la unidad de proyecto y otro con los de la institución ejecutora. En grandes rasgos, comprende un momento de intercambio de información sobre un aspecto 24


puntual sin llegar a consensos, y luego la puntuación individual sobre el mismo aspecto. En el Anexo N° 5 su incluye una propuesta de programa detallado. Las instrucciones para la aplicación de las herramientas durante la autoevaluación se detallan en la tercera sección.

El referente en la autoevaluación son las capacidades para el SyE que se requieren en la gestión de un proyecto seleccionado, en el que confluyen la unidad de proyecto y la institución gubernamental. Debe quedar claro, especialmente para la institución gubernamental, que cuando se piensa por ejemplo en los recursos con que se cuenta para el SyE se refieren a los que están disponibles para el proyecto sobre el que se centra la autoevaluación, no para todos los proyectos que maneja la institución.

Debe asegurarse la participación durante toda la jornada de los representantes de las diferentes áreas (por ejemplo, administrativa, programática, dirección, etc.), y diferentes niveles jerárquicos (por ejemplo, responsables de campo, coordinadores, gerentes, etc.) de la organización, sin exceder de un máximo de 20 personas. Se sugiere considerar la posibilidad de realizar el taller en un lugar fuera de las oficinas de la organización para facilitar la concentración y participación plena.

En esta oportunidad el Comité tiene un papel clave, tanto para realizar las coordinaciones del caso como para tomar las medidas correctivas en el momento propicio. Su foco de atención es asegurar la calidad de la información y de la marcha del proceso, construyendo las mejores condiciones de ambiente para la autorreflexión y el aprendizaje.

La secuencia propuesta es levantar primero la información de la unidad ejecutora y en segundo lugar la de la institución gubernamental. De este modo el facilitador comprenderá mejor la situación de la unidad de proyecto y la complementariedad y apoyo que le ofrece la institución gubernamental en el marco del SyE.

Se recomienda contar con un facilitador que dirija la autoevaluación y una persona de apoyo para tomar nota de los aspectos saltantes del ejercicio, y para recordar al facilitador sobre algún asunto que haya pasado por alto. Es importante que la persona de apoyo haya al menos participado de la revisión documentaria y en la planificación de este taller conjuntamente con el facilitador. Esta puede ser una buena oportunidad para la preparación de futuros facilitadores dentro de las organizaciones.

Es fundamental garantizar la confidencialidad de la información desde el inicio del taller, para garantizar información más confiable y un ambiente propicio para la reflexión y aprendizaje. Las respuestas individuales son llenadas de manera anónima, y se comparte con los participantes que el tratamiento de los hallazgos se devolverá por separado a cada actor, reservando los puntos comunes para el ejercicio de planificación conjunta que se da durante el paso 5.

(b) Procesamiento de datos

El o los facilitadores son los encargados del procesamiento de la información recolectada mediante la autoevaluación, con la orientación del Comité, quien vela por la correcta consolidación de los resultados de este ejercicio. De ser el caso, puede 25


designarse adicionalmente a consultores u otros miembros de las organizaciones para apoyar en la tarea.

Las instrucciones para la tabulación de los datos es sencilla y se describe en la tercera sección. Comprende una parte cuantitativa proveniente de los formatos de autoevaluación llenados por los participantes del Taller N° 2, y una parte cualitativa proveniente de las notas tomadas por la persona de apoyo sobre su observación durante la autoevaluación. Puede utilizarse una hoja de cálculo en Excel para agilizar el procesamiento y garantizar la precisión de los cálculos.

(c) Recolección de datos complementarios

Las herramientas por cada actor se pueden completar con la información recolectada con otros métodos, y así reforzar las conclusiones sobre las capacidades para el SyE. La aplicación de éstas está a cargo del Comité, con el posible apoyo de consultores u otros convocados para este fin, y su duración dependerá de la combinación de métodos elegida, así como del cronograma previsto en el plan de trabajo.

Se sugiere empezar por relevar la información individual (revisión de documentos, entrevistas, observación) y luego la información colectiva (talleres, grupos focales); así se podrá usar la información previamente recogida como punto de contraste cuando se trabaje en grupos.

Por cada método adicional se realiza el procesamiento correspondiente de los datos

recolectados, orientando la consolidación de la información hacia la comprobación de

las capacidades evaluativas, y de manera específica, hacia cada uno de los ítems que la

comprende. Puede utilizarse las herramientas de autoevaluación para esta parte del

proceso, de la manera descrita en la sección 3.2.1. de la tercera parte de este documento.

(d) Preparación de reporte por actor

La información proveniente de la autoevaluación y de otros métodos de recolección, si los hubiera, se muestra y analiza en un reporte separado para cada actor. Es responsabilidad del Comité la elaboración de estos reportes, y puede acudir al apoyo de los facilitadores del Taller N° 2 en caso lo considere necesario.

El reporte esta organizado según las capacidades evaluativas, y presenta tanto los resultados de las puntuaciones individuales asignadas por los participantes de la autoevaluación, como los hallazgos provenientes de la observación durante dicho taller y de otros métodos utilizados para levantar información complementaria. Todos ellos son colocados en el reporte de modo tal que se presenten las evidencias para facilitar la interpretación en el Taller N° 3. En el Anexo N° 6 se incluye un ejemplo de reporte individual.

Hay que llamar la atención sobre el lenguaje con que se redacta el reporte. Ha de cuidarse que éste sea apropiado, propositivo y constructivo, apegándose hacia las evidencias encontradas durante la autoevaluación y mediciones complementarias. 26


También debe cuidarse y respetarse la confidencialidad de la información contenida en el reporte, cada actor tiene derecho a conservar su reporte individual y compartirlo con quienes considere.

2.2.4. ANÁLISIS DE RESULTADOS Y PLAN DE ACCION

(a) Taller N° 3: Discusión de hallazgos y planificación por actor

Los hallazgos contenidos en el reporte son presentados por el Comité de manera separada a cada actor en una reunión de medio día con cada uno de ellos. El Comité cursa una invitación previa a los directivos de la organización, extensiva hacia otros miembros que ellos consideren necesarios, que puedan aportar en la interpretación y definición de futuras acciones. El número de participantes no debiera exceder de 30.

La duración del taller es de medio día, y se sugiere un programa del taller detallado en el Anexo N° 7. La reunión se daría bajo el siguiente esquema: Revisión de antecedentes: el objetivo de la medición de capacidades, cómo y cuándo

se hizo, quienes participaron Principales hallazgos e interpretación, señalando la brecha entre las capacidades

ideales y lo real. Propuesta de plan de acción para fortalecer capacidades.

Esta medición de las capacidades debe proveer información valiosa para tomar decisiones de manera participativa. Debe relacionarse con las respuestas que se planteó la organización ante la pregunta “¿por qué necesitamos una evaluación de capacidades para el seguimiento y evaluación?”. Sus hallazgos permitirán conocer los niveles de inicio o puntos de partida de la organización en cuanto a desarrollo de capacidades para el SyE. El solo conocimiento de ello la ayudará a perfeccionar la gestión (aprovechando las fortalezas halladas), además de suscitar aprendizajes significativos en todos sus integrantes.

La preparación de un plan de acción proporciona una base para organizar los esfuerzos en el desarrollo de capacidades. Para la priorización de las acciones, no basta con considerar aquellas capacidades en las que se tiene puntajes menores o se cae en el área roja o amarilla según el gráfico de la sección 3.2.1. Es importante considerar además si la información cualitativa se encuentra alineada en el mismo sentido, los promedios obtenidos de los puntajes asignados en la autoevaluación son referenciales. Otro aspecto a tomar en cuenta dónde hay menores resistencias o mayor acuerdo sobre la necesidad de fortalecer, y cuáles son las prioridades establecidas por la organización en el momento de la medición de las capacidades para engranarlas al plan general.

No existe una forma “correcta” de hacer un plan de este tipo. Usualmente los planes de acción definen actividades, responsables, y el tiempo de ejecución (ver un ejemplo en el Anexo N° 8). Sin embargo, si no se aseguran los suficientes recursos, soporte político y alineamiento con la misión y estrategias de la organización se corre el riesgo de fracasar en el intento. También es importante ver los planes como “trabajo en progreso” más que fórmulas totalmente establecidas. Se necesita flexibilidad para modificar los planes y los procesos de implementación conforme cambian las condiciones y emergen nuevos aprendizajes.

27

GUIA PARA EL DESARROLLO DE CAPACIDADES La secuencia para organizar estos esfuerzos es importante. También las modalidades para el fortalecimiento de capacidades. Al seleccionarlas, es importante retomar algunos elementos señalados en la primera sección de este documento, y las reales posibilidades de cada organización.

El Comité toma nota de lo acontecido en cada reunión y elabora un pequeño documento para su propio registro y para compartir con quienes se estime conveniente. Al hacer este recuento, tiene la tarea de identificar los aspectos comunes y los distintivos de cada actor.

Al finalizar la reunión, se invita a los representantes de las organizaciones a compartir al interior estos resultados y prioridades establecidas. También se pide designar a algunos representantes de cada organización para que acompañen al Comité en la definición de una propuesta conjunta para el desarrollo de capacidades en un siguiente encuentro.

(b) Taller N° 4: Planificación conjunta

El Comité convoca a alrededor de 20 representantes de los dos grupos de actores a participar en este taller. Se espera formular el plan de acción conjunto para el desarrollo de capacidades, con los aportes de los participantes y en el transcurso de medio día de trabajo.

En el evento se presentan los hallazgos de la medición de capacidades de manera integrada y general en relación con las capacidades y roles esperados, como un sistema. También se comparten las reacciones iniciales recogidas en cada organización, se prosigue con la búsqueda de puntos en común para construir un plan colectivo. Es importante redoblar el cuidado en cuanto a la forma de presentar las áreas débiles de cada organización para no herir susceptibilidades. Se presenta un programa de taller tentativo en el Anexo N° 9.

Además de los directivos y otros miembros representativos de cada organización, en este momento estarían presentes todos los miembros del Comité y otros actores clave que sean relevantes para ambos tipos de organizaciones. El involucramiento de los actores clave (como por ejemplo donantes y socios principales) en el proceso de medición y desarrollo de capacidades en general y en este paso, es importante para identificar apropiadamente nuevas direcciones y establecer compromisos de apoyo al cambio. Pueden ser además una importante fuente de recursos para llevar adelante las iniciativas de desarrollo de capacidades.

Al igual que en el ejercicio anterior, el Comité toma nota de lo acontecido en la reunión y elabora un pequeño documento para su propio registro y para compartir con quienes se considere apropiado.

28


2.2.5. SEGUIMIENTO DEL PROGRESO

(a) Verificación de logros del plan de acción

La evaluación de los resultados de las intervenciones de desarrollo de capacidades debe estar presente desde el momento en que se establece el plan para implementarlas. Esto se hace para rendir cuentas interna y externamente sobre estos esfuerzos desplegados, como externamente hacia otros socios y actores clave. También para reajustar el plan y continuar conduciendo el fortalecimiento de capacidades de manera más eficiente.

El seguimiento de la ejecución de las actividades del plan de acción y de los productos asociados a ellas es un primer nivel de evaluación, el nivel operativo. El proceso cuenta mucho en el desarrollo de las capacidades y es importante conocer en qué medida se están desarrollando las actividades según lo planeado e identificar algunos aspectos críticos para tomar medidas correctivas de manera oportuna.

(b) Reaplicación de la medición de capacidades y evaluación

El segundo nivel de evaluación es en cuanto a los logros o resultados alcanzados con el desarrollo de capacidades, reflejado en cambios de comportamientos y de sistemas. Las mismas herramientas consideradas para la medición de las capacidades pueden ser re-aplicadas periódicamente para evaluar el progreso, y más aún, se puede aprender de la experiencia y continuar mejorando. Estas pueden complementarse con una combinación de otros métodos de recolección de información que permitan trascender a la medición de la capacidad misma, adentrarse en el desempeño de las organizaciones, y en los cambios propiciados en las poblaciones con las que se trabaja directamente.

Este cuadro presenta algunas pautas relevantes para este momento, que reafirman algunos aspectos tratados con anterioridad en esta Guía.

Cuadro N° 5: Qué hacer y no hacer al evaluar el desarrollo de capacidades

¿Qué hacer? Mapear la lógica del programa de desarrollo de capacidades (la jerarquía

de objetivos y supuestos subyacentes) Dar seguimiento a actividades, productos, alcances. Periódicamente medir los resultados en función a los objetivos y expectativas

iniciales Involucrar a los actores clave en el proceso de evaluación

Pensar en términos de contribución de socios externos, en vez de impactos.

¿Qué no hacer? Evaluar los esfuerzos de desarrollo de capacidades estrictamente en base a

los objetivos originales No pasar por alto el proceso de desarrollo de capacidades, y solo concentrarse en

los impactos de desarrollo de largo plazo.

Fuente: Horton Douglas. Planning, Implementing and Evaluating Capacity Development. ISNAR, Briefing Paper 50, Julio 2002, página 6.

29


TERCERA PARTE: LAS HERRAMIENTAS

3.1. BASES DE LAS HERRAMIENTAS

Las dos herramientas propuestas (una para unidades de proyecto y otra para las instituciones gubernamentales) son complementarias entre sí, y se basan en un modelo teórico construido con diferentes aportes, que identifica tres tipos de capacidades relevantes para un ejercicio eficaz, participativo y empoderador del seguimiento y evaluación:

Gestión Participativa del Desarrollo: se relaciona con la contribución del sistema de SyE a la gestión del proyecto u organización, teniendo como visión estratégica a la comunidad en el centro del desarrollo, y un estilo de gerencia participativo, inclusivo y equitativo.

Operativa: se refiere a los recursos materiales y humanos con que se cuenta para el SyE, la forma como se distribuyen y organizan en una estructura y equipos, asumiendo responsabilidades claramente definidas. También incluye los aspectos técnicos inherentes al manejo de la información, algunos más especializados que otros, pero todos dirigidos a mostrar los efectos e impactos derivados de los cambios de una intervención para el desarrollo.

Aprendizaje: considera si la organización sabe usar y comunicar resultados, es decir si maneja con eficacia y oportunidad la información sobre los cambios, según las necesidades estratégicas de los grupos de actores. Incluye además la existencia de espacios inter e intra institucionales para promover el aprendizaje, y los valores compartidos que sustentan la apertura hacia el intercambio y reflexión.

La desagregación de lo que implica cada una de estas capacidades, en función a los roles esperados por cada actor en los diferentes momentos del seguimiento y evaluación y una visión ideal de los sistemas de SyE propuesta por PREVAL, es lo que da lugar a los ítems de cada herramienta. Cada conjunto de ítems plantean situaciones ideales e ilustran las implicancias de tener o no tener una capacidad. Es una condición para la viabilidad de la medición de las capacidades el que las organizaciones que van a utilizar las herramientas se identifiquen mayoritariamente con la propuesta sugerida.

De haber diferencias sobre la visión y roles de SyE en una organización, pueden hacerse pequeños ajustes en los ítems de las herramientas pertinentes a dichas diferencias, modificar algunos términos utilizados, e incluso pueden incluirse algunos otros ítems, sin desvirtuar las definiciones de los tres tipos de capacidades subyacentes. De ser estas diferencias sustanciales habría que reconsiderar la pertinencia de su aplicación para esas organizaciones.

3.2. ORIENTACIÓN PARA SU APLICACIÓN

Las dos herramientas son una guía para conducir un ejercicio de autoevaluación. Al mismo tiempo, pueden ser usadas como un esquema para acopiar y consolidar información proveniente de diferentes fuentes sobre las tres capacidades evaluativas identificadas. Se detalla más a continuación.

30


3.2.1. AUTOEVALUACIÓN

(a) Aspectos generales.

La autoevaluación es la forma propuesta para medir la capacidad evaluativa en unidades de proyecto e instituciones gubernamentales ejecutoras. Este ejercicio ayuda a dichas organizaciones a compartir información y reflexionar sobre su situación actual en cuanto a su potencial para facilitar y orientar técnicamente el proceso de seguimiento y evaluación de un proyecto de desarrollo rural que busca responder a la visión de la comunidad. También ayuda a orientar un proceso de fortalecimiento de capacidades en estos aspectos.

El proceso completo comprende desde el diseño de la medición hasta la formulación de un plan de acción con el que se potencien las capacidades de las organizaciones para realizar un seguimiento y evaluación participativo y empoderador. Este se describe en detalle en la segunda parte de la Guía para la Medición y Desarrollo de Capacidades en seguimiento y evaluación elaborada por PREVAL, y constituye lectura obligatoria antes de la aplicación de las herramientas de autoevaluación.

En esta sección se proveen las pautas para la aplicación de dichas herramientas durante el Taller N° 2 y para su posterior procesamiento. Se asume la presencia de un facilitador interno o externo que apoya en estas tareas, y trabaja en estrecha coordinación con el Comité de Medición y Desarrollo de Capacidades Evaluativas.

(b) Aplicación de la herramienta.

El facilitador conduce la aplicación de la herramienta durante el taller, junto con una persona de apoyo. De partida, el facilitador debe asegurar que los participantes tienen conocimiento del proceso general de medición y desarrollo de capacidades evaluativas, y de los objetivos que se persiguen al hacerlo en cada organización. De no ser el caso, debe subsanarse esta falta de información. Si entre los participantes del taller se halla algún miembro del Comité de Medición y Desarrollo de Capacidades, le cede la palabra.

El facilitador debe cuidar que el ambiente físico del taller permita la concentración de los participantes durante este tiempo, y que su ubicación sea tal que todos puedan verse las caras. Desde el inicio, debe advertir a los participantes del taller que si alguien tiene que salir del taller durante la discusión de una sección de la herramienta, no calificarán los ítems asociados a esa discusión.

Se inicia la aplicación con la descripción general de la modalidad a utilizar en la

autoevaluación, señalando que las respuestas son anónimas y se registran en la misma

herramienta que se entrega en ese momento a cada participante. Cabe recalcar

constantemente que el referente en la autoevaluación son las capacidades para el SyE que se

requieren en la gestión de un proyecto seleccionado, en el que confluyen la unidad de

proyecto y la institución gubernamental. Debe quedar claro, especialmente para la

institución gubernamental, que cuando se piensa por ejemplo en los recursos con que se

cuenta para el SyE se refieren a los que están disponibles para el proyecto sobre el que se

centra la autoevaluación, no para todos los proyectos que maneja la institución. 31

GUIA PARA EL DESARROLLO DE CAPACIDADES La aplicación de la herramienta tiene dos momentos que se intercalan constantemente: Conversación Enfocada y Calificación de Ítems.

La Conversación enfocada se da en base a preguntas que buscan el intercambio de información y de opiniones sobre el tema que se trata, pero no el consenso. Tras la lectura de cada ítem el facilitador abre el intercambio con preguntas abiertas dirigidas a destacar las evidencias que sustenten el grado en que se cuenta con el ideal propuesto.

El siguiente ejemplo se refiere al ítem 1.6. de la herramienta para instituciones gubernamentales: ¿En qué medida en la institución gubernamental la planificación, seguimiento y evaluación referidos se articulan como un sistema integrado? ¿Dónde se refleja que éstos se articulan? ¿Cómo podemos probarlo?¿Con qué evidencias se cuenta para sustentar que se cumple con este criterio ideal?. Se destina entre 5-7 minutos por cada ítem para propiciar una participación activa y general, y la identificación de las diferentes posiciones respecto al tema. El facilitador puede también traer a colación algunos elementos rescatados de la revisión documentaria y de su conocimiento de la organización, sin imponerlo a los participantes.

La Calificación de ítems se da luego de la discusión sobre cada ítem. Los participantes calificarán de manera anónima sobre cómo ven a su organización en ese aspecto. La escala es de 1 a 5: 1 es el valor más bajo (no se tiene la capacidad) y el 5 es el valor más alto (se tiene un desarrollo pleno de la capacidad). Hay espacio para calificar un ítem como no aplicable.

1 2 3 4 5

No se tiene la Se tiene un Se tiene un Se tiene un Se tiene un capacidad desarrollo desarrollo desarrollo desarrollo

inicial de parcial de la casi pleno de la

la capacidad completo capacidad

capacidad de la

capacidad

Durante la aplicación de la herramienta, el facilitador y/o quien le apoya toma notas de los argumentos para justificar que se cuenta o no con alguna capacidad, de cómo se desarrolla el taller, y de cualquier comentario, observación o explicación que surja durante las discusiones, para posteriormente incorporarlos en el análisis de la información recolectada. Esta información es tan valiosa como la que proviene de la calificación de la herramienta.

(c) Procesamiento de datos.

Siguiendo con el proceso de autoevaluación de la capacidad evaluativa, el facilitador toma las hojas de respuestas de los participantes del taller y las numera de manera 32


correlativa. Luego tabula las respuestas de cada participante manualmente o en una hoja de cálculo previamente creada en Excel bajo el siguiente formato:

Calificaciones por capacidades

Gestión Participativa del Operativa Aprendizaje Total

Desarrollo

Participantes Item Item Item Sub Item Item Sub Item Item Sub

n n n Total n n Total n n Total

1

2

3

4

…

Promedios

Los Sub totales y Totales son sumatorias simples de los puntajes otorgados por los participantes del Taller N° 2. Los promedios son la sumatoria de los puntajes entre el número total de respuestas.

Los promedios de cada organización según los puntajes de los participantes se muestran en un diagrama como el que sigue.

Diagrama N° 4: Puntajes de la autoevaluación por organización

Capacidad baja (promedio entre 1.00 y 2.00)

Capacidad media (promedio entre 2.10 y 3.90)

Capacidad alta (promedio entre 4.00 y 5.00)

33


Estos puntajes son referenciales, y se contrastan con la información cualitativa sobre la justificación y evidencias sobre cada ítem en el reporte.

3.2.2. AUTOEVALUACIÓN COMBINADA CON OTROS MÉTODOS

En esta situación, las herramientas de autoevaluación se aplican como si fueran formatos para la consolidación de conclusiones sobre las capacidades evaluativas.

Luego de concluir con todo lo indicado en el punto 3.2.1., y tener a la mano la información consolidada que ha sido recolectada con otros métodos, el Comité convoca a una reunión con algunos líderes de cada organización (por separado) para asignar puntajes consensuados para cada capacidad.

Se da lectura a cada ítem, se revisan las evidencias provenientes de la autoevaluación y otras fuentes disponibles, se discute y concluye por consenso cuál es el puntaje entre el 1 y el 5 que refleja mejor la capacidad actual de la organización. Se toma nota por cada ítem de las evidencias que sustentan esa apreciación.

El formato de la herramienta lleno con los puntajes y evidencias constituye un reporte de las capacidades encontradas en cada organización, y puede graficarse los puntajes según el diagrama N° 4.

Este insumo se lleva al Taller N° 3 se lleva al Taller N° 3 para definir cuáles son las acciones que se van a tomar para fortalecer las capacidades evaluativas.

3.3. HERRAMIENTA N° 1: UNIDAD DE PROYECTO

AREAS DE CAPACIDAD NIVEL DE CAPACIDAD27

JUSTIFICACION

del nivel de capacidad con

evidencias

1 2 3 4 5 n/a

1. Gestión participativa del desarrollo 1.1. Unidad de Proyecto

(UP) está comprometida con

una visión de desarrollo

donde la comunidad es el eje

y la UP es el facilitador de

los cambios.

1.2. El seguimiento y

evaluación (SyE) es

reconocido como prioridad

estratégica en la gestión del

proyecto y la organización.

1.3. UP sabe como formular

proyectos con una teoría del

cambio explícita (resultados e

impactos claros) y enfoque de

planificación por

27 1= No se tiene la capacidad; 2= Se tiene un desarrollo inicial de la capacidad; 3= Se tiene un desarrollo parcial de la capacidad; 4=Se tiene un desarrollo casi completo de la capacidad; 5= Se tiene un desarrollo pleno de la capacidad

34



JUSTIFICACION


evidencias

1 2 3 4 5 n/a

resultados. 1.4. UP tiene destrezas para asesorar la medición de capacidades en SyE de la institución gubernamental ejecutora.

1.5. UP sabe cómo hacer un

plan de SyE (con objetivos,

indicadores, instrumentos, y

metodologías apropiadas),

participativo y en base a las

necesidades y

potencialidades la

comunidad.

1.6. En UP la planificación, el seguimiento y evaluación se articulan como un sistema integrado.

1.7. UP sabe cómo conectar entre sí el SyE del proyecto y los sistemas locales de SyE.

1.8. UP cuenta con

conocimientos y habilidades

para la facilitación del

consenso, negociación y

diálogo, y participación

equitativa de los actores.

1.9. UP está bien dispuesto

a involucrar activamente a

otros actores clave en la

gestión de proyectos.

1.10. UP tiene mecanismos

establecidos para recibir la

retroalimentación de los

actores clave sobre los

productos y sistema de SyE. 2. Operativa 2.1. Existen en la UP recursos materiales y financieros disponibles para el cumplimiento del plan de SyE.

2.2. UP cuenta con personal capacitado en aspectos técnicos (técnicas cualitativas y cuantitativas, recolección y procesamiento, manejo de bases de datos, etc.) y metodologías innovativas (evaluación por imágenes, mapeo de actores, etc.) de SyE.

2.3. UP cuenta con personal preparado en metodologías

35



JUSTIFICACION


evidencias

1 2 3 4 5 n/a

participativas de capacitación de adultos, y en gestión del conocimiento y aprendizaje en organizaciones. 2.4. UP tiene políticas de capacitación continua en SyE.

2.5. La estructura

organizacional de la UP

designa responsables y

funciones para el SyE.

2.6. El personal de la UP se siente bien motivado por el empoderamiento de actores locales.

2.7. El SyE es percibido

como un trabajo en equipo

de toda la UP, no solo de

especialistas en SyE.

2.8. Sistema de SyE de UP produce productos (ver detalle en cuadro anexo).

2.9. La UP tiene recursos especializados (herramientas, libros, cursos, sitios web, bases de datos, etc.) sobre SyE accesibles para el personal involucrado y otros actores clave. 3. Aprendizaje 3.1. El personal de la UP maneja técnicas de comunicación y difusión apropiadas según tipos de audiencia.

3.2. En la UP se cuentan con espacios institucionales (eventos, ambientes, boletines, sistematización, políticas, etc.) donde se promueve el aprendizaje interno y externo.

3.3. Se incentiva en la UP la escucha activa, reflexión e intercambio de aprendizajes.

3.4. UP precisa cómo la información del SyE retroalimenta la planificación (estratégica y operativa) y otras decisiones.

3.5. Se relaciona en la UP la información generada por el SyE con argumentos para la

36



JUSTIFICACION


evidencias

1 2 3 4 5 n/a

incidencia.

3.6. La UP respalda la

institucionalización y

amplia difusión de mejores

prácticas entre la institución

y actores clave.

CUADRO ANEXO PRODUCTOS DEL SISTEMA DE PLANIFICACION, SEGUIMIENTO Y EVALUACION

PRODUCTOS ¿Existe?

Si No

1. Plan de PSE

2. Sub-sístema de Planificación

2.1. Planeamiento Estratégico (visión, misión)

2.2. Marco Lógico por Resultados

2.3. Plan Operativo Anual

2.4. Plan de uso y comunicación de resultados

2.5. Mapeo de Actores de SyE

2.6. Matriz de Seguimiento y Evaluación

2.7. Otro:

3. Sub-Sístema de Seguimiento

3.1. Instrumentos de Seguimiento (Formatos, reportes de avance del POA)

3.2. Informes de seguimiento a nivel de producto

3.3. Bases de Datos:

3.4. Otro:

4. Sub-sístema de Evaluación

4.1. Estudio de Base

4.2. Encuesta progresiva a usuarios/población objetivo

4.3. Encuesta de impacto del RIMS

4.4. Autoevaluaciones

4.5. Evaluación por imágenes

5. Sub-sistema de Sístematización

5.1. Experiencias sistematizadas

5.2. Estudios de caso

6. Sistema de datos automatizado

6.1. Hojas de cálculo en Excel u otro similar

6.2. Bases de datos en software especializado

37


PRODUCTOS ¿Existe?

Si No

6.3. Sistema automatizado disponible en la Web

3.4. HERRAMIENTA N° 2: INSTITUCIONES GUBERNAMENTALES


JUSTIFICACION


evidencias

1 2 3 4 5 n/a

1. Gestión participativa del desarrollo 1.1. Institución

gubernamental (IG) está

comprometida con una

visión de desarrollo donde

la comunidad es el eje y la

UP es el facilitador de los

cambios. 1.2. El seguimiento y

evaluación (SyE) es

reconocido como prioridad

estratégica en la gestión del

proyecto y organización. 1.3. IG reconoce el valor de

la teoría del cambio de un

proyecto y puede explicitar y

mostrar a partir de éste

resultados e impactos claros. 1.4. Con el apoyo de UP, la IG puede identificar y analizar sus capacidades en SyE. 1.5. IG comprende conceptos

generales sobre un plan de

SyE participativo y se siente

capaz de aportar. 1.6. En IG la planificación, SyE se articulan como un sistema integrado. 1.7. IG cuenta con

conocimientos y habilidades

para la facilitación del

consenso, negociación y

diálogo, y participación

equitativa de los actores. 1.8. IG está bien dispuesto a involucrar activamente a otros actores clave en la gestión de proyectos. 1.9. IG conoce de

28 1= No se tiene la capacidad; 2= Se tiene un desarrollo inicial de la capacidad; 3= Se tiene un desarrollo parcial de la capacidad; 4=Se tiene un desarrollo casi completo de la capacidad; 5= Se tiene un desarrollo pleno de la capacidad

38



JUSTIFICACION


evidencias

1 2 3 4 5 n/a

mecanismos establecidos en el proyecto para dar retroalimentación sobre la gestión del proyecto y el SyE.

2. Operativa 2.1. IG asigna recursos materiales y financieros para el cumplimiento del plan de SyE.

2.2. IG cuenta con personal capacitado en aspectos técnicos (técnicas cualitativas y cuantitativas, recolección y procesamiento, manejo de bases de datos, etc.) y metodologías innovativas (evaluación por imágenes, mapeo de actores, etc.) de SyE.

2.3. IG cuenta con personal preparado en metodologías participativas de capacitación de adultos, y en gestión del conocimiento y aprendizaje en organizaciones.

2.4. IG tiene políticas de capacitación continua en SyE.

2.5. La estructura

organizacional de la IG

designa responsables y

funciones para el SyE.

2.6. El SyE es percibido

como un trabajo en equipo

de toda la IG, no solo de

especialistas en SyE.

2.7. La IG tiene recursos especializados (herramientas, libros, cursos, sitios web, bases de datos, etc.) sobre SyE accesibles para el personal involucrado y otros actores clave. 3. Aprendizaje 3.1. El personal de la IG maneja técnicas de comunicación y difusión apropiadas según tipos de audiencia.

3.2. En la IG se cuentan con espacios institucionales

39



JUSTIFICACION


evidencias

1 2 3 4 5 n/a

(eventos, ambientes,

boletines, sistematización,

políticas, etc.) donde se

promueve el aprendizaje

interno y externo.

3.3. Se incentiva en la IG la

escucha activa, reflexión e

intercambio de aprendizajes.

3.4. IG precisa cómo la

información del SyE

retroalimenta la

planificación (estratégica y

operativa) y otras

decisiones.

3.5. Se relaciona en la IG la

información generada por el

SyE con argumentos para la

incidencia.

3.6. La IG respalda la

institucionalización y

amplia difusión de mejores

prácticas entre la institución

y actores clave.

40


ANEXOS

Anexo N° 1: Bibliografía revisada 1. Asociación Internacional de Facilitadores. Declaración de Valores y Código de

Etica para Facilitadores. 2004. 2. Bloom Evan, et.al. Capacity building perspectives: Understanding Organizational

Assessment. http://www.impactalliance.org/ev_en.php?ID=7349_201&ID2=DO_TOPIC. Connections # 2, October 2003.

3. Bucheli, Brenda, et.al. Organizational assessment: lessons from the field. 2004. 4. CARE. Herramientas de CARE para la evaluación situacional de la capacidad en

Diseño, Monitoreo y Evaluación (DME). 1999. 5. Ccori, Daniel Jesús. Institucionalización de los sistemas de SyE de lucha contra la

pobreza rural. Publicaciones PREVAL, Setiembre 2007. 6. Earl, Sarah; Carden, Fred; Smutylo, Ferry. Mapeo de alcances – Incorporando

aprendizaje y reflexión en programas de desarrollo. IDRC, 2002. 7. Echevarría, Rafael. Ontología del lenguaje. Granica, Buenos Aires, Abril 2005. 8. Feinstein, Osvaldo. Método para el Análisis Rápido Concentrado (MARCO) de

Sistemas de Seguimiento y Evaluación. FIDA, 1993. 9. FIDA. Diez claves de éxito para el desarrollo rural. 2004. 10. FIDA. Guía para el SyE de proyectos. Oficina de Evaluación y Estudios del FIDA,

2002. 11. FIDA. Experiencias Innovadoras en los proyectos FIDA en la República del Perú.

Oficina de Evaluación y Estudios del FIDA, 2004. 12. Grupo Chorlavi. Proyectos de Aprendizaje Social.

http://www.grupochorlavi.org/webchorlavi/docs/Aprendizaje-GrupoChorlavi.pdf . Marzo 2005.

13. Hayward, Graerne. Exploring the links between individual and social learning in the Red River Floodway Environmental Assessment. http://www.umanitoba.ca/institutes/natural_resources/canadaresearchchair/thesis/gh ayward%20masters%20thesis%202006.pdf. University of Manitota, 2006.

14. Horton, et.al. Evaluating Capacity Development – Experiences from Research and Development Organizations around the World. ISNAR /CTA/ IDRC, 2003.

15. Horton, Douglas. Planning, Implementing and Evaluating Capacity Development. ISNAR, Briefing Paper 50, July 2002.

16. IDS. Knowledge management and organisational learning for development. KM4Dev Workshop Background paper. July 2006.

17. IIRR. A practical guide to Planning, Monitoring and Evaluation at IIRR. May 23, 2005.

18. Johri. Nalin. Design, monitoring and evaluation capacity assessment – global síntesis report. CARE, 2002.

19. Khan, Khadija. Strengthening of Monitoring and Evaluation System. Pakistan Poverty Alleviation Fund, Islamabad, June 2003.

20. Lusthaus, et.al. Evaluación organizacional – Marco para el desempeño. BID-CIID, 2002.

21. Mackay, Keith. Fortalecimiento de la capacidad de evaluación – Guía para el diagnóstico y marco para la acción. OED, 1999.

41

http://www.grupochorlavi.org/webchorlavi/docs/Aprendizaje-GrupoChorlavi.pdf.%20Marzo%202005




http://www.umanitoba.ca/institutes/natural_resources/canadaresearchchair/thesis/ghayward%20masters%20thesis%202006.pdf

http://www.umanitoba.ca/institutes/natural_resources/canadaresearchchair/thesis/ghayward%20masters%20thesis%202006.pdf


22. Management for Development. Materiales del curso “Desarrollo Organizacional para Asesores y Consultores”, Junio 2006.

23. Morgan, Peter. The idea and practice of systems thinking and their relevante for capacity development. European Centre for Development Policy Management. March 2005.

24. Olalla, Julio. Un nuevo discurso de lo que es aprender. 25. Pardhan, Aliya; Lamba, Pamela. Who is an appropriate facilitator?. Capacity.org.

Issue 24. 26. Preskill, H.; Torres, R. Englewood Cliffs, NJ:Prentice Hall.

27. Patton, M.Q. 1997.

28. PREVAL. Informe del Taller de Interaprendizaje para Consultores PREVAL, 2005. 29. PREVAL. Informe de taller Pautas para la elaboración de la guía en desarrollo de

capacidades en seguimiento y evaluación. Febrero 2006. 30. PREVAL. Plan estratégico de PREVAL III. 2006. 31. PREVAL. Proceso metodológico de construcción del sistema de planificación,

seguimiento y autoevaluación campesina a través de los mapas parlantes – Caso MARENASS (Perú). www.preval.org, Sección Buenas Prácticas.

32. Red Venezolana de Facilitadores. Qué significa facilitar. 33. TNC, Autoevaluación institucional – una herramienta para el fortalecimiento de

organizaciones sin fines de lucro. 2001. 34. Watson, David. Embracing innovative practice.

http//www.capacity.org/en/layout/set/print/content/view/full/1904. Capacity.org,

2007. 35. Witkin, Belle; Altschuld James. Planning and conducting needs assessments – a

practical guide. Sage Publications, 1995.

42

http://www.preval.org/


Anexo N° 2: Infografía sobre Sistemas de Seguimiento y Evaluación

43


Anexo N° 3: Programa detallado para el Taller N°1: visión de seguimiento y evaluación y plan de trabajo

Tiempo Tema Detalle Materiales

15’ Bienvenida y Por definir. Por definir.

presentación de

participantes

10´ Presentación del taller: Se hace referencia a los tres Programa del taller objetivos y programa objetivos que se persiguen con

este evento: 1) Se reafirme el

interés por participar en un

proceso como el propuesto; 2) Se

identifiquen los actores con la

propuesta de ideal de Sistema de

SyE orientado a resultados e

impacto desarrollado por

PREVAL, y los roles

correspondientes para las

organizaciones comunales, unidad

de proyecto, e institución

gubernamental; 3) Se precisen los

aspectos a reajustar en las

herramientas para la

autoevaluación; 4) Se recojan los

aportes de los participantes para

que el Comité elabore un plan de

trabajo para conducir el proceso.

Se presenta el programa del

evento sin las indicaciones para

los facilitadores. Se definen las

reglas del taller: participación

activa, respeto, concentración.

20’- 30’ Presentación del proceso Se hace un repaso de los cinco Presentación en de medición y desarrollo pasos que comprende el proceso y power point (Anexo de capacidades para el las actividades que implica cada N° 3)

SyE. uno, absolviendo dudas. Se

identifica el momento en que se

encuentran en el taller. Se hace

incapie en los posibles beneficios

del proceso percibidos por las

organizaciones participantes.

40´- 60´ Importancia y enfoque Se presenta la infografía y se Infografía de del SyE en los solicita a los participantes que PREVAL sobre programas y proyectos respondan a las siguientes Sistemas de SyE de desarrollo rural. preguntas: 1) ¿Qué te llama la orientados hacia atención sobre este material?, 2) resultados e ¿En que medida esta visión que Impacto.

propone la infografía se ajusta a

lo que se persigue en el proyecto/

institución?. Si el grupo es

pequeño (hasta 10 personas)

puede trabajarse en plenaria con

lluvia de ideas. Si es más grande,

44



pueden conformarse grupos de trabajo y luego en plenaria se comparten las impresiones, y se hace un recuento.

Se presta especial atención cuando se señalan discrepancias con la visión, se explora el porqué

de la diferencia y se analiza en conjunto.

Debe haber entre los participantes

una clara identificación con la visión que trae la infografía para proseguir, reconocer que eso es lo

que se quiere, habiendo espacio para algunas pequeñas diferencias

que se anotan. Caso contrario, se considera la posibilidad de cancelar el taller y todo el proceso

por no ajustarse a las expectativas

de las organizaciones participantes.

15´ Coffee break

40´- 60´ Reflexión sobre los roles Se inicia la sesión son una Cuadro N° 4: Roles esperados para cada pregunta abierta: ¿Qué se espera por actores clave actor en el SyE. que hagan ustedes en el SyE del proyecto?. Esta pregunta es común para la Unidad de Proyecto y para la Institución gubernamental que es responsable

de la ejecución del proyecto. Se

anotan las ideas en un papelógrafo.

Luego se divide a los participantes en grupos (se trabaja

en plenaria si hay pocos participantes) y se les pide que den lectura individual o colectiva al cuadro sobre roles. Se les pide que reflexionen sobre lo siguiente empezando por el rol que les compete: ¿En qué medida estos roles son apropiados para mí?. Luego se hace el mismo análisis para los otros dos actores que se mencionan en el cuadro. Se toma

nota y sintentiza en plenaria sobre las reflexiones, comparando con las respuestas anteriores. Se recalca que la infografía y el cuadro de roles son la base para la medición propuesta en la guía, por lo que es condición la

45



identificación con la mayoría de

los aspectos mencionados. Se registran las diferencias en relación a los roles.

30’ – 40’ El plan de trabajo Se discute en plenaria sobre los Por definir. siguientes aspectos:

Definición de objetivos del proceso y resultados esperados (¿por qué y para qué se hace?).

Discusión y acuerdos sobre la metodología (¿cómo se va a recolectar la información?¿solo la autoevaluación?).

Precisión de actividades y cronograma (¿cuándo y cómo se va a hacer?).

Estimación de recursos técnicos, financieros y organizacionales necesarios y disponibles (¿con qué recursos se cuenta?).

20’ Siguientes pasos y Se precisa quienes van a culminar Por definir. compromisos con el plan de trabajo, y como se va a difundir.

10´ Cierre del taller Se agradece la participación y se Por definir. despide a los participantes.

46


Anexo N° 4: Ejemplo de matriz de evaluación

(Basada en la herramienta de Unidad de Proyecto) METODOLOGIA

ASPECTO A VARIABLES Revisión fuentes Entrevistas Autoevaluación MEDIR secundarias individuales de capacidades

2. Capacidad

Operativa

2.1. Existen en la Presupuesto X (presupuesto, X (directivos, X Unidad de Proyecto asignado para organigrama, responsables

(UP) recursos actividades de descripción de área

materiales y SyE funciones) administrativa,

financieros Personal área

disponibles para el asignado para programática)

cumplimiento del actividades de

plan de seguimiento SyE

y evaluación (SyE).

2.2. UP cuenta con Perfil de X (CVs, informes X (responsables X personal capacitado personal de estudios y área

en aspectos técnicos involucrado en actividades) programática,

(técnicas actividades de recursos

cualitativas y SyE humanos,

cuantitativas, Experiencias equipos

recolección y institucionales técnicos)

procesamiento, utilizando

manejo de bases de metodologías

datos, etc.) y innovativas de

metodologías SyE

innovativas

(evaluación por

imágenes, mapeo de

actores, etc.) de

SyE.

2.3. UP cuenta con Perfil de X (CVs, informes X (responsables X personal preparado personal de estudios y área

en metodologías involucrado en actividades) programática,

participativas de actividades de recursos

capacitación de SyE humanos,

adultos, y en Experiencias equipos

gestión del institucionales técnicos)

conocimiento y utilizando

aprendizaje en metodologías

organizaciones. de capacitación

de adultos y

gestión de

conocimiento

2.4. UP tiene Políticas X (plan X (directivos, X políticas de institucionales estratégico, responsables

capacitación sobre documentos sobre área

continua en SyE. capacitación y políticas programática,

SyE institucionales, recursos

planes de humanos)

capacitación)

47


Anexo N° 5: Programa detallado para el Taller N°2: Autoevaluación



presentación de

participantes

10´ Presentación del taller: Se recuerda a los participantes el motivo Programa del objetivos y programa de la convocatoria: un ejercicio de taller

autoevaluación de capacidades para el Diagrama N° 3: Seguimiento y Evaluación. También se proceso de les recuerda los objetivos que persigue la medición y organización al realizarlo. Se retoman las desarrollo de características generales del proceso de capacidades en medición y desarrollo de capacidades seguimiento y evaluativas, y dónde se ubica la evaluación.

autoevaluación. Luego se verifica la

presencia de representantes de las

diferentes áreas y niveles de la

organización, no más de 20 personas. Se

definen las reglas del taller: participación

activa, respeto, concentración.

15’ Presentación de la Se entrega a los participantes la Herramienta de herramienta de herramienta de autoevaluación, indicando autoevaluación

autoevaluación y su dónde van a colocar sus respuestas. Se respectiva

calificación explica cómo se va a aplicar:

conversación enfocada y calificación.

Se hace incapié en que las respuestas son

anónimas, y que si por algún motivo debe

salir algún participante por un momento,

no califica esa parte. Se absuelven dudas

sobre la calificación y el proceso en

general. Puede desarrollarse como

ejemplo uno de los ítems de la

herramienta.

1h Aplicación de la Esta se realiza según las indicaciones Indicaciones de la herramienta provistas en la Tercera Parte de la Guía aplicación de la para la medición y desarrollo de herramienta

capacidades para el seguimiento y

evaluación

15´ Coffee break

2 h Aplicación de la

herramienta

(continuación

15’ Siguientes pasos y Se precisa quienes y cómo van a procesar Por definir.

compromisos la información de la autoevaluación,

cómo se va a presentar los hallazgos, y se

recuerda para qué es útil este esfuerzo. Se

acuerdan fechas para los próximos

talleres.

10´ Cierre del taller Se agradece la participación y se despide Por definir.

a los participantes.

48


Anexo N° 6: Ejemplo de reporte individual Autoevaluación de capacidades para el Seguimiento y Evaluación de la

Institución Gubernamental CELADES

Reporte de resultados

Nota: Este es un ejemplo simplificado elaborado con un caso ficticio. Se asume que la Institución Gubernamental CELADES trabaja en la línea de desarrollo rural. Tiene a su cargo varios proyectos pero ha decidido enfocar la autoevaluación alrededor de uno de ellos, el proyecto FIDES. Todos los participantes de este taller tienen alguna relación con este proyecto.

Fecha y hora de la aplicación: Martes 18 de Octubre del 2008, de 9:00 a.m. a 12:00 pm.

Participantes: 1. Sofía Rivera, Coordinadora del Área de Cadenas Productivas

2. Sergio Piérola, Coordinador del Área de Comercialización

3. Elmer Figueroa, Jefe Técnico de la región sur

4. Alma Suárez, Administradora de CELADES

5. Erika Contreras, Directora del Área de Desarrollo Rural

6. Ignacio Silva, Especialista de Planificación y Evaluación de CELADES

7. Jorge Centeno, Especialista en Capacitación de CELADES

8. Ofelia Luna, Jefa Técnica de la región centro

Facilitadores: Juan Ramos

Martina Buendía

Resultados:

El diagrama y tabla que se presentan a continuación resumen los hallazgos de la autoevaluación.

2.6

1.5 3.9

Capacidad baja (promedio entre 1.00 y 2.00)

Capacidad media (promedio entre 2.10 y 3.90)

Capacidad alta (promedio entre 4.00 y 5.00)

49


Cuadro de Síntesis

AREAS DE CAPACIDAD NIVEL DE JUSTIFICACION

CAPACIDAD del nivel de capacidad con evidencias

PROMEDIO

1. Gestión participativa del 2.6

desarrollo

1.1. Institución gubernamental El rol de facilitación se comparte con otros

(IG) está comprometida con una actores, que también están presentes en las

visión de desarrollo donde la regiones.

comunidad es el eje y la UP es el

facilitador de los cambios. 4

1.2. El seguimiento y evaluación Se ha avanzado en el desarrollo de

(SyE) es reconocido como instrumentos. Los coordinadores de cada área

prioridad estratégica en la gestión velan porque exista el seguimiento y

del proyecto y organización. evaluación, y la población demanda esta

función.

Existen documentos estratégicos donde el

3 tema se releva.

1.3. IG reconoce el valor de la Aún se ha hecho muy poco por probar el

teoría del cambio de un proyecto y impacto de los proyectos, se esta

puede explicitar y mostrar a partir comenzando.

de éste resultados e impactos

claros. 1

1.4. Con el apoyo de UP, la IG No tienen esta capacidad los de la UP ni la

puede identificar y analizar sus IG.

capacidades en SyE. 1

1.5. IG comprende conceptos Si a nivel directivo y técnico, falta más

generales sobre un plan de SyE trabajo a nivel administrativo, se está tratando

participativo y se siente capaz de de involucrarlos en el contacto con los

aportar. 3 proyectos.

1.6. En IG la planificación, SyE se Si está articulado, se usa la experiencia

articulan como un sistema práctica, la información del SyE alimenta la

integrado. toma de decisiones, se comparte en las

4 reuniones institucionales.

1.7. IG cuenta con conocimientos Si se tiene esa capacidad, porque se trabaja

y habilidades para la facilitación activamente en la comunidad.

del consenso, negociación y

diálogo, y participación equitativa

de los actores. 2

1.8. IG está bien dispuesto a Si están considerados bajo la filosofía y

involucrar activamente a otros políticas de la institución.

actores clave en la gestión de

proyectos. 3

1.9. IG conoce de mecanismos En proceso de construcción, buscando

establecidos en el proyecto para empatar mejor el sistema de la institución y

dar retroalimentación sobre la del proyecto.

gestión del proyecto y el SyE.

2

2. Operativa 3.9

2.1. IG asigna recursos materiales Se aportan recursos de contrapartida por US$

y financieros para el cumplimiento 2.0 millones, con un porcentaje (no conocido)

del plan de SyE. 5 en seguimiento y evaluación.

2.2. IG cuenta con personal Es un proceso nuevo, recién se ha

capacitado en aspectos técnicos incorporado una persona que es buena con la

(técnicas cualitativas y parte cuantitativa. Hay otros miembros del

cuantitativas, recolección y 3 equipo que saben de técnicas cuantitativas.

50


AREAS DE CAPACIDAD NIVEL DE JUSTIFICACION

CAPACIDAD del nivel de capacidad con evidencias

PROMEDIO

procesamiento, manejo de bases de

datos, etc.) y metodologías

innovativas (evaluación por

imágenes, mapeo de actores, etc.)

de SyE.

2.3. IG cuenta con personal Si, porque se tiene un especialista en

preparado en metodologías capacitación que apoya a todo el equipo. En

participativas de capacitación de gestión de conocimiento, se busca compartir

adultos, y en gestión del lecciones aprendidas en las reuniones de

conocimiento y aprendizaje en trabajo.

organizaciones. 3

2.4. IG tiene políticas de Se realizan actividades de capacitación que se

capacitación continua en SyE. deciden en las reuniones anuales, entre ellas

las referidas a SyE, pero no son políticas.

3

2.5. La estructura organizacional Se ha incorporado una persona

de la IG designa responsables y recientemente.

funciones para el SyE. 5

2.6. El SyE es percibido como un Todos participan y semanalmente dan

trabajo en equipo de toda la IG, no informes de seguimiento. La evaluación de

solo de especialistas en SyE. 4 impactos está en proceso.

2.7. La IG tiene recursos Se tienen algunos libros, y el responsable de

especializados (herramientas, SyE ha mandado algunos textos para leer.

libros, cursos, sitios web, bases de Hay una biblioteca en la institución y la visita

datos, etc.) sobre SyE accesibles gente de fuera.

para el personal involucrado y

otros actores clave. 4

3. Aprendizaje 1.5

3.1. El personal de la IG maneja Tema sensible, falta determinar canales

técnicas de comunicación y adecuados y formas de comunicación con

difusión apropiadas según tipos de actores, no hay una estrategia de

audiencia. comunicación, se basan en ocurrencias de los

1 técnicos.

3.2. En la IG se cuentan con Hay reuniones, también espacios (2-3 veces

espacios institucionales (eventos, al año) para capacitarse en un tema de interés

ambientes, boletines, común. Se tienen boletines.

sistematización, políticas, etc.)

donde se promueve el aprendizaje

interno y externo. 2

3.3. Se incentiva en la IG la En las reuniones de trabajo se comparte las

escucha activa, reflexión e experiencias, pero eso depende de cada uno.

intercambio de aprendizajes. 2

3.4. IG precisa cómo la No siempre, muchas veces se solicita

información del SyE retroalimenta información que no se sabe para que es y no

la planificación (estratégica y se utiliza, representa un costo para el personal

operativa) y otras decisiones. 2 prepararla.

3.5. Se relaciona en la IG la La información se utiliza poco para

información generada por el SyE incidencia de política, el técnico solo conoce

con argumentos para la incidencia. lo que maneja de su proyecto en particular y

1 no para que lo usan los directivos.

3.6. La IG respalda la Sobre las buenas prácticas se promueven en

institucionalización y amplia las reuniones, aunque no está

difusión de mejores prácticas entre sistemáticamente registrado. No

la institución y actores clave. necesariamente se incorporan en la

1 institución.

51

GUIA PARA EL DESARROLLO DE CAPACIDADES Comentarios

De manera general, se observa que CELADES tiene algunos avances y se encuentra aún en proceso. Su promedio general de 2.7 es coherente con esta figura. El promedio de las calificaciones otorgadas por los participantes en la capacidad de Aprendizaje es notoriamente menor que el registrado en las otras dos áreas de capacidad. La capacidad Operativa es la que aparece como más fuertemente consolidada en CELADES, y en medio se encuentra la capacidad de Gestión Participativa de Desarrollo.

Al entrar en el detalle de cada capacidad, se nota que los promedios en la capacidad de Aprendizaje son homogéneamente bajos, entre 1 y 2. Esto crea cierto acuerdo de que es un área débil de la institución, panorama que puede ser propicio para priorizar alguna intervención de desarrollo de capacidades apuntando en este sentido, aunque tomando nota que el tema de manejo de técnicas de información y comunicación según audiencias es sensible por algún motivo que no salió en la autoevaluación. Habría que explorar más la situación y analizar la pertinencia de abordarlo en este momento.

Lo contrario se observa en la capacidad Gestión Participativa de Desarrollo, donde hay variaciones importantes en los puntajes promedio, siendo los más bajos aquellos referidos al manejo de teorías de cambio para probar el impacto, y a la identificación y análisis de capacidades para el SyE. De estos dos aspectos, el de medición del impacto aparece con un tono de urgencia. Cabe destacar cierto desfase entre los puntajes promedio de los ítems 1.7 y 1.8 referidos a la promoción de la participación y manejo de instrumentos para hacerlo, los comentarios son más positivos que los puntajes promedio asignados. Según los puntajes observados y la discusión generada durante la autoevaluación, la intención de promover intervenciones con una alta participación de la comunidad está expuesta, pero falta mejorar los mecanismos para hacer realidad este mandato.

La capacidad Operativa, donde la institución se siente más fuerte, está en este momento en proceso de consolidación porque hay una nueva persona en ese puesto. Los puntajes promedio parecen reflejar más que la situación actual la situación esperada en un futuro que se visualiza como cercano.

Adicionalmente, se ha identificado cierta divergencia de mirada en cuanto a la articulación entre los sistemas de planificación y evaluación. Mientras el promedio del ítem 1.6 señala un enlace importantemente positivo, el correspondiente al 3.4 hace un llamado crítico sobre el uso que se da a la información proveniente del SyE para la mejora institucional. 52


Anexo N° 7: Programa detallado para el taller N° 3: discusión de hallazgos y

planificación por actor



presentación de

participantes

10´ Presentación del taller: Se recuerda a los participantes el motivo Programa del

objetivos y programa de la convocatoria: 1) compartir y analizar taller

los hallazgos de la autoevaluación de Diagrama N° 3:

capacidades para el Seguimiento y proceso de

Evaluación y 2) acordar algunas medidas medición y

para desarrollar capacidades en esa línea. desarrollo de

Se retoman las características generales capacidades en

del proceso de medición y desarrollo de seguimiento y

capacidades evaluativas, y dónde se ubica evaluación.

el Taller N° 3. Se definen las reglas del

taller: participación activa, respeto,

concentración. Se recuerda lo que

persigue la organización con esta

iniciativa.

1h 20’ Presentación y análisis de Se hace una presentación de 30 minutos Reporte de

los hallazgos de la sobre los principales aspectos generales y autoevaluación

autoevaluación específicos sobre la autoevaluación. Se Presentación

tiene un apoyo visual. Puede también preparada para

compartirse el reporte individual la ocasión

preparado y hacerse una lectura colectiva.

Se pide a los participantes primero

realizar preguntas aclaratorias (20

minutos). Luego se da pase a los

comentarios y análisis, intentando

comprender los hallazgos, y destacando la

brecha que existe entre la situación ideal y

la encontrada. Esta secuencia puede

también trabajarse en grupos y reportar

las reflexiones en plenaria (40 minutos).

15´ Coffee break

1h 30’ Plan de acción Se organizan grupos por áreas de

capacidad. Se pide a cada grupo que

profundice su análisis en lo que se

puede hacer para fortalecer las

capacidades en esa área (40). El

esquema de trabajo para el plan

comprende los siguientes puntos:

Definición de objetivos del plan de desarrollo de capacidades y resultados esperados (¿por qué y para qué se hace?).

Discusión y acuerdos sobre las

modalidades (¿cómo se van a fortalecer las capacidades?).

Precisión de actividades y

53



cronograma (¿cuándo y cómo se

va a hacer?).

Estimación de recursos técnicos,

financieros y organizacionales

necesarios y disponibles (¿con qué

recursos se cuenta?).

Se comparte en plenaria las propuestas y toma decisiones preliminares al respecto (50 minutos).

15’ Siguientes pasos y Se precisa quienes y cómo se va a Por definir. compromisos consolidar el plan de acción, y cómo se van a tomar las decisiones sobre ese asunto. Se recuerdan lo que sigue después

de ese taller y se define una fecha para el cuarto y último taller, así como los que participarán en él.

10´ Cierre del taller Se agradece la participación y se despide Por definir. a los participantes.

54


Anexo N° 8: Ejemplo de plan de acción para el desarrollo de capacidades

Plan de Acción para el Desarrollo de Capacidades en Seguimiento y Evaluación

de la Institución Gubernamental CELADES y Proyecto FIDES Año 2009

Nota: Este es un ejemplo simplificado elaborado con un caso ficticio, el mismo que el del ejemplo de reporte individual. Para comprenderlo hay que tomar en cuenta estos supuestos a tomar: 1) La Institución Gubernamental CELADES trabaja en la línea de desarrollo rural. Tiene a su cargo varios proyectos pero ha decidido enfocar el fortalecimiento de capacidades en seguimiento y evaluación en uno de ellos, el proyecto FIDES. 2) Ambos han pasado por un ejercicio de autoevaluación de capacidades siguiendo las indicaciones de esta guía, 3) Este es un plan tentativo, aún sujeto a aprobación, que se basa en la autoevaluación.

Antecedentes:

La Institución Gubernamental CELADES y uno de sus principales proyectos, FIDES, han realizado cada uno de ellos una autoevaluación de sus capacidades evaluativas, siguiendo las pautas desarrolladas por PREVAL para este fin. Parte del proceso comprende a partir de los hallazgos la identificación de puntos de interés afines y la formulación de propuestas de intervención para un plan de acción conjunto en los aspectos priorizados. En este caso, CELADES y FIDES coincidieron en la urgencia de demostrar el impacto de FIDES, ya que éste se encuentra en el tramo final y se avecinan las negociaciones para su posible continuidad.

Este plan es el resultado de los acuerdos surgidos al respecto durante el taller de planificación conjunta realizado el 3 de Noviembre del 2008, y del afinamiento posterior realizado por el Comité ad hoc creado para la medición y desarrollo de capacidades en seguimiento y evaluación de ambas instancias.

Si bien el foco de la intervención en desarrollo de capacidades se encuentra en la relación entre CELADES y FIDES, se entiende que los beneficios trascienden y alcanzan a CELADES y otros proyectos administrados por la institución.

El plan comprende las propuestas para el año 2009. Se prevé un análisis de esta experiencia hacia fines del 2009 para proponer un nuevo plan subsiguiente.

Objetivo del plan:

General: Orientar el desarrollo de capacidades en CELADES y FIDES para realizar el seguimiento y evaluación de manera participativa y empoderadora.

55


Específico: Proponer algunas estrategias para el desarrollo de capacidades evaluativas en

CELADES y FIDES.

Plantear actividades para fortalecer las capacidades para el seguimiento y evaluación en CELADES y FIDES de manera conjunta.

Estrategias propuestas:

Se contaría con un Comité que organice y conduzca el desarrollo de capacidades

evaluativas, ya sea reafirmando el anterior, recomponiéndolo, o conformando uno nuevo. Se sugiere que esté compuesto por los interesados en incorporar el seguimiento y evaluación participativo y empoderador dentro de CELADES y FIDES.

Ante la ausencia de un presupuesto especialmente asignado para el desarrollo de capacidades evaluativas, se identificaría en el plan operativo de FIDES para el 2009, aquellas actividades relacionadas con el seguimiento y evaluación que puedan contribuir con la prioridad establecida, la medición de impacto. Se aseguraría que se generen oportunidades de aprendizaje para CELADES y FIDES al ejecutar dichas actividades. Puede preverse por ejemplo la sistematización de cómo se llevó a cabo el plan de desarrollo de capacidades, fomentar en paralelo grupos de interés sobre temas específicos, promover la revisión de pares sobre situaciones peculiares dentro del desarrollo de capacidades, incluir un espacio de reflexión rápida para identificar lecciones aprendidas luego de la ejecución de actividades clave, involucrar a varios integrantes de la institución en momentos oportunos, etc.

Se daría especial atención a tres aspectos débiles identificados por la autoevaluación: la

representación de la teoría de cambio (capacidad de gestión participativa de desarrollo),

el uso de metodologías cualitativas e innovativas para el seguimiento y evaluación

(capacidad operativa), la comunicación y uso de la información del seguimiento y

evaluación según audiencias (capacidad de aprendizaje). Se aprovecharía la fortaleza

identificada en metodologías cuantitativas.

Se involucraría al principal donante de FIDES (HDS) en el desarrollo del plan de desarrollo de capacidades, e incluso si acepta, en el Comité a cargo de este proceso. Se le plantearía apoyar la contratación de un especialista en seguimiento y evaluación con fuertes habilidades en facilitación y aprendizaje, para asesorar el proceso. Podría además explorarse que otros actores estarían interesados en reforzar las capacidades para medir el impacto en FIDES y CELADES o en el estudio mismo, para conseguir recursos complementarios.

Los involucrados en la promoción de capacidades evaluativas dentro de CELADES tendrían una participación activa en las actividades planteadas en este plan, y acompañarían cercanamente a FIDES.

56


Actividades y cronograma:

Actividades Responsables Año 2009

Tema: Evaluación de Trim1 Trim2 Trim3 Trim4 impacto

Selección de Asesor Comité de Desarrollo de X

Externo Capacidades en

Seguimiento y

Evaluación

Capacitación en teorías de Asesor externo/ X

cambio y evaluación de Especialista en

impacto a todos los capacitación de

involucrados. CELADES/

Especialistas en

seguimiento y

evaluación de

CELADES y FIDES

Reconstrucción de la teoría Asesor externo/ X

de cambio en FIDES. Especialistas en

seguimiento y

evaluación de

CELADES y FIDES

Definición de preguntas de Comité de Desarrollo de X

evaluación y usos de los Capacidades en

hallazgos del estudio. Seguimiento y

Evaluación

Asesor externo/

Especialistas en

seguimiento y

evaluación de

CELADES y FIDES/

Directivos de

CELADES y FIDES

Diseño del estudio Asesor externo/ X

(variables, metodología, Especialistas en

muestra, responsables, seguimiento y

cronograma, etc.) evaluación de

CELADES y FIDES

Implementación del Asesor externo/ X

estudio Especialistas en

seguimiento y

evaluación de

CELADES y FIDES

Análisis e interpretación Comité de Desarrollo de X

de hallazgos. Capacidades en

Seguimiento y

Evaluación

Asesor externo/

Especialistas en

seguimiento y

57


Actividades Responsables Año 2009

evaluación de

CELADES y FIDES/

Directivos de

CELADES y FIDES

Sistematización del Asesor externo/ X

proceso Especialistas en

seguimiento y

evaluación de

CELADES y FIDES

Difusión de hallazgos. Comité de Desarrollo de X

Capacidades en

Seguimiento y

Evaluación/ Directivos

de CELADES y FIDES

Toma de decisiones Comité de Desarrollo de X relacionadas con el Capacidades en

estudio. Seguimiento y

Evaluación/ Directivos

de CELADES y FIDES

Recursos disponibles:

Las actividades comprendidas en el plan operativo 2009 de FIDES se encuentran financiadas. De manera adicional, CELADES podría aportar con $5,000 de su presupuesto para seguimiento y evaluación, y pone a disposición las instalaciones y equipos institucionales para el desarrollo de las actividades previstas.

Esta pendiente la exploración de recursos adicionales por parte del donante principal de FIDES.

58


Anexo N° 9: Programa detallado para el taller N° 4: planificación conjunta



presentación de

participantes

10´ Presentación del taller: Se recuerda a los participantes el motivo Programa del

objetivos y programa de la convocatoria: 1) compartir y analizar taller

los hallazgos de la autoevaluación de Diagrama N° 3:

capacidades para el Seguimiento y proceso de

Evaluación y 2) acordar algunas medidas medición y

para desarrollar capacidades de manera desarrollo de

conjunta. Se retoman las características capacidades en

generales del proceso de medición y seguimiento y

desarrollo de capacidades evaluativas, y evaluación.

dónde se ubica el Taller N° 4. Se definen

las reglas del taller: participación activa,

respeto, concentración. Se recuerda lo que

persigue la organización con esta

iniciativa.

1h 20’ Presentación y análisis de Se hace una presentación de 40 minutos Presentación

los hallazgos de la sobre los principales aspectos generales y preparada para la

autoevaluación específicos sobre la autoevaluación, ocasión

comparando afinidades y diferencias entre

la Unidad de Proyecto e Institución

Gubernamental. Se evita entrar en detalles

que puedan poner en situación incómoda

a algunos de los actores. Se tiene un

apoyo visual. Se pide a los participantes

primero realizar preguntas aclaratorias (20

minutos). Luego se da pase a los

comentarios y análisis, intentando

comprender los hallazgos, y destacando la

brecha que existe entre la situación ideal y

la encontrada en la relación entre ambos

actores. Esta secuencia puede también

trabajarse en grupos y reportar las

reflexiones en plenaria (40 minutos).

15´ Coffee break

1h 30’ Plan de acción Se presentan primero los puntos en Presentación

que tanto la Unidad de Proyecto como preparada para la

la Institución Gubernamental han ocasión

coincidido. Luego a modo general los

aspectos en que se diferencian. Se

revisa y acuerdan las acciones que se

van a realizar de manera conjunta (30

minutos).

Seguidamente en grupos mixtos se

distribuyen las actividades y se pide

desarrollar los siguientes aspectos (30

minutos):

59



Definición de objetivos del plan de

desarrollo de capacidades y

resultados esperados (¿por qué y

para qué se hace?).

Discusión y acuerdos sobre las

modalidades (¿cómo se van a

fortalecer las capacidades?).

Precisión de actividades y

cronograma (¿cuándo y cómo se

va a hacer?).

Estimación de recursos técnicos,

financieros y organizacionales

necesarios y disponibles (¿con qué

recursos se cuenta?).

Se comparte en plenaria las propuestas y toma decisiones preliminares al respecto (30 minutos).

15’ Siguientes pasos y Se precisa quienes y cómo se va a Por definir. compromisos consolidar el plan de acción conjunto, y cómo se van a tomar las decisiones sobre ese asunto. Se recuerdan lo que sigue después de ese taller y se define una fecha

para tener listo el plan, así como los que colaborarán en él.

10´ Cierre del taller Se agradece la participación y se despide Por definir. a los participantes.

60

DIAGNÓSTICO DEL FUNCIONAMIENTO DE LOS …evalperu.org/sites/default/files/resources/file/GUIA DC EN...

Documents

Transcript of DIAGNÓSTICO DEL FUNCIONAMIENTO DE LOS …evalperu.org/sites/default/files/resources/file/GUIA DC EN...