POLÍTICAS DE EVALUACIÓN EN LA COOPERACIÓN PARA EL DESARROLLO Diferentes aproximaciones a una realidad cambiante
ES 03
Sonia Franco Alonso Ana Ballesteros Pena
Sara M. Ulla Díez Aisha Al-Said Albella
Edición: Septiembre 2015© Ministerio de Asuntos Exteriores y de CooperaciónSecretaría de Estado de Cooperación Internacional y para IberoaméricaSecretaria General de Cooperación Internacional para el Desarrollo
NIPO on line: 502-15-071-7Se autoriza la reproducción total o parcial de esta obra por cualquier medio o procedimiento, conocido o por conocer, comprendidas la reprografía y el tratamiento informático, siempre que se cite adecuadamente la fuente.
Para cualquier comunicación relacionada con esta publicación, diríjanse a:División de Evaluación de Políticas para el Desarrollo y Gestión del ConocimientoSecretaría General de Cooperación Internacional para el DesarrolloMinisterio de Asuntos Exteriores y de CooperaciónSerrano Galvache, 26, torres Ágora, Torre Norte. 28071 MadridTel.: +34 91 394 [email protected]
iii
1. INTRODUCCIÓN ............................................................... 1
2. CONCEPTOS PREVIOS ...................................................... 3
2.1. La evaluación en un escenario complejo ............... 3
2.2. Evolución de la evaluación en cooperación
internacional para el desarrollo ........................... 4
2.3. Qué entendemos por política de evaluación y cuál
es su relación con la práctica evaluativa .............. 8
2.4. La aproximación a la evaluación de la Cooperación
Española ............................................................ 10
3. ANÁLISIS COMPARADO DEL CONTENIDO DE DISTINTAS
POLÍTICAS DE EVALUACIÓN Y LA POLÍTICA DE
EVALUACIÓN DE LA COOPERACIÓN ESPAÑOLA ................. 14
3.1. Documentos incluidos en el análisis ................... 14
3.2. Dimensiones analizadas ...................................... 17
3.3. Principales resultados ........................................ 18
4. CONCLUSIONES ............................................................. 49
4.1. Las principales tendencias en las políticas de
evaluación de cooperación internacional para el
desarrollo en la actualidad ................................. 49
REFERENCIAS BIBLIOGRÁFICAS…………………………………..56
ÍNDICE
1
1. INTRODUCCIÓN
El año 2015 supone un hito en las políticas de cooperación
internacional para el desarrollo desde que en el año 2000 con la
Conferencia del Milenio se estableciera la Agenda de los Objetivos
de Desarrollo del Milenio. La aprobación, en septiembre de este
año, de los 17 Objetivos de Desarrollo Sostenible propuestos en el
Final Draft of the outcome for the UN Summit to adopt the Post-
2015 Development Agenda (UN, 2015) tras un debate
ampliamente participativo que ha tenido lugar durante los últimos
dos años, dirigirá la atención sobre “un plan de acción para las
personas, el planeta y la prosperidad”. En este nuevo marco de
actuación, la evaluación toma mayor protagonismo que en la
anterior agenda, a través de la inclusión del epígrafe “Seguimiento
y revisión”, que contiene 17 metas generales y concretas para los
niveles global, nacional y regional.
El 2015 también ha sido reseñable por la celebración del Año
Internacional de la Evaluación y del Año Europeo del Desarrollo,
pues se han abierto muchos debates en la comunidad internacional
en torno a los elementos clave que deben confluir para que la
función de evaluación, que se sustenta sobre la política de
evaluación y la práctica evaluativa, pueda implantarse de una
manera consistente en el sistema de cooperación internacional
para el desarrollo. Tres son los aspectos que vienen suscitando
más consenso en este sentido: un ambiente y un contexto
sociopolítico a favor de la evaluación, un marco institucional
adecuado, y suficientes y apropiadas capacidades individuales de
los distintos actores públicos.
Las políticas o guías de evaluación de las agencias donantes
analizadas en este documento son el reflejo de los pasados y
INTRODUCCIÓN
Políticas de evaluación de la cooperación para el desarrollo
2
actuales debates en torno a los elementos mencionados en el
párrafo anterior y al renovado compromiso de consolidar la cultura
de la evaluación en el ámbito de la cooperación para el desarrollo.
Fruto de estos debates, y con el objetivo de mejorar la función
evaluativa en el ámbito de la cooperación internacional, las
agencias bilaterales y multilaterales han acudido a ejercicios de
diseño y puesta en marcha de políticas de evaluación.
En este sentido, el objetivo de este artículo al presentar el
resultado del análisis de los contenidos de las políticas de
evaluación de cooperación internacional para el desarrollo de
algunas agencias bilaterales y multilaterales de desarrollo. Estas,
en parte sirvieron para la construcción de la Política de Evaluación
de la Cooperación Española (MAEC, 2013a), con el fin de
retroalimentar y fortalecer la función de evaluación y orientar el
cambio para la mejora de la política de cooperación internacional
para el desarrollo.
La estructura del documento comienza con un apartado que
introduce el marco conceptual y de políticas, con una breve
descripción de la cooperación española, desde el que se han
analizado el resto de políticas y directrices de evaluación. En el
apartado siguiente se presenta una revisión del contenido de
diferentes políticas de evaluación, incluyendo la Política de
Evaluación de la Cooperación Española. El documento cierra con
las principales conclusiones y recomendaciones de cara a la nueva
agenda de los Objetivos de Desarrollo Sostenible.
3
2. CONCEPTOS PREVIOS
2.1. La evaluación en un escenario complejo
La cooperación internacional para el desarrollo, como toda
acción pública, debe rendir cuentas de su quehacer ante la
ciudadanía y tiene la responsabilidad de aprender de su práctica.
La evaluación de cualquier intervención de cooperación
internacional para el desarrollo1, la acción humanitaria y la
educación para el desarrollo deben abrigar desde la comprensión
hasta la retroalimentación y deben contribuir a la rendición de
cuentas y a la mejora del objeto evaluado considerando los
cambios que ha generado en la realidad.
El actual escenario de complejidad de la cooperación
internacional para el desarrollo, en el que las agencias
multilaterales y los países donantes se enfrentan a una realidad
muy compleja (Argilés, 2013; Collins y Stirrat, 2008; Ramalingam,
Laric y Primrose, 2014), traslada al ámbito de la evaluación
grandes desafíos técnicos y políticos, de ahí que, en la actualidad,
los sistemas de evaluación se encuentran ante la encrucijada de
adaptarse para responder a tales retos. La evaluación debe ser un
medio para generar aprendizajes que permitan mejorar la eficacia
y la calidad de las intervenciones de la cooperación internacional
para el desarrollo, así como aportar elementos suficientes para la
transparencia y la rendición de cuentas. Para ello, en el proceso
evaluativo deben emplearse una metodología y unas técnicas
rigurosas en la recolección y el análisis de la información.
1 Hablaremos de intervención en sentido genérico para facilitar la lectura. No obstante, llamamos la atención de que con ello, nos referimos a cualquier acción o instrumento que emplee la cooperación internacional para el desarrollo, desde los documentos de estrategia política hasta los proyectos más concretos.
CONCEPTOS PREVIOS
Políticas de evaluación de la cooperación para el desarrollo
4
La evaluación debe formar parte nuclear, por tanto, del sistema
de gestión del conocimiento de la cooperación internacional para el
desarrollo, pues se trata del proceso que permite comprender y
valorar críticamente el conjunto de elementos y dimensiones que
integran las intervenciones, favoreciendo el aprendizaje y la
extracción de lecciones consistentes y útiles, tanto sobre los
propios objetos de evaluación como sobre los contextos en los que
éstos se enmarcan. Por ello, el proceso de aprendizaje de la
evaluación debe implicar tanto a las personas e instituciones
responsables de la dirección y gestión de las intervenciones como
al conjunto de actores que participan en su diseño y ejecución, así
como a las personas y organizaciones que son destinatarias finales
de los programas (MAEC, 2013a).
Como hemos señalado, la evaluación facilita la transparencia y
contribuye a la responsabilización a través de la rendición de
cuentas. Por ello, es necesario que las evaluaciones sean
equilibradas y rigurosas, que los informes de evaluación sean
públicos y accesibles y que aporten información relevante para
explicar el funcionamiento y los resultados de las intervenciones de
cooperación internacional para el desarrollo (Monterde, 2014; Ulla
y Argilés, 2014; Winckler, 2014). La evaluación contribuye además
a la transformación social no sólo a través del uso de sus
productos, sino también en cuanto proceso catalizador de cambios
en los niveles personal, organizativo y sistémico. Para propiciar
este potencial transformador, es fundamental apoyar el desarrollo
de las capacidades de los diferentes actores implicados, promover
su participación efectiva en las distintas fases de los procesos
evaluativos, e impulsar el diálogo, la reflexión crítica y la revisión
de las prácticas y asunciones (MAEC, 2013a).
2.2. Evolución de la evaluación en cooperación internacional para
el desarrollo
Para nuestro repaso por el recorrido de la evaluación de la
cooperación internacional para el desarrollo, hemos tomado
5
inicialmente como referencia, hasta el año 2000, la cronología de
la evaluación en cooperación para el desarrollo de Cracknell
(2000), donde se establecen cuatro fases de evaluación en el
marco de la Ayuda Oficial al Desarrollo (AOD): desarrollos
tempranos (desde finales de la década de 1960 hasta 1979);
explosión de interés (entre 1979 y 1984); mayoría de edad (entre
1985 y 1988); y evaluación de la ayuda en la encrucijada (desde
1988 hasta la publicación de su libro en el año 2000).
Otro documento de referencia fundamental para conocer el
recorrido de la evaluación en las últimas décadas es el informe del
CAD en el que realizan un análisis a la luz de 30 años de
experiencia en evaluación (OCDE, 2013), donde, se proponen los
hitos más importantes que, históricamente, hicieron evolucionar la
evaluación de la ayuda tal y como se entiende en la actualidad.
En los años sesenta el enfoque para evaluar la mayoría de las
intervenciones de cooperación internacional para el desarrollo se
ceñía a la estimación de las tasas de retorno financiero y
económico (Binnendijk, 1989). Durante esa época, en la que la
ayuda se orientaba en buena medida a la ejecución de proyectos
de creación de infraestructuras y fortalecimiento industrial, el
enfoque de evaluación utilizado parecía apropiado para el tipo de
cooperación que realizaban los donantes. A partir de esta década,
el Informe Partners in Development, también llamado Informe
Pearson (Pearson, 1969), desplazó el énfasis de la inversión en
infraestructuras del sistema de cooperación internacional para el
desarrollo hacia la satisfacción de las necesidades básicas de las
personas pobres. Por ello, la estimación de las tasas de retorno
financiero y económico como método de valoración de proyectos
se volvió insuficiente por las dificultades que mostraba para
conocer datos sobre equidad, distribución, beneficio social e
impacto.
CONCEPTOS PREVIOS
Políticas de evaluación de la cooperación para el desarrollo
6
Tras el surgimiento de diversas propuestas metodológicas para
la evaluación de la cooperación internacional para el desarrollo, el
Comité de Ayuda al Desarrollo (CAD) de la OCDE decidió poner en
marcha sendos seminarios sobre evaluación durante la década de
los setenta que dieron como resultado la celebración de dos
reuniones de alto nivel: en noviembre de 1979, la Reunión de Alto
Nivel para la creación del Group of Correspondents on Aid
Evaluation y en 1982 la organización de un Encuentro de Alto Nivel
(OCDE, 2013a). Como resultado del debate producido durante
estas conferencias y del contexto previo, las agencias
multilaterales y los países donantes adoptaron de forma amplia el
Enfoque del Marco Lógico, tanto como herramienta de diseño como
para los marcos conceptuales de la evaluación. La construcción de
los marcos conceptuales, llamados por el CAD marco global, marco
país, marco de proyecto y marco de la agencia donante (OCDE,
1975), tenía como principal objetivo valorar la contribución hacia
el logro de los resultados, conocer los problemas de desarrollo de
un país concreto para analizar las limitaciones de las
intervenciones implementadas, analizar los efectos concretos de
un proyecto, así como informar a las autoridades responsables de
la AOD del uso y destino de los fondos de cooperación.
Durante las décadas de los setenta y ochenta, las teorías del
desarrollo giraban en torno a los proyectos como las unidades más
importantes de intervención, en el crecimiento como objetivo del
desarrollo, en la sustitución de importaciones y en la planificación
desde las sedes centrales. Esta visión de la planificación y la
implementación dominaba las visiones en la evaluación de la
cooperación para el desarrollo, que se centró, durante esta época
y salvo algunas excepciones, en la evaluación de proyectos como
único instrumento de la cooperación, en el análisis coste beneficio,
en el precio sombra y en la autoevaluación o la evaluación
centrada en las unidades de planificación. Durante esta fase de la
evaluación de la AOD, el énfasis metodológico se concentró en
establecer la evaluación como una parte clave del ciclo del
7
proyecto y se orientó el énfasis hacia el diseño y el establecimiento
de criterios para conocer en qué medida se había logrado el éxito
en el desempeño del proyecto (Cracknell, 2000).
No fue hasta los años ochenta cuando las agencias y los países
donantes comenzaron a desarrollar y publicar metodologías de
evaluación que trataban de poner cierta claridad en lo que hasta
ese momento había sido un trabajo menos coordinado (con
algunas agencias más avanzadas y con otras más rezagadas en el
diseño y gestión de evaluaciones)2. Es en esta década cuando se
crean estructuras y se publican documentos que, con algunos
cambios, siguen vigentes en la actualidad. Son, por ejemplo, los
casos de la creación del grupo de evaluación de la ayuda en el CAD
en 1982, la celebración de conferencias y la publicación de una
gran variedad de libros y artículos sobre la evaluación de la
cooperación internacional para el desarrollo, que aún a día de hoy
siguen de actualidad. El impulso inicial hacía la realización de
evaluaciones conjuntas se inició también en los años ochenta, en
lo que conoce como el “multi-donor coordination of evaluation
activities”, y desde entonces, la importancia de las evaluaciones
conjuntas ha sido creciente.
Sin embargo, la definición de evaluación de la ayuda no se
publicaría hasta el año 1991, en el documento del CAD de
Principios para la evaluación de la ayuda al desarrollo (OCDE,
2013a). Los principios de eficacia de la ayuda, establecidos por el
CAD en 1992 (OCDE, 2013a), profundizaron asimismo en este
cambio de paradigma a través de la combinación de la orientación
a resultados de desarrollo, la apropiación, las alianzas y los
enfoques a largo plazo, elementos que influyeron en la selección
de los criterios del CAD (pertinencia, eficacia, eficiencia, impacto y
2 Por ejemplo, el Banco Mundial y la agencia USAID comenzaron a utilizar el enfoque del marco lógico como herramienta de diseño de intervenciones diez años antes que los donantes europeos.
CONCEPTOS PREVIOS
Políticas de evaluación de la cooperación para el desarrollo
8
sostenibilidad) como marco principal para la realización de
evaluaciones.
Posteriormente, a partir de la Declaración de los Objetivos de
Desarrollo del Milenio (2000) y del Consenso de Monterrey (2002),
los donantes de AOD se orientaron a la implementación de los
Programas País, al ajuste estructural, hacia las políticas orientadas
hacia el exterior y a la toma de decisiones descentralizada, que se
reflejó en la evaluación a través de la planificación de las
evaluaciones, el diseño de políticas de evaluación, el análisis de
riesgos y la realización de evaluaciones participativas (Picciotto,
2002).
A pesar de que existen otras publicaciones que proponen
cronologías diferentes, y aunque todas tienen en común que
establecen diferencias entre las fases anteriores y el momento
actual, la propuesta de Cracknell tiene unas características que nos
sirven para nuestro análisis, así como para abrir las puertas a una
descripción del momento actual de la evaluación de la cooperación
internacional para el desarrollo, desde el año 2000 a nuestros días.
2.3. Qué entendemos por política de evaluación y cuál es su
relación con la práctica evaluativa
Tomando como punto de partida la literatura existente al
respecto, es importante reflexionar sobre lo que es y lo que no es
una política de evaluación con el fin de delimitar nuestro marco de
análisis. Una de las preguntas clave a la hora de plantearse una
posible definición de política de evaluación tiene que ver con la
forma en que la distinguimos de otros lineamientos estratégicos
que podrían potencialmente confundirse con ella. Por ejemplo,
¿cuáles serían las diferencias entre una política y una guía, una
directriz, una orientación, un mandato, una norma o una
aproximación teórica? La respuesta no es siempre clara, ni las
9
definiciones permiten siempre una discriminación exacta. Una
propuesta sería que las directrices, las orientaciones, etc. se
convierten en políticas de evaluación sólo cuando se adoptan
conscientemente por la organización o por el Estado para guiar las
decisiones o acciones sobre evaluación de determinada política
(Trochim, 2009). Siguiendo este planteamiento, las directrices y
orientaciones sobre evaluación en cooperación internacional para
el desarrollo se convierten en política de evaluación cuando la
organización o la agencia responsable las utilizan para instaurar su
manera de hacer evaluación en cooperación internacional para el
desarrollo.
Partiendo de estas premisas ¿cómo definiríamos política de
evaluación? Cooksy, Mark y Trochim (2009,4) entienden las
políticas de evaluación “como (aunque no sólo) mandatos de alto
nivel integrados en la legislación que se utilizan para guiar la
práctica de la evaluación”. Por su parte, Trochim (2009) define la
política de evaluación como "todo mandato o principio que un
grupo u organización utiliza para guiar sus decisiones y acciones al
hacer evaluación”.
¿Cuáles serían entonces las señas de identidad de una política
de evaluación? Nos encontramos, en primer lugar, con que la
política de evaluación es un elemento crítico para la práctica de la
evaluación porque da forma y moldea a la práctica evaluativa, de
modo que puede posibilitar, promover o limitar, la potencial
contribución que la evaluación puede realizar.
Un segundo elemento importante que subyace a estas
definiciones es la idea de que la política de evaluación merece más
atención explícita, tanto en la literatura formal como en el diálogo
informal sobre evaluación.
Una tercera creencia sería que una mayor participación de los y
las profesionales de la evaluación en la política de evaluación
CONCEPTOS PREVIOS
Políticas de evaluación de la cooperación para el desarrollo
10
podría abrir la puerta para mejoras significativas en la práctica de
la evaluación (Trochim, 2009).
Para clasificar las políticas de evaluación en su relación con la
práctica evaluativa, Trochim propone analizar los siguientes ocho
aspectos de las políticas:
1. Objetivos: definición de evaluación (qué es y qué no es
evaluación).
2. Participación: qué actores están involucrados en los
procesos de evaluación.
3. Fortalecimiento de capacidades: recursos humanos
destinados a evaluación.
4. Gestión: qué se evalúa y cuándo se evalúa, cómo se
gestiona el proceso, con qué marco presupuestario se
cuenta.
5. Roles: cuáles son las responsabilidades que las diferentes
personas tienen en los procesos de evaluación.
6. Procesos y métodos: aproximaciones metodológicas
recomendadas o requeridas.
7. Utilidad: cómo van a ser usados los resultados, las
conclusiones y las recomendaciones de la evaluación.
8. Metaevaluación: evaluación de la evaluación, principios y
valores.
Aunque el propósito de nuestro análisis no es clasificar las
políticas revisadas, la propuesta analítica de Trochim nos resulta
de gran utilidad para la organización de nuestro análisis.
2.4. La aproximación a la evaluación de la Cooperación Española
En el IV Plan Director de la Cooperación Española 2013–2016
(en adelante el IV Plan Director) se señala que el objetivo final de
la Cooperación Española es “contribuir al desarrollo humano, la
disminución de la pobreza y el pleno ejercicio de los derechos”,
11
situando al conocimiento derivado de las buenas prácticas y de los
fracasos como elemento de aprendizaje para el logro de dicho
objetivo.
De esta forma, el aprendizaje y la mejora se sitúan como dos
pilares fundamentales para la Cooperación Española. En esta
misma línea, el IV Plan Director hace una apuesta explícita por
enmarcar sus acciones bajo un enfoque para resultados de
desarrollo que deben quedar expresamente definidos en los
procesos de diálogo que se establecen entre los actores de la
Cooperación Española y sus interlocutores, los cuales son
contextualizados en cada una de las áreas en las que la
Cooperación Española desarrolla su trabajo. Con el fin de
promover el cambio en los países donde actúa, la Cooperación
Española deberá contar con diferentes fuentes de conocimiento:
• La gestión de la información mediante sistemas que
garanticen la accesibilidad, fiabilidad y actualización de la
información.
• La evaluación orientada a la mejora continua.
• La generación de conocimientos referidos a la realidad de
los problemas del desarrollo mediante investigaciones y
estudios del desarrollo.
• El seguimiento vinculado a resultados de desarrollo.
Si bien todos los Planes Directores de la Cooperación Española
han incluido indicaciones en materia de evaluación, la primera
Política de Evaluación de la Cooperación Española, formalizada
como tal, no se publicó hasta el año 2007. Este documento, junto
a las Metodologías de Evaluación de la Cooperación Española y al
Manual de Gestión de Evaluaciones de la Cooperación Española
(MAE, 2007a), sentaban las bases de la función de evaluación en
CONCEPTOS PREVIOS
Políticas de evaluación de la cooperación para el desarrollo
12
el sistema de cooperación español en los últimos años3. De ahí que
en 2012 el Ministerio de Asuntos Exteriores y de Cooperación
(MAEC) de España plantease la necesidad de abrir el nuevo ciclo
con la revisión de la Política de Evaluación de la Cooperación
Española, con el fin tanto de adaptarla a los desafíos que se venían
planteando dentro del contexto internacional como de adecuarla a
un escenario económico y político-administrativo español que
había sufrido importantes cambios.
La División de Evaluación de Políticas para el Desarrollo y
Gestión del Conocimiento de la Secretaría General de Cooperación
Internacional para el Desarrollo (SGCID) de la Secretaría de
Estado de Cooperación Internacional y para Iberoamérica (SECIPI)
del MAEC (en adelante, la División de Evaluación), fue la
responsable de liderar el proceso de revisión de la Política de
Evaluación de la Cooperación Española de 2007 (MAE, 2007b).
Esta revisión fue llevada a cabo de manera participativa a través
de un proceso de reflexión abierto al conjunto de la Cooperación
Española durante el año 2012, concretándose la redacción del
nuevo documento a lo largo del primer trimestre de 2013 (MAEC,
2013).
Este proceso de revisión comenzó en el primer semestre de
2012 con un diagnóstico de la situación, para el que se contó con
especialistas del ámbito académico y de la Agencia Estatal de
Evaluación de las Políticas Públicas y la Calidad de los Servicios
(AEVAL). Entre los espacios de participación que nutrieron la
nueva Política de Evaluación tuvo un papel especialmente
relevante la celebración de las Jornadas sobre evaluación y
cooperación para el desarrollo de diciembre de 2012, organizadas
por la División de Evaluación, en las que se contó con la
participación de especialistas en evaluación y cooperación
3 En el sitio Web de Cooperación Española http://www.cooperacionespanola.es/ está disponible toda la documentación relevante en este sentido.
13
nacionales e internacionales. También Incluyeron un taller de
trabajo con los diferentes actores de la Cooperación Española para
presentar y debatir un primer borrador de la nueva Política, y
también se contó con una página Web, que permitió recabar de
manera abierta diferentes comentarios de todas aquellas personas
interesadas en el proceso.
La nueva Política de Evaluación de la Cooperación Española
(MAEC, 2013a) fue aprobada formalmente por el titular de la
SECIPI el 17 de mayo de 2013 y está actualmente en vigencia.
Resumidamente, los cuatro pilares sobre los que se asienta la
Política de Evaluación de 2013 son los siguientes:
• Mejora de la articulación de la función de evaluación en el
conjunto del sistema español de cooperación.
• Incremento de la calidad, la credibilidad y la utilidad de las
evaluaciones, de manera que impulsen el aprendizaje y la
retroalimentación.
• Respuesta a los nuevos retos que plantea la agenda al
desarrollo.
• Fomento de la transparencia y de una mayor rendición de
cuentas.
De manera paralela, la División de Evaluación llevó a cabo un
estudio sobre el estado de la evaluación en la cooperación
descentralizada española y un análisis comparado de las políticas
de evaluación de cooperación para el desarrollo en la comunidad
internacional cuya finalidad era servir de base y de orientación en
el proceso de revisión de la Política de Evaluación de la
Cooperación Española. Por tanto, la actual Política de Evaluación
de la Cooperación Española es fruto tanto de un proceso
participativo de consultas como de un proceso de reflexión. El
análisis que se presenta en este documento formó parte de ese
trabajo.
CONCEPTOS PREVIOS
Políticas de evaluación de la cooperación para el desarrollo
14
3. ANÁLISIS COMPARADO DEL
CONTENIDO DE DISTINTAS POLÍTICAS
DE EVALUACIÓN Y LA POLÍTICA DE
EVALUACIÓN DE LA COOPERACIÓN
ESPAÑOLA
3.1. Documentos incluidos en el análisis
El objetivo inicial del trabajo era el abordaje de una nueva
Política de Evaluación de la Cooperación Española, y a tal fin se
realizó un análisis bibliográfico que permitiera concretar los
campos y dimensiones de las políticas de evaluación que debían
ser objeto de especial análisis o categorización. Entre la
bibliografía inicialmente examinada destacaron dos estudios: el
trabajo realizado, conjuntamente, por la Agence Française de
Développement (AFD) y el Overseas Development Institute (ODI),
en 2007, titulado A Comparative Study of Evaluation Policies and
Practices in Development Agencies; y el estudio publicado por el
Comité de Ayuda al Desarrollo (CAD) de la Organización para la
Cooperación y el Desarrollo Económico (OCDE) en 2009, titulado
Development Evaluation Resources and Systems - A Study of
Network Members.
Los criterios de selección de las agencias e instituciones
bilaterales y multilaterales de desarrollo objeto del análisis
comparado han sido: por un lado, su trayectoria en cooperación
internacional para el desarrollo y la importancia de la función de
evaluación en su política; y por otro, sus analogías respecto al
sistema español, su actualidad y su carácter innovador. Se
incluyeron en el análisis las directrices, orientaciones y políticas de
evaluación de cooperación para el desarrollo de agencias
bilaterales y multilaterales de desarrollo. Un primer análisis fue
15
realizado en 2012 si bien posteriormente se actualizó en los
primeros meses de 2014, con la revisión de las políticas,
estrategias, orientaciones y mandatos de aquellos donantes
bilaterales donde se hubieran producido modificaciones a lo largo
de los últimos meses4. En síntesis, entre 2012 y 2014 se
analizaron las políticas, estrategias, orientaciones de evaluación de
la cooperación internacional para el desarrollo de diez Estados
miembros del CAD de la OCDE; dos bancos regionales de
desarrollo; cuatro organismos multilaterales de desarrollo del
Sistema de Naciones Unidas; y dos instancias de la Comisión
Europea responsables de la cooperación al desarrollo y la acción
humanitaria. Nueve de los cuales tienen, stricto sensu, una política
de evaluación de su cooperación para desarrollo como tal,
mientras que los otros nueve habían hecho públicos distintos
documentos de orientaciones y directrices con distintos niveles de
profundidad y detalle.
En la tabla 1 a continuación5 se caracterizan los casos
analizados, el país, la agencia u organismo y la tipología del
documento:
4 Concretamente, la comparativa se complementó con la revisión de: las Directrices actualizadas de JICA [Official development assistance (ODA). Evaluation Guidelines, 2013. Japan International Cooperation Agency (JICA)]; la nueva Política del DFID [DFID Evaluation Policy, 2013. Department for International Development (DFID), United Kingdom (UK) Government]; la Política de la AEFD [Politique d’évaluation de l’AFD, 2013. Agence française de développement (AFD)] ; y la nueva Política de la cooperación suiza [Politique d’évaluation de la DDC, 2013. Direction du développement et de la coopération (DDC)]. 5 En el documento matriz, que sirvió de base para el análisis, se analizó el contenido de cada uno de los casos analizados. La información recogida se sistematizó por apartados, con uno dedicado a cada uno de los aspectos analizados donde se dedicaba un espacio reservado para cada uno de los casos analizados.
ANÁLISIS COMPARADO DEL CONTENIDO DE DISTINTAS POLÍTICAS DE EVALUACIÓN Y
LA POLÍTICA DE EVALUACIÓN DE LA COOPERACIÓN ESPAÑOLA
Políticas de evaluación de la cooperación para el desarrollo
16
Tabla 1.- Tipología de los casos analizados
País/ Agencia/ Organismo Tipología
Estados miembros del CAD de la OCDE
1. Alemania (BMZ/GIZ/KfW)6 Orientaciones
2. Australia (AusAID)7 Política
3. Dinamarca (DANIDA)8 Directrices
4. Estados Unidos de América (USAID)9 Política
5. Francia (AFD)10 Orientaciones y
Política
6. Japón (JICA)11 Directrices
7. Noruega (NORAD)12 Orientaciones
8. Suecia (SIDA)13 Directrices
9. Reino Unido (DFID)14 Política
10. Suiza (DDC)15 Política
Bancos regionales de desarrollo
1. Banco Europeo de Reconstrucción y Desarrollo
(BERD) Política
2. Banco Interamericano de Desarrollo (BID) Orientaciones
Sistema de Naciones Unidas (SNU)
1. Organización Internacional del Trabajo (OIT) Política
2. ONU Mujeres Política
3. Programa de Naciones Unidas para el
Desarrollo (PNUD) Política
4. Fondo de Naciones Unidas para la Infancia
(UNICEF) Política
Unión Europea (Comisión Europea)
1. EuropeAid16 Orientaciones
6 Bundesministerium für wirtschaftliche Zusammenarbeit und Entwicklung (BMZ)/ Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ)/ Kreditanstalt für Wiederaufbau ( KfW) 7 Australian Agency for International Development (AusAID) 8 Danish International Development Agency (DANIDA). 9 United States Agency for International Development (USAID). 10 Agence Française de Développement (AFD). 11 Japan International Cooperation Agency (JICA). 12 Norwegian Agency for Development Cooperation (NORAD). 13 Swedish International Development Cooperation (SIDA). 14 Department for International Development (DFID). 15 Direction du développement et de la coopération (DDC).
17
País/ Agencia/ Organismo Tipología
2. European Community Humanitarian Office
(ECHO) Orientaciones
Fuente: elaboración propia
3.2. Dimensiones analizadas
Partimos de la premisa de que la implantación de una función
de evaluación consistente requiere de un ambiente favorecedor, un
marco institucional adecuado y de la existencia de suficientes
capacidades individuales17. Con el fin de que el exhaustivo
escrutinio llevado a cabo de la selección de directrices,
orientaciones y políticas de evaluación de cooperación para el
desarrollo permitiera poner de relieve el estado de la cuestión, en
la comparativa se agruparon los distintos aspectos analizados en
cuatro bloques principales: marco institucional, concepto,
aproximación metodológica y utilidad. Esta concentración por
bloques conceptuales nos ha permitido constatar un conjunto de
preocupaciones comunes en el campo de la práctica de la
evaluación, así como identificar ciertas tendencias emergentes. En
la tabla que sigue se detallan los aspectos anteriormente citados
que conforman cada uno de los cuatro bloques.
A lo largo de la presentación de contenidos hemos ido
incorporando ejemplos de políticas y documentos que representan
casos interesantes para cada elemento analizado. Parece obvio
que cada agencia tiene su planteamiento y, por tanto, los
documentos no responden a un mismo esquema ni están
igualmente articulados internamente. Por tanto, este documento
no pretende en ningún caso hacer un listado exhaustivo ni análisis
crítico de las políticas, ni mucho menos de las prácticas. El objetivo
16 Durante la fase de análisis EuropeAid todavía no tenía un documento de política como tal, que se publicaría el 14 de agosto de 2014: Evaluation Matters - The evaluation policy for European Union Development Co-operation. 17 http://www.oecd.org/dac/evaluation/dcdndep/42974509.pdf
ANÁLISIS COMPARADO DEL CONTENIDO DE DISTINTAS POLÍTICAS DE EVALUACIÓN Y
LA POLÍTICA DE EVALUACIÓN DE LA COOPERACIÓN ESPAÑOLA
Políticas de evaluación de la cooperación para el desarrollo
18
es ofrecer una interpretación, a partir de los contenidos recogidos
en los documentos, de la dirección hacia la que camina la
evaluación desde algunas instituciones bilaterales y multilaterales
de cooperación internacional para el desarrollo.
Tabla 2.- Bloques analíticos
Marco
institucional Concepto
Aproximación
metodológica Utilidad
Ubicación en la
estructura y
competencias
Definición
conceptual de
la evaluación
Modelos de
evaluación
Transparencia y
rendición de
cuentas
Criterios de selección de las
evaluaciones Funciones de
la evaluación
Enfoques de
evaluación
Comunicación de los resultados de
las evaluaciones
Planificación de
evaluaciones
Utilización de los
resultados
Sistemas de
seguimiento y
revisión
Principios de
evaluación
Tipología de
evaluaciones Aprendizaje y
generación de
capacidades Control de
calidad
Fuente: elaboración propia
3.3. Principales resultados
3.3.1. Marco institucional
Dentro de este bloque se han analizado aquellos elementos
recogidos en las políticas que contemplan consideraciones
vinculadas con la institucionalización de la evaluación en el seno
del sistema de cooperación internacional para el desarrollo. A lo
largo de este apartado, se señalan aquellos elementos que definen
qué rol debe cumplir la evaluación en el sistema. Se aborda cuál es
la configuración de la estructura y competencias asociadas a la
función de evaluación, cómo se caracterizan en la política sus
procesos de planificación y seguimiento, y cuáles son los criterios
de selección de las evaluaciones que cada organismo se propone
19
llevar a cabo periódicamente. En suma, en análisis en este sentido
ha girado en torno al reparto de competencias en materia de
evaluación y la estructura para llevarlo a cabo.
a. Ubicación en la estructura y competencias
En relación con la institucionalización, las políticas de evaluación
pretenden clarificar el marco en el que opera la función de
evaluación. Situar adecuadamente esta función en el sistema (en
aquellos casos en los que esto no está suficientemente manifiesto)
y hacer explícitas las ideas clave sobre la concepción de la
evaluación, sus principales ejes y su articulación y relación con
otras unidades o en el marco de otros procesos son aspectos que
se recogen, con un mayor o menor nivel de detalle, en muchas de
las políticas analizadas, como por ejemplo, en los casos de la AFD,
AusAID, USAID, SIDA, DDC y el DFID. En el caso de la DDC se
incluye además la idea de capturar las tendencias nacionales e
internacionales en evaluación, mientras la política británica incluye
referencias hacia la toma de conciencia sobre la importancia de la
evaluación, así como hacia la necesidad de incrementar la calidad
y el rigor.
En lo tocante a la ubicación estructural de la unidad de
evaluación, es interesante revisar, por un lado, dónde se ubican
las unidades y departamentos de evaluación a nivel jerárquico y
línea de mando y, por otro, en qué medida las políticas establecen
de forma clara el mandato asignado a estas unidades o
departamentos de evaluación en cuanto a sus responsabilidades y
competencias. La determinación de la ubicación jerárquica del
departamento central de evaluación, así como de la línea de
mando superior a la que el departamento debe informar, se ha ido
convirtiendo progresivamente en una cuestión clave en el ejercicio
de la evaluación en las instituciones públicas.
ANÁLISIS COMPARADO DEL CONTENIDO DE DISTINTAS POLÍTICAS DE EVALUACIÓN Y
LA POLÍTICA DE EVALUACIÓN DE LA COOPERACIÓN ESPAÑOLA
Políticas de evaluación de la cooperación para el desarrollo
20
De forma creciente, la preocupación por la independencia de
esta función, en aras de evitar posibles presiones y garantizar una
difusión adecuada y transparente de los hallazgos de los procesos
de evaluación, ha estado en el centro de los debates
internacionales, tanto en el caso de los donantes bilaterales como
en los organismos multilaterales de desarrollo. Para tratar de
garantizar esta independencia, una de las estrategias centrales es
la determinación de la línea de información y comunicación desde
el departamento de evaluación hacia las instancias encargadas de
dar el visto bueno final a los procesos. En este sentido, los
esfuerzos han estado encaminados a alejar cada vez más la
función de evaluación de aquellas unidades directamente
implicadas en actividades de planificación, implementación y
seguimiento de la AOD, así como de la toma de decisiones directa
sobre el destino de las contribuciones. De esta forma, se trata de
separar y elevar la línea de comunicación con el fin de que esta
función pueda ejercerse con la independencia que es requerida.
Generalmente se relaciona a la independencia con una mayor
credibilidad y rendición de cuentas, no obstante, uno de los
posibles inconvenientes de este “aislamiento” podrían ser las
mayores trabas para el aprendizaje y la retroalimentación al
sistema. En algunos casos esto se resuelve estableciendo varios
niveles, por ejemplo, la unidad de evaluación “independiente” se
ocuparía de las evaluaciones centralizadas, y se ve
complementada por el trabajo de unidades descentralizadas que
gestionarían directamente sus evaluaciones operativas.
En este punto destaca la Política de Evaluación de AusAID en la
que se establece que el departamento de evaluación es
estructuralmente independiente del funcionamiento del programa
de ayuda, la política, y los departamentos de estrategia y la toma
de decisiones, donde, por ejemplo, su subdirector general
depende directamente del director general. Otra institución
bilateral interesante en este punto, es DANIDA, que en sus
directrices plantea, que su departamento de evaluación responde
21
directamente ante el Ministerio de Cooperación para el Desarrollo a
través de la Secretaría de Estado de Políticas de Desarrollo y es
independiente de las funciones operativas del Ministerio de
Asuntos Exteriores (departamentos en sede y representaciones en
el extranjero que participan en la cooperación al desarrollo). Por
último, en el caso de JICA se especifica que, como resultado de un
proceso de reforma institucional del Ministerio de Asuntos
Exteriores de Japón en 2011, la División de Evaluación fue
reubicada estructuralmente en una posición jerárquica superior a
la que ostentaba anteriormente. El objetivo expreso de esta
modificación fue, justamente, la preservación de la independencia
de la implementación de evaluaciones.
Frente a este planteamiento, se identifican también otras
políticas de evaluación donde la preocupación por la ubicación
jerárquica de la evaluación no se recoge. En este grupo se
encuentran las políticas de evaluación del DFID y de USAID. Una
posible explicación a esta ausencia puede venir del hecho de que la
cultura de evaluación tiene un nivel de consolidación muy elevado
en el sistema por lo que estas precauciones no resultan
necesarias. Este podría ser el caso, por ejemplo, del USAID de
Estados Unidos ya que, en el caso del Reino Unido, lo que parece
haberse incorporado a su nueva política (aunque se instauró en
2011) con el fin de avanzar hacia la independencia de la función ha
sido la generación de comités o unidades fuera del sistema, con
una composición de expertos/as independientes, que tratar de
velar por ello. En el caso concreto de Reino Unido nos referimos a
la Comisión Independiente para el Impacto de la Ayuda (ICAI por
sus siglas en inglés). Otra cooperación que, junto con otros
mecanismos, ha recurrido también a esta estrategia, en este caso
de forma complementaria a la definición clara de la ubicación
jerárquica, es Australia que dispone de un Comité Independiente
de Evaluación (IEC, por sus siglas en inglés). En ninguno de los
casos analizados se reflexiona específicamente sobre los posibles
inconvenientes del “aislamiento” de estas unidades centrales de
ANÁLISIS COMPARADO DEL CONTENIDO DE DISTINTAS POLÍTICAS DE EVALUACIÓN Y
LA POLÍTICA DE EVALUACIÓN DE LA COOPERACIÓN ESPAÑOLA
Políticas de evaluación de la cooperación para el desarrollo
22
evaluación desde el punto de vista del aprendizaje y la
retroalimentación. Quizá, porque se prima la independencia en
aras de garantizar la credibilidad de los resultados y responder a
rendición de cuentas pública, frente a unidades de evaluación
integradas en los órganos de planificación con más capacidad para
incidir de manera relevante en el aprendizaje y la
retroalimentación al sistema, y porque son sistemas en los que la
coordinación entre unidades es suficientemente robusta como para
garantizarla en la evaluación.
En la Cooperación Española, la Política de Evaluación establece
de forma clara cuál es la dependencia jerárquica de la unidad
central de evaluación. En concreto, se establece que:
“Para preservar su independencia respecto a las unidades
responsables de la planificación y la ejecución de la AOD, la
División de Evaluación de Políticas para el Desarrollo y Gestión
del Conocimiento (DEGCO) responde directamente ante la
persona titular de la SGCID y tiene asignado el ejercicio de las
funciones que le atribuye el Real Decreto 342/2012 (…)”.
En el principio de independencia de la Política se señala
concretamente:
“(…) Para ello, se deberá garantizar la diferenciación orgánica
de las unidades responsables de la evaluación y se asegurará
que la validación de los informes de evaluación no recaiga en
los agentes directamente encargados del diseño, la gestión o la
implementación de las intervenciones que sean objeto de
evaluación” (Pág.6).
Respecto a la determinación de las competencias asignadas a
las distintas unidades o departamentos, la mayoría de las políticas
definen a lo largo del texto las funciones asignadas a la/s
23
unidad/es encargadas de la evaluación, éste es el caso de AusAID,
AFD, DANIDA, USAID, DDC, SIDA y JICA, entre otras.
La realización y/o encargo de las evaluaciones es una de las
tareas fundamentales asignadas a las unidades de evaluación. Por
ello, la identificación de algunos criterios u orientaciones para la
selección de aquellos “objetos” que serán evaluados suele ser otro
apartado comúnmente incorporado a las políticas de evaluación
analizadas. Ahora bien, existen algunas excepciones a este
planteamiento general, como es el caso de USAID cuya política no
recoge ninguna consideración al respecto.
b. Criterios de selección de evaluaciones
No obstante, como se acaba de indicar, la mayoría de las
políticas bilaterales analizadas sí establecen algunos criterios de
selección, aunque el grado de detalle varía sustancialmente entre
unas y otras. Por una parte, en varias de las políticas las
consideraciones respecto a la selección no especifican mucho más
que la necesidad de que de forma periódica se evalúe el conjunto o
un porcentaje significativo de la “cartera” de intervenciones,
modalidades y/o países prioritarios definidos en la planificación de
la cooperación internacional del país. Este es el caso, por ejemplo,
de la DANIDA, que establece que su programa de evaluación debe
demostrar una cobertura adecuada de toda la "cartera" de
cooperación al desarrollo. La cobertura del programa incluye las
diferentes modalidades e instrumentos, un equilibrio entre las
distintas áreas geográficas, países grandes y pequeños y áreas
temáticas. En esta misma línea, tenemos a la DDC, que define la
necesidad de cubrir el 40% de las estrategias, países prioritarios y
de los temas prioritarios en un periodo de ocho años y SIDA, que
aunque no hace especificaciones concretas, sí indica que, en el
largo plazo, se busca evaluar toda la gama de áreas de
intervención, modalidades de ayuda, países y categorías de país
donde la cooperación sueca esté activa.
ANÁLISIS COMPARADO DEL CONTENIDO DE DISTINTAS POLÍTICAS DE EVALUACIÓN Y
LA POLÍTICA DE EVALUACIÓN DE LA COOPERACIÓN ESPAÑOLA
Políticas de evaluación de la cooperación para el desarrollo
24
Por otra parte, otros donantes sí definen algunos criterios un
poco más concretos que les conducirán a la selección de las
intervenciones. Así, por ejemplo, en las orientaciones de Alemania
se plantea la necesidad de que el programa de evaluación aborde
temas de relevancia para los actuales debates nacionales e
internacionales sobre la política de desarrollo; la AFD recoge los
criterios de valor añadido de la evaluación, ausencia de evidencia y
evaluabilidad; AusAID incorpora como criterios los beneficios
potenciales para el aprendizaje, cobertura y materialización y
riesgos para la eficacia de la ayuda; y, por último, el DFID
establece el requisito de justificar la necesidad y las razones para
acometer una evaluación.
Vemos que los elementos más relevantes son, por una parte, la
prevalencia de un criterio de cobertura que suele ir ligado a una
función de evaluación que tiene como principal propósito la
rendición de cuentas; y por otra parte, la importancia que tiene
que las evaluaciones aborden temas relevantes si lo que se busca
es que sean influyentes, esto es, la selección de qué evaluar
buscaría aprovechar las ventanas de oportunidad en cada
momento determinado.
A este respecto, la Política de Evaluación de la Cooperación
Española incorpora un conjunto de criterios de priorización de las
evaluaciones de carácter general, que según recoge el propio texto
responden a un doble criterio: la cobertura, por una parte, y la
utilización y la retroalimentación del sistema, por otra. Sobre cada
uno de los criterios generales, se definen un conjunto de
parámetros para orientar la selección. Así, respecto a la cobertura
se deberá tener en cuenta los siguientes parámetros: tipología de
los objetos de evaluación; distribución geográfica; contenido de las
intervenciones; variedad de modalidades e instrumentos; y
tipología de las evaluaciones. Por el lado de la utilización y
retroalimentación, se priorizarán las evaluaciones que respondan a
25
las siguientes características: potencial de generación de
información oportuna y significativa; respuesta a compromisos
previos u oportunidad de la evaluación; relevancia de la
intervención según ciertos criterios clave; naturaleza innovadora o
carácter piloto de la intervención y potencial de ampliación o
replicación; existencia de riesgos o incertidumbres; ausencia o
insuficiencia de fuentes alternativas de información; y viabilidad y
relación coste/resultados del ejercicio evaluativo.
c. Planificación de las evaluaciones
El ejercicio de planificación de las evaluaciones es una
práctica común en los donantes bilaterales analizados. Se
observan variaciones en la periodicidad de la elaboración de la
planificación, de tal forma que mientras en el JICA se planifica
anualmente, la DDC lo hace cada cuatro años, incorporando
revisiones periódicas. Lo más común son las planificaciones
bienales, como en el caso de la cooperación alemana, NORAD,
DANIDA y USAID en el nivel central, entre otras, o planificaciones
trienales, como en el caso de AusAID, aunque sujetas a una
revisión anual para valorar si este plan continúa siendo pertinente.
En el caso de la Política de Evaluación de la Cooperación Española,
se ha definido, asimismo, una planificación con periodicidad bienal,
no obstante, con el fin de asegurar una cierta flexibilidad, las
previsiones del Plan Bienal español se revisan anualmente.
d. Sistemas de seguimiento y revisión
Las referencias explícitas al seguimiento y revisión de la
propia política de evaluación no son muy numerosas. En este
sentido, algunos donantes, como por ejemplo la AFD de Francia,
hacen coincidir la revisión de la política de evaluación con los
planes estratégicos de la cooperación francesa. En otros casos,
como AusAID, se propone una revisión a los dos años de la
aprobación de la Política. Por último, en el caso del DFID del Reino
ANÁLISIS COMPARADO DEL CONTENIDO DE DISTINTAS POLÍTICAS DE EVALUACIÓN Y
LA POLÍTICA DE EVALUACIÓN DE LA COOPERACIÓN ESPAÑOLA
Políticas de evaluación de la cooperación para el desarrollo
26
Unido se estipula que se realizará una revisión anual de la eficacia
de la política y una revisión formal a los cinco años de su
aprobación.
Para el caso de España se señala la evaluación y revisión
periódica de Política en el marco de las evaluaciones
correspondientes de los planes directores (pág.18) y se estipula
que se llevará a cabo una primera revisión de los avances en
los cambios institucionales, organizacionales y de capacidades
requeridos para el adecuado despliegue de la Política de Evaluación
coincidiendo con el examen intermedio del IV Plan Director.
Tabla 3.- Marco institucional
Marco institucional
• Las políticas de evaluación suelen tener como finalidad
enmarcar el contexto en el que opera la función de
evaluación
• No todas las políticas de evaluación muestran el mismo
nivel de detalle en la ubicación jerárquica de las unidades
de evaluación
• La práctica de la planificación de las evaluaciones está
generalizada en los casos analizados
• Las políticas establecen criterios o directrices para
seleccionar los objetos que serán evaluados
• No están generalizadas las referencias explícitas al
seguimiento o la autoevaluación de la política
Fuente: elaboración propia
3.3.2. Concepto
En este segundo apartado que hemos denominado concepto
incluimos la definición de evaluación, las funciones y los
principios. A lo largo de este apartado analizaremos qué se
entiende por la evaluación en las diferentes políticas de evaluación
de cooperación internacional para el desarrollo, cuáles son las
27
funciones que desempeña la evaluación en el ciclo de gestión de
las intervenciones de cooperación internacional para el desarrollo y
respecto al conjunto del sistema de cooperación y, cuáles son los
principios generales, enfoques transversales y pautas de
actuación que sirven de orientación para todas las personas y
entidades implicadas en la práctica evaluadora de las agencias y
organismos analizados.
a. Definición conceptual de la evaluación
Respecto a la definición de evaluación, los distintos
documentos analizados hacen mayoritariamente referencia a la
definición de evaluación del CAD de la OCDE (OCDE, 2002):
‘‘La evaluación del desarrollo es una valoración sistemática y
objetiva de una intervención para el desarrollo en curso o ya
concluida, de su concepción, su puesta en práctica y sus
resultados. En el contexto del desarrollo, por evaluación se
entiende la determinación del valor o importancia de una
intervención de esta naturaleza”.
En este sentido, existen pocas discrepancias y parece imperar
un cierto consenso, no obstante, cada país u organismo
internacional hace sus aportes. Por ejemplo, los organismos del
Sistema de Naciones Unidas (SNU) se remiten a las normas del
Grupo de Evaluación de Naciones Unidas (GENU). Por ejemplo, en
la Política de UNICEF se cita literalmente que:
“(…) una evaluación es una valoración, lo más sistemática e
imparcial que sea posible, de una actividad, proyecto,
programa, estrategia, política, asunto, tema, sector o esfera
operacional o del desempeño institucional. En las evaluaciones
se centra la atención en los logros previstos y los alcanzados y
se examina la cadena de resultados, los procesos, los factores
contextuales y la causalidad, a fin de hacer una apreciación de
ANÁLISIS COMPARADO DEL CONTENIDO DE DISTINTAS POLÍTICAS DE EVALUACIÓN Y
LA POLÍTICA DE EVALUACIÓN DE LA COOPERACIÓN ESPAÑOLA
Políticas de evaluación de la cooperación para el desarrollo
28
esos logros o de la falta de los mismos. Su propósito es
determinar la pertinencia, las repercusiones, la eficacia, la
eficiencia y la sostenibilidad de las intervenciones y aportes de
las organizaciones del sistema de las Naciones Unidas. La
evaluación ha de proporcionar información fáctica que sea
fiable, veraz y útil, y que permita incorporar oportunamente las
conclusiones, recomendaciones y enseñanzas en los procesos
de adopción de decisiones”.
ECHO, por su parte, como instancia encargada de la acción
humanitaria en la Unión Europea, hace referencia a la definiciones
de evaluación de la ALNAP (Active Learning Network for
Accountability and Performance in Humanitarian Action) y de la
HPN (Humanitarian Practice Network).
En la Política de Evaluación de la Cooperación Española se hace
asimismo referencia al CAD de la OCDE y se recoge literalmente la
definición de evaluación expresada en el IV Plan Director donde se
señala que:
“La evaluación es un proceso sistemático y planificado de
recogida de información con el objetivo de analizar, interpretar
y valorar de manera crítica y objetiva una intervención, política
o estrategia de cooperación para el desarrollo, incluyendo su
diseño, su puesta en práctica, su estructura de gestión y sus
resultados” (Pág.3).
b. Funciones de la evaluación
En cuanto a las funciones de la evaluación, en cada política se
hace énfasis en aspectos distintos, coincidiendo, en muchos casos,
la importancia del aprendizaje y la rendición de cuentas pública a
la ciudadanía, que son las dos funciones compartidas de forma
claramente mayoritaria. Por ejemplo, en la política de evaluación
de USAID se subraya que la evaluación es el medio a través del
29
cual se puede obtener información sistemática y significativa sobre
los logros y deficiencias de sus esfuerzos. La evaluación
proporciona la información y el análisis para evitar la repetición de
errores y aumentar la posibilidad de que se logren más beneficios
en el futuro. Debe estar integrada dentro de un contexto que
permita la toma de decisiones basada en la evidencia y que premie
el aprendizaje y es fundamental para fortalecer el futuro de la
Agencia. Para USAID la evaluación de su política de cooperación
internacional para el desarrollo cumple dos propósitos
fundamentales: rendición de cuentas y aprendizaje.
Para la cooperación danesa la evaluación cumple dos finalidades
interrelacionadas. Primero, la evaluación es uno de los diversos
instrumentos del Ministerio de Asuntos Exteriores y la DANIDA
para llevar a cabo elecciones y acciones para alcanzar los objetivos
generales y específicos de la cooperación. Segundo, pero de igual
importancia, la evaluación es un medio para facilitar el aprendizaje
sobre las experiencias positivas y negativas en contextos
específicos. A este respecto, la evaluación sería el medio para
generar lecciones de contextos específicos y valorar su aplicación y
utilidad en un ámbito mayor. Para el Gobierno de Dinamarca la
evaluación de su política de cooperación al desarrollo es también
un instrumento clave en los esfuerzos por mejorar la eficacia de la
ayuda. La evaluación complementa y funciona de forma conjunta
con otros procesos del ciclo de programación y herramientas de
gestión de la ayuda.
Interesante es, en este sentido, la puntualización que hace ONU
Mujeres al señalar que para su organización la evaluación es un
medio para aplicar el programa de incorporación de la perspectiva
de género y las normas y los principios descritos en la Convención
para la eliminación de todas las formas de discriminación contra
las mujeres, la Plataforma de Acción de Beijing, los Objetivos de
Desarrollo del Milenio, etc., en coherencia con su propio mandato.
ANÁLISIS COMPARADO DEL CONTENIDO DE DISTINTAS POLÍTICAS DE EVALUACIÓN Y
LA POLÍTICA DE EVALUACIÓN DE LA COOPERACIÓN ESPAÑOLA
Políticas de evaluación de la cooperación para el desarrollo
30
En esta línea, la Cooperación Española se sitúa dentro de la
corriente mayoritaria pero trata de ir más allá al señalar que la
evaluación es un “medio para generar aprendizajes que permitan
mejorar la eficacia y la calidad de nuestro sistema de
cooperación”, reiterando su función transformativa de la realidad,
rendir cuentas y mejorar la transparencia. Así, para la Cooperación
Española las cuatro funciones complementarias de la evaluación de
las intervenciones que conforman su Política son: aprender,
mejorar, rendir cuentas y transformar.
c. Principios
En lo tocante a los principios, las políticas analizadas van desde
adherirse sin ambages a los principios y estándares de calidad del
CAD de la OCDE: imparcialidad e independencia, credibilidad,
utilidad, participación de los socios locales y coordinación con otros
donantes, como JICA, NORAD, la cooperación alemana y la DDC,
hasta la creación y propuesta de sus propios principios, sin
renunciar a estos estándares y teniéndolos en cuenta. En muchos
casos, como por ejemplo AusAID y la AFD, tienen además en
cuenta en su Política los principios de sus sociedades y
asociaciones profesionales de evaluadores/as. Los organismos de
Naciones Unidas por su parte, hacen asimismo referencia a los
principios del GENU.
Respecto a las particularidades, es interesante mencionar que
en la Política del DFID del Reino Unido se hace una referencia
específica a cómo deben aplicarse estos principios en el caso de
que las evaluaciones se realicen en contextos afectados por
conflictos o en Estados frágiles. De otro lado, ECHO, dedicada a la
acción humanitaria, asume los principios comunes de la acción
humanitaria del conjunto de donantes, la llamada “Iniciativa de la
Buena Donación Humanitaria” (GHD, por sus siglas en inglés), que
contiene 23 principios y define los criterios y valores comunes que
deben guiar la acción humanitaria. Entre estos principios destacan:
31
el respeto al marco ético y jurídico, el fortalecimiento de los
organismos humanitarios y respeto a sus mandatos, la búsqueda
de la calidad, la eficacia y la transparencia de la acción y el
fomento de la participación de la población humanitaria (GHD,
2003).
La Cooperación Española en su Política de Evaluación enfatiza
que los principios son un elemento esencial como “patrones de
conducta para una adecuada garantía de la calidad en el
cumplimiento de la función evaluadora”. Estos principios son:
independencia, imparcialidad, transparencia, credibilidad y utilidad,
eficiencia, participación y refuerzo de capacidades y coordinación y
complementariedad.
Tabla 4.- Concepto
Concepto
• La definición de evaluación del CAD de la
OCDE es asumida y compartida de forma
mayoritaria.
• En cuanto a las funciones de evaluación, las
dos mayoritariamente asumidas son el
aprendizaje y la rendición de cuentas a la
ciudadanía
• Hay un acuerdo considerable con respecto a
los principios, y normas de calidad del CAD de
la OCDE, si bien hay propuestas
complementarias o alternativas en
asociaciones profesionales, o los propios
grupos internos en el caso de los organismos
multilaterales
Fuente: elaboración propia
ANÁLISIS COMPARADO DEL CONTENIDO DE DISTINTAS POLÍTICAS DE EVALUACIÓN Y
LA POLÍTICA DE EVALUACIÓN DE LA COOPERACIÓN ESPAÑOLA
Políticas de evaluación de la cooperación para el desarrollo
32
3.3.3. Aproximación metodológica
Dentro de este apartado, se han analizado las consideraciones
que se hacen en materia metodológica, cuáles son los modelos y
enfoques que guían la evaluación, si en las políticas se señalan
criterios de evaluación específicos, y la tipología de las
evaluaciones. A nuestro juicio, el mayor interés de este apartado
radicaba en intentar detectar si en este marco de complejidad
creciente y cambio continuo en cooperación internacional para el
desarrollo, las políticas de evaluación afrontan –desde el punto de
vista metodológico- el reto de asegurar la robustez de sus
procedimientos. Tal como se señala en la introducción de la Política
de Evaluación de la Cooperación Española, para que las
recomendaciones sean válidas, sólidas, coherentes y útiles, éstas
deben ser concisas y concretas y responder a las necesidades de
información de los actores del instrumento evaluado. En este
sentido, la política apuesta por la innovación, el aprendizaje
continuo, el despliegue de distintos enfoques, métodos y técnicas,
la integración de las dimensiones transversales, la participación de
equipos multidisciplinares en la evaluación y la asunción de los
gestores y de los equipos de evaluación de las limitaciones de cada
ejercicio.
a. Modelos de evaluación
En el momento actual de la evaluación de la cooperación
internacional para el desarrollo se está reflexionando de manera
generalizada sobre cuáles son los enfoques y modelos más
apropiados en los procesos de evaluación. Sin embargo, a pesar de
que la realidad demanda una aproximación diversa y rica desde el
punto de vista epistemológico y metodológico, en buena parte de
las políticas analizadas se adoptan explícitamente los criterios de
evaluación del CAD de la OCDE como referente generalizado. En
este grupo se encuentran la DDC, JICA, NORAD, GIZ, AFD,
33
AusAID, DANIDA, OIT, ONU Mujeres, BERD, BID, EuropeAid y
ECHO.
Cabe destacar, no obstante, que las políticas del DFID, USAID,
SIDA, PNUD y UNICEF no hacen referencia a los criterios del CAD
de la OCDE, lo que nos indica cierta diversidad –y quizá tendencia–
en relación a los criterios de evaluación del CAD como modelo de
evaluación. En el caso concreto del DFID su actual política,
publicada en mayo de 2013, ya no contempla los criterios de
evaluación del CAD. Este cambio se ha dado asimismo en SIDA,
que en su anterior documento marco de evaluación proponía el uso
de criterios de evaluación y, sin embargo, en su actual política no
hace referencia a los criterios. En este mismo sentido, en la
Política de Evaluación de la Cooperación Española se asume que
tales criterios son útiles pero no imprescindibles. Es decir, que los
modelos de evaluación deberán adaptarse tanto al contexto de la
evaluación, a las necesidades de información y a las características
de las intervenciones evaluadas.
En el subepígrafe de “Consideraciones metodológicas” de la
Política de Evaluación de la Cooperación Española se señala que
para cumplir con su función:
“(…) la evaluación de la Cooperación Española se nutrirá
de diferentes aproximaciones teóricas y metodológicas,
tendrá en cuenta la variedad de tipologías de evaluación
existentes, aprovechará el amplio repertorio de técnicas de
investigación científicamente aceptadas, y buscará la
complementariedad y la triangulación entre los diferentes
métodos y técnicas. La selección metodológica dependerá,
fundamentalmente, del objeto concreto de evaluación, de
las preguntas a las que se quiera dar respuesta, y de los
fines que se persigan con la misma”. (Pág. 5).
ANÁLISIS COMPARADO DEL CONTENIDO DE DISTINTAS POLÍTICAS DE EVALUACIÓN Y
LA POLÍTICA DE EVALUACIÓN DE LA COOPERACIÓN ESPAÑOLA
Políticas de evaluación de la cooperación para el desarrollo
34
Esta flexibilidad respecto a las aproximaciones metodológicas es
compartida por otros Estados miembros del CAD de la OCDE, como
NORAD, GIZ, AusAID y DANIDA. Sin embargo, las agencias de
otros donantes, como Japón, Francia o Suiza, prefieren asentar
ciertos lineamientos respecto a las metodologías en sus políticas.
El caso de USAID es ilustrativo, pues en su política se prevé la
realización de evaluaciones de impacto, aunque no de forma
exclusiva. Por otro lado, se señala que durante los procesos de
evaluación se deben usar métodos que generen la mayor calidad y
credibilidad. Para ello, se contemplan tanto las metodologías
cuantitativas como las cualitativas y se considera óptima su
combinación, señalándose específicamente que no se privilegia
ningún método sobre otro. No obstante, para la modalidad de las
evaluaciones de impacto, se considera que los métodos
experimentales son los que generan una evidencia más robusta y
se indica que sólo se deberían usar métodos alternativos cuando la
asignación aleatoria no sea factible. Otro aspecto significativo
respecto a las consideraciones metodológicas, es su
recomendación de que se usen datos desagregados por sexos,
prestándose atención a las relaciones de género en todas las áreas
relevantes.
En la Política del DFID del Reino Unido se mencionan dos
maneras de evaluar complementarias: por la teoría del cambio y
midiendo el impacto. El BERD y el BID le dan especial importancia
a la valoración de la eficacia y la medición del impacto y ECHO,
debido a su mandato, se guía por los principios, normas y criterios
de evaluación de la acción humanitaria.
b. Enfoques
Respecto a los enfoques que deben guiar la realización de las
evaluaciones, de nuevo, en muchas de las Políticas de los Estados
miembros del CAD de la OCDE que se han analizado se hacen
35
referencias específicas a los estándares y principios del CAD y,
adicionalmente, se pueden hacer otras menciones puntuales, como
por ejemplo en la Política del DFID, en la que hay un apartado
referido a la ética, donde se señala que los equipos de evaluación
deben tener en cuenta las diferencias en la cultura, el
comportamiento y la legislación local, así como las creencias y
prácticas religiosas, la orientación sexual, la roles de género, la
discapacidad, la edad y el origen étnico, entre otros enfoques.
ECHO se remite al Consenso Europeo de la Ayuda Humanitaria
de 2007 y las Políticas de los organismos del SNU, por su parte,
hacen referencia al GENU. El caso de la Política del PNUD es
especialmente ilustrativo, pues aunque no se habla
específicamente de enfoques, sin embargo, en su Manual de
Planificación, Seguimiento y Evaluación de los Resultados de
Desarrollo, en su versión de 2009, se señala que las evaluaciones
del PNUD estarán guiadas por los principios de igualdad de género,
un enfoque basado en los derechos y el desarrollo humano. Para
ello, el PNUD valorará el grado en el que sus iniciativas han
tratado los temas de inclusión social y de género, de igualdad y de
empoderamiento y hasta qué punto han contribuido a fortalecer la
aplicación de estos principios a los diferentes esfuerzos de
desarrollo en un país dado. Asimismo, el PNUD abordará cómo se
ha incorporado en el diseño su compromiso con los enfoques
basados en los derechos y la problemática de género.
La Política de Evaluación de la Cooperación Española recoge, en
este sentido, lo señalado en el IV Plan Director, donde se concreta
que se “desarrollarán herramientas específicas para garantizar la
incorporación de enfoques sensibles a los derechos humanos, al
género, a la sostenibilidad ambiental y a la diversidad cultural”. La
Política tiene un subapartado específico denominado “enfoques
transversales” en el que se señala que se “promoverá la
integración transversal de los enfoques de derechos humanos,
género, diversidad cultural y sostenibilidad ambiental en el
ANÁLISIS COMPARADO DEL CONTENIDO DE DISTINTAS POLÍTICAS DE EVALUACIÓN Y
LA POLÍTICA DE EVALUACIÓN DE LA COOPERACIÓN ESPAÑOLA
Políticas de evaluación de la cooperación para el desarrollo
36
ejercicio de la función evaluadora”. En la introducción de la Política
también se hace mención a los enfoques transversales como un
desafío de carácter teórico y metodológico y se especifica que
éstos deberán incorporarse en los procesos evaluativos desde el
momento mismo de su concepción y diseño.
c. Tipología de evaluaciones
En la mayoría de los casos revisados los documentos incluyen
una tipología de evaluaciones de acuerdo a los diferentes intereses
institucionales. Las posibles clasificaciones son numerosas y
diversas, tanto como las dimensiones que las definen, desde el
momento adecuado para evaluar y el foco de análisis hasta el
propósito de la evaluación para los actores implicados en el
proceso evaluativo, entre otros. A continuación se presenta una
clasificación clásica de acuerdo a algunas de las dimensiones más
comúnmente empleadas18:
Tabla 5.- Tipología de evaluaciones
Dimensión Tipología Características
Tiempo
Ex-ante Se realiza antes del inicio de la intervención Intermedia Se realiza en el ecuador de la intervención
Final Coincide con el período de finalización de la intervención
Ex-post Se realiza cierto tiempo después de que la intervención haya terminado
Foco de análisis
De diseño Se analizan la racionalidad, coherencia y calidad del planteamiento de la intervención
De proceso Se analiza la puesta en práctica de la intervención, el foco está en su implementación
De resultados
Se analizan los productos derivados de la implementación de la intervención, y sus efectos en la población beneficiaria
18 Esta tipología pretende recoger algunas de las clasificaciones más comunes y está basada en la literatura existente. A la hora de conceptualizar los tipos de evaluación y sus características es importante recordar que existen otras variaciones, así como modelos híbridos.
37
Dimensión Tipología Características
De impacto Se analizan los cambios en la población que son atribuibles a la intervención y/o a los que la intervención ha contribuido
Finalidad
Formativa Pone el énfasis en el aprendizaje y la mejora, coincidiendo, generalmente, con la evaluación intermedia
Sumativa Pone el énfasis en la emisión de un juicio final de conjunto, siendo generalmente la evaluación final
Sujeto
Interna Se realiza por personas vinculadas, directa o indirectamente, a la gestión y/o ejecución del programa
Mixta Se realiza por un equipo que integra personal externo y personas vinculadas a la gestión y/o ejecución del propio programa
Externa Se realiza por personas ajenas a la ejecución y/o gestión del programa
Objeto
Compleja
Cuando el objeto de evaluación está integrado por múltiples componentes, varios niveles de implementación y actores participantes con diferentes agendas, largas cadenas causales con muchos resultados intermedios o productos que solo pueden ser logrados integrando
Complejidad intermedia
Cuando el objeto de evaluación involucra procesos y estrategias que no pueden ser totalmente controladas o predichas con anterioridad y que responden a retos y oportunidades suscitados durante la ejecución del instrumento evaluado
Simple
Cuando el objeto es una unidad sencilla de intervención, en la que los resultados son conocidos, los productos están estandarizados y es fácilmente replicable
Gestión
Unilateral La toma de decisiones y la gobernanza de la evaluación depende de un solo actor
Colaborativa La toma de decisiones es única y la gobernanza se comparte entre distintos actores
Conjunta La gobernanza y la toma de decisiones sobre la evaluación se comparte entre distintos actores
Fuente: elaboración propia, basado en la literatura existente
En los documentos analizados se distingue, entre otras
categorías, las evaluaciones estratégicas, operativas,
descentralizadas, sectoriales, temáticas, ex-ante, intermedias,
finales, ex-post, de diseño, de proceso, de resultados, de impacto,
formativas, sumativas, internas, externas, mixtas, etc. Como uno
de los aspectos más sugerentes, destaca la importancia que tiene
ANÁLISIS COMPARADO DEL CONTENIDO DE DISTINTAS POLÍTICAS DE EVALUACIÓN Y
LA POLÍTICA DE EVALUACIÓN DE LA COOPERACIÓN ESPAÑOLA
Políticas de evaluación de la cooperación para el desarrollo
38
para SIDA la realización de evaluaciones conjuntas, lideradas o con
participación de los países socios, con un enfoque participativo.
Respecto a los actores, USAID plantea tanto evaluaciones externas
como mixtas, con la mayoría de personal interno (si existe el
conocimiento) y con una persona experta externa, en aras de
promover y consolidar el aprendizaje.
En la Política de Evaluación de la Cooperación Española no se
presenta una tipología de evaluaciones y se remite, para ello, al
Plan Bienal de Evaluaciones (MAEC, 2013b). Es en el primer plan
bienal de evaluaciones elaborado tras la aprobación de la Política
(Plan Bienal 2013-2014) donde se establece una clasificación, si
bien ésta no responde a las características técnicas ni
metodológicas de las evaluaciones, como en las taxonomías de la
tabla anterior, sino que obedece a una clasificación acorde a la
pluralidad de actores que conforman el sistema de cooperación
español, y a la función de la División de Evaluación en ese sistema,
de la siguiente forma:
• Evaluaciones promovidas en el ámbito de la SECIPI:
o Evaluaciones centralizadas.
o Evaluaciones operativas.
o Evaluaciones sujetas a regulación específica.
• Evaluaciones promovidas por otros actores institucionales de
la Cooperación Española.
d. Control de calidad
Un ámbito de clara preocupación común es la búsqueda de la
calidad de las evaluaciones. Esta preocupación impregna las
políticas analizadas prácticamente en su totalidad, lo que se ve
reflejado de forma expresa en la redacción de los principios que
deben guiar los procesos evaluativos. Asimismo, como resultado
de los procesos de descentralización de la función de evaluación en
varias de las cooperaciones analizadas, se identifica una atención
39
especial a la calidad de las evaluaciones descentralizadas, como es
el caso de la AFD.
Desde un punto de vista temporal, los controles de calidad se
pueden realizar ex-ante, durante o ex-post. Así, de manera ex-
ante, en la fase de diseño y elaboración de los términos de
referencia se pueden incluir controles para asegurar su suficiente
calidad (AFD y DFID) y limitar los riesgos, incluso identificando la
necesidad de limitar el número de preguntas, y asegurando la
contratación de los mejores equipos posibles (AFD), mediante un
proceso abierto y transparente (DFID y JICA). Seguidamente, el
control durante el proceso de evaluación se suele ejercer mediante
el establecimiento de comités que revisan y valoran los diferentes
productos que se van generando a lo largo de la evaluación con el
fin de que tengan la calidad requerida. Este es el caso, por
ejemplo, de DANIDA y DFID, por ejemplo. Sin embargo, en las
políticas analizadas, el mayor énfasis se suele poner en la
generación de mecanismos para el control final de los informes de
evaluación. Este control de calidad se puede realizar de diversas
formas, entre las que se pueden destacar: la revisión interna de
los informes finales por parte del nivel jerárquico superior o de
especialistas en evaluación, como recogen las políticas de SIDA,
AFD, AusAID y USAID, por ejemplo; la contratación de grupos
asesores o comités externos, en diversas modalidades, que
realizan una valoración de la calidad de los productos en función
de unos criterios establecidos, como explicitan, por ejemplo,
AusAID y DANIDA; y, en ocasiones, el diseño y exigencia de
cumplimentación, por parte de las unidades que realizan el
seguimiento y gestión del ejercicio evaluativo, de una ficha de
calidad, como la AFD que, en función de una serie de parámetros,
valora la calidad del proceso y del producto en el que se han visto
implicados. Una última posibilidad planteada es la de realizar
controles de calidad de una muestra definida de evaluaciones con
una cierta periodicidad, como plantea el DDC de Suiza.
ANÁLISIS COMPARADO DEL CONTENIDO DE DISTINTAS POLÍTICAS DE EVALUACIÓN Y
LA POLÍTICA DE EVALUACIÓN DE LA COOPERACIÓN ESPAÑOLA
Políticas de evaluación de la cooperación para el desarrollo
40
La Política de Evaluación de la Cooperación Española plantea
sus principios “como un elemento esencial (…) que conforman
patrones de conducta para una adecuada calidad en el
cumplimiento de la función evaluadora” y propone avanzar en la
calidad de las evaluaciones mediante la implantación de un
sistema de control de la calidad de las evaluaciones y la realización
de metaevaluaciones que permitan extraer lecciones aprendidas.
Tabla 6.- Aproximación metodológica
Aproximación metodológica
• Conviven una reflexión abierta en la
comunidad evaluadora internacional sobre la
flexibilidad en modelos y metodologías, junto
a las políticas que siguen asumiendo de
forma única los criterios del CAD de la OCDE
• Se observa un amplio consenso en torno a los
enfoques de nuevo del CAD de la OCDE
• La mayoría de los casos examinados incluyen
una tipología de evaluaciones, cuya
diversidad está de acuerdo con sus distintos
intereses institucionales
• En muchos casos hay implantados sistemas
de control de calidad de las evaluaciones
Fuente: elaboración propia
3.3.4. Utilidad de la evaluación
Durante nuestro análisis, la transparencia y rendición de
cuentas, la mejora de la utilidad de las evaluaciones, el
avance hacia una mayor calidad de los procesos y el
aprendizaje y la creación de capacidades en evaluación en
donantes y países socios han emergido, en todos los casos, como
los ámbitos de atención preferente.
41
a. Transparencia y rendición de cuentas
La transparencia y rendición de cuentas constituyen una
preocupación para los poderes públicos, ya que cada vez se
incrementan más las exigencias para dar cuenta a la sociedad de
las diferentes iniciativas y compromisos que las instituciones
públicas asumen, así como de sus logros y áreas de mejora. Para
dar respuesta a esta inquietud las diferentes políticas analizadas
han articulado determinados mecanismos. La publicación de los
resultados de las evaluaciones es una cuestión clave que se recoge
en la totalidad de los textos analizados. Dado que parece ser ya
una práctica habitual y consolidada en muchos de los sistemas de
cooperación de nuestro entorno, lo que hacen algunas políticas es
dar un paso más en la línea de generar mecanismos que permitan
una vinculación mayor de la publicación con la utilización y el
aprendizaje de los ejercicios de evaluación. De esta forma, va a
incluirse la exigencia de que no solo sean publicados los informes
de evaluación en toda su extensión, sino que se faciliten formatos
adecuados y un lenguaje comprensible, con el fin de contribuir a la
accesibilidad de la información por audiencias diversas, aunque
guardando la debida precisión de los datos. Éste es el caso, por
ejemplo, de AusAID, JICA y el DFID. La política de este último
también recomienda que los informes incluyan una dirección de
contacto para poder transmitir preocupaciones formales sobre la
evaluación. Otros mecanismos que incluyen algunos donantes para
facilitar el acceso a la información son la generación de bases de
datos o repositorios que centralicen los informes y otros
documentos de evaluación, de tal forma que se contribuya a la
accesibilidad. Es el caso, por ejemplo, de SIDA, el DFID y la DDC.
Paralelamente, y en aras de una mayor rendición de cuentas,
también se ha impulsado la publicación de otros productos clave
relativos a los procesos de evaluación que permiten una visión más
global de los ejercicios evaluativos. En este sentido, muchas
políticas especifican la obligatoriedad de la publicación de los
ANÁLISIS COMPARADO DEL CONTENIDO DE DISTINTAS POLÍTICAS DE EVALUACIÓN Y
LA POLÍTICA DE EVALUACIÓN DE LA COOPERACIÓN ESPAÑOLA
Políticas de evaluación de la cooperación para el desarrollo
42
Términos de Referencia, las respuestas de gestión (USAID, por
ejemplo) y sus planes de seguimiento, entre otros. Asimismo, en
el caso del DFID se indica que se mejorará el acceso a los datos
primarios generados por las evaluaciones con el fin de favorecer su
uso posterior.
Un tercer elemento fundamental para la rendición de cuentas y
transparencia, no tanto respecto a los procesos individuales de
evaluación, sino sobre el ejercicio de las funciones y
responsabilidades de las unidades encargadas de evaluar, son los
informes periódicos de evaluación. La exigencia de elaborar
informes de este tipo está recogida en las políticas de NORAD,
DFID, JICA, AusAID, USAID y de la DDC y la Cooperación
Española, entre otras. Estos son utilizados por los donantes para
dar cuenta ante los órganos de dirección, coordinación y, mediante
su difusión pública, al resto de actores del sistema, de los avances
y principales resultados en materia de evaluación alcanzados en un
periodo determinado. En algunos casos, se limitan a centralizar la
información sobre el estado de situación de las evaluaciones
planificadas, incluyendo también los resultados principales de
aquellas que se han finalizado y los cambios operados, y en otros,
tienen un carácter más global, detallando a su vez todas las
actividades llevadas a cabo por las unidades centrales de
evaluación.
En el caso de la Cooperación Española, su política de evaluación
también establece prácticas vinculadas con la transparencia y la
rendición de cuentas, tales como la publicación de un Informe
Anual de Evaluación, que es elaborado por la SGCID en consulta
con el resto de actores de la Cooperación Española, la publicación
de los informes de evaluación, la elaboración de una estrategia de
comunicación, y la creación de una base de datos que permita
almacenar y procesar la información relativa a las evaluaciones de
la Cooperación Española.
43
b. Comunicación
En lo tocante a la comunicación de los resultados de las
evaluaciones, es cada vez más frecuente que la publicación de los
informes de evaluación se considere una práctica imprescindible
pero insuficiente. En esta línea, en los principales foros
internacionales de evaluación, en la actualidad, se debaten
distintos aspectos relativos a la mejora de la comunicación de cara
a contribuir a la utilización de los resultados. Estos debates se han
materializado, de forma diversa, en las distintas políticas
analizadas con la introducción de diferentes estrategias de
comunicación. Así, un primer aspecto incluido en algunas políticas
tiene que ver con la propia estructura y contenido de los informes
de evaluación. La política del DFID, por ejemplo, establece la
necesidad de garantizar un número limitado de conclusiones y
recomendaciones que emerjan de los análisis y hallazgos. Estas se
deben presentar de forma clara y concisa, marcando prioridades y
cuando sea posible, múltiples opciones de cursos de acción.
Referencias similares se pueden encontrar en las orientaciones de
la cooperación japonesa.
En segundo lugar, se establece la necesidad de adaptar el
lenguaje de los informes a los diferentes públicos a los que se
dirija, salvaguardando la rigurosidad de las informaciones, como se
observa en el ejemplo del DDC. Otro aspecto adicional respecto al
lenguaje tiene que ver con lo relativo a las traducciones, así en el
caso del JICA se recoge la traducción, muy relevante tanto para
fortalecer la relación con los países socios como de cara a la
difusión a otros donantes y para la gestión del conocimiento. Junto
a la adaptación del lenguaje se incluye también la necesidad de
generar formatos adaptados y orientados al uso, tal como se
recoge en la Política de evaluación de AusAID. Algunos
documentos van más allá, especificando que se elaborarán
resúmenes con los resultados de las evaluaciones, notas de prensa
o bien boletines de difusión, entre otras posibilidades, como en los
ANÁLISIS COMPARADO DEL CONTENIDO DE DISTINTAS POLÍTICAS DE EVALUACIÓN Y
LA POLÍTICA DE EVALUACIÓN DE LA COOPERACIÓN ESPAÑOLA
Políticas de evaluación de la cooperación para el desarrollo
44
casos de JICA y DANIDA, por ejemplo. Un tercer elemento que
empieza a surgir con fuerza en el ámbito de la evaluación es la
utilización de las redes sociales para la difusión. Hay ejemplos de
políticas en las que ya se concreta que se explorarán las
posibilidades que las redes sociales ofrecen en este ámbito, como
es el caso de DANIDA.
c. Utilización de los resultados
Otro gran bloque que emerge con gran intensidad a lo largo de
las políticas de evaluación analizadas es el relativo a la utilidad de
los resultados de los procesos de evaluación. Este, en el caso
de algunas de las políticas más recientes, como la francesa, ha
emergido como un aspecto clave que se incorpora de forma
integral al conjunto del proceso de evaluación. Esta política
pretende institucionalizar algunas prácticas vinculadas con la
participación en los procesos de evaluación de las unidades
operativas desde los momentos iniciales de programación de las
evaluaciones y redacción de términos de referencia hasta la
elaboración de las recomendaciones, o de una parte de ellas. La
política francesa, en esta línea, establece la posibilidad de que las
recomendaciones sean elaboradas por los propios evaluadores o
bien que este ejercicio se haga en un proceso conjunto entre los
evaluadores y los servicios implicados. La relación completa de
estos mecanismos de mejora de la utilización se adjunta de forma
específica en uno de los anexos de la propia política.
También resulta relevante en este sentido la importancia que
algunas políticas, como la del DFID, otorgan a la determinación del
momento más adecuado para la realización de la evaluación con el
fin de que este proceso se vincule de forma clara con la utilización
de los hallazgos y conclusiones para la toma de decisiones sobre el
objeto evaluado. Un instrumento clave para contribuir al uso de las
evaluaciones, que prácticamente todos los donantes tanto
bilaterales como multilaterales analizados han incorporado como
45
obligatorio a sus políticas de evaluación, es la respuesta de gestión
o respuesta de la administración, en algunas de sus posibles
denominaciones. En muchos casos, se indica que estas respuestas
deben ir acompañadas de un plan de seguimiento que permita ir
valorando periódicamente el grado de implantación de las
diferentes iniciativas incluidas y los avances a lo largo del tiempo,
como se observa por ejemplo en la Política de SIDA. Otro elemento
adicional que trata de garantizar que la respuesta de gestión
resulte oportuna en el tiempo, es la obligatoriedad de que esta sea
elaborada y publicada en un plazo de tiempo concreto con el fin de
que las recomendaciones no pierdan vigencia y sean pertinentes
para la toma de decisiones.
Para el incremento de la utilización muchos donantes proponen
una variedad de acciones de encuentro y debate sobre los
resultados entre los diferentes actores implicados: desayunos,
seminarios, foros, tanto de forma interna, para quienes están más
vinculados con los procesos evaluados, pero también de forma
externa, contribuyendo también de este modo a la difusión de la
cultura de evaluación en todos los ámbitos. La DANIDA detalla en
su política una gran variedad de estas actividades de difusión e
intercambio y el DFID también incorpora en su política foros de
discusión y debate de los hallazgos. Un último aspecto relevante,
que incorporan tanto la política del DFID como la de la AFD, es la
descripción de los diferentes usos previstos de las evaluaciones,
cuando distinguen entre la utilización instrumental, la conceptual y
la simbólica.
En el caso de la Política de Evaluación de la Cooperación
Española, con el objetivo de contribuir a la utilización de los
resultados de las evaluaciones, se ha dado relevancia a varios
aspectos:
1. La necesidad de desarrollar las capacidades de evaluación
de los actores implicados en los ejercicios evaluativos así
como su participación en sus fases.
ANÁLISIS COMPARADO DEL CONTENIDO DE DISTINTAS POLÍTICAS DE EVALUACIÓN Y
LA POLÍTICA DE EVALUACIÓN DE LA COOPERACIÓN ESPAÑOLA
Políticas de evaluación de la cooperación para el desarrollo
46
2. La importancia de elaborar respuestas de gestión a las
recomendaciones de las evaluaciones y sus siguientes
planes de mejora.
3. El fomento de las relaciones con los medios de
comunicación para promover la cultura de evaluación.
4. El refuerzo de las sistematizaciones de las evaluaciones
financiados por la AOD española.
d. Aprendizaje y generación de capacidades
El último bloque que emerge de forma clara en las políticas
analizadas es el aprendizaje y la generación de capacidades, en
relación tanto con la gestión como con la práctica de la evaluación,
en aras del conocimiento y de la consolidación de la cultura de
evaluación. En primer lugar, y en línea con lo que se introducía en
el bloque anterior, el impulso de la realización de evaluaciones
conjuntas se considera una práctica fundamental para el
incremento de capacidades de los diferentes actores implicados,
también por parte de los países socios.
El fortalecimiento de capacidades en los países socios es una
preocupación muy ampliamente recogida en la política de
evaluación del DFID. Este interés no se centra solo en lo relativo a
los sistemas de evaluación nacionales, sino que implica también el
refuerzo de capacidades en las empresas, la contratación de
consultores locales, etc. El objetivo explícito es el de fortalecer la
cultura y práctica de la evaluación. Desde el punto de vista de los
sistemas de evaluación de los donantes, la implicación de los
equipos en el desarrollo de las evaluaciones desde el principio
hasta las recomendaciones, como en el caso de la AFD, se
considera también relevante.
Como acción complementaria, distintos documentos proponen la
realización de seminarios y jornadas que desarrollen aspectos
determinados en materia de evaluación, como recoge AusAID, lo
47
que también se complementa con la generación de guías y otro
tipo de publicaciones que traten diferentes aspectos de la práctica
y puedan orientar a los equipos de evaluación. A esto habría que
añadir la variedad de actividades propuestas en el apartado de
utilidad de las evaluaciones, en forma de seminarios, foros,
desayunos, reuniones, entre otros, que se recogían muy
exhaustivamente en la política de DANIDA.
Adicionalmente, diferentes donantes se comprometen a
participar en redes de evaluación (p.ej. DFID y AusAID) y a la
promoción de organizaciones profesionales, que desarrollen
aprendizajes mutuos y permitan una retroalimentación desde
diferentes espacios de actuación en materia evaluativa (DFID).
En el caso de la Cooperación Española, se propone que el
aprendizaje y la generación de capacidades se promuevan
mediante el fortalecimiento de capacidades de los actores de la
Cooperación Española y sus socios, potenciando los sistemas de
evaluación de estos últimos; la investigación sobre evaluación de
la cooperación para el desarrollo; la participación en redes de
evaluación que mejoren el intercambio de información; y la
organización de actividades de formación en la materia.
Tabla 7.- Utilidad de la evaluación
Utilidad
• Publicación de los resultados de las
evaluaciones
• Diseño y puesta en marcha de estrategias de
comunicación.
• Participación activa de los actores en el
proceso de evaluación
• Adecuación del momento de la realización de
la evaluación
• Realización y publicación de informes
ANÁLISIS COMPARADO DEL CONTENIDO DE DISTINTAS POLÍTICAS DE EVALUACIÓN Y
LA POLÍTICA DE EVALUACIÓN DE LA COOPERACIÓN ESPAÑOLA
Políticas de evaluación de la cooperación para el desarrollo
48
Utilidad
periódicos de evaluación por parte de las
unidades de evaluación
• Incorporación, como obligatoria, de
respuesta de gestión en todas las
evaluaciones
• Impulso de la realización de evaluaciones
conjuntas
• Fortalecimiento de capacidades tanto en los
países donantes como en los países socios
Fuente: elaboración propia
49
4. CONCLUSIONES
Los resultados de este análisis comparado nos han permitido
desembocar en ciertas conclusiones que hemos enmarcado en
torno a las principales tendencias que orientan las políticas de
evaluación en el ámbito de la cooperación internacional para el
desarrollo.
4.1. Las principales tendencias en las políticas de evaluación de
cooperación internacional para el desarrollo en la actualidad
En la actualidad muchas agencias y organismos están
(re)diseñando sus políticas de evaluación de cooperación
internacional para el desarrollo. A esta aparente coincidencia
contribuye, en gran medida, que en la actualidad hay un ambiente
favorable para la evaluación de las políticas públicas en general y a
la evaluación de la cooperación internacional para el desarrollo en
particular. Esta coyuntura a favor de la evaluación es de suma
importancia para la mejora de la cooperación internacional para el
desarrollo, porque, tal como nos señala la OCDE (2013a), sienta
las bases para la construcción de una cultura de aprendizaje y
respalda el uso de las evidencias en la toma de decisiones, es útil
para replantear el papel de la evaluación en una política formal y
envía una señal de que la agencia de desarrollo está comprometida
con el logro de resultados y la transparencia.
Por tanto, que los países/organismos donantes y sus países
socios cuenten con políticas de evaluación fuertes tiene sin duda
repercusiones favorables para todo el sistema de cooperación
internacional para el desarrollo desde la transparencia y la
rendición de cuentas públicas pasando por el aprendizaje y la
mejora. Dentro de esta corriente favorable a la evaluación se
arrastra asimismo la necesidad de delimitar lo que cabe esperar de
una política de evaluación, como documento vivo que debe crecer
CONCLUSIONES
Políticas de evaluación de la cooperación para el desarrollo
50
con la práctica de la evaluación, a fin de mejorar la cooperación
internacional para el desarrollo.
Uno de los elementos que emerge del análisis realizado tiene
que ver con la preocupación de qué es, qué no es, y para qué debe
servir, una política de evaluación, etc. Es importante, por ello,
acotar hasta dónde puede llegar la política de evaluación y de qué
manera se articula y se complementa la función de evaluación con
otras funciones conexas como el seguimiento, el observatorio, la
auditoría, la memoria, etc. Análogamente, la política de evaluación
debe estar adecuadamente articulada con el resto de documentos
estratégicos que determinan estas funciones. La evaluación tiene
un papel fundamental como herramienta orientada a generar
evidencias, dar respuestas sobre cuestiones específicas, y
retroalimentar la toma de decisiones. De ahí que la utilización de
las evaluaciones sea de interés general en todas las políticas
analizadas, tal como hemos visto, tanto de cara a aprovechar
adecuadamente los conocimientos generados, como a fortalecer la
calidad y la eficacia del sistema de cooperación internacional para
el desarrollo. Durante nuestro análisis han sobresalido distintos
aspectos clave en las políticas de evaluación de la cooperación
internacional para el desarrollo, que a continuación exponemos.
Las unidades de evaluación operan como motores del
cambio, apoyadas en políticas de evaluación fuertes. Se ha
observado una tendencia clara a crear unidades especializadas en
evaluación, que deben estar debidamente dotadas y cualificadas
con el fin de impulsar y fortalecer la función de evaluación. El
creciente ambiente favorable a la evaluación de la cooperación
internacional para el desarrollo ha supuesto un importante
aumento del número de evaluaciones, impulsado en gran medida
por las unidades de evaluación, quienes necesitan contar con unas
políticas de evaluación que respalden el fortalecimiento de una
función de evaluación independiente y a la vez las integren como
unidades legitimadas dentro del sistema de cooperación.
51
Para evitar posibles presiones y garantizar una difusión
adecuada y transparente de los hallazgos de los procesos de
evaluación es necesario asegurar la independencia de la función de
evaluación en los sistemas de cooperación internacional para el
desarrollo. Esto nos lleva a la reflexión que gira en torno a la
ubicación de las unidades de evaluación en las distintas
estructuras. Este aspecto está presente en la mayoría de las
políticas de evaluación analizadas, tanto en el caso de los donantes
bilaterales como en los organismos multilaterales de desarrollo.
Para tratar de garantizar la independencia de la función de
evaluación, los esfuerzos han estado encaminados a alejar en la
medida de lo posible la función de evaluación de aquellas unidades
directamente implicadas en actividades de planificación,
presupuestación, implementación y seguimiento de la AOD.
No obstante, esto ha podido ralentizar, en muchos casos, el
fortalecimiento del aprendizaje y la retroalimentación a los
sistemas. En la actualidad agencias y organismos buscan una
convivencia armoniosa entre la independencia (pensada para una
mayor credibilidad y mejor rendición pública de cuentas) y el
aprendizaje y la retroalimentación al sistema. En algunos casos
esto se resuelve estableciendo varios niveles, por ejemplo, la
unidad de evaluación independiente se ocuparía de las
evaluaciones centralizadas y las unidades descentralizadas
gestionarían directamente sus evaluaciones operativas y
gestionarían sus resultados. Esta reflexión se aprecia
especialmente en las políticas de los organismos multilaterales,
muchos de ellos inmersos en procesos de revisión para la mejora
de su gestión interna.
Es interesante observar el aumento en la diversificación
en las aproximaciones epistemológicas y metodológicas de
evaluación, como, por ejemplo, la teoría del programa, y el
menor peso relativo de perspectivas como la de los criterios,
(como los propuestos por el CAD), como único enfoque de
CONCLUSIONES
Políticas de evaluación de la cooperación para el desarrollo
52
evaluación. También se puede hablar, adicionalmente, del rol que
se está asignando en los últimos tiempos a la evaluación de
impacto, cuyo uso de evaluación se ha visto reforzada por la
importancia dada por los donantes a la eficacia de la ayuda
internacional para el desarrollo.
Hay una clara apuesta hacia la búsqueda de
procedimientos para garantizar la calidad de los procesos
evaluativos. En la actualidad conviven tres grandes inquietudes
en lo referente al uso de las evaluaciones: la oportunidad (con
respecto al tiempo), la pertinencia (con relación a los actores
implicados) y la calidad (y fiabilidad de los productos resultado del
proceso evaluativo). En las políticas se señala que la práctica de la
evaluación debe ser rigurosa en su metodología por el bien de su
credibilidad y asimismo, que los resultados de las evaluaciones
deben ser tenidos en cuenta especialmente por los actores que
están destinados a abordar las recomendaciones, por tanto, la
evaluación debe ser necesaria, creíble y llegar en el momento
oportuno. En todo caso, para que una evaluación sea útil, rigurosa
y creíble deberá integrarse desde las primeras fases al ciclo de la
intervención y responder a las singularidades de la cooperación
internacional para el desarrollo como objeto de evaluación. Las
políticas de evaluación, como hemos visto, deben asegurarse de
marcar las pautas en este sentido.
Hay una tendencia clara en la comunidad evaluadora en
subrayar la relevancia de que las evaluaciones sean influyentes y
persuasivas. Para ello, en primer lugar, es importante que se
garantice la calidad del todo el proceso de evaluación con una
buena gestión a lo largo de todo él, así como una participación
activa de todos los actores implicados. Y en segundo lugar, es
necesario que al final de los procesos de evaluación, tanto las
personas que toman las decisiones sobre el objeto evaluado como
el personal técnico, tomen decisiones concretas respecto a la
aplicación de las recomendaciones.
53
Hay una progresiva incorporación de los distintos
protagonistas de la intervención en evaluaciones cada vez
más participativas. Respecto a la participación, el parecer de que
debe ser fortalecida es unánime en la comunidad evaluadora
internacional (Estrella y Gaventa, 1998), y así ha sido señalado
explícitamente en las políticas de evaluación más recientes. En
paralelo convive, sin embargo, la preocupación de que la
multiplicidad de actores, que enriquece las perspectivas y
sensibilidades en lo que respecta a la cooperación internacional
para el desarrollo, también demanda un esfuerzo adicional de
coordinación, articulación, clarificación de roles, refuerzo de
capacidades, generación de incentivos para el trabajo conjunto, de
parte de unidades de evaluación. Éstas en muchos casos, todavía
no se han consolidado suficientemente dentro de su estructura
organizativa e institucional, por lo que puede entrañar una
complejidad de su gestión difícil de asumir.
En este sentido, las políticas de evaluación, entendidas como los
mandatos o principios de alto nivel que se sirven para guiar la
práctica de la evaluación; es decir, para orientar las decisiones y
acciones de una organización o de un país con el fin de llevar a
cabo la evaluación de su política de cooperación al desarrollo de
políticas, son, como hemos visto, el marco adecuado tanto para
subrayar los contornos de diálogo entre actores como para
promoverlo.
Hay disparidad en la visión estratégica y en los criterios
de selección de evaluaciones. Está extendido aunque no
generalizado el establecimiento de criterios que permitan una
selección de las evaluaciones, pero tanto los criterios como su
naturaleza es dispar. Se puede observar cierto consenso en torno
de los criterios de cobertura y de relevancia, si bien su aplicación
difiere en gran medida. En todas las políticas de evaluación
analizadas hemos observado una constante en la necesidad de
CONCLUSIONES
Políticas de evaluación de la cooperación para el desarrollo
54
fundamentar la importancia de la evaluación en el sistema de
cooperación internacional para el desarrollo.
Se observa un gran protagonismo de la comunicación de
los resultados. La manera de proceder de la comunidad
evaluadora para que efectivamente la función de evaluación esté
orientada al cambio para la mejora de la cooperación, ha sido
reforzar la comunicación de los resultados. Esto se refleja en sus
políticas de evaluación, en la actualidad se está reflexionando, por
ejemplo, sobre la utilidad de los informes de evaluación tal y como
que se vienen haciendo. Hay una preocupación compartida sobre
las limitaciones de los informes de evaluación para alcanzar
audiencias mayores. Esto ha desembocado en una atención mayor
a la comunicación en contenido y forma, y su relación con la
rendición de cuentas, el aprendizaje y la gestión del conocimiento.
Las respuestas de gestión de las administraciones son la
vía para operativizar las recomendaciones. Con el fin de que
se consolide una función de evaluación que equilibre y concilie el
aprendizaje y la rendición de cuentas, una herramienta clave es la
denominada respuesta de gestión o respuesta de la
administración, que se presenta como el instrumento que
contribuye al uso y la utilidad práctica de las evaluaciones y que la
mayoría de los donantes analizados han incorporado como
obligatoria a sus políticas de evaluación.
Uno de los grandes retos de la agenda de cooperación
internacional para el desarrollo en la actualidad es la desigualdad,
que en muchos casos ya no es solamente entre países, sino
también dentro de las propias sociedades y comunidades, y que es
extensiva a todo el planeta. De ahí la relevancia de la función de
evaluación para mejorar la calidad de la ayuda. La evaluación,
además de cumplir con el propósito de la transparencia y la
rendición de cuentas debe servir como medio para generar
55
aprendizajes que permitan mejorar la eficacia y la calidad de las
intervenciones de cooperación internacional para el desarrollo.
CONCLUSIONES
Políticas de evaluación de la cooperación para el desarrollo
56
REFERENCIAS BIBLIOGRÁFICAS
Agence française de développement (AFD) (2007). Evaluation
Policies and Practices in Development Agencies. París: AFD.
- (AFD). Información sobre la política de evaluación de
la cooperación al desarrollo francesa. Recuperado de:
http://www.afd.fr/home/recherche/evaluation-
capitalisation
- (2013). Politique d’évaluation de l’AFD. París: AFD.
Recuperado de:
http://www.afd.fr/jahia/webdav/site/afd/shared/RECHE
RCHE/Evaluation/document/politique-evaluation-afd.pdf
Agence française de développement (AFD) – Overseas
Development Institute (ODI) (2007). A Comparative Study
of Evaluation Policies and Practices in Development
Agencies. París: AFD.
Argilés Marín, J.M. (2014). La evaluación de la acción exterior
española: reflexiones a partir de la experiencia de
evaluación en la política de cooperación internacional para
el desarrollo. Madrid: Real Instituto Elcano.
http://www.realinstitutoelcano.org/wps/portal/web/rielcano
_es/contenido?WCM_GLOBAL_CONTEXT=/elcano/elcano_es
/zonas_es/cooperacion+y+desarrollo/eee15-2014-argiles-
evaluacion-accion-exterior-espanola-reflexiones-
experiencia-cooperacion-desarrollo
Australian Government Overseas Aid Program (AusAID) (2012).
Evaluation Policy 2012–2015. Canberra: AusAID.
Banco Europeo de Reconstrucción y Desarrollo (BERD) (2012).
European Bank for Reconstruction and Development
Evaluation Policy. Londres: BERD.
Binnendijk, A.L. (1989). Donor agency experience with the
monitoring and evaluation of development projects. En
Evaluation Review. Londres: SAGE. Recuperado de:
http://erx.sagepub.com/content/13/3/206
Banco Interamericano de Desarrollo (BID). Información sobre la
57
política de evaluación del BID. Recuperado de:
http://www.iadb.org/es/oficina-de-evaluacion-y-
supervision/acerca-de-la-oficina-de-evaluacion-y-
supervision-ove,6655.html
Bundesministerium Für Wirtschaftliche Zusammenarbeit - BMZ
(German Federal Ministry For Economic Development
Cooperation) - Deutsche Gesellschaft Für Internationale
Zusammenarbeit Gmbh (GIZ) - Reconstruction Credit
Institute Kreditanstalt Für Wiederaufbau (KfW
Bankengruppe). Información sobre las orientaciones en
seguimiento y evaluación de la política de cooperación
alemana. Recuperado de:
http://www.bmz.de/en/what_we_do/approaches/evaluation
/Evaluation/index.html
Canadian International Development Agency (CIDA) (2004). Guía
de Evaluación de la ACDI. Ottawa: ACDI.
Collin, S. y Stirrat, R. (2008). Current Challenges in Development
Evaluation, SAGE Publications. Los Ángeles, Londres, Nueva
Delhi y Singapur, Vol 14 (2), 193-208.
Comisión Europea. (2006). Consenso Europeo sobre Desarrollo
(2006/C 46/01). Recuperado de:
http://europa.eu/legislation_summaries/development/gener
al_development_framework/r12544_es.htm
Comisión Europea, European Community Humanitarian Office
(ECHO). Información sobre la evaluación de ECHO.
Recuperado de:
http://ec.europa.eu/echo/evaluation/index_en.htm
Comisión Europea, Dirección General de Desarrollo y Cooperación.
EuropeAid. Información sobre la evaluación de EuropeAid.
Recuperado de:
http://ec.europa.eu/europeaid/how/evaluation/introduction
/introduction_es.htm
Confédération suisse. Département fédéral des affaires étrangères
(DFAE), Direction du développement et de la coopération
(DDC) (2013). Politique d’évaluation de la DDC. Recuperado
REFERENCIAS BIBLIOGRÁFICAS
Políticas de evaluación de la cooperación para el desarrollo
58
de:
http://www.sdc.admin.ch/en/Home/Effectiveness/Evaluatio
ns
Cooksy, L. J., Mark, M. M., & Trochim, W.M.K. (2009). Evaluation
policy and evaluation practice: Where do we go from here?
En W.M.K. Trochim, M. M. Mark, & L. J. Cooksy (Eds.),
Evaluation policy and evaluation practice. New Directions
for Evaluation, 123, 103–109.
Crackell, B.E. (2000). Evaluating development aid: issues,
problems and solutions. Thousand Oaks, California: Sage
Publications.
Danish International Development Agency (DANIDA) (2012a).
DANIDA’s Evaluation Guidelines. Copenhagen: DANIDA.
- (2012b). DANIDA’s Evaluation Policy. Copenhagen:
DANIDA.
Department for International Development (DFID), United
Kingdom (UK) Government (2009). Building the evidence to
reduce poverty, The UK’s policy on evaluation for
international development. Londres: DFID.
- (2012). Learning what works to improve lives. Draft
Evaluation policy, Londres: DFID.
- (2013). DFID Evaluation Policy 2013. Recuperado de:
https://www.gov.uk/government/publications/dfid-
evaluation-policy-2013
Estrella, M y Gaventa, J (1998). Who counts reality? Participatory
Monitoring and Evaluation: a literature review. IDS Working
Paper 70.
Fondo de Naciones Unidas para la Infancia (UNICEF) (2008).
UNICEF Evaluation Policy. Nueva York: UNICEF.
Good Humanitarian Donorship (GHD). (2003). Good Humanitarian
Donorship (GHD) principles and good practices. Stockholm:
GHD.
Japan International Cooperation Agency (JICA) (2007). Part 1.
Evaluation in JICA en Annual Evaluation Report. pp. 9-24.
Tokio: JICA.
59
- (2010). New JICA Guidelines for Project Evaluation.
Recuperado de:
http://www.jica.go.jp/english/our_work/evaluation/index
.html (2013). Official development assistance (ODA).
Evaluation Guidelines. Recuperado de:
http://www.mofa.go.jp/policy/oda/evaluation/basic_documents/pdfs/guidelines2013.pdf
Ley 28/2006, de 18 de julio, de Agencias estatales para la mejora
de los servicios públicos.
Ley 23/1998, de 7 de julio, de Cooperación Internacional para el
Desarrollo.
Ministerio de Asuntos Exteriores (MAE) (1998). Metodología de
Evaluación de la Cooperación Española (I). Madrid: MAE.
- (2001). Metodología de Evaluación de la Cooperación
Española (II). Madrid: MAE.
- (2007a). Manual de Gestión de Evaluaciones de la
Cooperación Española. Madrid: MAE.
- (2007b). Política de Evaluación de la Cooperación
Española. Madrid: MAE.
Ministerio de Asuntos Exteriores y de Cooperación (MAEC)
(2007c). Estrategia de Género en Desarrollo de la
Cooperación Española. Madrid: MAEC.
- (2012). IV Plan Director de la Cooperación Española
2013 – 2016. Madrid: MAEC.
- (2012). Informe de la evaluación intermedia del III Plan
Director de la Cooperación Española. Madrid: MAEC.
- (2013a). Política de Evaluación de la Cooperación
Española. Madrid: MAEC.
- (2013b). Plan de evaluaciones 2013-14. Madrid: MAEC.
Monterde Díaz, R. (2014). Calidad y utilidad de las Evaluaciones en
la Cooperación Española para el Desarrollo en España.
Propuestas para profundizar en la construcción de cultura
de evaluación. Documento de Trabajo. Serie CECOD.
REFERENCIAS BIBLIOGRÁFICAS
Políticas de evaluación de la cooperación para el desarrollo
60
Número 24/2014. Madrid: CEU Ediciones.
Naciones Unidas (NNUU) (2005a). Estándares de evaluación del
Sistema de las Naciones Unidas. Nueva York: UNEG.
- (2005b). Normas de evaluación del Sistema de las
Naciones Unidas. Nueva York: UNEG.
Norwegian Agency for Development Cooperation (NORAD) (2006).
Evaluation Policy 2006-2010. Oslo: NORAD.
ONU Mujeres (2012). Política de evaluación de la Entidad de las
Naciones Unidas para la Igualdad de Género y el
Empoderamiento de las Mujeres. Nueva York: ONU Mujeres.
Orden AEC/2909/2011, de 21 de octubre, por la que se establecen
las bases para la concesión de subvenciones de cooperación
internacional para el desarrollo.
Organización Internacional del Trabajo (OIT) (2005). Un nuevo
marco de políticas y estrategias de evaluación en la OIT.
Ginebra: OIT.
OCDE (1975). AID Evaluation. The experience of members of the
Development Assistance Committee and of International
Organisations. Paris: CAD.
- (2001). Evaluation Feedback for effective learning and
accountability. DAC working party on aid evaluation.
Paris: CAD.
- (2002). Glosario de principales términos sobre
evaluación y gestión basada en resultados. París: CAD.
- (2005). Declaración de París sobre Eficacia de la Ayuda.
París: CAD.
- (2006). Evaluation Systems and Use: a Working Tool for
Peer Reviews and Assessments. París: CAD.
- (2008). Agenda de Acción de Accra. Accra: CAD.
- (2009). Development Evaluation Resources and Systems
- A Study of Network Members, París: CAD.
- (2010a). Estándares de calidad para la evaluación del
desarrollo. Paris: CAD.
- (2010b). Evaluation in Development Agencies. Better
Aid. París: CAD.
61
- (2010c). Glosario de los principales términos sobre
evaluación y gestión basada en resultados. París: CAD.
- (2011a). Alianza Global de Busan para una Cooperación
Eficaz al Desarrollo. Busan: CAD.
- (2011b). Informe del Peer Review del CAD a la
Cooperación Española 2011. París: CAD.
- (2013a). The DAC Network on Development Evaluation –
30 years of strengthening learning in development, DAC
Network on Development Evaluation, OECD: Paris.
Pearson, L. (1969). Partners in Development- Report to the
Commission on International Development. London, Pall
Mall Press.
Picciotto, R. (2002). Development Cooperation and Performance
Evaluation: the Monterrey Challenge. Washington: World
Bank.
Programa de Naciones Unidas para el Desarrollo (PNUD) (2011).
La política de evaluación del PNUD. Nueva York: PNUD.
Ramalingam, B., Laric, M., Primrose, J. (2014). Form best practice
to best fit. Understanding and navigating wicked problems
in international development. Overseas Development
Institute Working Paper. Londres: ODI.
Servicio Europeo de Acción Exterior (SEAE). (2014). Evaluation
Matters - The evaluation policy for European Union
Development Co-operation. Recuperado de:
https://ec.europa.eu/europeaid/sites/devco/files/evaluation
-matters_en_0.pdf
Swedish International Development Cooperation Agency (SIDA)
(2010). SIDA’s Evaluation Guidelines & Evaluation Plan
2010. Stockholm: SIDA.
Swiss Agency for Development and Cooperation (SDC) (2008).
Evaluation policy. Berna: SDC.
Trochim, W.M.K. (2009). Evaluation policy and evaluation practice.
En W.M.K. Trochim, M.M. Mark, & L.J. Cooksy (Eds.),
Evaluation policy and evaluation practice. New Directions
for Evaluation, 123, 13–32.
REFERENCIAS BIBLIOGRÁFICAS
Políticas de evaluación de la cooperación para el desarrollo
62
Ulla Díez, S. y Argilés Marín, J.M. (2014). El camino pendiente
hacia la consolidación de la evaluación en la Cooperación
Española. Madrid: CECOD.
http://www.cecod.org/LinkClick.aspx?fileticket=s02RPFmUk
Iw%3D&tabid=1054&language=es-ES
United Nations Evaluation Group (UNEG) (2011). UNEG Framework
for Professional Peer Reviews of the Evaluation Function of
United Nations Organizations. Nueva York: UNEG.
- (2012). Evaluation Capacity in the UN System. Nueva
York: UNEG.
United Nations Office of Internal Oversight Services (OIOS).
Guidance to Programmes for Developing an Evaluation
Policy. Recuperado de:
http://www.un.org/Depts/oios/pages/ied_guidance_for_dev
_ep.pdf
United Nations (2015). Final Draft of the outcome for the UN
Summit to adopt the Post-2015 Development Agenda.
United States Agency for International Development (USAID)
(2011). Evaluation Policy. Learning from Experience.
Washington: USAID.
Winckler, O. (2014). Some thoughts on Development Evaluation
Processes. IDS Bulletin, Volume 45, Number 6. Sussex:
Institute of Development Studies.
World Health Organization (WHO) (2012). Draft formal evaluation
policy. Ginebra: WHO.