Hacia una Mejor GobernabilidadMonitoreo y Evaluación de los Programas de Gobernabilidad

Una Guía1

Octubre 2011

1. Presentación de la guía

Esta guía acompaña el Marco de Programación de Gobernabilidad (MPG) y provee orientaciones para el monitoreo y la evaluación de los programas de gobernabilidad. Se desprende de una revisión de textos conducida alrededor de prácticas prometedoras y debates en el monitoreo y la evaluación (M+E)2. También forja los dominios y áreas del cambio que han sido delineados ya en el MPG. La guía está compuesta de dos secciones. La Sección A presenta algunos de los debates claves relacionados al M+E de los programas de gobernabilidad y también provee sugerencias respecto al enfoque y los indicadores. La Sección B es una guía de indicadores que detalla conjuntos de indicadores para cada uno de los dominios y áreas del MPG3; estos son indicadores genéricos que deben ser adaptados a cada contexto.

2. Cómo usar esta guía

El monitoreo y la evaluación es una etapa clave en el proceso de diseño de los programas. Está inextricablemente vinculada a los objetivos y teoría de cambio que guían los programas. Los indicadores nos permiten analizar y medir si está ocurriendo un cambio. Ellos deben ser identificados en acuerdo con el diseño de un proyecto o de teoría de cambio. El MPG puede usarse para identificar los momentos de cambio que son importantes para un programa y un contexto dados. Se necesita, entonces, de indicadores para identificar y para comprender cómo y por qué se ha producido un cambio. La guía de indicadores en la Sección B puede usarse para identificar los indicadores necesarios para medir estos “momentos de cambio”. Son indicadores genéricos, de manera que requieren ser adaptados a un contexto y país específico, como también a sus programas. Un grupo de indicadores se presenta para cada cambio, pues esto recalca la necesidad de tener varios indicadores para poder registrar un proceso de cambio. También se ofrecen

1 Esta guía fue escrita por Roopa Hinton (de CARE International UK) con contribuciones de Gaia Gozzo, Douglas Orr, Muhamed Bizimana, Francesco Gatta, Fatima Dauda, Refaat Abdelkarim, Jodi Keyserling y Leandre Ramanarivo.

2 Una revisión de los textos sobre debates de M+E, evaluación de gobernabilidad e indicadores fue llevada a cabo por Cathy Shutt en 2010. Esta guía usa extensamente esa revisión de textos y reconoce todos los aportes de Cathy Shutt. Más información puede hallarse en Shutt, C. (2011) “Monitoreo, evaluación y valoración del impacto de programas de gobernabilidad que puede hallarse en la sección M+E del wiki de Gobernabilidad de CARE, ver (http://governance.care2share.wikispaces.net/Home)

3 Estos han sido tomados de discusiones durante el Taller de validación GPF en Abril 2011, con referencia a los índices de gobernabilidad internacional y en consulta con un grupo más amplio del personal de CARE. No son un conjunto final de indicadores, sino más bien un documento vivo que cambiará en cuanto aprendamos cómo trabajar en los diferentes contextos.

metodologías asociadas con cada conjunto de indicadores. Los métodos y enfoques son diversos y reflejan los valores y las creencias acerca de qué constituye una buena evidencia. Esta guía señala que son necesarios varios enfoques y perspectivas para poder construir una visión del cambio logrado. Estos debates metodológicos, y los diferentes enfoques, se presentan en la Sección A.

Sección A: Debates y guía sobre cómo abordar el monitoreo y evaluación de la gobernabilidad

3. Monitoreo y evaluación de la gobernabilidad: temas y debates claves

El enfoque programático de CARE recalca la importancia de crear una cultura de aprendizaje que fomente una real comprensión de cuánto impacto está teniendo nuestro trabajo. Con frecuencia, el M+E se orienta hacia los informes requeridos por los donantes. No obstante, el enfoque de programas coadyuva a que exista mayor sinergia entre M+E y el aprendizaje. Por lo tanto, M+E debe de ser el proceso a través del cual CARE puede poner a prueba teorías de cambio y el impacto de sus programas.

Una revisión de textos relacionados a los debates sobre M+E, evaluación de gobernabilidad y a sus indicadores, demuestra que el M+E de varios aspectos del trabajo en gobernabilidad ha sido un tanto débil (Shutt, 2011). No obstante, ahora existe una plétora de indicadores internacionales de gobernabilidad que han sido desarrollados para un amplio espectro de propósitos. Éstos exploran las variadas dimensiones del cambio. Dos publicaciones particularmente útiles en relación a esto son las siguientes: Measuring Change in Voice and Accountability Work de Holland y Thirkell (2009), como también el texto del PNUD Sources for Democratic Governance Indicators. Ambos sintetizan el enfoque y los métodos usados para medir varios de los indicadores. La información para los indicadores que se discuten en estas publicaciones se obtiene de diferentes maneras: algunos dependen de informantes claves, otros de encuestas hechas a gran escala, las cuales usan técnicas de muestreo aleatorio para explorar las percepciones subjetivas que tienen los ciudadanos sobre varios de los aspectos que forman parte de la gobernabilidad, como por ejemplo los Barómetros sobre Opinión del África, Latinoamérica y Asia; otros incluyen indicadores comúnmente vistos como “objetivos”.

3.1 Enfoques sobre cómo medir el impacto de la gobernabilidad

Hay una demanda creciente por parte de donantes para mostrar resultados y el “valor agregado en relación a la inversión” (value for money en inglés). No obstante, se reconoce que los programas se llevan a cabo en contextos complejos. Por lo tanto, nuestros acercamientos al M+E y a la evaluación de impacto debe de equilibrar estas dos realidades. Esto ha producido innovaciones en las enfoques, seguidas de un creciente reconocimiento de que resultan inadecuadas las formas más tradicionales de evaluación. Las enfoques participativos del M+E se develan cada vez más como alternativas interesantes de medir impactos. Esto, a su vez, es de vital importancia para los participantes y, además, es una vía para producir números y cuantificar los cambios que se suscitan.

Los enfoques M+E reflejan, por lo tanto, los valores y creencias acerca de lo que constituye una buena evidencia del cambio, particularmente en relación a si es posible medir “la verdad” o el conocimiento sin valoraciones previas y si es posible medir temas

más fundamentales sobre la “realidad objetiva”. Esta diferencia fundamental en valores se refleja en las dos nociones de las tradiciones positivistas, las cuales dicen poder demostrar verdades objetivas y enfoques inductivos que se desarrollan en base a las diferentes realidades que encontramos.

Controles Aleatorios. Es un enfoque que ha ganado popularidad en los últimos años. Busca atribuir el impacto usando indicadores para comparar los cambios en un grupo asignado aleatoriamente para la intervención y un grupo de control que no recibe esos servicios/acciones. Esto ha sido cuestionado éticamente. No obstante, también Ravallion (2009), un investigador del Banco Mundial, ve la evaluación como un proceso que sirve para producir conocimiento y argumenta que los Controles Aleatorios proveen poca información sobre cómo impactan las intervenciones a los diversos grupos. El nota que ignoran los efectos de contagio que la intervención del proyecto pueda tener sobre el grupo de impacto.

Evaluaciones realistas tienden a asumir que el cambio es complejo y emergente, y con frecuencia están menos comprometidas a probar a priori una teoría de cambio para establecer si un enfoque ha funcionado o no. Sus evaluaciones pueden estar guiadas por muchas preguntas de investigación que primero buscan identificar los cambios y luego diseñar el método para comprender mejor dicho mecanismo, es decir, el cómo y el por qué sucedió lo que sucedió.

Otro enfoque es aquel de la evaluación de “tiempo real” o en desarrollo. Este tipo de enfoque junta elementos de la teoría de cambio y de la evaluación realista, pero también adopta principios de evaluación participativa que buscan empoderar a los involucrados y aplicar un lente complejo para poder distinguir los diferentes tipos de cambio existentes (veáse Shutt, 2011, para mayor explicación).

3.2 Construyendo indicadores: temas y guías

Existen algunos temas cruciales para la construcción de nuestros indicadores y también para el desarrollo de sistemas de M+E que nos permiten estar más orientados hacia el aprendizaje, hacia el poner a prueba nuestras teorías de cambio, y también a reportar a los donantes. Estos temas incluyen la cadena de resultados y atribución, los indicadores cualitativos y cuantitativos, los indicadores subjetivos y objetivos, como también la participación en M+E. Cada uno de estos temas será puesto en discusión y luego sigue la guía que se provee en relación a qué constituye un buen indicador de gobernabilidad.

3.2.1 Debates sobre la cadena de resultados y atribución

La revisión de los textos y de los conjuntos de indicadores muestran que si un indicador es considerado de resultado, efecto o impacto depende mucho de el enfoque de cada organización y de cómo haya diseñado sus programas y sistemas de M+E (Shutt, 2011). No hay una sola manera de ver estos indicadores y a qué nivel corresponden. Los debates sobre la validez de algunos indicadores de gobernabilidad internacionales plantean preguntas sobre cómo los resultados e impactos de los programas de gobernabilidad deberían de ser tanto concebidos, cuanto medidos. Este asunto ha quedado delineado a través de la descripción que Holland y Thirkell (2009) hacen sobre la cadena de resultados basada en la respuesta y la confiabilidad.

Por una parte, se asume que el impacto se expresa en términos de cambios que evidencian mejoras en relación al desarrollo en la vida de las personas y, por otra parte, se relega los cambios de actitudes y comportamientos a los resultados. No obstante, Gaventa y Barrett (2010) argumentan que es un error el tratar cambios que tienen que ver con fortalecer la voz de las personas y su empoderamiento como si meramente instrumentales para lograr impactos a nivel de los Objetivos de Desarrollo del Milenio (ODM), tal como lo hace el cuadro que se muestra arriba.

Dentro de esta discusión hay asuntos concernientes a la confiabilidad y atribución. La cadena causal de arriba presupone que la rendición de cuentas y una voz más fuerte de las personas conllevarán al alivio de la pobreza y hacia los ODM. Sin embargo, el cambio se desenvuelve de maneras más complejas que éstas, y mientras que el GPF argumenta que estos temas son esenciales para lograr el desarrollo sustentable y equitativo, esto es, sin duda, parte de un programa más amplio. También existen otros factores igual de importantes.

Por esta razón, la guía de indicadores presentada en la Sección B no busca categorizar indicadores en términos de resultados, efectos o cambios de nivel de impacto. Muchos de estos indicadores genéricos están relacionados con uno de estos niveles, dentro de un enfoque a de “cadena” como lo muestra el gráfico. No obstante, algunos niveles pueden sobreponerse, dependiendo de cómo se conciba el cambio. El enfoque de programas busca mover a CARE más allá de un enfoque de “cadena” de resultados; intenta de conceptualizar el cambio de otra forma, así como nuestra contribución a dicho cambio. Por lo tanto, los indicadores identificados dependen de la teoría de cambio de los programas y, por eso, las diferentes etapas para el cambio que sean consideradas relevantes en la teoría de cambio determinarán, también, cuáles son los indicadores más idóneos.

3.2.2 Debates sobre los indicadores cualitativos y cuantitativos

Este ha sido un debate de muchos años en los círculos de M+E y es particularmente crucial para los programas de gobernabilidad, dado la naturaleza cualitativa del cambio. Es mejor pensar que los diferentes elementos de los indicadores cuantitativos y cualitativos están conectados unos con los otros, en vez de percibirlos como esencialmente distintos (Shutt, 2011). Los indicadores que aparentan ser cuantitativos muchas veces contienen elementos cualitativos, a veces de manera significativa. Por ejemplo, un indicador tal como el número de grupos de acción colectiva con vínculos o relaciones funcionales con otros actores4 parece, en primera instancia, ser un indicador cuantitativo. No obstante, no resulta significativo decir que 100 grupos tienen relaciones

4 Este indicador ha sido tomado de la guía de indicadores de la Sección B, bajo el área 1 y la subárea 1.2., es decir, el área de “los ciudadanos participan en y organizan acciones colectivas”.

funcionales o de calidad, a menos que comprendamos qué se quiere decir por funcional. La medida cuantitativa, por si sola, no nos dirá qué caracteriza lo funcional, lo cual, por supuesto, puede diferir dependiendo de las perspectivas de los diferentes actores. Así pues, inherente a este indicador, existen subsiguientes capas de información cualitativa que nos dan información más significativa de los cambios que están realmente ocurriendo. También parece haber un creciente interés en formas más participativas de producir cifras, lo cual es evidente por el interés creciente de los donantes hacia los enfoques participativos al M+E.

3.2.3 Debates sobre los indicadores objetivos y subjetivos

Uno de los debates más candentes entre los usuarios y productores de indicadores de gobernabilidad es la utilidad de las medidas subjetivas o basadas en la percepción, versus las medidas objetivas o basadas en hechos. Apuntar a este debate es cuestión de valores y de varias creencias alrededor de la existencia de “la verdad” o del conocimiento libre de juicios de valoración y, por lo tanto, también está relacionada con la naturaleza con la que debe contar la “evidencia” o aquello que puede concebirse como “buena evidencia”. Kaufman y Kraay han sido instrumentales al desarrollar indicadores para la gobernabilidad y también lo han sido al enmarcar el debate del M+E de la gobernabilidad. Ellos argumentan que decisiones políticas de jure (para establecer presupuestos públicos) tienen una relación limitada con las experiencias de facto y las percepciones de las personas sobre estas asignaciones y los procesos de gobernabilidad al respecto (Shutt, 2011). Ellos, por lo tanto, advierten en el sentido de que no se debe poner mucho énfasis en mediciones fáciles de indicadores cuantitativos de jure, tales como el número de leyes y políticas que van a favor de los pobres y marginados5. Estos tipos de indicadores son enfoques poco fiables para los impactos de desarrollo definidos en términos de cambios en las vidas de las personas (Kaufmann y Kraay, 2007b).Cuando estos indicadores se usan es esencial que estén triangulados contra experiencias de facto vividas por la gente, o que las políticas registradas se deriven de discusiones con poblaciones de impacto y con informantes claves. Ellos argumentan que los complejos vínculos entre los cambios (de jure y de facto) significan que la evaluación de la gobernabilidad o de los cambios sociales tienen que ver con la percepción subjetiva (Kaufman y Kraay, 2007).

De hecho, muchos de los indicadores e índices de gobernabilidad han sido desarrollados en base a percepciones. Esto ha ocurrido, a veces, a través de “juicios expertos” y a veces ha ocurrido a través de encuestas ciudadanas de amplio alcance, las cuales capturan percepciones acerca de la gobernabilidad. Los aspectos de este debate son sobre el poder: quién decide qué cambios deben o no de contar y cómo medirlos, como también quién recoge los datos y de qué manera (Shutt, 2011). Los indicadores “objetivos” ya contienen juicios de valor inherentes, en términos de cuál cambio es importante y qué es lo que debemos de estar midiendo. Un aspecto a tomar en cuenta es que los indicadores contienen juicios subjetivos acerca de qué debe ser medido, y que muchas veces esto se determina por los donantes al momento que diseñan los programas o abren una convocatoria para propuestas, muchas de las cuales contienen indicadores preestablecidos por los donantes.

3.2.4 Debates sobre enfoques participativos de M+E

5 Este indicador es tomado de la guía de indicadores en la Sección B. Se relaciona al área 2, dimensión 2.2. “Las autoridades públicas y los tomadores de decisión responden a los grupos de impacto, a través del diseño y la implementación de políticas incluyentes, programas y presupuestos.

Enfoques participativos de M+E han sido criticados por largo tiempo, debido a que son considerados poco científicos o demasiado cualitativas (Shutt, 2011). No obstante, los enfoques participativos pueden producir cifras que, por lo menos, son igual de confiables que aquellas creadas por métodos cuantitativos más caros (por ejemplo, Jupp, 2010). Los enfoques participativos han sido usados en Malawi y en Uganda para evaluar los resultados y para evaluar el impacto a gran escala usando muestras rigurosamente representativas que permitían inferencias acerca de los estimados poblacionales (Holland, citado en Shutt, 2011).

Registros comunitarios (scorecards) son frecuentemente mencionados para evaluar el cambio en las percepciones acerca de la calidad de los servicios públicos entregados. Con frecuencia, el trabajo de CARE Malawi se cita en relación a este tipo de enfoques (Bloom, Sunseri y Leonard, 2007; CDA, 2011). Un aspecto emocionante de este tipo de enfoque es que los registros comunitarios son mecanismos para promover la rendición de cuentas y la participación, mientras que contribuyen, al mismo tiempo, al M+E. Tales aproximaciones fomentan el hecho de que las comunidades se reúnan con los proveedores de servicio y que discutan la calidad de los servicios para exigir cambios. Con esto, proveen un mecanismo para lograr los resultados del programa, además de medirlos (Shutt, 2011). También proveen la oportunidad de cuantificar la información colectada y producir números, lo cual es frecuentemente una exigencia clave para cualquier M+E o proceso de evaluación de impacto.

Otro enfoque emocionante son las Evaluaciones Participativas de Impacto. Esta metodología comienza con la percepción del cambio, bueno o malo, que tiene una determinada población de impacto. Esto asegura que los cambios complejos y que estén surgiendo puedan ser identificados y no pasados por alto, cosa que sucede con frecuencia en enfoques de M+E más tradicionales basados en los resultados. En este sentido, CARE Bangladesh ha experimentado con este método para medir cambios a su proyecto Transformación Social y Económica de los Ultra-Pobres. Esta metodología también se presta a la agregación cuantitativa y al análisis estadístico, ayudando a combinar información cualitativa y cuantitativa, las dos caras de la misma moneda.

3.2.5 Entonces, ¿qué es lo que hace que un indicador sea bueno?

Los indicadores nos dan pistas, señales y ayudas generales para identificar (y muchas veces comprender) el cambio (Shutt, 2011). Los indicadores pueden articularse usando varias unidades de análisis y, por lo tanto, pueden ser concebidos y medidos en un sinnúmero de formas. Esencialmente, los indicadores señalan cambio. No obstante, cuando están articulados con poca claridad o cuando son usados descuidadamente pueden desinformar (Williams, 2011). Los indicadores deben de ser relevantes para comprensión de los procesos políticos subyacentes que son los que producen los cambios en la gobernabilidad. Holland y Thirkell (2009) alertan sobre el hecho de que los indicadores deberían de ser fáciles de recolectar, consistentes con el conjunto total de indicadores, y medidos en medidas que son significativas y consistentes con el sistema de M+E. Finalmente, se debe de ser específico en relación a los indicadores en cuanto a:

Tener un propósito y un fundamento Deben de estar bien definidos los aspectos cualitativos y cuantitativos Deben especificar cuán frecuentemente se recoge los datos Debe estar desagregado para que los cambios para un grupo en particular

puedan tener un seguimiento

Incluir guías sobre cómo interpretar lo que significan los cambios para la gente y comunicar nociones contextuales sobre el cambio

Construir una imagen del cambio es un compuesto de muchas diferentes piezas de información que provienen de diferentes fuentes y que reflejan diferentes intereses y valores. Por lo tanto, la valoración de impacto del M+E de gobernabilidad implica formarse una idea de lo que realmente está ocurriendo y cómo se relaciona a nuestro enfoque programático y a las teorías de cambio. Ningún enfoque o indicador individual, de por sí, nos puede mostrar lo que ha pasado. Así pues, un enfoque reduccionista a los indicadores y al M+E es peligrosa. El autor Pollitt (2008) previene contra el riesgo de “abusar de datos cuantitativos” y nota que los indicadores cuantitativos tienden a tener mayor peso, cuando al mismo tiempo, son malentendidos.

Por consiguiente, la guía de indicadores en la Sección B, delinea un conjunto de indicadores para medir el cambio y también sugiere un espectro de métodos que permiten obtener información sobre las perspectivas de los diferentes actores. A través de esto, se puede triangular la información para empezar a construir una mejor idea del cambio, aún cuando difícilmente pueda comprenderse este cambio en su totalidad

4. Métodos y enfoques para el M+E y la evaluación de impacto de la gobernabilidad

Los enfoques pluralistas se están volviendo más comunes en el M+E de la gobernabilidad. Las variables de contexto juegan un rol importante en los procesos de cambio, particularmente en aquellas relacionadas a culturas políticas y a relaciones de poder informales ya asentadas (McGee y Gaventa, 2010). No obstante, esto no siempre influye en el cambio de las maneras esperadas (Gaventa y Barrett, 2010), lo cual previene contra el uso de enfoques de M+E que fomentan supuestos demasiado simples sobre las posibilidades de replicar dicha práctica en diferentes lugares (Goetz, 2005). CARE International UK ha experimentado con métodos de investigación-acción para poner a prueba teorías subyacentes del cambio y medir los impactos de los programas de gobernabilidad de CARE (Hinton, 2011).

McGee y Gaventa (2010) proveen un resumen de enfoques y métodos que pueden ser usados para evaluar iniciativas de transparencia y de rendición de cuentas. Un resumen se presenta en la Tabla I.

Tabla I: Resumen de enfoques y métodos para evaluar transparencia y rendición de cuentas

Enfoque Recomendado para Menos recomendado paraAproximaciones experimentales, tales como Controles Aleatorios

Aislar el impacto de una intervención en particular

Medir, contar Inmediatamente aplicable para la

provisión de servicios

Captar lo inesperado o no previsto Explicar matices o la causalidad de los

procesos de cambio Capturar los efectos de contagio Ética: connotaciones puesto que el grupo

de control no es tomado en cuentaEncuesta cuantitativa

Extraer conclusiones generalizables sobre la base de una muestra representativa y percibida como objetiva

Genera números, esos permiten persuadir

Explicar los grados de cambio y cómo se perciben, y el por qué ocurrió el cambio

Captar lo que no es fácilmente cuantificable

Empoderamiento y resaltar el aprendizaje

Estudio de casos cualitativos

Muestreo con propósito Puede usarse longitudinalmente dentro

de un marco de evaluación de tiempo real o retrospectivamente

Develar la teoría subyacente al cambio Puede incorporar métodos

participativos

Comparabilidad en el tiempo o con otros casos

Extraer conclusiones generales o representativas

Conocer el significado de los hallazgos más allá de los casos específicos

Entrevistas cualitativas a actores

Capturar puntos de vista y posicionamientos de los actores

Fácilmente combinable con verificación directa u observación.

Requiere de mucho tiempo y genera cuantiosa información cualitativa

Índices y ranking oficiales

Comparativos, a primera vista Explicar razones o contextos detrás de los puntajes

Enfoques participativos

Incluir indicadores y percepciones diferentes

Fomentar la tenencia y participación de los actores

Empoderamiento y aprendizaje Resaltar la rendición de cuentas “hacia

abajo”

Replicar a través de múltiples o diversos contextos

Derivar en respuestas cortas de si/ no Representatividad, si es que no se usan

técnicas de muestreo aleatorio La necesidad de mitigar las dinámicas del

poderMapeo de efectos

Detectar y comprender los cambios en actitudes, las relaciones y/o actividades de las personas y de las organizaciones

Rastrear el cambio emergente, incluyendo impactos no previstos

Comprometer a los actores en el aprendizaje

Poder incorporar métodos participativos Facilitar el análisis de poder

Demostrar contribución de iniciativas para impactos en el desarrollo

Producir hallazgos generalizables

Cambio más significativo

Participativo, involucra a los actores para decidir qué cambio es importante

Reconocer la complejidad y los cambios inesperados

Puede brindar empoderamiento Puede incluir el análisis de poder

Producir hallazgos generalizables Generar confianza a los donantes Requiere mucho tiempo y recursos Ser representativo, si no se usa con una

muestra aleatoria

Otros métodos narrativos que incorporan enfoques participativos(por ejemplo, las historias de cambios críticos de Action Aid)

Explorar, describir y comprender procesos que involucran a muchos actores, pasos y relaciones

Fomentar el pensamiento crítico Comunicar los resultados de manera

creativa y comprometedora Explorar los efectos de las

intervenciones en diferentes grupos Incluir métodos participativos

Producir hallazgos generalizables Requiere mucho tiempo y recursos Hallar soluciones simples

Adaptado de McGee y Gaenta (2010)

Sección B: Guía de Indicadores

La guía de indicadores presenta un conjunto de indicadores genéricos y metodologías asociadas para cada dimensión del cambio. EL GPF de CARE cuenta con tres áreas que resumen los cambios deseados y no captan la riqueza de los cambios dentro de cada área. Para una mayor claridad sobre estos cambios, el GPF divide las áreas de cambio en 14 componentes o “dimensiones del cambio” más específicas (Marco de Programación de Gobernabilidad, 2011). La guía de indicadores desagrega la “dimensión del cambio” en características. Estas características nos serán útiles para poder analizar los cambios y poder describirlos. Un conjunto de indicadores es entonces listado para cada una de las características de cambio, así como las metodologías asociadas, las cuales fueron descritas en la sección anterior. Estos indicadores son genéricos y, por lo tanto, necesitarán ser contextualizados y adaptados a los programas locales. La guía de indicadores tampoco es una herramienta finalizada o prescriptiva, sino más bien, un documento de aprendizaje, el cual debe ser adaptado y enmendado con la experiencia obtenida de éstos u otros indicadores.

Área 1: Ciudadanos marginados se empoderan

Dimensión Características del cambio

Indicadores Métodos de recolección de datos

1.1 Ciudadanos toman conciencia sobre sus derechos y deberes y ejercen agencia.

Ciudadanos marginados toman conciencia de sus derechos y deberes. Las habilidades de los ciudadanos marginados para identificar y comprender los

elementos básicos del sistema político (proceso de elecciones, oportunidades para participar, quién toma y cómo se toman las decisiones, etc.).

La comprensión que los ciudadanos marginados tienen de sus propios derechos y los desafíos o vulnerabilidades que confrontan.

Comprensión que tienen los ciudadanos marginados de sus deberes como ciudadanos.

Percepciones de informantes claves (encuesta, discusiones de grupos focales, entrevistas)

Encuesta CAP- pre y post evento

Análisis social y de comunidad o planes de acción.

Ciudadanos marginados exigen y tienen acceso a la información y la están usando.

Frecuencia de la comunicación y de la información buscada y usada: ¿Sabe la gente a dónde ir por la información?

¿Con cuánta frecuencia usa la gente o se refiere a estas fuentes de información? ¿Por qué? ¿Qué es lo que valoran o no valoran sobre la fuente de información?

Percepciones de informantes claves con los usuarios y generadores de la información.

1.2 Los ciudadanos participan y se organizan en acciones colectivas.

Los ciudadanos marginados tienen una capacidad individual y colectiva para articular sus necesidades, aspiraciones y demandas.

Los ciudadanos marginados tienen las capacidades de articular y dar voz a sus necesidades, como también plantear sus exigencias y resolver conflictos.

Números de grupos formados.o ¿Cómo se formalizan estos grupos? ¿Son grupos unidos para un tema

específico o con un plan de largo plazo? Habilidad que tienen los ciudadanos marginados para negociar el uno con el

otro y formar posiciones y demandas.o ¿Se han formado los grupos?o ¿Tiene la gente la habilidad de priorizar estas demandas? ¿Cómo lo están

haciendo?

Monitoreando eventos observables, tales como reuniones comunitarias. Los temas relacionados al muestreo devienen importantes aquí. Esto podría incluir observación monitoreando los eventos claves, tales como reuniones comunitarias, para comprender el proceso que los grupos atraviesan al negociar. Esto podría ser costoso si es ejecutado a escala, pero también puede hacerse a través de visitas de monitoreo regular con los grupos ciudadanos.

Ciudadanos marginados toman acciones colectivas para comprometer a los tomadores de decisión.

Un número de grupos tienen vínculos o relaciones funcionales con otros actores (de manera horizontal y vertical)

Un número de grupos conducen las iniciativas de acción colectiva para comprometer a las autoridades públicas y a los tomadores de decisión.o ¿A quién están apuntando y a qué asuntos?

El nivel y la calidad de las redeso ¿Qué grupos u organizaciones están trabajando de manera colaborativa?o ¿Cómo están trabajando juntos? ¿Cuáles son las dinámicas entre los

diferentes actores, tales como en las relaciones de poder?

Valoración organizacional de grupo o compañero (monitoreo: información de los grupos)

Métodos cualitativos, tales como estudio y análisis de casos, proceso de reconstrucción para profundizar el análisis

o ¿Cómo han cambiado estas dinámicas a través del tiempo? ¿Quién toma las decisiones en la agenda compartida y cómo se toman las decisiones?

El nivel y la calidad de la participacióno ¿Quién participará y quién no?o ¿Quién establecerá la agenda?o ¿Cómo se toman las decisiones dentro de los grupos?

El nivel y la calidad de las relaciones establecidaso ¿Qué relaciones han sido formadas dentro de la sociedad civil y con los

tomadores de decisión?o ¿Cómo son esas relaciones? (Relaciones de poder entre los diferentes

actores, niveles de participación y aceptación de la voz de la gente marginada).

cualitativo. Los métodos de muestreo son relevantes cuando se conduce análisis cualitativo.

Efectividad de la participación y el compromiso ciudadano.

Número de cambios o de negociaciones exitosas debida a la participación.o ¿Qué cambios han resultado debido al intercambio y diálogo entre los

ciudadanos con los tomadores de decisión?o ¿Cómo han resultado dichos cambios? ¿Cuál fue el proceso o los

elementos clave para el éxito en estos cambios?

Nótese que este último indicador capta un nivel de cambio que podría ser considerado de “nivel de impacto “, si se sostiene.

Grupo o información de organización; elementos cuantitativos de participación

Percepciones de informantes clave

Metodología de estudios de caso-métodos PRA, tales como análisis de los actores, proceso de reconstrucción, análisis del campo de fuerzas

Evaluación de impacto participativa

Cambios más significativos1.3 Los ciudadanos piden a las autoridades públicas y tomadores de decisión que rindan cuentas.

Ciudadanos marginados están generando monitoreo de evidencia en relación a las acciones de los tomadores de decisión.

Calidad del monitoreo de la información generada Número de grupos que generan evidencia. ¿Qué tipo de información están generando los grupos (por ejemplo, monitoreo

de análisis de presupuesto, de registro de puntajes, de políticas)? Número de propuestas alternativas o de demandas generadas. ¿Tienen

exigencias claras? ¿Cuán riguroso fue el proceso seguido para generar datos?

Ciudadanos marginados monitorean las acciones de los detentores del poder, negociando y pidiéndoles una rendición de cuentas.

Número de organizaciones de sociedad civil (OSC) representativas que participan en los espacios de rendición de cuentas.

Número de ciudadanos pobres y marginados que participan en los espacios de rendición de cuentas.o ¿Quién participa y quién no?o ¿Quién da forma a la agenda discutida? ¿Cómo son tomadas las

decisiones? Calidad de la negociación hecha por la gente pobre o marginada en los

espacios y mecanismos de rendición de cuentas.

Monitorear eventos observables, tales como auditorías sociales, registros comunitarios

Conducir auditorías aleatorias de lo evidencia (auditorías sociales, registros comunitarios etc.) para valorar la calidad de la evidencia y las

o ¿Qué tipo de asuntos o exigencias las personas pobres y marginadas están poniendo en agenda? ¿Por qué?

o ¿Quién decide sobre estos asuntos y determina la agenda?o ¿Qué tipo de información de apoyo y evidencia está siendo presentada

por los ciudadanos?

sugerencias Información objetiva, tal como

el número de documentos de monitoreo producidos, la claridad de las demandas y peticiones. Comparar con otra información sobre niveles de participación.

Ciudadanos marginados están trabajando en redes y construyendo vínculos para reforzar la rendición de cuentas.

Número de grupos con vínculos funcionales a otros actores (especificar cuáles) para reforzar la confiabilidad (por ejemplo, establecer relaciones con los medios o con plataformas nacionales y regionales).

1.4 Influencia efectiva de las OSC en las políticas públicas

Grupos de ciudadanos marginados tienen la capacidad de conducir el análisis de políticas públicas.

Conocimiento y destrezas de los ciudadanos o grupos en los procesos concernientes a políticas públicas, la identificación de asuntos relacionados a políticas públicas, análisis del contexto de las políticas, desarrollo de las estrategias de las políticas etc.

Grupos de ciudadanos marginados construyen alianzas para negociar con los gestores de políticas públicas.

Números de grupos y de OSC con estrategias para influir en políticas públicas, así como planes y objetivos de incidencia.

Número de OSC o grupos involucrados en incidencia política (en vez de en entrega de servicios).

Número de iniciativas de incidencia llevadas a cabo en su conjunto por dos o más organizaciones.

Número de OSC participando en coaliciones de incidencia. Nivel y calidad de la participación de las OSC en las coaliciones.

o ¿Cómo participan los grupos representativos de ciudadanos marginados en la coalición? ¿Son escuchados? ¿Qué tipo de temas ponen sobre el tapete de la discusión?

Nivel y calidad de las relaciones establecidas.Ciudadanos marginados influyen en políticas públicas de manera efectiva.

Número de OSC o grupos influyendo en políticas públicas.o ¿Qué están haciendo y por qué?o ¿Qué tipo de OSC? Por ejemplo basada en organizaciones comunitarias,

ONG, movimientos, organizaciones con membresía, etc. Nivel de influencia de los ciudadanos marginados y sus grupos sobre los

procesos políticos (se puede usar una escala de participación para medir la influencia registrada).

Naturaleza de los asuntos que son tratados en procesos de incidencia: ¿Son importantes y por qué?

Número de actividades de presión, demostraciones, propuestas presentadas a las autoridades por OSC representativas y por movimientos sociales.

Métodos de recolección de datos: 1) Información CSO sobre la membresía, el personal, etc; 2) Percepciones de los informantes claves; 3) Monitoreo observable de los eventos, etc.

Número y nivel de cambios que se lograron en el entorno de políticas públicas. a través de la incidencia.o ¿Qué cambios ha habido para la política pública en la cual se incidió?o ¿Coinciden los cambios con la agenda de incidencia?o ¿Cuál fue el rol o contribución del grupo ciudadano, las OSC o coalición

para lograr ese cambio?

Nota - selección del indicador: Para este cambio, los tipos de indicadores que seleccione, y la adaptación que haga para el contexto, dependerá del nivel de incidencia en políticas que se haya implementado, y el tipo de organización (grupos de comunidad/ movimiento/ coalición/ ONG) con la que trabaja el proyecto.

1.5 Las OSC son representativas y responsables hacia los ciudadanos marginados.

Los ciudadanos marginados son incluidos en y representados por las OSC a todo nivel

Número de distritos, movimientos nacionales o internacionales de ciudadanos que están tratando asuntos de importancia para ciudadanos marginados.

Perfil étnico, de género, religioso, o de discapacidad de las membresías de las OSC, el comité ejecutivo y de la estructura responsable de la toma de decisiones.

Nivel de inclusión en los procesos de toma de decisión por parte de las OSCo ¿Cómo son incorporados los puntos de vista de la gente marginada a la

visión y planificación de la OSCo ¿Cuánta influencia tiene la gente marginada en estas decisiones?

Proceso de selección de los líderes.o ¿Son los líderes seleccionados democráticamente o por consenso?o ¿Cuáles son los términos de su liderazgo? ¿Son reforzados?

Tipos de temas y agendas tratadas por los representativos o líderes.o ¿Qué voces son oídas y quién determina la agenda?o ¿Cómo se toman las decisiones?

Plataformas nacionales y regionales de la sociedad civil y redes que tienen vínculos con los grupos marginados, a nivel local.

Las OSC comparten información, recursos, decisiones, etc.

Provisión de información financierao ¿Qué información se comparte? ¿Son las decisiones relevantes y la

información comunicada de manera adecuada y a su debido tiempo?o ¿Comparten las OSC comunicados financieros periódicamente?

Comunicación clara de las decisiones, recursos, etc.o ¿Cómo son comunicadas las decisiones por los líderes?o ¿Saben los miembros qué decisiones han sido tomadas y por qué?o ¿Saben los miembros cómo hallar esta información, si no la tienen?

Las OSC han implementado mecanismos de rendición de cuentas

Número de OSC con mecanismos de rendición de cuentas en funcionamiento.o ¿Tiene la OSC un mecanismo de sanción/promoción?o ¿Qué mecanismo está siendo utilizado? Por ejemplo, ¿funciona con

regularidad? Conciencia y uso del mecanismo de rendición de cuentas.

Las percepciones de los informantes claves pueden ser encuestadas.

El monitoreo de eventos observables, tales como los

o ¿Quién conoce sobre él y quién no?o ¿Quién usa el mecanismo y quién no?

Nivel de reconocimiento y calidad de la participación en el mecanismo de rendición de cuentaso ¿Quién participa y quién no?o ¿Qué temas son tratados?o ¿Tienen los miembros o suficiente información o conocimiento confiables

que les permitan tomar decisiones financieras, etc.? Efectividad del mecanismo de rendición de cuentas.

o ¿Cuál es el recurso o respuesta que sigue después del tratamiento de un tema? ¿Cuenta la OSC con un proceso especial para lidiar con quejas o desafíos?

o ¿Pueden los miembros reforzar la rendición de cuentas? ¿Existen consecuencias para un ejercicio de liderazgo deficiente?

espacios de rendición de cuentas (foros públicos)

Las autoevaluaciones por parte de las OSC. Los costos de estas diferentes aproximaciones puede variar y cómo se las puede usar también varía.

Autoevaluación por parte de las OSC

Auditorías de planes y estrategias de apoyo.

Percepciones de informantes clave (miembros de coaliciones, etc.)

Documentos de OSC, políticas.

Monitoreo de los eventos observables

Análisis de políticas comparativo

Percepciones de los informantes clave

Reconstrucción de cómo fueron los procesos

Escala de participación.

Área 2: Autoridades públicas y otros tomadores de decisión son efectivos y rinden cuentas a los ciudadanos marginados

Dimensión Características de cambio Indicadores Métodos de recolección de datos

2.1 Autoridades públicas y tomadores de decisión tienen la

Implementación efectiva y despersonalizada de legislación transparente y

Existencia de legislación que protege o subraya los derechos de los ciudadanos marginados. (Nótese que los proyectos de legislación de los derechos de los ciudadanos marginados deberían de basarse en las

Nota sobre la selección del indicador: algunos de estos indicadores son más adecuados para trabajar en el

capacidad de defender derechos y de hacer entrega de bienes públicos

progresiva, políticas y procesos relativos al presupuesto.

propuestas de grupos que representan a estos ciudadanos). Existencia de mecanismos, procesos y financiamientos adecuados para

implementar esta legislación.o Nivel de implementación de la legislación.

Nivel y calidad de implementación de políticas transparentes y progresivas, programas y procesos relacionados al presupuesto.o ¿Cómo se desarrollan las políticas? ¿Quién toma las decisiones? ¿Qué

procesos atravesaron?o ¿Cómo se desarrollaron los presupuestos? ¿Quién toma las decisiones?o ¿Qué cambio ha habido en el nivel y la calidad de los procesos

institucionales? Provisión de servicios por las autoridades públicas.

o ¿Cómo son servidas las áreas rurales y/o marginales?o ¿Existe un sistema universal de servicio o un sistema específico para los

ciudadanos marginados? Nivel y naturaleza del debate de transparencia pública de leyes y regulaciones.

o Naturaleza de cobertura del debate por el medio público y privadoo Número de foros públicoso Número de participantes de foros públicoso Diversidad de participantes en foros públicoso Diversidad de participantes en debates legislativos.

fortalecimiento del rol parlamentario. Es un área relativamente nueva del trabajo de CARE y solo tenemos unas pocas experiencias globales relacionadas a esto.

Monitoreo de los eventos observables

Registro de la percepción de informantes claves

Monitoreo de los medios Valoración del impacto a nivel

local de las políticas públicas específicas.

Servidores públicos tienen destrezas, conocimiento y recursos (financieros y técnicos) para su trabajo.

Selección y reclutamiento de servidores públicos es transparente, basada en méritos y no basada en afiliación política. Las políticas de empleo y de pago son claras y transparentes. El número y tipo de servidores públicos en diferentes niveles de gobierno. Capacidad organizacional de la administración y de la burocracia.

o ¿Cuáles son los incentivos dentro de la burocracia? En qué dirección informan – vertical u horizontalmente, a sus redes o a los ciudadanos, fortalezas y debilidades; dónde son hechas las decisiones o programas designados; dónde son implementados los programas.

Estadísticas oficiales Análisis de presupuesto Valoración de capacidad

organizacional Percepciones de informantes

claves

2.2 Autoridades públicas y decidores dan respuesta a los grupos de impacto, al diseño y la implementación de políticas y programas pro-pobres, y a presupuestos incluyentes.

Ciudadanos marginados acceden a y usan servicios públicos apropiados y mejorados en calidad, de parte de las autoridades nacionales.

Un número de autoridades públicas que están brindando servicios públicos.o ¿Quién está brindando servicios públicos?o ¿Cómo son diseñados los servicios y cómo son implementados?

La calidad de los servicios brindadoso Nivel de satisfacción de los usuarios del servicio.o Cobertura geográfica de los proveedores del servicio.o Cumplimiento del servicio brindado bajo los parámetros acordados.

Cuán apropiados son los servicios entregados.o ¿Toma el diseño de servicios en cuenta las necesidades y aspiraciones de

las poblaciones marginadas?

Percepciones de los informantes claves

Uso de herramientas de respuesta social, tales como registros comunitarios o cambios de registro en relación a satisfacción con la calidad y cuán apropiados son los servicios brindados

Estándares de desempeño definidos y sus medidas.

o Nivel de satisfacción y cuán apropiados son los servicios.Ciudadanos marginados tienen un acceso equitativo a derechos.

Nivel de acceso a los recursos públicos, tales como la tierra.o ¿Quién está accediendo a los recursos públicos, tales como tierra, y quién

queda excluido? Nivel de acceso de las organizaciones en la toma de decisiones.

o ¿Quién toma las decisiones?o ¿Quién accede e influye en quienes toman las decisiones? Esto podría ser

en relación a la distribución de recursos y oportunidades económicas, a las oportunidades sociales, legales y a las decisiones relacionadas con la justicia.

Nivel de acceso a las oportunidades para fortalecer los medios de vidao ¿Qué cambios han existido en el apoyo a poblaciones marginadas para

fomentar su acceso a oportunidades para sus medios de vida?o ¿Quién se beneficia de las oportunidades de medios de vida y sus

políticas, y cómo ha cambiado esto?

Mapas de recursos, antes y después de cada intervención

Percepciones de informantes claves; Mapa de poder antes y después de cada intervención.

Autoridades públicas ( y burocráticas ) son asequibles, responsables y dan respuesta.

Nivel de responsabilidad y desempeño de calidad. Apertura de los servidores u funcionarios públicos y los proveedores de servicio. Presencia de los servidores u funcionarios públicos, los proveedores de servicio.

o ¿Cuán fácilmente son asequibles los proveedores de servicio o funcionarios?

o ¿Vienen a las comunidades o a los centros de servicio de manera puntual y con regularidad?

Representación de las poblaciones marginadas en el servicio civilo División del personal en diferentes niveles y funciones, por género, etnia,

religión, clase, etc.

Percepciones del informante clave

Herramientas de responsabilidad social, tales como registros comunitarios y auditorías sociales en relación a la entrega de servicios

Auditorías aleatorias y monitoreo de los centros de servicio

Estadísticas publicadas sobre los estándares de desempeño

Políticas y leyes reflejan las aspiraciones de la gente pobre y marginada

Número de leyes y políticas que son pro-pobres y pro-marginados, basados en los estándares concordados y el criterio o aspiraciones de las poblaciones de impacto.o ¿Cuántas leyes han incorporado los derechos y aspiraciones de la gente

pobre y marginada? Aplicación de leyes y políticas

o ¿Se han implementado las leyes o políticas?o ¿Cuán extensiva es la implementación?

Calidad de leyes y políticas que son pro-pobreso ¿Empatan suficientemente con las exigencias de los ciudadanos

marginados?o ¿Cuáles son los vacíos? ¿Por qué no fueron incorporados estos temas?

Políticas de análisis antes y después de cada intervención

Percepciones de informantes claves sobre la participación institucionalizada

Autoridades públicas otorgan y gastan el presupuesto para

% y/o presupuesto actual otorgado y gastado en las políticas pro-pobres (como una proporción de PIB o gastos totales).

Análisis de presupuesto Percepciones de informantes

políticas y programas que responden a las poblaciones marginadas.

¿Cuál fue el gasto planificado? ¿Cuál fue el gasto real?

claves

2.3 Autoridades públicas y decidores son transparentes, proveen información asequible y relevante.

Autoridades públicas proveen información que es asequible (físicamente y en contenido y formato) a las poblaciones marginadas.

Vacío entre “demanda” y “entrega” de información se reduce. Publicación formal de contratos y ofertas. Asequibilidad a los planes de gobierno, presupuestos e informes de gastos y

auditorías hechas a poblaciones marginadas.

Percepciones y conocimientos de los informantes clave

Autoevaluación Revisión de la información

provista por decidores de políticas

Autoridades públicas promulgan y refuerzan el derecho a la información

Existencia de legislación sobre el derecho a la información. Implementación de mecanismos para facilitar el derecho de los ciudadanos a la

información.Ciudadanos marginados están conscientes de los estándares de desempeño o los mandatos de las agencias de entrega de servicios.

Existencia de carta ciudadana de derechos a los servicios. Estándares de desempeño publicados. Número o porcentaje de ciudadanos marginados que son conscientes de

derechos y estándares de desempeño.

Análisis institucional Análisis o revisión de la

legislación Percepciones de informantes

claves o encuesta CAP; Procesos de responsabilidad

social, tales como tarjetas para evaluación.

2.4 Autoridades públicas y decidores que rinden cuentas ante los grupos de impacto.

Autoridades públicas fortalecen la rendición de cuentas horizontal, particularmente en los casos de ciudadanos marginados.

Existencia de mecanismos que funcionan para la rendición de cuentas horizontal.

o ¿Qué mecanismos de rendición de cuentas horizontal existen?o ¿Cómo funcionan? ¿Qué respuesta existe a sus hallazgos? ¿Se

comunican las recomendaciones?o ¿Son independientes de los actores políticos?

Efectividad de los mecanismos de supervisión como los defensores parlamentarios, judiciales, comités electorales etc.

Incidencia registrando los mecanismos de supervisión, tales como el escrutinio parlamentario

Percepciones de los informantes clave

Monitoreo de eventos observables

Autoridades públicas tienen mecanismos de responsabilidad efectivos, verticales que son incluyentes en relación a los ciudadanos.

El sistema electoral funciona efectivamente.o Las elecciones son conducidas con regularidad.o Son independientes de la interferencia política.

Existe una diversidad de representantes elegidos. Número de mujeres/minoría étnica o religiosa elegida o con puestos otorgados. Número de informes en los medios sobre la toma de decisiones de las

autoridades públicas. Número de foros de respuesta de las autoridades públicas hacia los

ciudadanos.

Mapas para la toma de decisiones o mapas de espacios y mecanismos en los cuales participar (ver CARE Bolivia).

Gestores de políticas (instituciones tales como religiosas, partidos políticos, sindicatos, sector privado,

Número de casos de prácticas negativas por las instituciones reportadas de una manera no sectaria e informativa.

Percepción de la confiabilidad institucional.

Incidencia en informar Percepciones claves de

informantes Análisis de discurso e informe de los medios.

medios) han abordado las prácticas negativa que tienen impacto sobre los ciudadanos marginados.Gestores de políticas (Instituciones tales como religiosas, partidos políticos, sindicatos, sector privado, medios) son responsables, transparentes y dan respuesta a ciudadanos marginados.

Existencia de marcos y de estructuras institucionales en instituciones que reflejan prácticas democráticas internas.

Apertura de instituciones en respuesta a la voz y exigencias de las poblaciones de impacto.

Existencia de mecanismos de responsabilidad que involucren a las poblaciones de impacto.

Informe de incidencia Percepciones de informantes

claves

Instituciones tradicionales y autoridades son más incluyentes de ciudadanos marginados

Representación de poblaciones de impacto en instituciones tradicionales. Apertura de instituciones tradicionales a los intereses, aspiraciones y

necesidades de la gente marginada.

Percepciones de informantes claves Monitoreo de eventos observables

Datos y registros de instituciones tradicionales. Se pueden mirar éstos antes y después de cada intervención.

Instituciones tradicionales son más responsables hacia los ciudadanos marginados, implementan mecanismos de responsabilidad y comparten su información sobre sus acciones y decisiones.

Existencia de mecanismos de responsabilidad que son sensibles a la cultura, por parte de las instituciones tradicionales, tales como mecanismos para comunicar decisiones.

Existencia de mecanismos sensibles a la cultura para suscitar respuesta en relación a las poblaciones de impacto.

Participación de población impacto en estos mecanismos. Decisiones, prioridades y planes de instituciones tradicionales que reflejan el

interés y aspiraciones de las poblaciones impacto.

Revisión o mapa de mecanismos de responsabilidad

Monitoreo de los eventos observables, tales como reuniones; Percepciones de informantes clave

Auditorías aleatorias de planes y prioridades o acciones de autoridades tradicionales para valorar el cambio en la naturaleza de la toma de decisiones.

2.5 La aplicación de leyes y de justicia es efectiva y se administra la justicia de manera equitativa e imparcial.

El marco legal es equitativo e incluyente de los derechos de los ciudadanos marginados.

Existe un marco legal que reconoce que todos los ciudadanos tienen iguales derechos.

Porcentaje de población objetivo que son conscientes del contenido de las leyes (particularmente de la ley o conjunto de leyes bajo consideración o relevante al proyecto de intervención/programa, por ejemplo, la violencia doméstica, los derechos a la tierra).

Existencia de mecanismos independientes para reforzar y aplicar las leyes (comisión de derechos humanos, supervisores, defensor del pueblo).

Existencia de leyes que protejan los derechos de las mujeres y de los grupos minoritarios de acuerdo a los estándares acordados.

Existencia de los marcos legales acostumbrados que protegen y aseguran los derechos de las mujeres y de los grupos minoritarios.

Revisión legal Percepciones de informantes

claves; CAP

Autoridades públicas administran justicia y aseguran imparcialmente la seguridad humana.

Consistencia en aplicación de la ley a través del estado y de la sociedad. ¿En qué medida están sujetos los oficiales públicos a la ley y a las reglas

transparentes en la actuación de sus funciones? ¿Cuán independientes son las cortes y lo judicial de las interferencias políticas? ¿Qué tanto observa la justicia criminal y los sistemas penales las reglas de

tratamiento imparcial y equitativo, en sus operaciones? Porcentaje de ciudadanos que se sienten tratados justamente o que serían

tratados justamente, si tuvieran un caso en el sistema legal formal o informal. Número de casos criminales que involucran a las élites políticas, económicas e

institucionales, llevadas a juicio. Representación de las poblaciones marginadas en la justicia y en el sistema

legal. Tiempo promedio para la resolución de un caso.

Examinar las leyes y procedimiento, a través de estos indicadores

Comparar los castigos para el mismo crimen

Analizar la composición de la judicatura, de la policía etc.

Análisis de informes de los medios.

Ciudadanos marginados tienen acceso equitativo a la justicia.

Porcentaje de la población ubicada a media hora de viaje desde la corte o punto policial más cercano.

Tarifas de usuario archivadas ausentes, nominales o vinculadas a la capacidad de pagar.

Porcentaje de casos abandonados por inhabilidad de costearlos. Número de defensores públicos que proveen apoyo legal por cada 100,000

habitantes. Número de casos que usan los sistemas alternativos.

Autoridades públicas publican leyes y regulaciones.

Número de anécdotas mediáticas, artículos y transmisiones que cubren cambios en ley/procedimientos.

Información provista en derechos legales.o Número de noticias provistas a ciudadanos en relación a derechos legales-

publicaciones, hojas volantes, carteleras de noticia.o Acceso a noticias ¿Dónde se ubican físicamente esas noticias? ¿Sólo

presentan forma escrita? Número o porcentaje de ciudadanos marginados (poblaciones de impacto) por

categorías de población, que están conscientes de sus derechos legales. Porcentaje de ciudadanos marginados (poblaciones de impacto) que saben

cómo acceder al sistema legal.Autoridades públicas publican las decisiones y resultados de los procesos legales

Porcentaje de casos donde se recibió y envió noticia. Número de anécdotas mediáticas, artículos o transmisiones puntuales y que

cubren adecuadamente los cambios en ley o procedimientos.

Percepciones de informantes claves Análisis de medios y revisión

Revisión del sistema legal Encuesta a la población para ver

si comprenden o no la cobertura de medios.

Decidores, de políticas, del sector privado y/o de otros grupos de élite (económico,

Autoridades públicas observan las leyes en vigor. Control civil sobre las fuerzas armadas.

o ¿Cuán libres son las fuerzas políticas del involucramiento militar?

Revisión/análisis de los medios Sistema legal/revisión de casos Percepciones de informantes

religioso, etc.) son respetuosos de los tratados internacionales y de las leyes nacionales.

Número de casos de violaciones por actores poderosos, tales como el sector privado, de medios, grupos religiosos, etc.

clave Informes por parte de organizaciones nacionales e internacionales de derechos humanos y supervisores (UN, Amnistía Internacional, etc.)

Área 3: Se expanden los espacios de negociación entre los tomadores de decisión y los ciudadanos marginados, y se tornan incluyentes y efectivos

Dimensión Características del cambio

Indicadores Métodos de recolección de datos

3.1 Espacios institucionalizados son expandidos, inclusivos y efectivos

Participación institucionalizada de los ciudadanos marginados en la toma de decisiones a diferentes niveles.

Número de espacios y mecanismos para la participación institucionalizada en la formulación de políticas o procesos de planificación.o ¿A qué nivel existen estos espacios (local, regional, nacional, global)?o ¿Quién creó estos espacios y por qué?o ¿Qué actividades han sido llevadas a cabo o qué decisiones han sido

tomadas?

Percepciones de informantes claves Análisis institucional, por ejemplo, de

mapa Monitoreo de eventos observables, tales

como espacios

Espacios institucionalizados son efectivos.

Número de espacios funcionales Nivel y calidad de la interacción.

o ¿Quién participó y quién no? ¿Por qué? ¿Quién dio forma a la agenda?o ¿Quién establece las reglas del juego? ¿Optan otros por el espacio, como

por ejemplo, algún grupo poderoso (partido político, grupo CS, autoridades públicas, élite económica, etc.)?

Número de acuerdos y agendas que resultan de los espacios para la negociación.o ¿Quién pensó en estas ideas o agendas?o ¿Qué evidencia generaron los ciudadanos representativos?o ¿Cuál fue el espacio designado y estructurado como para ser efectivo? Por

ejemplo, ¿tiene claridad en relación a roles y funciones?o ¿Hay interacción de los participantes?o ¿Qué acciones o cambios ocurrieron a causa del espacio?

Monitoreo observable de eventos Percepciones de informantes clave Proceso de reconstrucción y

delineamiento de espacios Análisis comparativo entre las demandas

de las OSC antes de su participación en el espacio y los acuerdos resultantes y agendas después de la negociación.

Espacios institucionalizados son incluyentes y representativos.

Número de grupos representativos y explícitamente defendiendo los grupos marginados, y activos en los espacios.

Perfil étnico, de género, religioso, de discapacidad de los participantes o miembros de espacios.o ¿Quién es incluido y quién es excluido y por qué?o Proporción de participantes de los grupos marginadoso ¿Cuán inclusivo son los procesos de toma de decisiones de los espacios?o ¿Cómo se incorpora la visión de la gente marginada a la visión y

planificación de los espacios?

información objetiva sobre la participación en el espacio

Percepciones de informantes clave Monitoreo observable de eventos

o ¿Cuánta influencia tiene la gente marginada en estas decisiones?o ¿Quiénes son los líderes formales e informales y de qué grupos

provienen? ¿Cómo emergieron estos líderes- a través del consenso o seleccionados democráticamente o a través de su propio poder personal?

Tipos de temas y agendas tratados por participanteso ¿A quién pertenece la voz escuchada y quién moldea la agenda?o ¿Cómo se toman las decisiones?

3.2 Espacios informales son reclamados y creados

Espacios informales son creados por grupos diferentes o diversos y en relación a sus demandas e intereses.

Número de acciones dirigidas por los ciudadanos para comprometer a los gestores de políticas o para crear conciencia de sus exigencias.o ¿Quién creó o exigió el espacio y por qué?o ¿Qué temas son tratados?o ¿Cómo se decidió sobre esos temas?o ¿A quién apunta este espacio (gestores de poder y responsables) y por

qué? % de ciudadanos marginados o número de grupos ciudadanos marginados

involucrados en estas acciones.

Mapeo institucional o de gobernabilidad (mapeo de espacios)

Percepciones de informantes clave Eventos de monitoreo observables

3.3 Acuerdo político incluyente logrado en diferentes niveles

Las partes interesadas de la sociedad tienen mecanismos para transformar el conflicto.

Mecanismos conocidos por todos y ampliamente comunicados para resolver conflictos (incluyendo el informal)o ¿Cómo trabajan estos mecanismos? ¿Quién está involucrado?o ¿Existen costos escondidos para utilizar estos mecanismos? ¿Tienen

estos costos impactos diferenciales sobre la gente, debido a su clase, etnia, género, etc.?

o ¿Cuáles son los diferentes niveles de poder en la negociación? Capacidad de los actores legales para manejar el conflicto.

o ¿Tienen los actores locales las destrezas y el conocimiento para manejar el conflicto de forma exitosa?

o ¿Cuáles son los vacíos existentes en sus capacidades?

Autoevaluación Monitoreo observable de eventos

Percepciones de informantes clave

Equidad en el acceso al poder y a los recursos.

Existencia de leyes o políticas para la acción afirmativa para las mujeres, los pobres, la gente indígena o de etnia específica y otros grupos marginados.

Acceso equitativo al poder.o ¿Tiene toda la gente igual acceso a la justicia y al sistema legal?o ¿Tiene toda la gente igual acceso a las autoridades públicas a un nivel

local, regional o nacional?o % de mujeres (y otros grupos marginados) de entre los cuerpos elegidos,

policía o servicio civil, sociedad civil, sector privado.o Igual acceso a los recursos, incluyendo los recursos naturales, los recursos

del gobierno y a programas por identidad o membresía de grupo.

Indicadores cuantitativos sobre la composición de ciertas instituciones

Muestreo de los ciudadanos y sus grupos representativos

Auditoría aleatoria de los beneficiarios de los programas de gobierno o recursos

3.4: Alianzas y coaliciones que logran cambios sociales

Las coaliciones producen resultados favorables a los pobres y reflejan los

Nivel y calidad de interacción.o ¿Quién participó y quién no? ¿Por qué? ¿Quién es parte de la coalición?o ¿Cuáles son los intereses comunes y objetivos que manejan la coalición?

Monitoreo de los eventos observables; Percepciones de los informantes clave Datos objetivos de la coalición Autoevaluaciones

intereses de las poblaciones marginadas (grupos de impacto)

o ¿Cuál fue el objetivo de la coalición?o ¿Quién dio forma a la agenda?o ¿Quién creó la coalición y por qué?o ¿Se optó conjuntamente por el espacio?

Resultados de la coalición.o ¿Qué fue discutido en la coalición y por quién?o ¿Qué evidencia generó la coalición para apoyar su postura?o ¿Fue la coalición diseñada y estructurada para ser efectiva? Por ejemplo,

¿tiene un rol claro y una función? ¿Existe un vínculo organizacional claro y un compromiso en la coalición, entre los grupos participantes?

o ¿Qué relaciones se formaron entre la coalición y los tomadores de decisión?

o ¿Qué resultados se desprendieron de los esfuerzos para la coalición?o ¿Hubo riesgos reducidos a través de la colaboración en coaliciones?

Referencias

Bloom, E. Sunseri, A., & Leonard, A. (2007) Measuring and Strengthening Local Governance Capacity, the Local Governance Barometer, PACT and USAID

Gaventa, J. and Barrett G. (2010) So what Difference Does it Make?: Mapping the outcomes of citizen engagement, Working Paper DRC, IDS

Hinton, R. (2011) Action research – testing underlying theories of change, Prepared for theINTRAC, PSO and PRIA Conference on monitoring and evaluation, June 2011 (available on CARE Governance wiki - http://governance.care2share.wikispaces.net/Home)

Holland, J. and Thirkell, A. (2009), Measuring Change and Results in Voice andAccountability Work, DFID Working Paper 34

Jupp D et al, 2010. “Measuring Empowerment? Ask Them: Quantifying qualitative outcomes from people’s own analysis. Insights for results-based management from the experience of a social movement in Bangladesh”, Sida Studies in Evaluation 2010:1

Kaufmann, D. and Kraay, A.(2007) Governance Indicators, Where are We and Where Should we Be Going?, World Bank Working Policy Research Paper

McGee, R. and Gaventa, J. (2010) 'Review of Impact and Effectiveness of Transparency and Accountability Initiatives ', Institute of Development Studies, Brighton provide a usefulcritical discussion of methods used to assess transparency and accountability initiatives

O’Neill, T. Foresti, M. and Hudson A. (2007) Evaluation of Citizen’s Voice andAccountability: Review of the Literature and Donor Approaches Report, OverseasDevelopment Institute; Sarles, M. Evaluating the impact and effectiveness of USAID’sdemocracy and governance programmes

Pollitt, C. (2008) ‘Moderations in all things’: Governance quality and performance measurement, paper for the structure and organization of government ASOG meetingGottenburg

Ravallion, Martin (2009) ‘Should the Randomistas Rule?’ Economists’ Voice. BerkeleyElectronic Press

Shutt, C. (2006) ‘Money matters in aid relationships’, in (ed) R. Eyben Relationships for Aid, London: Earthscan, Eyben, R. Relationships for Aid

Shutt, C. (2011) Monitoring, Evaluating and Assessing the Impact of GovernanceProgrammes, Summary of Literature and Practice Review, Consultancy for CAREInternational UK.

Williams, G. (2011) What makes a good governance indicator?, The Policy Practice, Brief 6, January 2011 (www.thepolicypractice.com)