“Hacer inteligible lo que pasa en un programa específico, oen un pequeño ayuntamiento, dentro del horizonte másamplio de las políticas sociales.”
Establecer posiciones acerca de:
• lo que suponemos que debe ser el papel del Estado en laspolíticas sociales (y, con ello, el papel de otros actores potencialeso reales).
• Cómo entendemos que se debe organizar el trabajo en laintervención social.
Ambos aspectos condicionan
• qué vamos a evaluar
• con qué supuestos vamos a evaluar
Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
• La evaluación no puede desconocer el contexto político delEstado del Bienestar porque los servicios y programas socialesson su producto más genuino.
• La evaluación aparece asociada a una preocupación por laEFICACIA de las inversiones y de las intervenciones sociales, quesurge a finales de la década de los sesenta del siglo XX.
• En los años setenta, se da un impulso decidido a la creación deinstituciones responsables del establecimiento deprocedimientos de evaluación de los servicios y programassociales.
• Desde los años ochenta, se va imponiendo un modelo deevaluación inspirado en la empresa privada: “eficacia”,“racionalización del gasto”, devolución de la prestación a lainiciativa privada, resentimiento y malestar frente a lostrabajadores y trabajadoras públicos.
Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
POLÍTICAS PÚBLICAS UNIVERSALES: Los sistemas educativos públicos. Escuelas taller, formación profesional.Guarderías, escuelas infantiles. Legislación de accidentes de tráfico, uso de radares y medidas preventivas detráfico. Policía local. Salud Pública, epidemiología. Implantación de “Agendas 21” en municipios.
POLÍTICAS PÚBLICAS MERITORIAS: Universidades, sistemas de especialización médica. Formación continua profesional.
POLÍTICAS ARTICULADAS EN FUNCIÓN DE UN SEGMENTO SOCIAL: Políticas, planes y programas de igualdad degénero. Políticas y programas centrados en la intervención con la juventud. programas de sensibilización yeducación para el desarrollo con jóvenes. Programas inespecíficos de prevención de drogas. Programas deprevención de contagio de VIH en jóvenes.
POLÍTICAS SOCIALES CON GRUPOS CON PROBLEMÁTICAS MÁS ESPECÍFICAS: Planes municipales de vivienda
para población con dificultades. Reasentamientos y realojo de comunidades. Programas socio-sanitarios con
personas mayores. Intervenciones en salud mental. Programas de atención a drogodependientes. Programas con
discapacitados. Medidas de internamiento para menores infractores.
POLÍTICAS CENTRADAS EN GRUPOS DESEMPLEADOS O ÁREAS DEPRIMIDAS: Programas de microcréditos.
Centros de orientación sociolaboral. Programas EQUAL, LEADER, NOW, URBAN. Desarrollo rural sostenible,
desarrollo rural integrado y programas integrales de desarrollo de barrios.
POLÍTICAS CON GRUPOS EXCLUIDOS, EN RIESGO DE EXCLUSIÓN O PROCESOS DE SOCIALIZACIÓN: Programascon jóvenes inmigrantes. Inserción a través de rentas mínimas. Exclusión social. Población gitana. Jóvenes ymenores en situación de riesgo. Algunos dirigidos a mujeres en situación de dificultad.
Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
Servicios universalistas Con colectivos profesionales poderosos e instituciones
consolidadas (a menudo centralizadas) Que afectan a “políticas de Estado”
• Justicia
• Servicios sanitarios primarios y hospitalarios
• Economía
• Seguridad y defensa
• Infraestructuras
La evaluación no cuestiona ni puede limitar la prestación de estos servicios
Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
Sometidas a la exigencia añadida de constatar la “pertinencia” de la intervención debido a su carácterselectivo: la evaluación como “rendimiento de cuentas” sobre si la intervención se ajusta a la políticaestablecida, constatando la veracidad de la situación y condición de los usuarios.
Sometidas a criterios inspirados en la “eficacia” empresarial y objetivos “económicos”: la evaluaciónvinculada a políticas neoliberales de recortes de gastos públicos reduciendo personal, criterios deproductividad económica (coste/beneficio), valorando sólo los resultados cuantitativos de lasintervenciones.
Desarrolladas por colectivos diversos y dispersos, con escaso poder profesional, a menudo encondiciones no reguladas con claridad, o con dependencia burocrática: la evaluación como estrategia decontrol de los contenidos de trabajo.
Que se realizan en servicios y programas muy descentralizados, con una mínima regulación estatal y através de programas con un carácter más puntual y coyuntural que estable (débil institucionalización): laevaluación como mecanismo indirecto de regulación de los programas, así como posible fundamentopara determinar su cierre (o privatización).
Que más fácilmente pueden integrar una concepción de la participación en términos de “clientela” de sususuarios frente a una concepción democrática: la evaluación como estrategia de limitación de laparticipación en la toma de decisiones (encuestas de opinión vs participación en órganos colegiados).
Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
ORGANIZACIÓN BUROCRÁTICA ORGANIZACIÓN FLEXIBLE
PUESTOS FIJOS ROTACIÓN DE PUESTOS
RESPONSABILIDAD ACOTADA RESPONSABILIDAD COMPARTIDA
CUALIFICACIONES CUALIFICACIONES Y COMPETENCIAS
ESTRUCTURA PIRAMIDAL ESTRUCTURA HORIZONTAL
TRABAJO INDIVIDUAL TRABAJO EN EQUIPO
Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
“Hoy no basta que el funcionario cumpla su deber en las tareas que tiene asignadas;
es necesario que afronte muchos problemas de naturaleza distinta, trabajar con
otros profesionales, resolver conflictos nuevos y tener buenas dosis de autonomía”
“Los nuevos conceptos de la evaluación están vinculados a nuevas formas de
organización del trabajo social y, por tanto, sólo son viables cuando resultan
compatibles con organizaciones ágiles, flexibles y democráticas. La evaluación en
el sector público NO ES NUEVA, pero sí se ha redefinido en sus alcances, los
criterios valorativos y los momentos en que tiene lugar.”
MODELO BUROCRÁTICO MODELO FLEXIBLE
Regulación mediante normas y el control
jerárquico de su cumplimiento
Acento en la recepción y el tratamiento
de información actualizada, capaz de
permitir intervenciones más ágiles y
mejor adaptadas a la diversidad de
situaciones.
Evaluación aislada del desempeño de
cada funcionario/a
Ponderar constantemente los cambios
que operan a distintos niveles y
direcciones (en el entorno, en la gestión
de las intervenciones, en el equipo
responsable, en los beneficiarios).
Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
ALCANCES
• Evaluar la totalidad de la gestión (del servicio, del programa).
• Efectividad para resolver los problemas: se evalúa todo lo que puede contribuir a la mejora de los servicios y programas que se gestionan.
CRITERIOS
• Competencias personales (menos valor de la titulación en sí misma).
• Centralidad de la opinión de los usuarios/as.
MOMENTOS
• Planificación estratégica (“anticipar el futuro de las decisiones de hoy en día”)
• La evaluación como actividad inherente al programa en todos y cada uno de los momentos de su desarrollo.
Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
CONTEXTOS:
No puede desconocer
el contexto político.
MECANISMOS:
El problema no es si un
programa funciona…
sino explicar por qué.
RESULTADOS:
Conclusiones
realizables.
Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
Evaluar es algo más que investigar,puesto que debe emitirse un JUICIO DEVALOR sobre el objeto que se estáevaluando.
• Cuanto más fundamentada esté la valoración,y más rigurosa sea la recogida deinformación y su tratamiento, máscredibilidad tendrá frente a la audiencia.
La realización de una evaluación suponela aplicación de procedimientossistemáticos y rigurosos de recogida deinformación y análisis.
• Es necesario que los resultados de laevaluación sean útiles y que lo sean en elmomento en que se los necesita, que escuando pueden tener efecto en lasdecisiones.
La evaluación no está en sí destinada ala construcción teórica, pero debecontribuir a desarrollar las teoríasprevias de quienes la practican, dequienes participan y de quienes tomanlas decisiones políticas.
• La evaluación necesita tener en cuenta a las“partes interesadas” que tengan un interéslegítimo en el programa: desde los usuariosa los administradores.
En la investigación evaluativa debenaplicarse los mismos requisitos en larecogida de la información que en lainvestigación social para que lasconclusiones sean válidas y fiables.
• Validez del diseño
• Validez de la medición
• Fiabilidad
Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
La situación ideal: el diseño y la evaluación se plantean desde los inicios como dos tareas
complementarias y mutuamente enriquecedoras.
La evaluación considerada como un proceso “ad hoc” no permite introducir
cambios ni reprogramar los
objetivos en función de las necesidades
cambiantes que pueden ir surgiendo.
Los proyectos NO SON EVALUABLES cuando:
- la planificación es difusa
– los objetivos son puramente retóricos
- es escaso el análisis del contexto
- falta la estimación de recursos humanos y materiales
- no existen expectativas respecto a la utilidad o receptividad de la evaluación
- Las condiciones del contexto laboral, administrativo o político no hacen
recomendable la evaluación
Los proyectos y programas SON EVALUABLES cuando:
- Están bien estructurados y se han diseñado con precisión
- Tienen consistencia
- Pueden convertir las políticas sociales en intervenciones viables
- Se asume la utilidad de su evaluación
- Existen condiciones laborales, administrativas y políticas que facilitan la
legitimad de la evaluación
Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
Objetivos de la evaluación integrados con los objetivos del programa
Fijar prioridades de lo que más interesa, otorgar primacía a lo fundamental del
programa
Objetivos de evaluación
consistentes con los objetivos más
importantes del programa
Decidir qué objetivos del programa se evalúan con
detenimiento y en qué aspectos puede
focalizarse
Puede distinguirse entre una evaluación
general y estudios detallados sobre unos pocos temas
que requieren atención especial
Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
Diseño del plan de evaluación dentro del programa de intervención
Precisar la información
necesaria para poder
desarrollar el seguimiento
Reglas y procedimientos de evaluación
Formato y alcance del
informe final: información que
se incluirá e información que se excluirá para
proteger la confidencialidad y el anonimato
Cronograma de reuniones de
evaluación
Presupuesto destinado a la
evaluación dentro del
presupuesto global del
proyecto, que condiciona el
propio diseño de la evaluación
Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
Decisión acerca de la evaluabilidaddel programa de intervención
Determinación clara de los
objetivos de la evaluación
Especificación del tipo de evaluación
Diseño del proyecto
de evaluación
Recogida de la
información
Tratamiento y análisis de
la información
Redacción y
discusión del
informe
Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
Estudio preliminar y tentativo para diagnosticar la “evaluabilidad” del programa: despejar dudas sobre la viabilidad y conveniencia de
emprender la evaluación.
DESCRIPCIÓN DEL PROGRAMA:
trabajo documental
(consulta a los archivos y documentación del programa para decidir si se cuenta con
datos fiables acerca del personal, intervenciones y
recursos)
ENTREVISTAS A
INFORMANTES CLAVES
(responsables, gestores
y usuarios):
matizar o corregir la
información documental,
conocer si hay o no
consenso en temas claves,
valoraciones individuales
y colectivas.
VISITAS Y OBSERVACIONES IN
SITU:
percepción directa
(captar impresiones de primera mano con los
beneficiarios, conocer el contexto real, contrastar la
información obtenida).
PLAN DE EVALUABILIDAD:
-Favorable: aspectos a incluir, procedimientos,
utilización de los resultados de la
evaluación, destinatarios del informe.
- Desfavorable: comunicar a las partes
interesadas, justificando razones empíricas y
técnicas.
- Favorable, con matices: es posible que se concluya que algunas partes del programa sí pueden ser evaluadas.
Decisión sobre si tiene o no sentido proseguir con una evaluación formal y establecer cuáles van a
ser sus límites.
Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
SELECCIÓN Y PRIORIZACIÓN
Realistas: no se puede evaluar todo con detalle
Parte de los objetivos están condicionados:
- Por la utilización que se dará a la evaluación
- Por las metas del programa de intervención
ASPECTOS A CONSIDERAR
- En qué medida el programa resuelve las necesidades sociales de la población
objetivo
- Nivel de cobertura
-Intervenciones y servicios que se ofrecen y con qué
calidad
- Resultados e impactos del programa
- Eficiencia, eficacia y utilidad
DIFICULTADES
- Los objetivos no suelen tener un significado unívoco para todos los
implicados,…
- Rara vez se explicitan a los beneficiarios los objetivos del
programa, o no están en condiciones de explicitar sus
necesidades.
- Aparición de efectos no previstos cuando se evalúan resultados.
-Dificultades de los indicadores (cuantitativos-cualitativos)
- Los programas o servicios son COMPLEJOS, intervienen en
contextos diferentes, con mecanismos diversos…
Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
• Evaluación institucional de los centros de
servicios sociales
• Evaluación institucional de centros y servicios
sociales especializados
• Evaluación de programas y proyectos
sectoriales
• Evaluación de prestaciones básicas
• Evaluación en las entidades
Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
Evaluación según las FUNCIONES
EVALUACIÓN FORMATIVA
OBJETIVOS: aprender de los errores y los aciertos para corregirlos y reconducir el programa sobre la marcha; contrastar la teoría que subyace al programa con la práctica.
PROCEDIMIENTO: evaluar los PROCESOS a través de un seguimiento del programa, principalmente en sus primeras fases.
EVALUACIÓN SUMATIVA
OBJETIVOS: Analizar el IMPACTO del programa y verificar responsabilidades.
PROCEDIMIENTO: valoración final de la intervención recapitulando sus distintos elementos.
Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
Evaluación según el AGENTE EVALUADOR
Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
Evaluación según el MOMENTO
EVALUACIÓN EX-ANTE
Antes de implementar el programa
OBJETIVO: Analizar la adecuación del programa a las necesidades que lo motivan y sus posibilidades de éxito (aspectos conceptuales o de diseño, mecanismos de gestión y seguimiento, relación costes-beneficios, posibles impactos…)
INTERMEDIA
Una vez empezado el desarrollo del programa
OBJETIVO: Análisis crítico de los datos recogidos sobre el programa y la forma en que se van alcanzando los objetivos (validez, pertinencia, calidad de la gestión, seguimiento del programa)
EX-POST
Una vez que ha finalizado el programa
OBJETIVO: Valorar el nivel de éxito, el acierto en la estrategia,
grado de flexibilidad y capacidad de adecuación a los
cambios, mecanismos de gestión y seguimiento.
Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
Dilucidar cómo asignar recursos escasos de forma que se logre satisfacer las necesidades humanas, según las prioridades
COSTE-BENEFICIO
OBJETIVO: Encontrar la solución MENOS COSTOSA para alcanzar un objetivo o sacar el máximo provecho de un gasto efectuado.
PROCEDIMIENTO: Medición (en unidades monetarias) de la EFICIENCIA (servicios producidos/recursos movilizados) y la PRODUCTIVIDAD (nº de intervenciones por profesional; nº de prestaciones por cada 1000€) del programa.
COSTE-EFECTIVIDAD
OBJETIVO: Determinar si existen modelos más eficientes que otros en la provisión de servicios, comparando programas con objetivos similares.
PROCEDIMIENTO: Valorar la capacidad de las distintas intervenciones para alcanzar las metas y objetivos, examinando tanto los COSTES como los EFECTOS del programa, en unidades de resultados (no monetarias).
COSTE-UTILIDAD
Procedimientos para comparar y valorar la relación entre los COSTES (expresados en unidades monetarias) y los beneficios que PERCIBEN los individuos implicados en el programa (usuarios, profesionales, gestores).
Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
IDONEIDAD (pertinencia, eficacia)
SUFICIENCIA
ASPECTOS ECONÓMICOS (eficiencia)
POSIBILIDAD DE GENERALIZAR LOS RESULTADOS DE LA EVALUACIÓN (impacto, viabilidad)
La capacidad que tiene el programa para resolver el problemaque lo originó. Pertinencia de los objetivos del programa enrelación con los problemas que afectan al grupo o comunidad encuestión. Adecuación al contexto de la intervención.
La medida en la cual las acciones establecidas son adecuadas, no sólo en cantidad, sino en calidad.
Siempre surgen nuevas necesidades sociales, y siempre habráque manejarse con recursos escasos, que habrá que asignarestableciendo una jerarquía de prioridades : ventajas einconvenientes, asegurar el mayor bienestar en cada caso, costesrelativos de cada alternativa contemplando los efectossecundarios.
Es necesario contemplar si las conclusiones pueden aplicarse a:aspectos no evaluados del programa; un cambio decircunstancias respecto del momento en que se hizo laevaluación; si el programa evaluado puede servir o no dereferente para resolver problemas análogos.
Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
El tipo de evaluación escogido nunca es una elección ingenua… ni neutral
RAZONES TÉCNICAS
Aspecto/s del programa en que se centre la evaluación.
Ejemplos:
- Funcionamiento: seguimiento y monitorización.
- Evaluación de resultados.
- Impacto sobre la sociedad o comunidad.
- Evaluación económica.
RAZONES PRESUPUESTARIAS
Qué política presupuestaria sobre los servicios y la
intervención social se persigue.
Ejemplos:
Reducción de gastos sociales: enfoque coste/beneficio.
Expansión de gastos sociales: evaluación de la eficiencia, utilidad social, integración
personal…
ORIENTACIONES TEÓRICAS
- Modelos no participativos: producir conocimientos sin interferencia de intereses
ajenos a la propia evaluación.
- Modelos participativos: integración de las “partes
interesadas” en el equipo de expertos, llegando a integrar a los usuarios en la evaluación.
Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
“Es el gran acto de la imaginación en el campo metodológico, porque en ninguna otra parte, más que en este acto de
pensamiento a través de todo el proceso de investigación, cristaliza nuestra concepción acerca de las reglas básicas de la
explicación social de forma tan transparente” (Pawson y Tilley, 1997, XV)
Tener en cuenta los criterios de validez y fiabilidad propios de toda investigación.
No evaluar “si el programa funciona”, sino cuáles son los mecanismos que posibilitan que los participantes lo hagan funcionar: “Causalidad generativa”. Cómo y por qué los programas sociales generan la capacidad de producir
cambios, liberando las potencialidades de los individuos y las comunidades.
Hasta qué punto los mecanismos del programa sirven para el contexto específico en que se desarrolla: Evaluación de múltiples mecanismos y múltiples contextos, detectar cuáles son los mecanismos causales que originan los problemas
sociales y cómo pueden ser eliminados, o al menos contrarrestados, a través de los mecanismos causales que introduce el programa.
Esperar efectos diferentes en grupos y sujetos diferentes: si bien los resultados proporcionan la información clave para diseñar, seguir, modificar o archivar un programa, también es necesario saber que éstos no constituyen un todo
indiferenciado sino que, necesariamente, se producirán resultados múltiples. Los resultados no se examinan para saber si el programa funcionó, sino para descubrir el por qué, es decir, si nuestras hipótesis acerca de los mecanismos más eficaces en
cada contexto se confirman.
Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
Cuáles serán los grupos o
sectores a evaluar
Diferentes mecanismos y contextos
de intervención
Tipo de información
necesaria para cada
caso
Técnicas
de
recogida y
análisis de
resultados
Anticipar aspectos
como el personal, la
administración, los presupuestos de la evaluación, el formato y alcance del informe,
los tiempos previstos…
Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
Todo diseño de evaluación debe ser
evaluado de acuerdo a una serie de criterios que deben permitir constatar su rigor,
pertinencia y relevancia.(Campbell y Stanley, 1993)
Validez interna: presume la existencia de una relación lógica entre las principales variables de la investigación, y establece relaciones de causalidad eliminando o controlando otras explicaciones alternativas. Constituye un “ideal” al que hay que aproximarse y que se alcanza en mayor o menor grado.
Validez externa: se refiere a aspectos más empíricos, asume la posibilidad de generalización de los resultados de la investigación a otros contextos o momentos: muestra representativa.
Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
Verificar si se está midiendo
lo que se quiere medir
• La forma en la que se mide un concepto
influye necesariamente en los resultados.
• ¿La medición es correcta comparándola con
alguna otra forma ya aceptada de medir el
mismo concepto?
Validez de criterio
(predictiva)
•Adecuación de los indicadores y mediciones:comparar la medida de un constructo con lo quecabría esperar a partir de las hipótesis formuladasinicialmente.
• Operacionalización múltiple: utilizar distintosindicadores y distintos métodos para aumentar lavalidez del constructo.
Validez de rasgos
abstractos (de
constructo)
•Grado en que una medición empírica cubre la variedad de significados de un concepto.
Validez de contenido
Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
“Capacidad de obtener resultados consistentes en
mediciones sucesivas del mismo fenómeno” (Jacob, 1994)
Estabilidad: posible variación de los resultados a través del tiempo (test-
retest). Identificar si los resultados no han variado por otras causas.
Consistencia interna: permite verificar si todos los indicadores de
un concepto miden correctamente el mismo.
Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
• Determinación de objetivos y seguimiento: entrevistas, observación participante, encuestas específicas, creación de fuentes de datos específicas (soportes documentales diarios, estudios de caso).
¿qué tipo de evaluación? ¿en qué fase?
• Evaluabilidad: técnicas de análisis de contenido de documentos, entrevistas.
¿qué tipo de evaluación?
¿en qué fase?
• El tipo de información y las técnicas que se utilicen para recogerla estarán condicionados a cómo hemos definido los conceptos que pretendemos evaluar, a las hipótesis de los contextos, mecanismos y resultados con que se diseñan las intervenciones.
¿Qué informaciones? contextos, mecanismos, resultados.
• Las técnicas y la metodología en general dependen de la naturaleza de los problemas que se quiere abordar.
¿Qué problemas queremos abordar?
• Evaluación de resultados: técnicas propias del análisis económico, estudios cualitativos que arrojen luz sobre los efectos e impactos del programa.
¿Qué tipo de evaluación? ¿En qué fase?
Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
SEGUIMIENTO Y MONITORIZACIÓN
DEFINICIÓN
Intento sistemático para evaluar la cobertura y la
implementación de un programa
VALORAR LA COBERTURA
Estimar en qué medida se logra alcanzar la población objetivo
EVALUAR LA IMPLEMENTACIÓN
Medir el grado de congruencia entre el
plan de prestaciones y la forma en que éstas se
proveen
Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
Reconstruir los supuestos teóricos del programa (explícitos, tácitos, con significados dispares,…)
Seleccionar la estrategia de
seguimiento: cuándo y cómo serán las comprobaciones
Recopilación y análisis de datos, en función de las
preguntas básicas (objetivos) planteados
Aplicación (global o analítica) de
criterios y normas de valor a los
resultados empíricos, de acuerdo con la
perspectiva de la intervención
Enmarcar la
intervención
particular en el
conjunto de un
sistema más
general
Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
ANÁLISIS PERMANENTE DE UNA INFORMACIÓN FIABLE
DETERMINAR LOS
OBJETIVOS
Las preguntas de la evaluación condicionan la
elección de INDICADORES
DESARROLLAR UN MODELO
DE FLUJO DEL PROGRAMA
Especificar los pasos y
actividades del programa en
relación con la población objetivo
CONSTRUIR UN SISTEMA
DE INDICADORES
Deben contestar a las preguntas y
objetivos de la evaluación y ser
factibles de recogerse durante el
desarrollo del programa
DESARROLLO DE LOS
SOPORTES DOCUMENTAL
ES
Recogerán la información
para llegar a los indicadores establecidos
ELABORAR UN DICCIONARIO O MANUAL DE APLICACIÓN
DE LOS SOPORTES
DOCUMENTALES
Homogeneizar los criterios
INTEGRACIÓN DE LOS
SOPORTES DOCUMENTAL
ES EN EL MODELO DE
FLUJOS
Determinar en cada momento
cuál es la información que se incorpora y
quién es el responsable
ESPECIFICAR LOS
INFORMES
Cómo se van a presentar y utilizar los resultados
generales de la evaluación y de cada indicador
en particular
Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
DOCUMENTALES
• Análisis de contenido
• Documentos “puros”: registros, actas, estadísticas
INTERROGATIVOS
• Datos vinculados a la propia evaluación
• Entrevistas, encuestas
DE OBSERVACIÓN
• Comprobar in situ lo que está sucediendo más allá de la información estandarizada
• Visitas
Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
OBJETIVOS INDICADORES SOPORTES DOCUMENTALES
1. Objetivo
2. Objetivo
Indicador 1
Indicador 2
Indicador 3
Indicador 4
Indicador 5
Documento nº 1
Documento nº 2
Documento nº 3
Documento nº 4
Documento nº 5
SELECCIÓN: supone la operativización de las teorías
sobre la sociedad, los servicios sociales y las
estrategias para cambiarlos.
Cada indicador supone una CIFRA o RATIO que define
aspectos señalados a priori como necesarios para
conseguir valorar la acción.
Son HERRAMIENTAS que pueden ser aplicadas a
actividades susceptibles de expresarse
numéricamente, fácilmente comparables e
interpretables por gestores y profesionales.
Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
EN LAS PERSONAS
• Medidas que evidencien los cambios pretendidos en las personas.
• Indicadores de valoración de los conocimientos adquiridos, de las actitudes modificadas, de los logros obtenidos
EN LAS ORGANIZACIONES
• Indicadores de servicio que pongan de manifiesto las transformaciones habidas durante y tras la intervención
EN LA POBLACIÓN
• Indicadores de satisfacción, uso y valoración de las acciones
Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
Efectividad de un programa
Indicadores de RECURSOS
MATERIALES Y HUMANOS que dotan
un programa
Indicadores de NIVEL DE ACTIVIDAD:
Cantidad de intervenciones
preestablecidas o llevadas a cabo
Indicadores de NIVEL DE
FUNCIONAMIENTO:
Miden numéricamente las diferentes
intervenciones y la forma en que se
producen
(datos cuantitativos y cualitativos)
Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
Efectos directos o indirectos del programa sobre la población objetivo o las percepciones del
personal
Grado de satisfacción de
los beneficiarios/as
Indicadores de calidad de vida
Percepción de los
trabajadores/as implicados
Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
• Cuando se apliquen metodologías cuantitativas, es necesario tener claro qué unidades van a ser seleccionadas (muestra representativa).
Se supone que la información ha
sido suficientemente depurada y
sistematizada a través de los
indicadores. Para elaborarlos se
puede partir de definiciones
previas consensuadas o aceptadas
por la comunidad científica, o
proponer nuevos indicadores con
una adecuada justificación teórica
y metodológica.
Los indicadores se suelen agrupar en dimensiones susceptibles de
ser sintetizadas en uno o más índices o medida común.
En aquellos problemas en los que necesitamos entrar en las historias subjetivas hay que apoyarse en los
paradigmas cualitativos de la acción social, e indagar con las
técnicas cualitativas esas historias subjetivas para poder descubrir
las pautas comunes.
Las nuevas propuestas evaluativas han puesto en cuestión los resultados que se
obtienen en la evaluación clásica por objetivos (y apoyada sólo en datos
cuantitativos) e insisten en la dimensión política de la evaluación y en la
necesidad de contar con los propios usuarios en el proceso evaluador, así
como contar, además, con una variedad de fuentes de datos (cuantitativos y
cualitativos).
Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
•Si la evaluación está verdaderamente
implicada en la planificación global, habrá
un flujo de información a lo largo de todo
el proceso y deberán producirse informes
de seguimiento todas las veces que sea
necesario.
¿LOS informes?
• Está dirigido no sólo a los destinatarios directos, sino a una audiencia más amplia.
• Permite sistematizar mejor la información contenida en los informes parciales.
• Da una perspectiva del proceso global, que no es factible en los informes de seguimiento, aunque éstos tengan la enorme ventaja de permitir reconducir los errores y potenciar los aciertos.
El proceso culmina con el Informe Final, de gran importancia simbólica y práctica
Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
Aspectos a debatir:• ¿Elaboración participativa o los evaluadores lo negocian? ¿con
quién?
• ¿Quiénes son los destinatarios del informe final? ¿deben
conocerlo los usuarios?¿pueden los usuarios participar en su
elaboración?
• Si se trata de una evaluación interna ¿es conveniente que el
informe trascienda al exterior del servicio o programa en
cuestión?
• ¿Debe incluir recomendaciones, o se deja a los gestores de los
programas la decisión sobre las políticas a adoptar?
Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
Campbell, D. y Stanley, J. (1993): Diseños experimentales y
cuasiexperimentales en la investigación social, Buenos Aires, Amorrortu.
Jacob, H. (1994): “Using published data: errors and remedies”, en Lewis-
Beck, M. S. (comp.): Research Practice, California, Sage (pp. 339-390).
Ligero Lasa, J. A. (2005): “La evaluación y la limitación de las políticas de
bienestar social”, ponencia presentada al X Congreso del CLAD sobre la
Reforma del Estado y la Administración Pública (Santiago de Chile):http://www.iij.derecho.ucr.ac.cr/archivos/documentacion/inv%20otras%20entidades/CLAD/CLAD%20X/doc
umentos/ligero.pdf
Morgenstern, S. y Finkel, L. (2002): Materiales para la evaluación de los
servicios sociales, Madrid, UNED.
OXFAM (1985): The field directors’ handbook. An OXFAM manual for
development workers, Oxford, Oxford University Press.
Stufflebeam, D. y Shinkfield, A. (1995): Evaluación sistemática. Guía
teórica y práctica, Barcelona, Paidós.
Marta Jiménez Jaén - Máster en Intervención Social Comunitaria ULL
Top Related