Post on 03-Jun-2018
8/12/2019 Evaluacin Programas Sociales.pdf
1/90
Bernardo Restrepo Gmez, Ph. D2014.
8/12/2019 Evaluacin Programas Sociales.pdf
2/90
Qu es evaluar
Proceso para determinar el valor y mrito de unprograma, objeto o institucin
Hay diferentes definiciones, segn Orientaciones
8/12/2019 Evaluacin Programas Sociales.pdf
3/90
8/12/2019 Evaluacin Programas Sociales.pdf
4/90
Definiciones. Cont
Scriven: Comparar un valor observado con un
estndar.
Establecer un juicio profesional sobre la calidad de unprograma.
Examen sistemtico del grado en el que el programaha logrado satisfacer las necesidades de losStakeholders (Rasappan).
8/12/2019 Evaluacin Programas Sociales.pdf
5/90
Evaluacin e InvestigacinTienen cosas en comn y diferencias.
En comn: indagan, buscan y procesan informacinsistemticamente. Utilizan tcnicas similares derecoleccin y anlisis.
Diferencias: El propsito final de la investigacin esel conocimiento; el de la evaluacin es un juiciovalorativo.
8/12/2019 Evaluacin Programas Sociales.pdf
6/90
Qu evaluarInstituciones y programas, a travs de:
Factores o grandes componentes
Variables o aspectos
Indicadores
8/12/2019 Evaluacin Programas Sociales.pdf
7/90
Por qu evaluar Realimentacin sobre el desempeo
Mejoramiento de:
- Calidad- Efectividad e impacto
- Eficiencia
Toma de decisiones sobre continuidad
Solucin de problemas
8/12/2019 Evaluacin Programas Sociales.pdf
8/90
Por qu evaluar
Advocacy: posicionamiento, consecucin de fondos,
comunicacin, defensa del programa o institucin. Construccin de conocimiento
Construccin de capacidad
Aprendizaje organizacional y planeacin estratgica.
8/12/2019 Evaluacin Programas Sociales.pdf
9/90
En suma, cuatro propsitos:
Realimentacin Rendicin de cuentas a la sociedad
Mejoramiento, sostenibilidad e impacto
Aprendizaje organizacional
8/12/2019 Evaluacin Programas Sociales.pdf
10/90
Quin evala Evaluacin formativa (interna)
Evaluacin sumativa (externa)
Metaevaluacin
8/12/2019 Evaluacin Programas Sociales.pdf
11/90
Cuando evaluar E. Formativa: continuamente
E. Sumativa: que no sea prematura
Ex Ante
Ex post facto.
8/12/2019 Evaluacin Programas Sociales.pdf
12/90
8/12/2019 Evaluacin Programas Sociales.pdf
13/90
Orientaciones sobre enfoquesSe han desarrollado siete grandes orientaciones en
evaluacin:
Resultados vs. Objetivos
Investigacin Evaluativa
Evaluacin orientada a toma de decisiones
Evaluacin Judicial o por Oposicin Evaluacin Orientada al Cliente
Evaluacin de expertos
Evaluacin Democrtica.
Evaluacin focalizada en el uso de resultados
8/12/2019 Evaluacin Programas Sociales.pdf
14/90
Modelos y enfoques En un tiempo predominaron modelos sofisticados,
como el Experimentalista, el CIPP, el de lasmatrices lgicas y empricas, entre otros.
Hoy hay mayor flexibilidad y ms que modelosacabados existen variedad de enfoques. Inclusoalgunos aplican el esquema de la investigacin.
8/12/2019 Evaluacin Programas Sociales.pdf
15/90
Criterios y sus fuentes Los Criterios son valores o normas requeridos para
llegar a un juicio (pertinencia, universalidad,intregridad, transparencia, responsabilidad,coherencia, eficacia), tambin denominadosestndares de evaluacin.
Las fuentes de los criterios o estndares pueden serlos stakeholders, la literatura, la experiencia,principios de alto orden ( Leyes, polticas,imperativos ticos, casos exitosos)
8/12/2019 Evaluacin Programas Sociales.pdf
16/90
Evolucin de la Evaluacin como Disciplina
Cinco etapas modernas:
- Tyler y el comienzo- Suchman y la experimentacin
- Stake, Stuffflebeam, y Scriven
- Fetterman, Evaluacin democrtica
- Patton, Evaluacin focalizada en utilizacin de resultados
Siempre ha existido la auditora como evaluacin, sobre todode la cosa pblica.
8/12/2019 Evaluacin Programas Sociales.pdf
17/90
El Modelo de Tyler Estndares claros y medibles del programa
Pruebas estandarizadas para medir los objetivos.
Anlisis de diferenciasAnlisis de variables concomitantes explicativas de los
resultados
Da por vlidos los objetivos. No los evala.
8/12/2019 Evaluacin Programas Sociales.pdf
18/90
El Modelo CIPP de StuflebeamOrientado a toma de decisiones.
Ofrece cuatro tipos de evaluacin:
Evaluacin de Contexto
Evaluacin de Insumos Evaluacin de Procesos
Evaluacin de Producto
8/12/2019 Evaluacin Programas Sociales.pdf
19/90
Evaluacin de ContextoConcepto:
Busca identificar historia del programa, las condicionesdel ambiente en el que se constituir el programa, lasnecesidades, fortalezas, debilidades, problemasinternos y externos y oportunidades que el ambiente le
brinda.
8/12/2019 Evaluacin Programas Sociales.pdf
20/90
Mtodos para la Ev. De Contexto Recoger informacin anterior
Comparar la informacin con las metas
Entrevistar stakeholders para determinar necesidadesy problemas por resolver
Anlisis de contenido para detectar indicadores
Presentar informes anuales que actualicennecesidades, problemas, oportunidades
8/12/2019 Evaluacin Programas Sociales.pdf
21/90
Uso de la Ev. De Contexto
Decisiones sobre cambio o mantenimiento delprograma.
Ver si el anlisis del contexto pide cambio, objetivosnuevos, nueva estructura, decisiones de planeacin.
8/12/2019 Evaluacin Programas Sociales.pdf
22/90
Evaluacin de InsumosConcepto:
Identificar y apreciar el mrito relativo de lasalternativas, planes de asignacin de recursos,estructura, marcos legales, cronogramas, restricciones
financieras, factibilidad
8/12/2019 Evaluacin Programas Sociales.pdf
23/90
Ev. De Insumos. Mtodos Evaluar la estrategia general escogida
Evaluar el plan de trabajo Evaluar el presupuesto, el personal
Revisar literatura investigativa relacionada
Determinar fortalezas y debilidades del diseo para
mejorar planeacin.
Talleres de discusin sobre todo esto.
8/12/2019 Evaluacin Programas Sociales.pdf
24/90
Ev. De Insumos. Uso.
Decisiones de estructuracin e implementacin delprograma y prueba piloto si es el caso.
8/12/2019 Evaluacin Programas Sociales.pdf
25/90
Evaluacin de ProcesoConcepto:
Es la evaluacin continua de la implementacin del plandel programa y la documentacin de sus procesos. Enqu medida se lleva a cabo el plan? Tuvo quemodificarse? Cmo y por qu?
8/12/2019 Evaluacin Programas Sociales.pdf
26/90
Ev. De Proceso. Mtodos
Seguimiento de los procesos
Registro e informes peridicos de la implementacinde los procesos.
8/12/2019 Evaluacin Programas Sociales.pdf
27/90
Evaluacin de procesos. UsoDecisiones sobre rediseo de eventos, actividades,
procedimientos y rediseo del diseo (vuelve sobreinsumos).
Uso posterior en interpretacin de resultados.
8/12/2019 Evaluacin Programas Sociales.pdf
28/90
Evaluacin de ProductoConcepto:
Qu resultados positivos y negativos, buscados y nobuscados se obtuvieron? En qu medida alcanz asatisfacer las necesidades de toda la poblacin a la queestaba dirigido, es decir, de los supuestos
beneficiarios? A qu se deben las fallas?
8/12/2019 Evaluacin Programas Sociales.pdf
29/90
Ev. De Producto. Mtodos Documentos.
Entrevistas a stakeholders para ver alcances,calidad, profundidad, significancia de los efectosdel programa.
Determinar impacto sobre la comunidad.
Llevar directorio de personas y grupos atendidos.
Registrar estadsticas en todos los campos.
Comparar resultados y plan inicial
8/12/2019 Evaluacin Programas Sociales.pdf
30/90
Ev. De producto. Uso.
Decisiones sobre continuar, terminar, modificar,reenfocar el programa
8/12/2019 Evaluacin Programas Sociales.pdf
31/90
El modelo de Evaluacin
Naturalstica de Stake
Concepto:
La evaluacin de un programa debe plantear su mrito yfalencias percibidos por grupos interesados en l,
sistemticamente levantados y procesados.
8/12/2019 Evaluacin Programas Sociales.pdf
32/90
La teora o Rationale
El programa tiene que tener una filosofa o baseconceptual que ilumina todo el desarrollo delprograma y tambin de la evaluacin.
8/12/2019 Evaluacin Programas Sociales.pdf
33/90
Modelo de evaluacin responsivaComponentes:
Tres matrices, as:
1. De metas, transacciones y resultados esperados(Matriz lgica)
2. De metas, transacciones y resultados observados
(Matriz emprica)3. De estndares y juicios sobre 1 y 2 (matriz de juicio
o evaluativa).
8/12/2019 Evaluacin Programas Sociales.pdf
34/90
Esquema de las matrices M. lgica M. emprica M. Evaluativa.Contingencia Congruencia
Intenciones---------
-------------------Transacciones
------------------Resultados
Intenciones
--------------------Procesos
--------------------Resultados
Estndares
y
Juicios
8/12/2019 Evaluacin Programas Sociales.pdf
35/90
Momentos de la evaluacinMatriz lgica:
Metas, intenciones, objetivos (planes)
Transacciones (procesos y actividades para cumplirlas metas)
Resultados, consecuencias de la implementacinde los planes.
8/12/2019 Evaluacin Programas Sociales.pdf
36/90
Momentos de la evaluacin
Matriz emprica u observacional:
Metas y planes realmente montados y desarrollados.
Transacciones llevadas a cabo para implementar los
planes. Resultados obtenidos en la realidad.
8/12/2019 Evaluacin Programas Sociales.pdf
37/90
Contingencia y congruencia El modelo contempla establecer la contingencia entre
los momentos de la matriz lgica y entre los de la
matriz emprica.
y la congruencia entre las matrices lgica y emprica.
8/12/2019 Evaluacin Programas Sociales.pdf
38/90
ContingenciaPosibilidad de que algo suceda en el futuro.
Relacin vertical entre momentos: Contingencia intenciones-procesos o transacciones.
Contingencia transacciones-resultados.
8/12/2019 Evaluacin Programas Sociales.pdf
39/90
CongruenciaCoincidencia entre los momentos de la matriz lgica y la
emprica:
Relacin horizontal entre cada momento
Intenciones planeadas y ejecutadas
Transacciones o procesos planeados e implementados
Resultados esperados y obtenidos.
8/12/2019 Evaluacin Programas Sociales.pdf
40/90
Momentos de la evaluacinMatrix de juicio o evaluativa:
1. Estndares para evaluar los componentes(intenciones, transacciones y resultados). Todoprograma busca ciertos logros.
2. Juicios o evaluacin de lo encontrado.
8/12/2019 Evaluacin Programas Sociales.pdf
41/90
Tipos de juicio o evaluacin final1. Evaluacin absoluta o basada en los estndares
fijados.
2. Evaluacin relativa o basada en los logros de otrosprogramas o del mismo en ocasin anterior.
8/12/2019 Evaluacin Programas Sociales.pdf
42/90
Enfoques Modernos Evaluacin por Clusters
Evaluacin por empoderamiento Evaluacin focalizada en resultados
Evaluacin basada en la teora y modelo lgico delprograma.
8/12/2019 Evaluacin Programas Sociales.pdf
43/90
Evaluacin por ClustersEs evaluacin holstica. Trata de responder lo que se
ha aprendido de varios programas que tienen lamisma misin, aunque son proyectosindependientes.
Enfoque iniciado por la Fundacin Kellog en 1992.Es apropiada para evaluar programas.
8/12/2019 Evaluacin Programas Sociales.pdf
44/90
Esquema Evaluativo Recoleccin de documentos de todos los proyectos.
Visitas in situ a todos para darles asistencia tcnicae informacin de otros proyectos y ver qufunciona bien
Reuniones de la red para compartir objetivos y
estrategias, conocer evidencias, construirinstrumentos de evaluacin y recibir asesora deexpertos en campos especficos.
8/12/2019 Evaluacin Programas Sociales.pdf
45/90
Esquema evaluativo ( Cont)
Realimentacin y discusiones comparativas paraextraer mejoramiento comn.
Producir informes de cluster.
Anlisis de evaluacin a nivel de proyecto
Anlisis global ms holstico para extraer lecciones dela diversidad.
8/12/2019 Evaluacin Programas Sociales.pdf
46/90
Criterios de Evaluacin Sostenibilidad o construccin de capacidad
institucional.
Proyeccin o conviccin a la gente sobre la calidad delprograma y su potencialidad social.
8/12/2019 Evaluacin Programas Sociales.pdf
47/90
Qu se evala en la evaluacin por clusters?
Slo lo que es comn al conglomerado o racimo deproyectos.
No los proyectos en s, que siguen siendoindependientes y debe evaluarse cada uno por smismo.
8/12/2019 Evaluacin Programas Sociales.pdf
48/90
Evaluacin DemocrticaEvaluacin por Empoderamiento es uno de los nfasis de la
Evaluacin Democrtica.
Su proponente: David Fetterman
Empoderar es usar conceptos, tcnicas y resultados para
fomentar el mejoramiento y la autodeterminacin.
Busca ayudar a la gente a que se ayude (Autogestin).
8/12/2019 Evaluacin Programas Sociales.pdf
49/90
Evaluacin por empoderamientoSe ha aplicado en educacin, gobierno, ONGs,
fundaciones, problemas de drogadiccin, Prevencindel SIDA, proteccin ambiental, desarrollo rural
Objetivo central: autodeterminacin y construccin de
capacidad.
8/12/2019 Evaluacin Programas Sociales.pdf
50/90
Etapas:
1. Establecer misin o visin (Resultados esperadosy actividades requeridas) y determinar dndeest es programa.
2. Identificar y priorizar actividades mssignificativas del programa y determinar
evidencias que permitan calificarlas en unaescala de uno a diez. Se extraen luego fortalezasy debilidades.
8/12/2019 Evaluacin Programas Sociales.pdf
51/90
Etapas3. Delinear el rumbo hacia el futuro. Hacia dnde se
quiere ir? El grupo establece metas y estrategias para
alcanzar el cambio deseado.Estos esfuerzos se monitorean a travs de
documentacin confiable entre evaluadores yfuncionarios del programa.
8/12/2019 Evaluacin Programas Sociales.pdf
52/90
EVALUACIN POR EMPODERAMIENTO ES
Investigacin emancipatoria
En todas las etapas debe haber capacitacin,facilitacin, iluminacin y liberacin, as como
Advocacy (defensa y promocin del programa).
El evaluador es facilitador, educador, entrenador,
ambientador de la sociedad que se establece entrel y los stakeholders.
8/12/2019 Evaluacin Programas Sociales.pdf
53/90
AlcanceSupera la bsqueda del mrito de un programa yprocede al compromiso con la autodeterminaciny la construccin de capacidad. Es un proceso
democrtico en el que todos son responsables de laevaluacin.
Promueve un cambio social responsable.
Su poblacin blanco: los excluidos.
8/12/2019 Evaluacin Programas Sociales.pdf
54/90
Tcnicas para evaluar impacto Reuniones grupales amplias o focales
Entrevistas a beneficiarios Observacin directa
Uso de informantes clave
Anlisis cuantitativos: Cuadros, estadsticas.
8/12/2019 Evaluacin Programas Sociales.pdf
55/90
Posicin de Fetterman sobre evaluacin por
empoderamiento. No pretende reemplazar todas las formas de
evaluacin, pero invita a la participacin.
Los evaluadores deben ensear a la gente aconducir su propia evaluacin
Ayuda a iluminar la importancia del uso delproceso.
El evaluador debe insistir en la rendicin decuentas.
8/12/2019 Evaluacin Programas Sociales.pdf
56/90
Evaluacin Democrtica 2Evaluacin focalizada en la utilizacin
Exponente: M. Patton.
Dos alcances:
1. Uso que darn los usuarios de la evaluacin a losresultados de la misma.
2. Uso del proceso
8/12/2019 Evaluacin Programas Sociales.pdf
57/90
Uso del procesoUsar el proceso de evaluacin para incidir en
organizacin institucional, en las prcticas delprograma, en hacer de las organizacionesorganizaciones que aprenden, en mejorar toma dedecisiones sobre los programas.
Es combinar la evaluacin con accin mejoradorainmediata.
8/12/2019 Evaluacin Programas Sociales.pdf
58/90
Evidencia del uso del proceso En muchas evaluaciones reales el hecho de
transitar por el proceso de reflexin que laevaluacin induce y requiere es tan importantecomo los resultados. Ayuda al personal delprograma a involucrarse, a trabajar en equipo con
perspectiva evaluativa y de cambio. Es en s unresultado positivo para el aprendizajeorganizacional.
8/12/2019 Evaluacin Programas Sociales.pdf
59/90
Uso de los resultadosEl evaluador debe promover y cultivar el uso, ayudandoa los decisores a identificar sus necesidades deevaluacin, a determinar qu informacin es ms til
para confrontar esas necesidades y generar resultadosque rindan el tipo de informacin requerida por losusuarios potenciales. La evaluacin se ajusta a losobjetivos que los que la solicitan darn a los resultados
8/12/2019 Evaluacin Programas Sociales.pdf
60/90
El usoPatton afirma que la base de su enfoque es el uso
pragmtico de los resultados de la evaluacin y del
proceso de la misma. Es decir, que la evaluacin sedisee e implemente en forma tal que sus resultadossirvan para mejorar el programa y para mejorardecisiones sobre el mismo. O sea, el uso consecuente!
8/12/2019 Evaluacin Programas Sociales.pdf
61/90
En evaluacin y monitoreo de programas deagricultura, por ejemplo, el seguimiento se orienta a
evaluar el aprendizaje de los programas para lainnovacin y promoverlos. Este paradigma se conocecomo el paradigma transformista (Van Mierlo et al.,2010): Enhancing the reflexivity of system innovation
projects with system analyses. American Journal ofEvaluation, 31 (2), 143-161.)
8/12/2019 Evaluacin Programas Sociales.pdf
62/90
El uso y la comunicacin internaLa utilidad potencial de los resultados de la evaluacin
es afectada por los niveles de comunicacin dentro de
la organizacin, por la complejidad burocrtica y lacirculacin de la informacin en su interior.
8/12/2019 Evaluacin Programas Sociales.pdf
63/90
Evaluacin Basada en la teora y
Modelo Lgico del Programa.Enfoque reciente que emerge entre los modelos clsicos
y la evaluacin democrtica.
Es un enfoque pragmtico que parte de una teoraexplcita sobre cmo operar el programa y qu
cambios lograr.
8/12/2019 Evaluacin Programas Sociales.pdf
64/90
Componentes de la teora: Teora del proceso o cmo operar el programa en
prestacin de servicios, cumplimiento de funciones y
aporte de recursos necesarios para operar.
Teora del impacto o explicativa de los cambios queproducir el programa.
8/12/2019 Evaluacin Programas Sociales.pdf
65/90
Cmo explicitar la teora?Se logra en:
Encuentros con los stakeholders primarios Revisin de documentos Objetivos del programaVisitas de observacin al programa
A partir de esto se construye el modelo lgico delprograma.
8/12/2019 Evaluacin Programas Sociales.pdf
66/90
La teora es evaluable. Evaluar la pertinencia de la teora de impacto para
resolver el problema que el programa intenta resolver. Evaluar la teora del proceso, esto es, si los procesos
planeados responden a las necesidades de la poblacina la que se orienta el programa.
8/12/2019 Evaluacin Programas Sociales.pdf
67/90
Evaluacin lgica de toda la teora Est bien definida la teora? Es razonable, es decir:
- Sus Objetivos estn bien definidos (evaluables)?- Objetivos viables?- Es razonable el cambio esperado?- Procedimientos definidos y suficientes?- Los recursos asignados son suficientes y
adecuados?
8/12/2019 Evaluacin Programas Sociales.pdf
68/90
El Modelo Lgico del ProgramaEs una especie de foto o mapa del programa quemuestra la secuencia de insumos, actividades,productos y resultados, es decir, cmo trabaja el
programa. Asocia resultados a insumos,actividades y teora subyacente al programa.
Si hay una transitividad adecuada de recursosapropiados a procesos y de procesos adecuados aproductos esperados, habr buenos resultados. Silo contrario, la efectividad ser baja.
8/12/2019 Evaluacin Programas Sociales.pdf
69/90
El modelo lgico del programa. Qu busc
ste a travs de sus componentes?
input
proceso
producto
impactomediano
largo
corto
8/12/2019 Evaluacin Programas Sociales.pdf
70/90
Metodologa
Sobre los cinco componentes hay que hacer BUENASPREGUNTAS, construir indicadores, recoger datos yarmar informacin poderosa para evaluar cadacomponente.
8/12/2019 Evaluacin Programas Sociales.pdf
71/90
Outcome Mapping Hoy el modelo lgico est siendo reforzado con el
modelo de Mapificacin de resultados, desarrolladopor el Centro Internacional de Investigacin delDesarrollo, de Canad, con ayuda de Patton. La esenciaes identificar los cambios deseados y trabajar paralograrlos. Enfatiza el logro de cambios de conductabuscados en los beneficiarios.
8/12/2019 Evaluacin Programas Sociales.pdf
72/90
El Modelo Constructivista de Guba y Lincoln
Plantea siete etapas:
1. Identificar todos los stakeholders importantes.
2. Extraer de ellos sus preocupaciones sobre el programay construir consensos sobre ellas.
8/12/2019 Evaluacin Programas Sociales.pdf
73/90
Modelo de Guba y Lincoln: etapas
3. Proveer un contexto y metodologa que facilite lainterrelacin de mltiples comprensiones, quejas.Crticas y construcciones evaluativas.
- Aplicar esta metodologa a cada grupo.
- Promover intercambio de construcciones de los
grupos de stakeholders entre todos ellos
8/12/2019 Evaluacin Programas Sociales.pdf
74/90
Modelo de Guba y Lincoln: etapas4. Generar consensos
5. Preparar agenda para negociacin sobre items en losque no hay consenso o ste es escaso.
6. Recoger y proveer informacin requerida para estanegociacin.
8/12/2019 Evaluacin Programas Sociales.pdf
75/90
Guba y Lincoln7. Facilitar la realizacin de un foro para que la
negociacin ocurra.
8. Generar informes que den cuenta de lasnegociaciaones y acuerdos logrados
9. Reciclar la evaluacin para continuar trabajando sobre
construcciones no logradas.
Evaluacin orientada al desarrollo
8/12/2019 Evaluacin Programas Sociales.pdf
76/90
Evaluacin orientada al desarrollodel pas:
Tres principios bsicos:
El enfoque evaluativo debe ser comprensivo yholstico
Las metas y estrategias de desarrollo deben serposedas por el pas y basadas en participacin
ciudadana en su estructuracin. Los pases receptores deben dirigir y coordinar la
ayuda.
8/12/2019 Evaluacin Programas Sociales.pdf
77/90
Procedimientos metodolgicos o tcnicas
de evaluacin
Se utilizan las tcnicas de investigacin que brindenla informacin requerida, cuantitativas ycualitativas. En esta fase la evaluacin y lainvestigacin convergen:
Observacin, pautas de cotejo, entrevistas,
cuestionarios, escalas, grupos focales,conversatorios, anlisis de contenido, estadstica; ymuchas ms, pero
8/12/2019 Evaluacin Programas Sociales.pdf
78/90
Evaluacin de desarrollo Patton insiste en la ltima dcada, en lo que llama
Developmental evaluation, esto es, una evaluacin en laque los evaluadores se meten en el proceso mismo delprograma en curso para mejorar la intervencin y utilizarprocedimientos evaluativos para facilitar la marcha delprograma. Se utiliza el proceso evaluativo para promover eldesarrollo organizacional (Proyectos, productos, personal,gestin). Es lo que el mismo Patton denomina una
evaluacin orientada a la ayuda al desarrollo. Patton, M. Q. (2011). Developmental Evaluation: Applying compexity
concepts to enhance innovation and use. The Guilford Press.
l d l
8/12/2019 Evaluacin Programas Sociales.pdf
79/90
Evaluacin de Impacto: Valor
Agregado Hind (2010) plantea la ADICIONALIDAD como forma dedeterminar la relacin de causalidad de un programa social
y los resultados. Es la exploracin del valor agregado que el
programa aporta a la realidad de los beneficiarios, o dichode otra manera: preguntarse qu hubiera ocurrido sin elprograma? Este mtodo se plantea en vez de la pruebaexperimental de causalidad.
El mtodo consiste en establecer la trazabilidad delprograma: los Objetivos, los entregables en tiemposprevistos, y los resultados reales, comparados con losesperados.
8/12/2019 Evaluacin Programas Sociales.pdf
80/90
Adicionalidad o valor agregado Preguntas claves en la evaluacin:
- La aplicacin del programa ha marcado unadiferencia clara?
- Hubo un valor agregado en un tiempo considerable?
- Qu razones explican el alto o pobre desempeo?
- Se pudieron haber hecho las cosas de maneradiferente y cmo?
8/12/2019 Evaluacin Programas Sociales.pdf
81/90
Tres seguimientos en este mtodo:Adicionalidad de insumos: Qu insumos se aportaron,
distintos a los usuales?
Adicionalidad de productos: Qu proporcin de losresultados no se hubieran adquirido sin el programa?
Adicionalidad de desempeo o conductas a largoplazo: Qu competencias nuevas se lograron comoefecto del programa?
8/12/2019 Evaluacin Programas Sociales.pdf
82/90
El diseo de buenas evaluaciones requiere
precisar: Poblaciones claves
Preguntas claves
El objeto por evaluar
La informacin necesaria
El tiempo oportuno
Las fuentes de informacin
Los instrumentos de recoleccin de datos
8/12/2019 Evaluacin Programas Sociales.pdf
83/90
El diseo requiere.
Los procedimientos (tcnicas) por utilizar
Los mtodos de anlisis e interpretacin
Los informes para comunicar hallazgos
Criterios para apreciar los resultados de la evaluacin.
8/12/2019 Evaluacin Programas Sociales.pdf
84/90
La experiencia nos dice:La mejor estrategia es combinar modelos y enfoques y
mtodos y tcnicas (Eclecticismo racional).
Diversos aportes de los tericos de la evaluacin puedenarticularse imaginativamente en un buen diseo.
La clave es hacerse buenas preguntas y tener a disposicin unamplio elenco de modelos y enfoques.
8/12/2019 Evaluacin Programas Sociales.pdf
85/90
Estndares Internacionales de Evaluacin
Son normas que deben aplicarse a lo largo de los
procesos de planeacin, ejecucin e informacin deresultados de la evaluacin.
8/12/2019 Evaluacin Programas Sociales.pdf
86/90
Estndares1. Utilidad (que las evaluaciones sean informativas,
oportunas e influyentes)
2. Factibilidad ( realistas, prudentes, diplomticas yfrugales)
3. Propiedad o adecuacin (legales, ticas yconsideradas)
4. Exactitud ( tcnicas, completas y vlidas)
8/12/2019 Evaluacin Programas Sociales.pdf
87/90
Estndares de Utilidad Identificacin de audiencias apropiadas.
Credibilidad del evaluador.
Alcance de la evaluacin y seleccin de informacin.
Claridad y totalidad del informe de la evaluacin.
Diseminacin apropiada de resultados.
Entrega de informe en tiempo oportuno.
8/12/2019 Evaluacin Programas Sociales.pdf
88/90
Estndares de Factibilidad Procedimientos prcticos y factibles.Viabilidad poltica, es decir, que tenga en cuenta
diferentes posiciones y grupos de inters para no crear
interferencias y oposiciones. Costo-efectividad, es decir, que la evaluaclin
produzca informacin valiosa que justifique lainversin.
8/12/2019 Evaluacin Programas Sociales.pdf
89/90
Estndares de adecuacin Conflictos de inters que existan en el programadeben abordarse abierta y honestamente para que nocomprometan la evaluacin.
Franqueza en los informes escritos y orales, incluyendolimitaciones.
Respeto a los derechos de y bienestar de los sujetos.
Equilibrio en los informes, planteando fortalezas ydebilidades del objeto de evaluacin.
Responsabilidad fiscal en el uso de los recursos de laevaluacin.
8/12/2019 Evaluacin Programas Sociales.pdf
90/90
Estndares de Precisin Identificacin clara del objeto por evaluar.Anlisis del contexto y su incidencia.
Descripcin exacta de propsitos y procedimientos.
Descripcin adecuada de las fuentes de informacin.
Validez de la Medicin y procedimientos cualitativos.
Control sistemtico de los datos recogidos.
Anlisis cuantitativos apropiados. Conclusiones justificadas.
Informes finales objetivos.