evaluación de la teoría del programa y su evaluabilidad.pdf
Transcript of evaluación de la teoría del programa y su evaluabilidad.pdf
![Page 1: evaluación de la teoría del programa y su evaluabilidad.pdf](https://reader036.fdocuments.co/reader036/viewer/2022081210/55cf99af550346d0339ea1c1/html5/thumbnails/1.jpg)
TEMA 6
EVALUACIÓN DE LA TEORÍA DEL PROGRAMA Y SU
EVALUABILIDAD
Contenido:
1. Teoría del programa y Evaluabilidad
2. Evaluabilidad para Fernández-Ballesteros
3. Wholey
4. Smith.
5. Rutman.
6. Rossi, Freeman y Lipsey.
1. Evaluabilidad y teoría del programa
Teorías del programa
n Cada programa implica estructura, funciones y procedimientos para
la consecución de objetivos
n La lógica y la conceptualización en la que se basa un programa
debe ser objeto de estudio
n Primer paso en la evaluación de la teoría: realizar explícitamente
una descripción de la concepción, supuestos y expectativas que
constituyen la lógica del programa
Actividades subyacentes en evaluabilidad
n Descripción del modelo del programa
n Evaluación de hasta que punto está bien definido y es evaluable
el modelo del programa
n Identificación de los intereses de los participantes en la
evaluación y del uso posible de los hallazgos
Dimensiones determinantes en evaluabilidad
n Tipo de programa
n Momento de la evaluación
![Page 2: evaluación de la teoría del programa y su evaluabilidad.pdf](https://reader036.fdocuments.co/reader036/viewer/2022081210/55cf99af550346d0339ea1c1/html5/thumbnails/2.jpg)
n Sujetos de Evaluación
n Naturaleza de los datos
n Objetivos de la Evaluación
Evaluabilidad (Rodríguez, 2000)
n El análisis de la evaluabilidad no va a partir del mismo punto ni
va seguir los mismos pasos en todos los programas ni en todas
las circunstancias
n Razones:
– Evaluabilidad: ‘la forma en que un programa es evaluable’
– No existe un modelo de evaluación ni una metodología ideales
por los que cualquier programa puede ser evaluable.
Conclusiones
n El Análisis de la Evaluabilidad va a consistir en la búsqueda de la
mejor forma de evaluar un programa determinado partiendo de
un punto de vista metodológico.
n Un mismo programa, o sus componentes, pueden ser evaluados
desde distintos modelos, diseños, instrumentos, etc.
n El proceso de toma de decisiones respecto a la mejor opción
metodológica para evaluar el programa es el proceso de análisis
de la Evaluabilidad del mismo.
2. Fernández Ballesteros (1995)
n La evaluabilidad es la medida en que un programa puede ser
evaluado
n La evaluabilidad incluye evaluación de necesidades, objetivos, el
programa y la implementación
n Propone el Listado de Cuestiones Relevantes en Evaluación de
Programas (L.C.R.E.P.)
Wholey, 1987, 1994: Evaluablidad
![Page 3: evaluación de la teoría del programa y su evaluabilidad.pdf](https://reader036.fdocuments.co/reader036/viewer/2022081210/55cf99af550346d0339ea1c1/html5/thumbnails/3.jpg)
n Metas, objetivos, efectos importantes y necesidades han de estar
bien definidos
n Metas y objetivos deben ser plausibles
n Ha de obtenerse información relevante acerca de la ejecución del
programa
n Existe acuerdo de cómo usar los resultados de la evaluación
Evaluabilidad y Teoría del Programa
n El programa puede estar basado en una teoría clara y bien
explicitada
n No obstante, puede basarse en teorías implícitas, que el evaluador
debe extraer
n Objetivo de la articulación de la teoría:
– Describir las expectativas reales que mantienen los decisores del
programa acerca de lo que se espera que haga el programa y los
resultados que se obtendrán
Smith, 1989
n Objetivos
n Procedimientos
Objetivos
n La definición de la teoría del programa
– Lógica subyacente, con teoría del cambio
– Aspectos funcionales: Actividades y recursos
– Indicadores de ejecución tanto en cómo se implementa como
cuándo se logran resultados
n Identificación del conocimiento o interés de las audiencias en el
programa
– Percepciones de cómo se lleva a cabo el programa
– Necesidades de información de la evaluación del programa
Pasos
![Page 4: evaluación de la teoría del programa y su evaluabilidad.pdf](https://reader036.fdocuments.co/reader036/viewer/2022081210/55cf99af550346d0339ea1c1/html5/thumbnails/4.jpg)
n Determinar el propósito e identificar a los miembros del equipo de
trabajo
n Definir las áreas del programa a estudiar
n Identificar y analizar los documentos del programa
n Desarrollar o clarificar la teoría del programa
n Identificar y entrevistar a las audiencias
n Describir las percepciones de las audiencias respecto al programa
n Identificar necesidades, consideraciones y diferencias en
percepciones
n Determinar la plausibilidad del modelo del programa
n Extraer conclusiones y dar recomendaciones
n Planificar los pasos específicos para utilizar los datos de la
evaluabilidad
Rutman, 1984
n La evaluación de programas requiere una planificación cuidadosa
para asegurar que el estudio sea relevante y creíble
n Se concentra en la estructura del programa
n Responde a:
– ¿Está bien definido?
– ¿Esta implementado como se planificó?
– ¿Están definidos claramente los objetivos?
– ¿Son éstos plausibles?
Pasos
n Preparar un modelo del programa a partir de los documentos
existentes
n Reproducir el modelo con flechas indicando relaciones causales
n Entrevistar a los programadores para desarrollar su modelo
n Comparar los modelos creados y llegar a un acuerdo
![Page 5: evaluación de la teoría del programa y su evaluabilidad.pdf](https://reader036.fdocuments.co/reader036/viewer/2022081210/55cf99af550346d0339ea1c1/html5/thumbnails/5.jpg)
n Hacer un trabajo de campo para determinar lo que realmente se
hace
n Preparar un modelo del programa evaluable
n Decidir preguntas clave e información precisa para responderlas
n Determinar la viabilidad de los procedimientos de evaluación
Chambers, Wedel y Rodwel (1992)
n Evaluación del propósito
n Valoración del programa
n Valoración de la viabilidad técnica
n Valoración de viabilidad humana y política
Evaluación del propósito
n Identificar el razonamiento para la evaluación del programa
n Información sobre las audiencias que pagan la evaluación del
programa
n La lógica o propósito
– Establece los requerimientos metodológicos
– Provee la base para examinar la viabilidad de la evaluación
Valoración del programa
n Identifica la adecuada definición de componentes y la claridad de
objetivos
n Métodos para hacerlo
– Revisar la documentación del programa
– Describir el programa
– Modelar el programa
– Hacer visitas de campo para entender las operaciones que se
realizan
Valoración de la viabilidad técnica
n Determinar la presencia de indicadores evaluables.
n Precisar la aplicabilidad de métodos adecuados de investigación
evaluativa.
![Page 6: evaluación de la teoría del programa y su evaluabilidad.pdf](https://reader036.fdocuments.co/reader036/viewer/2022081210/55cf99af550346d0339ea1c1/html5/thumbnails/6.jpg)
n Relacionado con implementación, requerimientos técnicos y
viabilidad del coste.
Valoración de la viabilidad humana y política
n Determinar la disposición de las audiencias a la evaluación del
programa
n Relacionado con aspectos éticos y con posibles pérdidas y
ganancias de las distintas audiencias
n Influencia del programa y su evaluación en los estamentos políticos
Rossi, Freeman y Lipsey, 1999
n Procedimientos de recogida de datos:
– Fuentes posibles de información
– Temas de atención en la revisión de la información
n Marcos de evaluación de la teoría del programa
Revisión de documentos
n Siempre suele haber algún tipo de información escrita sobre el
programa
n Tipos de información: económica, de relación con otras entidades,
material promocional (ej: trípticos)
n Aunque pueden ser informativos, no han sido preparados para
explicar la teoría subyacente al programa
Entrevistas
n Muy importante establecer entrevistas en profundidad o grupos de
discusión con informadores relevantes
n Informadores: directores y administradores del programa; personal
relacionado con los usuarios; financiadores y políticos; usuarios;
otros implicados de fuera del programa: otras agencias, líderes
sociales…
Observación
n Recoge información de primera mano con visitas directas in situ
n Posibilita observar los recursos del programa y las operaciones
rutinarias
![Page 7: evaluación de la teoría del programa y su evaluabilidad.pdf](https://reader036.fdocuments.co/reader036/viewer/2022081210/55cf99af550346d0339ea1c1/html5/thumbnails/7.jpg)
n Permite detectar discrepancias entre la teoría y realidad
Metas y objetivos del programa
n Debe haber una relación razonable entre lo que el programa hace y
lo que pretende hacer
n Debe haber objetivos dirigidos al impacto y al proceso
n Prestar interés a posibles efectos no planificados
Funciones, componentes y actividades del programa
n Hay que identificar cada componente del programa, así como su
interrelación
n Es importante ver el programa como un proceso y describirlo con
verbos en lugar de con sustantivos
n Cada función del programa debe ir descrita con actividades
específicas
Relación entre los pasos del programa
n Las distintas fases del programa se relacionan de forma diversa, y
es preciso describir cómo
n Es conveniente elaborar gráficos o diagramas de flujo para
delimitar como son los enlaces entre pasos del programa
Corroboración de la teoría del programa
n Confirmar que los participantes en el programa están de acuerdo
en la teoría subyacente
n Si no es así, el evaluador debe ayudar a clarificarlo
PROCEDIMIENTOS DE EVALUACIÓN
n Evaluación en función de necesidades sociales
n Evaluación de la lógica posibilidades
n Evaluación relacionando teoría y práctica
n Evaluación mediante observación preliminar
En función de necesidades sociales
n Comparar el programa con las necesidades por las que surge
n Puede ser necesario acudir a asesores que puedan valorar la
pertinencia
![Page 8: evaluación de la teoría del programa y su evaluabilidad.pdf](https://reader036.fdocuments.co/reader036/viewer/2022081210/55cf99af550346d0339ea1c1/html5/thumbnails/8.jpg)
n Para poder evaluarlo, el programa debe ser específico en lugar de
global
n Se debe comprobar que el programa ofrece servicios accesibles a la
población objetivo, que sean compatibles con sus necesidades
Lógica y posibilidades
n Debe responder a dos cuestiones, el programa,
– ¿está bien definido?
– ¿es razonable?
n Esto supone responder también a
– ¿Están bien definidas metas y objetivos?
– ¿Son realistas?
– ¿Es plausible el cambio que se propone?
– ¿Está bien definida la población objetivo?
– ¿Están definidas las acciones?
– ¿Se tienen los recursos necesarios?
Relación investigación - práctica
n Supone la evaluación de programas similares para determinar si
pueden tener éxito y permiten identificar áreas de problemas
críticos
n Se puede recurrir a la investigación científica en psicología o
sociología como referencia para evaluar la teoría del programa
Observación preliminar
n Aunque la teoría no puede “verse”, si que incluye supuestos de
funcionamiento que pueden observarse
n La observación directa permite un examen de la realidad para
valorar la concordancia entre la teoría del programa y lo que
supone que describe
Qué hacer en un programa deficiente
n Aconsejar a los programadores rediseñar el programa:
![Page 9: evaluación de la teoría del programa y su evaluabilidad.pdf](https://reader036.fdocuments.co/reader036/viewer/2022081210/55cf99af550346d0339ea1c1/html5/thumbnails/9.jpg)
– Clarificación de objetivos y metas
– Reestructurar los componentes del programa
– Trabajar con los implicados para conectar procedimientos con
objetivos
n Si no, el programa se llevará adelante con grandes dosis de
ambigüedad:
– Sobre lo que se espera que el programa haga
– Inadecuada especificación del impacto
Referencias
Fernández-Ballesteros, R. (Ed.) (1995). Evaluación de programas.
Una guía práctica en ámbitos sociales, educativos y de
salud. Madrid: Síntesis.
Rodríguez, E. (2000) Evaluabilidad. Documento no publicado.
Rossi, P.H., Freeman, H.E. y Lipsey, M.K. (1999) Evaluation: A
practical approach. Thousand Oaks, CA: Sage
Rutman, L. (1980). Planning useful evaluations. Evaluability
assessment. Beverly Hills: Sage.
Smith, M.F. (1989) Evaluability assessment: A practical
approach. Norwell, MA: Kluwer
Wholey, J.S. (1987) Evaluability assessment: Developing
Program Theory. San Francisco: Jossey Bass
Wholey, J.S. (1994) Assessing the feasibility and likely usefulness of
evaluation. En J.S. Wholey, H.P. Hatry y K.E. Newcomer (eds)
Handbook of Practical Program Evaluation. San Francisco:
Jossey Bass