Seminario de Modelos de Evaluación de Programas y Procesos de Enseñanza

Maestría en Ciencias de la Educación

Profa. Edith Hernández Vázquez

EL MÉTODO CIENTÍFICO DE EVALUACIÓN DE EDWARD A.

SUCHMAN

Integrantes:Cortes Ortiz patricioLópez arce Gabriela AdrianaLugo Velázquez María LuisaMartínez García Leticia de JesúsGrupo: 44212-Febrero-2013

EL MÉTODO CIENTÍFICO DE EVALUACIÓN DE EDWARD A. SUCHMAN

Científico investigador, que creía en la necesidad de basar las conclusiones en evidencias científicas, consideraba que la evaluación debía disponer de la lógica del método científico, y que un evaluador debe utilizar todo tipo de técnicas que sean útiles y apropiadas a las circunstancias y necesidades de un sentido evaluativo determinado.

Suchman distinguía entre evaluación e investigación evaluativa. A la primera se refería: “proceso de emitir juicio de valor” mientras la segunda a “procedimientos de recopilación y análisis de datos, demostrar, el valor de alguna actividad social.” Objetivos

Suchman consideraba tres aspectos principales de la evaluación:1. Aspectos conceptuales: que incluye los propósitos y principios, valores, proceso,

suposiciones, tipos y categorías de evaluación.2. Aspecto metodológico: incluye un enfrentamiento ente la investigación evaluativa y la no

evaluativa, variaciones en la planificación, principios de la planificación y valores de los efectos (exactitud y validez).

3. Aspecto administrativo: incluye la ciencia evaluativa y los compromisos para cumplirlas obligaciones administrativas.

Aspectos conceptuales de la evaluación

Suchman conceptualizo la investigación evaluativa como la primera y principal investigación, que debe acercarse a las normas de la metodología investigativa. Adoptando el método científico un evaluador conseguirá resultados más objetivos (exactitud y validez).La investigación básica es el descubrimiento del conocimiento y la investigación evaluativa es investigación aplicada y su propósito es determinar hasta qué punto un programa específico ha conseguido el resultado deseado.

Propósitos de la evaluación

Asumió los propósitos expuestos por Bigman:1. Describir si los objetivos han sido alcanzados y de que manera.2. Determinar las razones de cada uno de los éxitos y fracasos.3. Descubrir los principios en un programa que ha tenido éxito.4. Dirigir el curso de los experimentos mediante técnicas que aumentan su efectividad.5. Sentar las bases de una futura investigación sobre las razones del relativo éxito de técnicas

alternativas.6. Redefinir los medios para alcanzar los objetivos, subtemas, a la luz de los descubrimientos

de la investigación.

Los medios para alcanzar los propósitos, deben proporcionar la información básica para planificar, la investigación evaluativa debe conducir a una mayor comprensión de los procesos aplicados o administrativos.

Los valores y el proceso evaluativo

Valor: como cualquier aspecto de una situación, actividad u objeto que tenga un interés particular. Los valores, por lo tanto pueden estar construidos como modos de organizar la actividad humana, basados en principios que determinan tanto las metas como el perfeccionamiento de los programas, así como el medio de alcanzar esas metas.

La evaluación empieza con un valor concreto (explícito o implícito), luego procede a definir la meta. Seguidamente se seleccionan los criterios para valorar la consecución de la meta, la naturaleza de la evaluación determinara el tipo de valoración que se deberá utilizar. La próxima etapa es la identificación de algún tipo de actividad para alcanzar la meta y la operacionalización de esta actividad .esta etapa incluye el grado que ha alcanzado el objetivo predeterminado.

Finalmente se emite un juicio acerca de si esta actividad dirigida hacia la meta ha resultad útil. Los valores desempeñan un amplio papel en la determinación de los objetivos de los programas.

Las presuposiciones en los estudios evaluativos

Las principales suposiciones de Suchman es que cada programa tiene algún valor con algún propósito. La característica más identificable de la investigación evaluativa es la presencia de alguna meta u objetivo cuyo nivel de consecución constituye el principal centro de atención del problema investigativo.

Propone seis preguntas que deben ser respondidas cuando se formulen los objetivos de un programa con propósitos evaluativos:

1. ¿Cuál es la naturaleza del contenido del objeto?

2. ¿Quién es el destinatario del programa?3. ¿Cuándo debe producirse el cambio deseado?4. ¿Los objetivos son unitarios o múltiples?5. ¿Cómo debe ser el objetivo que debe ser alcanzado?

Clasificó las presuposiciones en dos clases:

Presuposiciones de valor: pertenecen al sistema de creencias que determinan que es “bueno” para una sociedad.

Presuposiciones de validez: están relacionadas con los objetivos del programa.

Tipos de evaluación

Hablaba de tres tipos: La evaluación última: se refiere a la determinación del éxito global del programa; la investigación preventiva: trata de los problemas intermedios que deben ser resueltos antes de abordar la evaluación final; la evaluación a corto plazo: busca información específica acerca de procedimientos concretos en términos de utilidad inmediata.

Categorías de la evaluación

Estas categorías representan varios criterios de éxito (o fracaso) con los que pueden juzgarse un programa:

1. Esfuerzo: criterios como de éxito, calidad, cantidad de actividades. 2. Trabajo: se valoran los resultados del esfuerzo.3. Suficiencia del trabajo: el grado en que el trabajo efectuad coincide con los objetivos.4. Eficiencia: ¿es la eficacia la capacidad de un individuo, organización, facilidad, operación

actividad, para producir resultados en proporción al esfuerzo realizado?5. Proceso: investigar explicaciones acerca de las razones que conducen a los resultados.

Suchman apuntaba cuatro dimensiones para el análisis de un proceso:a) Los atributos del programab) La gente a la que le afecta el programac) El contextod) Los diferentes tipos de efectos producidos por el programa.

Los aspectos metodológicos de la evaluación

Evaluación contra investigación no evaluativa

La investigación evaluativa es un tipo de investigación aplicada cuya meta es valorar la aplicación de este conocimiento, poniendo énfasis en la utilidad. La investigación evaluativa debe proporcionar información para la planificación del programa su realización y su desarrollo. Permite

que las predicciones se conviertan en un resultado dela investigación, contienen una amplia serie de variables.

La evaluación es aplicable únicamente al programa que está siendo evaluado y a sus ramificaciones contextuales.

Variaciones en el plan de intervención evaluativa

La investigación evaluativa no tenía una metodología propia, se atiene a los principios del método científico. Dando mucha importancia a la relación entre las causas y efectos de un programa, Suchman propuso un modelo que demostrara que la secuencia de causas propuestas para una evaluación se convierte en uno más de los campos de acción y actividades que conducen a las conclusiones.

Este modelo es muy importante para la planificación, así el plan de estudios debe tomar precauciones para tener en cuenta las precondiciones y los acontecimientos que pueden influir. Los efectos, tanto deseados como los indeseados.

Principios de la planificación de la investigación evaluativa

1. Un buen plan es que el que resulta ser el más apropiado para el propósito del estudio.2. No hay nada como un plan correcto y simple.3. Todo plan de investigación representa un compromiso.4. Un plan de investigación evaluativa es una serie de indicaciones para asegurar que se va

en la buena dirección.

La valoración de los efectos

De acuerdo con Suchman, la valoración de los efectos de un programa requiere que se especifiquen las cuatro principales categorías de variables:

1. Partes integrantes o procesos del programa.2. Población estimada y grupos a los que realmente concierne.3. Condiciones situaciones en las que se desarrolla el programa.4. Efectos diferenciales del programa.

El evaluador no debe valorar directamente el fenómeno que está siendo estudiado, sino las clasificaciones de esos fenómenos.

Las principales causas de variación asistemática en la investigación evaluativa:

Fiabilidad del sujeto: actitudes y comportamientos afectados por el estado de ánimo.

Fiabilidad del observador: factores personales que influyen en la interpretación del tema.Fiabilidad de la situación: condiciones de la valoración. Fiabilidad del instrumento: todo lo anterior (combinado)Fiabilidad del proceso: enumerar los errores

La validez presenta mucho más problemas que la fiabilidad porque no solo se refiere a valoraciones específicas, sino también al significado de todo el proceso evaluativo. Exponemos a continuación a causa de los errores referentes a la validez en los estudios evaluativos:

1. Validez proposicional: la utilización de teorías incorrectas o inadecuadas.2. Validez del instrumento: la utilización de clasificaciones operacionalmente irrelevantes.3. Validez del muestreo: falta de representatividad de la población escogida.4. Validez del observador: introducción de errores basados en inclinaciones personales.5. Validez del sujeto: hábitos y predisposiciones que conducen a errores.6. Validez de la administración: las condiciones del estudio.7. Validez del análisis: errores deliberados o involuntarios.

La evaluación y la administración del programa

La investigación evaluativa puede desafiar a la práctica tradicional y llevar a cabo la útil función de hacer más eficientes estas actividades. Los estudios evaluativos de programas anteriores cumplen la importante función de sacar a la luz los esfuerzos improductivos.

La investigación evaluativa puede valorar el progreso experimentando y adelantar nuevas estrategias. Y en lo que se refiere a programas futuros, la investigación evaluativa puede prestar una gran contribución a la definición de objetivos.

Suchuman afirmaba que la evaluación había sido tradicionalmente considerada como el proceso final de la función administrativa que representa planificar un programa, siendo los procesos anteriores la investigación, la planificación, la demostración y la ejecución.

La evaluación operacional (o ejecución) proporcionar una valoración de hasta qué punto el programa ha alcanzado los resultados deseados entre otras estas valiosas funciones:

1. Especifica los puntos fuertes y los débiles de la operación programática y sugiere cambios y modificaciones.

2. Examina la eficiencia de los programas comparándolos con otros métodos a las necesidades.

3. Sugiere nuevos métodos para futuros programas.4. Establece prioridades entre los programas, según la escasez de recursos como los fondos,

el personal y el tiempo.5. Facilita una responsabilización pública.

6. Fomenta las actitudes morales y críticas del personal implicándolo en la evaluación.

Administración de los estudios evaluativos

La precisión del juicio del evaluador puede muy bien depender de la calidad de las actividades complementarias del evaluador y el personal más importante del estudio.

Si las relaciones entre los papeles del evaluador y del administrador se deterioran, pueden abordarse varias estrategias para mejorarlas:Desarrollar un óptimo nivel de expectación para la orientación inicial de ambas partes.Clarificar los papeles y actividades de ambas partes.Fomentar las técnicas interpersonales de todos los participantes por medio de un programa de preparación inicial. El evaluador se preocupa más por los objetivos últimos, mientras que el administrador del programa se ocupa de los objetivos inmediatos. Suchman subraya que la evaluación está concebida para ayudar, y no estorbar, en la realización de un proyecto.

Acuerdos para solucionar los problemas administrativos

Suchman consideraba que los estudios evaluativos debía alcanzar el mejor compromiso posible entre las exigencias de las ciencias y las condiciones realistas de la investigación.El evaluador siempre debe recordar que una evaluación se desarrolla bajo condiciones naturales y que sus técnicas investigativas deben necesariamente adaptarse a la realidad de la recopilación y el análisis de datos. La ingenuidad y confianza del evaluador, sin embargo, necesitan el mayor control científico posible.

Suchman afirmaba que ambas partes deben consultarse acerca de la vialidad y las posibilidades del perfeccionamiento de las conclusiones mientras que los resultados de una evaluación deben ser traducidos a juicios referentes al éxito o fracaso del programa. Para que tengan un valor real, los resultados de una evaluación deben ser claros indicadores de futuras direcciones.

A partir de la conceptualización de la educación como un bien social, se establece que la planificación debe responder, a un concepto de la educación como demanda social según el cual existe una demanda de los individuos por educación en un lugar y tiempo dado bajo circunstancias culturales, políticas y económicas.

La planificación ya no es un sistema administrativo, sino una actitud, un proceso, un método social de la educación. Un instrumento de política educativa para cambiar las estructuras con contenido.

Bibliografía: Chacare. T. (2008) Evaluación Institucional: Programa de Maestría en Ciencias de la Educación. Universidad de Oriente Núcleo de Bolívar. Coordinación de Postgrado de Educación. http://postgradeducaciondobolivar.files.wrdprees.com/2001/03/evalucacion-institucional.pdf