Evaluación y Tecnología: Un matrimonio de conveniencia Gregorio Rodríguez Gómez (UCA) Eduardo...

Evaluación y Tecnología:Un matrimonio de conveniencia

Gregorio Rodríguez Gómez (UCA)Eduardo García Jiménez (US)

Grupo EVALfor

1. Evaluar utilizando la Tecnología

Estructura de la conferencia

2. ¿Innovación? ¿Modernización?

3. Tareas de evaluación sofisticadas y evaluación 2.0

4. El reto de la retroinformación

5. Prospectiva: ¿qué deberíamos exigir a la Tecnología?


Tecnologías que aumentan nuestra fuerza o resistencia Tecnologías que amplían

nuestros sentidos

Tecnologías que modifican la naturaleza

TECNOLOGÍAS INTELECTUALESAmplían/apoyan nuestra capacidad mental

Carr, N. (2011) . Superficiales. ¿Qué está haciendo Internet con nuestras mentes?. Madrid: Taurus.

EVALUACIÓN

TECNOLOGÍA


Evaluación de competencias en contextos de aprendizaje mixto (blended-learning) Ref. EA2007-0099

Evaluación de competencias con Herramientas de Interacción Dialógica Asíncrona (Foros, blogs y wikis) Ref. EA2008-0237

Reingeniería de la e-Evaluación, tecnologías y desarrollo de competencias en profesores y estudiantes universitarios – Ref. Proyecto de Excelencia P08-SEJ-03502

INnovación en la EVALuación de COmpetencias: Diseño y desarrollo de procedimientos e instrumentos para la evaluación de competencias en entornos de aprendizaje mixtos/virtuales con la participación de los estudiantes en los títulos de grado Ref. EA2010-0052


http://evalcomix.uca.es/

Bajo control de la organizaciónBajo control de la organización

Capacidad innovadora de una Universidad

INNOVACIÓN = Entorno x (Creatividad x Riesgo Asumido)

Fuente: Club de excelencia en gestiónFuente: Club de excelencia en gestión

Conceptualización

Delimitando la innovación

Experiencia + innovación = creación de valorJosé Antonio Pérez-Nievas Heredero. Presidente de Iberfomento


Retos


• LA EVALUACIÓN EN UN ENTORNO VIRTUAL SE HA MANTENIDO FIEL A SU ORIGEN: – Las prácticas de evaluación al uso en la

enseñanza presencial.

– La evaluación basada en el uso de ordenadores. (Computer Based Assessment; Computer Based Assessment; PLATO)


• El cambio en los fundamentos teóricos (TRI a TCT) tampoco ha modificado en esencia las tareas de evaluación. Los TAIs (CAT) continúan la tradición de la taxonomía de Bloom al construir las tareas de evaluación.


• TAIs en Educación Secundaria, CC. Sociales y Jurídicas, elaborados a partir de MICROCAT (García, Gil y Rodríguez, 1999);

• SIETTE (Guzman y Conejo, 2002)

• La aparición de Internet no ha cambiado sustancialmente el tipo de tareas de evaluación planteadas al estudiante. – QUIZIT, WebCT

ahora Blackboard, ASSYST. Moodle o PILOT


permite que los estudiantes respondan a preguntas y reciban retroinformación desde cualquier dispositivo conectado a Internet en cualquier momento.

• Los estudiantes contestan oralmente a una pregunta, completan matrices de información, emparejen preguntas y respuestas, arrastran y sueltan objetos, ponen etiquetas, etc..

• Feedback automatizado y cerrado: – “a la respuesta errónea A le

corresponde el feedback A’ “


La evaluación han modernizado la forma de preguntar y dar retroinformación a los estudiantes pero no el enfoque de las

preguntas ni de la retroalimentación.

• Bennett (1998) una nueva generación de evaluación:– Habría que cambiar la naturaleza de las tareas y de las

preguntas.

• El cambio generacional debería ser capaz de integrar las tareas de evaluación y el aprendizaje: – Con tutores inteligentes, micromundos y simulaciones. – Contenido altamente dinámico y adaptable considerando los

intereses particulares, las fortalezas y debilidades de los estudiantes.

¡¡ PERO LAS INNOVACIONES SIGUEN SIENDO ESCASAS !!


El avance de las TICs como respuesta…•Automatización del proceso de evaluación:– Lei He (2006):evalúa los resultados de los estudiantes y las actividades de

enseñanza de los profesores en la vida real, pero sigue apoyándose en la taxonomía de Bloom.

– e-Examiner (Guelt, 2007).permite generar automáticamente pruebas proporcionando retroinformación automática al estudiante, pero sigue utilizando preguntas semicerradas y de texto libre (hasta 20 palabras).


• Tareas sofisticadas ¿una alternativa?:• material de estímulo rico en medios (gráficos, sonido, vídeo o

animación).• requiere al estudiante que interactúe en una variedad de

formas con dicho material. • Cada tarea debe hacer referencia a varios temas o tópicos

centrales en el aprendizaje del estudiante.

– Tripartite Interactive Assessment Development System (TRIADs). • pruebas ricas en medios que permiten al estudiante interactuar con

las diferentes informaciones presentes en un ítem (textos, imágenes, sonidos) pero finalmente se trata de elegir una respuesta entre varias opciones o para completarla.

• Retroalimentación inmediata y de una única fuente: el profesor.


Tripartite Interactive Assessment Development system (TRIADs) Mackenzie, 1999


• Integración de evaluaciones (University of Technology, Sidney):

– Tareas integradoras: los estudiantes reúnen y reprocesan los diferentes trabajos que han llevado a cabo a lo largo de un curso, después reflexionan sobre ellos y los analizan, de ese modo modifica tanto su interpretación de las exigencias de cada tarea como su valoración del alcance de las mismas.

– Examen completo: Se da al estudiante un caso de estudio dos semanas antes del examen; pueden crearse grupos de estudio para analizarlo. En el examen de conjunto se incluyen diferentes pruebas a través de distintas materias, que se apoyan en preguntas cortas o de elección múltiple, y requieren conocimiento aplicado. Maastricht University (Segers, 1997).


• Assessment 2.0 (Elliot, 2008):

– Desarrollo de tareas de evaluación en un entorno Web 2.0: • Apoyada en applets, simulaciones u hojas de cálculo con

macros, reorientación de objetos dentro de una imagen o un gráfico, empleo de imágenes de video o 3D.• Acontecida de forma natural: ya existente no generada ad

hoc para realizar la evaluación.• Multimedia: existente en formato texto, audio o video. • Digital: correo electrónico, mensajería instantánea, blogs,

wiki y grabaciones en audio y video. • Distribuida: como la que puede obtenerse a través de

varias fuentes, tales como sitios web, blogs, inbox, iPod.



– Auténtica.– Personalizada.– Negociada.– Socialmente construida. – Reconoce las habilidades previas.– Orientada a problemas.– Elaboradas de forma colaborativa. – Autoevaluación y evaluación entre iguales.



Inconvenientes– Tecnología sofisticada para desarrollar una evaluación que

también es sofisticada y que tiene aplicaciones igualmente sofisticadas.

– Se necesita que los profesores tengan las habilidades necesarias para construir una evaluación 2.0 y puedan dedicar el tiempo que se necesita, detrayéndolo de otras actividades como por ejemplo la investigación.

– ¿Es necesaria tanta sofisticación? ¿Es un problema tecnológico o de enfoque de la evaluación?


• ¿SE REQUIEREN TAREAS TAN SOFISTICADAS?

• LA INNOVACIÓN EN LAS TAREAS DE EVALUACIÓN, ¿ES UN PROBLEMA TECNOLÓGICO O UN PROBLEMA DE ENFOQUE?



• LA RETROINFORMACIÓN AL USO EN LA ENSEÑANZA VIRTUAL NO ES MUY DIFERENTE A LA QUE SE LLEVA A CABO EN LA ENSEÑANZA PRESENCIAL, COMO PARTE DE UNA EVALUACIÓN DE TIPO FORMATIVA.

• LA INVESTIGACIÓN SOBRE RETROINFORMACIÓN SE HA CENTRADO FUNDAMENTALMENTE EN HACER MÁS EFICAZ LA LABOR DEL PROFESOR QUE SIGUE A LA EVALUACIÓN DE LOS ESTUDIANTES.

4. El reto de la retroinformación• Shute (2007: 30-33) ha sistematizado los resultados de las investigaciones sobre

retroalimentación en cuatro categorías: “lo que puede hacerse”, “lo que puede evitarse”, “oportunidad de la retroinformación” y “características de los estudiantes”.


• En el caso particular de la enseñanza asistida por ordenador, la investigación sobre retroinformación se ha apoyado igualmente en el concepto de evaluación formativa tratando de identificar el mejor modo de que el profesor apoye el aprendizaje del estudiante, una vez realizada la evaluación.

• Mason y Bruning (2001), un esquema para la toma de decisiones sobre el tipo de retroinformación más adecuado en una enseñanza asistida por ordenador.

• El profesor como la única fuente de retroinformación; tiene el monopolio de la retroinformación.

• Se priva a otros agentes –los compañeros de clase y el propio estudiante, entre otros- de participar en ese proceso.

• BUENA PARTE DEL POTENCIAL DE INTERNET, Y ESPECIALMENTE DE LA WEB 2.0, QUEDARÍAN DESAPROVECHADOS.

• LA EVALUACIÓN FORMATIVA ES UNA UNA RÉMORA EN EL AVANCE DE LA EVALUACIÓN AL DESVIAR EL FOCO DE ATENCIÓN HACIA EL PROFESOR Y LA ENSEÑANZA.


• Este tipo de retroinformación centrada en la enseñanza y monopolizada por el profesor tiene además otro consecuencia fundamental: – su utilidad es una función de la capacidad del estudiante

para:• a) decodificar el mensaje (feedback) del profesor; • b) internalizar dicho mensaje; y,• c) utilizarlo para confirmar su respuesta, hacer cambios en ella o

simplemente reemplazarla.


Nicol y Macfarlane-Dick (2006), modelo de aprendizaje autorregulado, 7 principios básicos para una buena retroinformación:

•Clarificar qué se entiende por un trabajo bien hecho.•Facilitar la reflexión y la autoevaluación en el aprendizaje.•Proporcionar información significativa en la retroinformación que ayude a los estudiantes a autocorregirse.•Promover el diálogo profesor-estudiantes y compañeros.•Estimular la autoestima y la motivación positiva.•Crear las oportunidades para que se pueda actuar sobre la retroinformación.•Utilizar la retroinformación de los estudiantes para mejorar la enseñanza.


• Algunas experiencias del JISC ¿frustrantes?

Open University, en su curso a distancia “Explorar la ciencia”, basando en iMACs:

– Diferentes tipos de preguntas abiertas o cerradas, texto libre (hasta 20 palabras).

– Retroinformación diferenciada en función de cada uno de los intentos que realiza el estudiante para responder de forma correcta a una pregunta (a más intentos más retroinformación).

– Si es necesario remiten al estudiante a los materiales fundamentales del curso

– Se puntúan las respuestas correctas en función del número de intentos necesarios para lograrlas.


• Algunas experiencias del JISC ¿frustrantes?Open University, en su curso a distancia “Explorar la ciencia”

• A medio camino entre la retroinformación proporcionada en los modelos de evaluación apoyados en el uso del ordenador y la autorregulación del aprendizaje.

• Evaluación que prima –ciertamente ya no es un monopolio- el papel de una retroinformación externa en detrimento de la interna o de la que puedan proporcionar los propios compañeros.


• Algunas experiencias del JISC ¿frustrantes?Universidad de Leicester en un Máster sobre Psicología

Ocupacional.• Tecnología en la que se apoyó la retroinformación: archivos

de audio (podcasts) grabados por el profesor/ tutor distribuidos vía correo electrónico/ Blackboard y descargados a través de un sistema de redifusión (RSS) en MP3 en su teléfono móvil, ipad u ordenador.

• Estudiantes: rompen su aislamiento (humanizan), pueden recibir la retroinformación en cualquier momento y lugar.

• Profesores: adecuada y eficiente, especialmente en aquellos casos en los precisan dar al estudiante una retroinformación detallada como en los trabajos finales de máster


• Algunas experiencias del JISC ¿frustrantes?Universidad de Leicester en un Máster sobre Psicología

Ocupacional.

• El enfoque sigue considerando al profesor como fuente única de dicha retroinformación y, desde luego, esta lejos de favorecer procesos de autorregulación del aprendizaje del estudiante.


• ¿Podemos esperar algo más?

Grupo Evalfor en diferentes enseñanzas universitarias, ámbito de las Ciencias de la Salud:

• Estudiantes de Enfermería han llevado un proceso de evaluación que comporta autoevaluación, evaluación entre compañeros y evaluación del profesor.

• En una metodología de enseñanza por pequeños grupos, los estudiantes tenían que elaborar un genograma y subirlo a un entorno de aprendizaje virtual Moodle.

• Posteriormente, los estudiantes de cada grupo tenían acceso a los genogramas elaborados por los demás grupos, los evaluaban utilizando una rúbrica común elaborada ad hoc y podían proporcionar retroinformación a sus compañeros.


• ¿Podemos esperar algo más?Grupo Evalfor en diferentes enseñanzas universitarias, ámbito de las

Ciencias de la Salud: Limitaciones/Posibilidades: • Una mayor formación específica sobre evaluación del aprendizaje.

– Proceso dialógico: Criterios de evaluación y estándares de ejecución son objeto de revisión por profesores y alumnos.

• Un entrenamiento en directrices que articulan la retroinformación hubieran contribuido a un mayor aprovechamiento de esta última por parte de los estudiantes acrecentando su capacidad para autorregular el aprendizaje.– Proceso dialógico: Ejemplificar y compartir modelos de retroinformación.

• EN EL FUTURO, SERÍA NECESARIO PROFUNDIZAR EN LA RELACIÓN ENTRE DICHA FORMACIÓN Y ENTRENAMIENTO Y LA MEJORA DE LOS PROCESOS DE AUTORREGULACIÓN.


Evaluación 2020La evaluación tiene más efecto cuando …

1. La evaluación se utiliza para involucrar a los estudiantes en un aprendizaje productivo

La tecnología tendrá más efecto cuando …

Permita que los estudiantes se involucren en un aprendizaje productivo a través de la evaluación

Grado de desarrollo

ALGO: Las redes sociales permiten involucrar a los estudiantes en la evaluación, aunque actualmente no están muy preparadas para ello

POCO

ALTO. Las tecnologías Web 2.0 permiten que los estudiantes produzcan resultados que son evaluables. No obstante, las herramientas que se utilizan para ello aún no tienen herramientas de soporte a la evaluación por parte del profesor.

5. Prospectiva: ¿qué deberíamos exigir a la Tecnología

Evaluación 2020La evaluación tiene

más efecto cuando …

2. La retroalimentación se utiliza para mejorar de forma activa el aprendizaje del estudiante


Permite la autorregulación del aprendizaje, incorporando la retroalimentación de profesores y compañeros

Grado de desarrollo

BASTANTE: Los sistemas de mensajería electrónica (e-mail) y las redes sociales habilitan la retroalimentación, aunque está aun por determinar en qué momentos es más adecuado que dicha retroalimentación se produzca

BASTANTE: Sistemas de preguntas/respuestas con guía para los alumnos. Disponibles en LMSs.

ALTO: Las herramientas on-line permiten dar realimentación de profesores y compañeros en diferentes modos, anónima o con identificación, para cualquier tipo de entrega e incluso para contribuciones en medios asíncronos como los foros.



3. Estudiantes y profesores se conviertan en socios responsables en el aprendizaje y la evaluación


Hace posible la colaboración del estudiante, sus compañeros y profesores en el diseño y desarrollo integral de la evaluación y del aprendizaje

Grado de desarrollo

POCO: la co-responsabilización en la evaluación poco o nada tienen que ver con la tecnología. Aunque hay ayudas tecnológicas que han demostrado su utilidad en el aprendizaje colaborativo (v.g. herramientas de CSCL - Computer-Supported Collaborative Learning), en escasa medida lo han hecho para fomentar la co-responsabilización en la evaluación.

ALGO: Herramientas como wikis fomentan esta co-dependencia.

BAJO: Los sistemas actuales mantienen una diferencia entre el profesor y los estudiantes en cuanto al diseño de la evaluación. No ha soporte explícito a este aspecto.



4. Los estudiantes se inician en las prácticas de evaluación y las culturas de la enseñanza superior


Hace posible el entrenamiento progresivo en la evaluación

Grado de desarrollo

BASTANTE: Las herramientas para implementar prácticas e instrumentos de evaluación (e.g. LAMS) permiten definirlos cada vez más complejos, en función del nivel del estudiante .

ALGO: Técnicas de revisión entre iguales soportadas por esquemas como por ejemplo e-portfolios hacen posible la revisión mutua con rúbricas.

BAJO: Aunque en ciertos tipos de evaluación se permite el entrenamiento progresivo como en los tests, en general la tecnología no soporta explícitamente versionado y ayuda automática para el estudiante.



6. La evaluación para el aprendizaje es esencial para el desarrollo institucional y del profesorado


Exista una estrategia institucional que permite que la tecnología desarrolle la evaluación del aprendizaje, contribuyendo de ese modo al logro de los objetivos de la institución.

Grado de desarrollo

POCO: las mismas razones que en la pregunta anterior

POCO/NADA: . A nivel institucional (en mi experiencia) todavía se focaliza los aspectos meramente operativos, y no de efectividad del aprendizaje.

BAJO: Los LMS utilizados en la mayoría de las instituciones educativas no fomentan un desarrollo específico y sistemático para el desarrollo de la evaluación para el aprendizaje.



7. La evaluación proporciona una representación completa y certera del rendimiento del estudiante.


Permite el seguimiento del aprendizaje y es capaz de reflejar las competencias que el alumno ha desarrollado al finalizar sus estudios.

Grado de desarrollo

POCO: Las herramientas actuales permiten hacer analíticas (v.g. learning analytics) de la actividad real del estudiante o bien recoger evidencias normalmente documentales (v.g. e-portfolios) de la misma, pero usualmente desde una perspectiva puntual (i.e. una tarea, curso, una asignatura) y, sobre todo en el caso de la analítica, pocas veces global e integrada (i.e. un plan de estudios).

POCO: La tendencia es a incluir más objetivos a conseguir por el estudiante, pero el seguimiento de estos objetivos es muy deficiente (me refiero a habilidad para trabajar en equipo, necesidad de aprendizaje a lo largo de la vida) MEDIOExisten medios para hacer el seguimiento, pero son demasiado costosos y no se explotan completamente las posibilidades de la adaptatividad para soportar el trabajo del profesor.

EVALUACIÓN

TECNOLOGÍA

¡¡Muchas gracias!!

Evaluación y Tecnología: Un matrimonio de conveniencia Gregorio Rodríguez Gómez (UCA) Eduardo...

Documents

Transcript of Evaluación y Tecnología: Un matrimonio de conveniencia Gregorio Rodríguez Gómez (UCA) Eduardo...