Desarrollo y validación de un Generador Automático de...

Incluya en esta zona El logo de su Institución

Desarrollo y validación de un Generador Automático de Reactivos de respuesta construida

para elaborar exámenes computarizados de ingreso a la educación superior

Eduardo Backhoff Escudero (INEE), Norma Larrazolo Reyna (UABC)y Felipe Tirado Segura (UNAM)

Noviembre de 2013

Este documento se ha realizado con la ayuda financiera de la Unión Europea. El contenido es este documento es responsabilidad exclusiva de sus autores y en modo alguno debe considerarse que refleja la posición de la Unión Europea

Premisa

Introducción

• Aunque los exámenes de ingreso a las universidades no se pueden considerar exámenes diagnósticos, sí generan información importante para tener “radiografías” del tipo de habilidades y conocimientos que dominan los estudiantes.

• Estas radiografías académicas permiten que las instituciones educativas puedan implementar acciones dirigidas a reforzar las debilidadesacadémicas de los estudiantes y con ello evitar la deserción y abandono escolar en etapas tempranasde los estudios universitarios.

Usos de los exámenes de ingreso

Introducción

• En los Estados Unidos se utilizan los resultados de los exámenes Scholastic Aptitud Test (SAT) y American College Testing (ACT) para distintos propósitos:

1) realizar estudios de progreso o seguimiento longitudinal del sistema educativo norteamericano,

2) conducir estudios comparativos de logro educativo entre los estados norteamericanos,

3) proveer información destinada a escuelas, estudiantes y tomadores de decisiones en forma oportuna, y

4) elaborar índices educativos nacionales

Incluya en esta zona el subtítulo del apartado

Incluya en esta zona el título del apartado

• Los resultados de los exámenes de admisión son también utilizados, para:

1) Colocar o ubicar a los estudiantes, durante su primer año escolar, en cursos básicos, medios o avanzados

2) Esto especialmente ocurre en la asignatura de matemáticas

• Sin embargo, en el caso de México no se hace uso de los resultados de los exámenes de admisión, más quepara seleccionar a los estudiantes.

Desarrollo del EXHCOBA

Introducción

• Hace más de 20 años desarrollamos el Examen de Habilidades y Conocimientos Básicos.

• También desarrollamos el Sistema Computarizado de Exámenes.

• Ambos desarrollos conforman un examen asistido por computadora que se utiliza para el ingreso al bachillerato y a las instituciones de educación superior, que se le conoce simplemente como EXHCOBA.

• En 2012, presentaron este examen 120 mil estudiantes , como parte del proceso para ingresar a distintas universidades estatales de México.

Filosofía del EXHCOBA

Introducción

• El principal propósito de este examen es evaluar el aprendizaje escolar que adquieren los estudiantesdurante su vida escolar.

• Su filosofía se centra en evaluar aquellas habilidades y conocimientos básicos que dan soporte a otrosaprendizajes que se adquirirán en los niveles educativos posteriores.

Ventajas

Exámenes de opción múltiple

• Las evaluaciones de gran escala requieren de procedimientos estandarizados y automatizados que sean validos y confiables. Por ello se utilizan las preguntas de opción múltiple.

• Ventajas de los reactivos de opción múltiple:1) la objetividad y rapidez para calificar las respuestas, 2) la capacidad y versatilidad para evaluar múltiples

habilidades intelectuales no-complejas. y 3) la confiabilidad y consistencia de los resultados.

Desventajas

Exémenes de opción múltiple

• Desventajas de los reactivos de opción múltiple:

1) Difícil elaborar buenos reactivos,2) dificultades para valorar habilidades intelectuales y

conocimientos complejos, 3) distancia entre la forma de evaluar y uso del

conocimiento en circunstancias vida real (evaluaciónauténtica)

4) rapidez con que se desgastan las preguntas y los exámenes,

5) sesgos ocasionado por la adivinación y la copia.

Filosofía del Excoba

Examen de Competencias Básicas (Excoba)

• Se desarrolló un Generador Automático de Reactivos que permite construir y administrar una cantidad importante de reactivos equivalentes de cada competencia a evaluar.

• De esta manera se pueden generar decenas o cientos de reactivos digitales, y miles de exámenes aleatorios.

• O bien, se pueden generar una cantidad importante de versiones fijas de exámenes.

Estructura conceptual


• La evaluación auténtica pone énfasis en las actividades que se realizan dentro de un contextoreal, conocimiento situado.

• Se trata de evitar que se evalúe el aprendizaje de manera artificial, solo seleccionando opciones de respuesta.

• Se pone acento en producir o construir respuestas. • El modelo de “aprender haciendo” se transfiere a

“evaluar haciendo”, hasta donde sea posible.

Tipos de reactivos


• Se trata de poder valorar la comprensión de las ideas, plantear dilemas que evoquen procesos de pensamiento en los que se requiera entender, juzgar y crear respuestas por parte de los estudiantes.

• Los alumnos construyen sus respuestas en un formato de respuesta abierta, o bien, en uno que solicita clasificar, ubicar, acomodar o seleccionar varios elementosconceptuales de un campo del conocimiento, construyendo la respuesta correspondiente.

Modelos de ítems


• Para cada competencia a evaluar se elaboró un modelode evaluación que contiene dos grandes apartados: 1)la descripción del contenido a evaluar y 2)la plantilla o estrategia de evaluación.

• En la plantilla de evaluación se especifican todos los componentes conceptuales y gráficos que permitirán generar familias de ítems, ítems-padre e ítems-hijo, los cuales se generarán, se presentarán y se calificarán en un sistema computarizado.

Modelos de ítems


La estrategia basada en recursos digitales se sustenta en: 1. Aprovechar las ventajas de los recursos computarizados para evaluar

respuestas construidas.2. La posibilidad de presentar imágenes dinámicas interactivas donde los

sustentantes deben construir respuestas, ya sea por texto escrito o al acomodar por medio de arrastres (drag) los componentes que se presentan en las posiciones correspondientes (campo estructural)

Modelos de ítems


• Puede generar milesde reactivos por familias, ejemplo – tabla periódica

Se termina el problema de copiado y de fuga de exámenes

Modelos de ítems


• Cuando se presentan reactivos dentro de un campo en el que se emiten diversas respuestas, las relaciones estructurales se reconstruyen, los elementos son componentes de una respuesta más compleja

Cultura andina

Mesopotamia

Modelos de ítems


Localiza en el mapa las capitales, los estados enunciados y coloca (arrastra) la etiqueta del nombre.

Permite la calificación ponderada y distribuida (ej: geografía política y física)

Interfaz computarizada


Modelo de ítem


Familias de ítems

Ítems-padre Ítems-hijo

Seleccionar las partes de una figura geométrica que indica la fracción

Pentágono 1/5,2/5,3/5,4/5,3/15,6/15,9/15,12/15

Triángulo 1/3,2/3,3/9,6/9,2/12,4/12,6/12,8/12,10/12

Estrella 1/3,2/3,1/4,2/4,3/4,1/6,2/6,3/6,4/6,5/6,2/8,4/8,6/8,3/9,6/9

Cuadrosapilados

1/5,2/5,3/5,4/5,2/10,4/10,6/10,8/10,3/15,6/15,9/15,12/15

Escribir la fracción que representan las partes sombreadas de una figura geométrica

Pentágono 1/5,2/5,3/5,4/5,3/15,6/15,9/15,12/15

Triángulo 1/3,2/3,3/9,6/9,2/12,4/12,6/12,8/12,10/12

Estrella 1/3,2/3,1/4,2/4,3/4,1/6,2/6,3/6,4/6,5/6,2/8,4/8,6/8,3/9,6/9

Cuadrosapilados

1/5,2/5,3/5,4/5,2/10,4/10,6/10,8/10,3/15,6/15,9/15,12/15

Modelo de ítem


Interfaz computarizada


Conclusiones

• Los exámenes de ingreso a las instituciones de educación superior tienen un gran potencial para proporcionarinformación sobre las competencias, habilidades y conocimientos de los estudiantes.

• Esta información debe de utilizarse, no solo como herramienta de selección de aspirantes, sino que tambiéndebe de aprovecharse para detectar áreas académicas donde los estudiantes presentan dificultades.

• Con lo anterior se pueden establecer programaseducativos remediales que eviten la reprobación y el abandono escolar en los primeros años universitarios.

Uso de los exámens de ingreso

Conclusiones

• La evaluación asistida por computadora de los procesos cognoscitivos es un campo muy prometedor de la educación.

• El Excoba es un ejemplo de la integración de la teoríacognitiva, la teoría de la medición y la tecnología digital para evaluar competencias escolares.

• Pasamos de un solo examen de opción múltiple a un generador de ítems capaz de elaborar decenas o cientos de ítems y exámenes equivalentes conceptualmente.

• Contar con mejores exámenes de ingreso, implica tener información de alta calidad que puedan utilizarse para evitar el abandono escolar.


Conclusiones

MUCHAS GRACIAS POR SU

ATENCIÓN


Desarrollo y validación de un Generador Automático de...

Documents

Transcript of Desarrollo y validación de un Generador Automático de...