UNIVERSIDAD NACIONAL AUTÓNOMA DE MÉXICOUNIVERSIDAD NACIONAL AUTÓNOMA DE MÉXICO
Interpretación de Resultados con ITEMAN; como parte Interpretación de Resultados con ITEMAN; como parte
de las competencias docentes en evaluaciónde las competencias docentes en evaluación
(Análisis de reactivos mediante la Teoría Clásica de los Test)(Análisis de reactivos mediante la Teoría Clásica de los Test)
Mtro. Fernando Flores HernándezMtro. Fernando Flores HernándezFACULTAD DE MEDICINAFACULTAD DE MEDICINA
SECRETARIA DE EDUCACIÓN MÉDICASECRETARIA DE EDUCACIÓN MÉDICA
Lic. Rocío Juárez MéndezLic. Rocío Juárez MéndezCENTRO NACIONAL DE EVALUACIÓN PARA LA EDUCACIÓN SUPERIORCENTRO NACIONAL DE EVALUACIÓN PARA LA EDUCACIÓN SUPERIOR
CENEVAL CENEVAL
•• Brindar a los participantes recursos para ampliar sus Brindar a los participantes recursos para ampliar sus
conocimientos sobre el al análisis de reactivos en conocimientos sobre el al análisis de reactivos en
pruebas de respuesta estructurada (Opción Múltiple), pruebas de respuesta estructurada (Opción Múltiple),
mediante la TCT y familiarizarlos con el análisis de los mediante la TCT y familiarizarlos con el análisis de los mediante la TCT y familiarizarlos con el análisis de los mediante la TCT y familiarizarlos con el análisis de los
principales resultados derivados del software ITEMAN.principales resultados derivados del software ITEMAN.
•• Existe claridad en el propósito u objetivo de las evaluaciones que Existe claridad en el propósito u objetivo de las evaluaciones que realiza o en las que participa.realiza o en las que participa.
•• Hay un criterio que determine el tipo de instrumento a emplear en Hay un criterio que determine el tipo de instrumento a emplear en las evaluaciones de los alumnos.las evaluaciones de los alumnos.
•• Realizan algún análisis de sus instrumentos y evaluaciones.Realizan algún análisis de sus instrumentos y evaluaciones.
•• Como desarrollan el proceso de calificación de su instrumentos.Como desarrollan el proceso de calificación de su instrumentos.
•• Emplea un mismo estándar o criterios diferenciales entre sus Emplea un mismo estándar o criterios diferenciales entre sus •• Emplea un mismo estándar o criterios diferenciales entre sus Emplea un mismo estándar o criterios diferenciales entre sus grupos.grupos.
•• Puede considerar objetiva la forma como evalúa a sus alumnos.Puede considerar objetiva la forma como evalúa a sus alumnos.
Evaluación Evaluación
Evaluación educativa
Evaluación de
instituciones
Evaluación de planes, programas y proyectos
Evaluación del
aprendizaje
Evaluación de la
docencia
Trayectorias escolares
•• Establece de manera clara el objeto a evaluar.Establece de manera clara el objeto a evaluar.
•• La calificación de los alumnos se desarrolla de manera La calificación de los alumnos se desarrolla de manera •• La calificación de los alumnos se desarrolla de manera La calificación de los alumnos se desarrolla de manera
homogénea.homogénea.
•• Permite realizar un análisis rápido de la prueba y calificar Permite realizar un análisis rápido de la prueba y calificar
a un gran número de alumnos en poco tiempo y de a un gran número de alumnos en poco tiempo y de
manera objetiva.manera objetiva.
•• Reduce el tiempo para la emisión de resultados y puede Reduce el tiempo para la emisión de resultados y puede
asegurar el uso de algunos controles sobre los valores asegurar el uso de algunos controles sobre los valores
psicométricos del instrumento.psicométricos del instrumento.
•• En la puntuación de los alumnos en una prueba existen dos En la puntuación de los alumnos en una prueba existen dos variables latentes la puntuación verdadera (v) y el error de variables latentes la puntuación verdadera (v) y el error de medida (e).medida (e).
•• Ambas variables no están correlacionadas.Ambas variables no están correlacionadas.
•• Una misma evaluación realizada en dos momentos es Una misma evaluación realizada en dos momentos es independiente entre si.independiente entre si.
•• El (e) de una medición es independiente de la (v) de otra El (e) de una medición es independiente de la (v) de otra medición.medición.medición.medición.
Los parámetros básicos de un ítem son la dificultad y la Los parámetros básicos de un ítem son la dificultad y la
discriminación.discriminación.
•• La dificultad es dada por la proporción del número de La dificultad es dada por la proporción del número de
sujetos que contestan correctamente del total de sujetos que contestan correctamente del total de sujetos que contestan correctamente del total de sujetos que contestan correctamente del total de
sustentantes.sustentantes.
•• La discriminación es dada por diferencia de los alumnos que La discriminación es dada por diferencia de los alumnos que
contestan correcta o incorrectamente a un examen, contestan correcta o incorrectamente a un examen,
considerando para ello la división de los sustentantes en dos; considerando para ello la división de los sustentantes en dos; considerando para ello la división de los sustentantes en dos; considerando para ello la división de los sustentantes en dos;
(grupo alto, dado por los alumnos con un puntaje global (grupo alto, dado por los alumnos con un puntaje global
mayor en la evaluación y grupo bajo dado por los estudiantes mayor en la evaluación y grupo bajo dado por los estudiantes
con menor puntaje) con menor puntaje)
•• Una correlación, establece el grado de asociación entre dos Una correlación, establece el grado de asociación entre dos
variables continuas.variables continuas.variables continuas.variables continuas.
•• Cuando es susceptible que una de ellas sea dicotomizada, (siCuando es susceptible que una de ellas sea dicotomizada, (si--
no, verdaderono, verdadero--falso, correctofalso, correcto--incorrecto). En este caso incorrecto). En este caso
(acierto(acierto--error de cada sustentante en una pregunta) se asume error de cada sustentante en una pregunta) se asume
como discontinua o discreta, misma que es correlacionada como discontinua o discreta, misma que es correlacionada
con una continua (calificación en la prueba).con una continua (calificación en la prueba).con una continua (calificación en la prueba).con una continua (calificación en la prueba).
•• En la TCT se asume que existen diferentes fuentes de En la TCT se asume que existen diferentes fuentes de
variación en los puntajes, destacando que la confiabilidad variación en los puntajes, destacando que la confiabilidad
depende de manera directa de la variabilidad del grupo de depende de manera directa de la variabilidad del grupo de
referencia que es evaluadoreferencia que es evaluadoreferencia que es evaluadoreferencia que es evaluado
Generalidades y análisis con ITEMANGeneralidades y análisis con ITEMAN
•• El programa es susceptible de analizar los datos globales del El programa es susceptible de analizar los datos globales del
instrumento y hasta 10 temas o subescalas.instrumento y hasta 10 temas o subescalas.
•• Los datos de entrada se presentan en un formato de texto Los datos de entrada se presentan en un formato de texto
(Integrado por 5 componentes).(Integrado por 5 componentes).(Integrado por 5 componentes).(Integrado por 5 componentes).
•• Sólo califica una misma versión.Sólo califica una misma versión.
ELEMENTO DESCRIPCIÓN
Línea 1
(control)
C1 – C3 C4 C5 C6C7
OpcionalC8
C9 – C10
(Max. 80)
Núm. respuestas Blanco R/O * Blanco S/R Blanco Datos de identificación
Línea 2 Listado de respuestas correctas
Línea 3 Número de opciones de respuesta
Línea 4 Activación u omisión de reactivos – Especificación de áreas o temas
Lectura de los
datosArchivo de lectura de datos
10 O N 5 10 O N 5
4243553211 4243553211 4243553211 4243553211
5555555555 5555555555
YYYYYYYYYY YYYYYYYYYY
UNAM14343553215 UNAM14343553215
UNAM2425355OO13 UNAM2425355OO13 UNAM2425355OO13 UNAM2425355OO13
UNAM34343523NNN UNAM34343523NNN
UNAM4442211341O UNAM4442211341O
Scale: 1 2 3 4 5
Type of Scale DICHOT DICHOT DICHOT DICHOT DICHOT
N of Items 7 10 19 11 33
N of xaminees 11612 11612 11612 11612 11612
Item Statistics Alternative Statistics
Seq.
No.
Scale
-Item
Prop.
Correct
Disc.
Index
Point
Biser.Alt.
Prop.
Total
Endor
Low
sing
High
Point
Biser.Key
1 1-1 0.67 0.38 0.38 1 0.2 0.3 0.08 -0.25
2 0.67 0.49 0.87 0.38 *
3 0.04 0.06 0.01 -0.13
4 0.09 0.15 0.03 -0.194 0.09 0.15 0.03 -0.19
Other 0 0 0 -0.04
2 1-2 0.27 0.39 0.39 1 0.08 0.1 0.05 -0.09
2 0.27 0.12 0.51 0.39 *
3 0.5 0.58 0.34 -0.21
4 0.16 0.19 0.1 -0.11
Other 0 0 0 -0.03
Scale: 1 2 3 4 5
N of Items 7 10 19 11 33
N of Examinees 11612 11612 11612 11612 11612
Mean 3.711 5.206 9.164 5.382 16.527
Variance 1.697 3.257 6.331 3.965 14.579
Std. Dev. 1.303 1.805 2.516 1.991 3.818
Skew -0.036 -0.1 0.063 0.032 -0.119
Kurtosis -0.218 -0.422 -0.131 -0.413 0.048
Minimum 0 0 0 0 0
Maximum 7 10 19 11 29
Median 4 5 9 5 17
Alpha 0.131 0.418 0.368 0.438 0.537
SEM 1.215 1.377 2 1.492 2.598
Mean P 0.53 0.521 0.482 0.489 0.501Mean P 0.53 0.521 0.482 0.489 0.501
Mean Item-Tot. 0.401 0.388 0.283 0.387 0.249
Mean Biserial 0.525 0.51 0.369 0.506 0.328
Max Score (Low) 3 4 8 4 14
N (Low Group) 5017 4074 4703 3979 3398
Min Score (High) 5 6 11 7 19
N (High Group) 3172 5172 3466 3449 3545
Algunos recursos para el manejo y Algunos recursos para el manejo y
reporte de datos mas allá de ITEMANreporte de datos mas allá de ITEMAN
•• Reactivos y calificación.Reactivos y calificación.
•• Importar salidas.Importar salidas.
•• Copiado y pegado de salidas (recursos en Excel concatenar y extraer).Copiado y pegado de salidas (recursos en Excel concatenar y extraer).•• Copiado y pegado de salidas (recursos en Excel concatenar y extraer).Copiado y pegado de salidas (recursos en Excel concatenar y extraer).
•• Construcción de tabla eje.Construcción de tabla eje.
•• Distribuciones, intervalos.Distribuciones, intervalos.
•• Globales, áreas y/o temas.Globales, áreas y/o temas.
•• Reportes por grupos y entidades con filtrado de datos.Reportes por grupos y entidades con filtrado de datos.•• Reportes por grupos y entidades con filtrado de datos.Reportes por grupos y entidades con filtrado de datos.
•• Análisis descriptivo, estadística inferencial.Análisis descriptivo, estadística inferencial.
•• Generación de gráficos.Generación de gráficos.
EvaluaciónEvaluación
GraciasGraciasMtro. Fernando Flores HernándezMtro. Fernando Flores Hernández
FACULTAD DE MEDICINAFACULTAD DE MEDICINA
Lic. Rocío Juárez MéndezLic. Rocío Juárez MéndezCENTRO NACIONAL DE EVALUACIÓN PARA LA EDUCACIÓN SUPERIORCENTRO NACIONAL DE EVALUACIÓN PARA LA EDUCACIÓN SUPERIOR
SECRETARIA DE EDUCACIÓN MÉDICASECRETARIA DE EDUCACIÓN MÉDICA CENEVAL CENEVAL
[email protected]@gmail.com [email protected]@yahoo.com.mx