Medición y construcción de instrumentos
-
Upload
alberto-torreblanca -
Category
Education
-
view
694 -
download
12
description
Transcript of Medición y construcción de instrumentos
Taller de Diseño y Análisis de Pruebas ObjetivasMedición y construcción de instrumentos
Alberto Torreblanca V.
El proceso de evaluación
Elegir una escala y un instrumento de medición acorde con la escala
Comparar a los miembros de una población conrespecto a la escala
Ordenar y ubicar a los elementos de la población
Emitir juicios valorativos de la población y de sus elementos
Emitir juicios valorativos respecto de la escalaElegida y al instrumento
Forma parte de un proceso mayor
“Para una selección justa todos tendrán que tomar el mismo examen. Por favor trepen el árbol”
Conceptos preliminares
“Las pruebas son instrumentos deMedición. Por lo tanto deben deSatisfacer los mismos requisitos que otros instrumentos.”
Conceptos preliminares
“La medición debe de ser completa para el propósito que se desea, debe Conocerse su objetivo y alcance”
Conceptos preliminares
● Calibración● Precisión● Error
Conceptos preliminares
Ya que no existen un análogo al sistema a nivel continente.Para el desarrollo de instrumentos de medición se siguen y establecen estándares.
Requisitos de un instrumento de medición
VALIDEZ
CONFIABILIDAD
OBJETIVIDAD
Validez
● El instrumento mide lo que se pretende medir.● Se cuenta con evidencias que justifiquen las
decisiones que se tomen con el instrumento.
Objetividad
● El instrumento debe ser independiente del objeto a medir.
● No debe haber diferencias de apreciación entre dos evaluadores o entre el evaluador y el evaluado.
Confiabilidad
● El instrumento debe permitir medidas dentro del orden de error considerado en el diseño.
● Las medidas deben ser suficientemente precisas, de acuerdo con el diseño.
● El instrumento permite obtener medidas repetitivas, cuyos resultados sean similares, dentro del orden de error considerado.
Interrogantes y premisas a tener en cuenta
¿Para que evaluamos?
• Diagnosticar, tener evidencia de la situación actual.
• Monitorear, acompañar el desarrollo del objeto de estudio.
• Corregir, retroalimentar.
¿Qué evaluamos?
● Aprendizajes de los alumnos● Desempeño de docentes● Gestión de los directores● Eficacia de la capacitación
¿Qué necesitamos?
● Instrumento● Referencias● Emitir juicios
Fundamentos de la medición
● La idea de medición comienza con la idea de una variable o línea en la que los objetos pueden ubicarse.
● Los objetos de las mediciones que realizamos son algunas dimensiones de las personas, alumnos (individuos).
● La construcción de la variables requiere de una relación sistemática y reproducible entre el instrumentos y los individuos.
Requerimientos básicos para la medición
● La reducción de la dimensión a medir a una abstracción unidimensional.
● La idea de magnitud lineal inherente a la posición de los objetos en la línea.
● Determinar unidades que pueden ser repetidas sin modificaciones a través del rango de la variable definida.
● Es decir, hacer posible la comparación cuantitativa (más o menos de la dimensión).
¿Qué vamos a medir?
Desempeño en lectura
Ítem Ítem Ítem Ítem
Medición Ideal
Juan Pedro José
Habilidad MatemáticaHabilidad MatemáticaMenorhabilidad
Mayorhabilidad
¿ Cómo realizamos nuestras evaluaciones ?
Evaluación objetiva tradicional
Selección de objetivos
Selección de objetivos
Especificacionesde la
evaluación
Especificacionesde la
evaluación
Construcción depreguntas
Construcción depreguntas
Selección depreguntas
Instrumento
Selección depreguntas
Instrumento
Validación porexpertos
Validación porexpertos
Aplicación delos instrumentos
Aplicación delos instrumentos
Resultados eInformes
Resultados eInformes
VALIDEZ
✔Determinación de objetivos
✔Tablas de validez de contenido
✗ Validez predictiva - retrospectiva
✗ Validez concurrente
✗ Validez de constructo
VALIDEZ
✔Determinación de objetivos
✔Tablas de validez de contenido
✗ Validez predictiva - retrospectiva
✗ Validez concurrente
✗ Validez de constructo
OBJETIVIDAD✔Uso de ítemes objetivos
✔Guías de calificación
✗ Establecer escalas
✗ Instrumentos equivalentes
✗ Establecimiento de cortes
CONFIABILIDAD
✔Análisis de ítemes
✔Consistencia interna (Alfa)
✔Error experimental
✗ Piloto de preguntas
✗ Error de diseño
✗ Bancos de ítemes
Comparando dos pruebas
1 2 3 5 7
4 6
9 10 11
12
13
8
1
2
3 4 5
6
7
9 11
1210
8 13
15
14
14
15
PRUEBA 2011
PRUEBA 2012
Ejecución de pruebas piloto
Banco de preguntas
Banco de Preguntas
Variable - Constructo
✔Determinación de objetivos
✔Tablas de validez de contenido
✔Validez predictiva - retrospectiva
✔Validez concurrente
✔Validez de constructo
VALIDEZ
Banco de Preguntas
C C CC C
Variable - Constructo
B B BB
A A CA A C CC C
OBJETIVIDAD✔Uso de ítemes objetivos
✔Guías de calificación
✔Establecer escalas
✔ Instrumentos equivalentes
✔Establecimiento de cortes
Banco de Preguntas
C CC C CC C
Definición de la escala
B B BB B BB
A AA A AA A
500100 300 700 900
CORTE
CONFIABILIDAD
✔Análisis de ítemes
✔Consistencia interna (Alfa)
✔Error experimental
✔Piloto de preguntas
✔Error de diseño
✔Bancos de ítemes
Banco de Preguntas
Error de diseño
B B BB B BB B
5020 35 65 80
Número mínimo de ítems
6 9 16 23 51 76 99
Error en % 20 15 10 8 5 4 3.5
Diseño
Revisión
Validación
Operativo piloto - aprobación
Banco de ítems
Proceso de elaboración de ítemsProceso de elaboración de ítems
Objetivos / TVC
Diseño
Selección de ítems
Validación de instrumento
Proceso de elaboración de pruebasProceso de elaboración de pruebas
Proceso de elaboración de pruebasProceso de elaboración de pruebas
AplicaciónAplicación
AnálisisAnálisis
Informes y reportesInformes y reportes
Alberto Torreblanca [email protected]
Gracias
Elaborado especialmente para los Talleres Regionales – DGDD – MINEDU 2012