Análisis estadístico en la elaboración de exámenes.
-
Upload
juan-parra-paez -
Category
Documents
-
view
230 -
download
0
Transcript of Análisis estadístico en la elaboración de exámenes.
![Page 1: Análisis estadístico en la elaboración de exámenes.](https://reader034.fdocuments.co/reader034/viewer/2022050802/5665b4981a28abb57c927a97/html5/thumbnails/1.jpg)
Análisis estadísticoen la elaboración de
exámenes
![Page 2: Análisis estadístico en la elaboración de exámenes.](https://reader034.fdocuments.co/reader034/viewer/2022050802/5665b4981a28abb57c927a97/html5/thumbnails/2.jpg)
EL OBJETIVOExplicar los estándares de calidad en la elaboración
de exámenes según los Estándares para la Evaluación Educativa y Psicológica (AERA, APA, NCME; 2014).
Facilitar la comprensión de los requisitos que ACLES exige en su solicitud en los apartados 9 y 10: Características del examen y Control de Calidad.
![Page 3: Análisis estadístico en la elaboración de exámenes.](https://reader034.fdocuments.co/reader034/viewer/2022050802/5665b4981a28abb57c927a97/html5/thumbnails/3.jpg)
El taller - 1ª parte
Trataremos la parte más teórica: • Evidencias de validez: contenido, proceso
de respuesta, estructura interna, relación con otras variables y consecuencias • Fiabilidad
![Page 4: Análisis estadístico en la elaboración de exámenes.](https://reader034.fdocuments.co/reader034/viewer/2022050802/5665b4981a28abb57c927a97/html5/thumbnails/4.jpg)
Trataremos una parte más aplicada.
Exposición de las fases del análisis:• Pilotaje.• Post-convocatoria.
Descripción de los conceptos estadísticos basados en teoría clásica de test.
Programas estadísticos que podemos emplear.
El taller - 2ª parte
![Page 5: Análisis estadístico en la elaboración de exámenes.](https://reader034.fdocuments.co/reader034/viewer/2022050802/5665b4981a28abb57c927a97/html5/thumbnails/5.jpg)
En la última parte del taller repasaremos juntos el modelo ACLES (puntos 9 y 10) para resolver posibles dudas:
• Características del examen• Control de calidad
El taller - 3ª parte
![Page 6: Análisis estadístico en la elaboración de exámenes.](https://reader034.fdocuments.co/reader034/viewer/2022050802/5665b4981a28abb57c927a97/html5/thumbnails/6.jpg)
Primera parte
![Page 7: Análisis estadístico en la elaboración de exámenes.](https://reader034.fdocuments.co/reader034/viewer/2022050802/5665b4981a28abb57c927a97/html5/thumbnails/7.jpg)
“We have found the following adjectives attached to validity in
discussions of conceptualization and mesurement: a priori,
apparent, assumption, common-sense, conceptual, concurrent,
congruent, consensual, consequential, construct, content,
convergent, criterion related, curricular, definitional, differential,
discriminant, empirical, face, factorial, incremental, instrumental,
intrisic, linguistic, logical, nomological, postdictive, practical,
pragmatic, predictive, rational, response, sampling, status,
subtantive, theorical, and trait.” (Adcock & Collier, p.530, 2001).
VALIDEZ
![Page 8: Análisis estadístico en la elaboración de exámenes.](https://reader034.fdocuments.co/reader034/viewer/2022050802/5665b4981a28abb57c927a97/html5/thumbnails/8.jpg)
VALIDEZ
“Grado en que la teoría y los datos disponibles apoyan la interpretación de las puntuaciones de un test para un uso concreto”. (pág.161, Medición en Ciencias Sociales y de la Salud).
![Page 9: Análisis estadístico en la elaboración de exámenes.](https://reader034.fdocuments.co/reader034/viewer/2022050802/5665b4981a28abb57c927a97/html5/thumbnails/9.jpg)
Estándares para la Evaluación Educativa
Estándares de 2014La validez puede estar basada en evidencias según …
El contenido del test
El proceso de respuesta
La estructura interna
La relación con otras variables
Las consecuencias de la evaluación
La fiabilidad
La equidad
![Page 10: Análisis estadístico en la elaboración de exámenes.](https://reader034.fdocuments.co/reader034/viewer/2022050802/5665b4981a28abb57c927a97/html5/thumbnails/10.jpg)
ContenidoÁmbito: temas, tareas, expresión, formato de los ítems, instrucciones para la administración y puntuación del test.
Las pruebas son de tipo teórico, lógico y empírico.• Revisión bibliográfica.• Opinión de las personas interesadas:
− Expertos del constructo a evaluar.− Población diana.
![Page 11: Análisis estadístico en la elaboración de exámenes.](https://reader034.fdocuments.co/reader034/viewer/2022050802/5665b4981a28abb57c927a97/html5/thumbnails/11.jpg)
ContenidoConsideraciones generales sobre escritura de ítems:•Definición clara y precisa del constructo a medir.•Número aproximado y formato de los ítems.•Confeccionar el doble o triple de ítems. •Representación relevante.
![Page 12: Análisis estadístico en la elaboración de exámenes.](https://reader034.fdocuments.co/reader034/viewer/2022050802/5665b4981a28abb57c927a97/html5/thumbnails/12.jpg)
Contenidoítems de elección múltiple, las alternativas:•Homogéneas en longitud y relevancia.•Evitar negaciones dobles.•Evitar reiteraciones innecesarias.•Si se utilizan cifras, presentarlas ordenadas.•Evitar usar “todas las anteriores”.•La ubicación de la alternativa correcta se ha de establecer al azar.
![Page 13: Análisis estadístico en la elaboración de exámenes.](https://reader034.fdocuments.co/reader034/viewer/2022050802/5665b4981a28abb57c927a97/html5/thumbnails/13.jpg)
Proceso de respuestaPara mejorar el proceso: conocer qué factores influyen, cómo detectar posibles procesos inadecuados, y cómo introducir las correcciones que podamos.
Factores que influyen en el proceso de respuesta:• Contenido de los ítems• Instrucciones para contestar el cuestionario• Longitud del cuestionario
![Page 14: Análisis estadístico en la elaboración de exámenes.](https://reader034.fdocuments.co/reader034/viewer/2022050802/5665b4981a28abb57c927a97/html5/thumbnails/14.jpg)
Metodología:• Observar que hacen las personas al responder.• Preguntar a las personas.• Análisis empírico de las respuestas: – Detección de patrones anómalos.
Resultados:Mucha variabilidad en el proceso de respuesta, conlleva
una revisión del formato del test.
Proceso de respuesta
![Page 15: Análisis estadístico en la elaboración de exámenes.](https://reader034.fdocuments.co/reader034/viewer/2022050802/5665b4981a28abb57c927a97/html5/thumbnails/15.jpg)
¿Mide nuestro test un constructo coherente o se trata simplemente de un conjunto de ítems no relacionados?
Para estudiarla:• Estudios de dimensionalidad (AFE, AFC).• Funcionamiento diferencial de los ítems
(DIF).
Estructura Interna
![Page 16: Análisis estadístico en la elaboración de exámenes.](https://reader034.fdocuments.co/reader034/viewer/2022050802/5665b4981a28abb57c927a97/html5/thumbnails/16.jpg)
Consecuencias de la aplicación del test
• Demostrar que las consecuencias de la avaluación coinciden con las consecuencies previstas
• Indagar sobre la existencia de posibles consecuencias no previstas–debidas a infrarepresentación del constructo–debidas a incluir aspectos irrelevantes
![Page 17: Análisis estadístico en la elaboración de exámenes.](https://reader034.fdocuments.co/reader034/viewer/2022050802/5665b4981a28abb57c927a97/html5/thumbnails/17.jpg)
Relación con otras variables
El objetivo es establecer si las relaciones observadas entre las puntuaciones en el test y otras variables externas relevantes son consistentes con la interpretación propuesta para las puntuaciones.
Evidencia convergente, discriminante o referida a un criterio.
![Page 18: Análisis estadístico en la elaboración de exámenes.](https://reader034.fdocuments.co/reader034/viewer/2022050802/5665b4981a28abb57c927a97/html5/thumbnails/18.jpg)
Relación con otras variablesVariables externas relevantes:• Otras medidas del mismo constructo
obtenidas con diferentes tests. • Medidas de constructos diferentes pero que
se insertan en el mismo modelo teórico. • Algún tipo de variable que pretendamos
predecir a partir de las puntuaciones en el test.
![Page 19: Análisis estadístico en la elaboración de exámenes.](https://reader034.fdocuments.co/reader034/viewer/2022050802/5665b4981a28abb57c927a97/html5/thumbnails/19.jpg)
“ Grado en que una medida es consistente en diferentes aplicaciones del mismo
instrumento de medida”.
(pág.161, Medición en Ciencias Sociales y de la Salud).
FIABILIDAD
![Page 20: Análisis estadístico en la elaboración de exámenes.](https://reader034.fdocuments.co/reader034/viewer/2022050802/5665b4981a28abb57c927a97/html5/thumbnails/20.jpg)
FIABILIDAD Confianza
Coherencia Reproductibilidad
Seguridad Precisión
![Page 21: Análisis estadístico en la elaboración de exámenes.](https://reader034.fdocuments.co/reader034/viewer/2022050802/5665b4981a28abb57c927a97/html5/thumbnails/21.jpg)
• Teoría clásica de test.
• Teoría de respuesta al ítem.
• Teoría de la generalizabilidad.
¿Cómo estudiar la fiabilidad?
![Page 22: Análisis estadístico en la elaboración de exámenes.](https://reader034.fdocuments.co/reader034/viewer/2022050802/5665b4981a28abb57c927a97/html5/thumbnails/22.jpg)
Estrategias
Estrategia Aplicaciones Paso de tiempo entre aplicaciones
Estadísticos
Test-retest Dos aplicaciones Sí Correlación:PearsonSpearmanKappa de Cohen
T. Paralelas Una aplicación No necesaria Igual que en Test-retest
Consistencia interna
Una aplicación No necesaria Homogeneidad y consistencia:Spearman-BrownGlutman-FlaneganAlfa de Cronbach
![Page 23: Análisis estadístico en la elaboración de exámenes.](https://reader034.fdocuments.co/reader034/viewer/2022050802/5665b4981a28abb57c927a97/html5/thumbnails/23.jpg)
Consistencia Interna
![Page 24: Análisis estadístico en la elaboración de exámenes.](https://reader034.fdocuments.co/reader034/viewer/2022050802/5665b4981a28abb57c927a97/html5/thumbnails/24.jpg)
EQUIDAD
• Ausencia de sesgo.• Tratamiento equitativo durante el proceso.• Igualdad en la exposición de los resultados.• Derechos y responsabilidades de los examinados.• Background de los examinandos.• Atención a los discapacitados.
![Page 25: Análisis estadístico en la elaboración de exámenes.](https://reader034.fdocuments.co/reader034/viewer/2022050802/5665b4981a28abb57c927a97/html5/thumbnails/25.jpg)
Segunda parte
![Page 26: Análisis estadístico en la elaboración de exámenes.](https://reader034.fdocuments.co/reader034/viewer/2022050802/5665b4981a28abb57c927a97/html5/thumbnails/26.jpg)
Pilotaje – parte cualitativa¿Qué vamos a evaluar? ¿A quién vamos a evaluar?
Tabla de especificaciones para la creación de ítems. (Crear más de los necesarios).– Tipologías– Número– Nivel
Revisión por parte de expertos que no han elaborado los ítems.
![Page 27: Análisis estadístico en la elaboración de exámenes.](https://reader034.fdocuments.co/reader034/viewer/2022050802/5665b4981a28abb57c927a97/html5/thumbnails/27.jpg)
“No puede olvidarse que el objetivo esencial es conseguir una muestra de ítems relevante para cada uno de los componentes del constructo,
asegurar que cada componente esté bien representado por los ítems elaborados y en la
proporción adecuada en función de su importancia dentro de la definición adoptada.”
(Desarrollo y revisión de estudios instrumentales, Carretero-Dios y Perez)
Pilotaje
![Page 28: Análisis estadístico en la elaboración de exámenes.](https://reader034.fdocuments.co/reader034/viewer/2022050802/5665b4981a28abb57c927a97/html5/thumbnails/28.jpg)
¿Cuántos alumnos necesito? (Muestra)- Número de ítems/ejercicios.- Número de niveles implicados.- Tiempo para llevarlo a cabo.- Población disponible.
¿Necesitamos crear paquetes?
Pilotaje – recogida de datos
![Page 29: Análisis estadístico en la elaboración de exámenes.](https://reader034.fdocuments.co/reader034/viewer/2022050802/5665b4981a28abb57c927a97/html5/thumbnails/29.jpg)
Características de los paquetes:
•20 % ítems de anclaje (comunes).•Misma distribución de ítems.– Tipología.– Dificultad.
Pilotaje – recogida de datos
![Page 30: Análisis estadístico en la elaboración de exámenes.](https://reader034.fdocuments.co/reader034/viewer/2022050802/5665b4981a28abb57c927a97/html5/thumbnails/30.jpg)
Condiciones de aplicación:•Instrucciones.•Condiciones del aula.•Recogida de datos.Muestra:•Alumnos del nivel inmediatamente inferior y superior.•300 alumnos o 5-10 alumnos por ítem.
Pilotaje – recogida de datos
![Page 31: Análisis estadístico en la elaboración de exámenes.](https://reader034.fdocuments.co/reader034/viewer/2022050802/5665b4981a28abb57c927a97/html5/thumbnails/31.jpg)
Control de calidad:•Análisis descriptivo ítem de anclaje por paquete.•Análisis gráfico del comportamiento.
Análisis de ítems: dificultad, discriminación, distractores.
Análisis de validez y fiabilidad:•Evidencias de validez (basadas en las cinco evidencias).•Fiabilidad (consistencia interna).
Pilotaje – análisis cuantitativo
![Page 32: Análisis estadístico en la elaboración de exámenes.](https://reader034.fdocuments.co/reader034/viewer/2022050802/5665b4981a28abb57c927a97/html5/thumbnails/32.jpg)
Dificultad• Es la proporción de estudiantes que contestan
correctamente a la pregunta.• Por su interpretacion podría denominarse índice de
éxito.• ¿Qué valores toma el índice de dificultad?
Ejemplo:Una muestra de 130 alumnos si un ítem lo responden
correctamente 80. 0,6153
![Page 33: Análisis estadístico en la elaboración de exámenes.](https://reader034.fdocuments.co/reader034/viewer/2022050802/5665b4981a28abb57c927a97/html5/thumbnails/33.jpg)
Dificultad
Valor Calidad0.81 – 1.00 Muy fácil0.61 – 0.80 Fácil0.41 – 0.60 Moderada0.21 – 0.40 Difícil0.00 – 0.20 Muy difícil
![Page 34: Análisis estadístico en la elaboración de exámenes.](https://reader034.fdocuments.co/reader034/viewer/2022050802/5665b4981a28abb57c927a97/html5/thumbnails/34.jpg)
Discriminación• Coeficiente de discriminación.• Correlación biserial.• Índice de discriminación.
Dividir la muestra en 3 grupos: 27% (Pa), 46%, 27% (Pb).
Discriminación= Pa – Pb
(Pa: Proporción de respuestas correctas del 27% de los alumnos con mejor nota.)
(Pa: Proporción de respuestas correctas del 27% de los alumnos con peor nota.)
![Page 35: Análisis estadístico en la elaboración de exámenes.](https://reader034.fdocuments.co/reader034/viewer/2022050802/5665b4981a28abb57c927a97/html5/thumbnails/35.jpg)
Discriminación
![Page 36: Análisis estadístico en la elaboración de exámenes.](https://reader034.fdocuments.co/reader034/viewer/2022050802/5665b4981a28abb57c927a97/html5/thumbnails/36.jpg)
Discriminación Valor Calidad Recomendación> 0.39 Excelente Conservar0.31 – 0.39 Buena Posibilidades de mejorar0.20 – 0.30 Regular Necesita ser revisado0.00 – 0.19 Pobre Descartar o revisar en
profundidadNegativo Pésima Descartar definitivamente
Tabla. Poder de dsicriminación (valor D). Ebel y Frisbie (1986)
![Page 37: Análisis estadístico en la elaboración de exámenes.](https://reader034.fdocuments.co/reader034/viewer/2022050802/5665b4981a28abb57c927a97/html5/thumbnails/37.jpg)
Análisis de distractores• Consiste en estudiar las respuestas a las
alternativas incorrectas.
• Al aumentar el número de alternativas, se reduce la probabilidad de aciertos al azar. El número óptimo de alternativas sería 3 (Grier, 1976).
![Page 38: Análisis estadístico en la elaboración de exámenes.](https://reader034.fdocuments.co/reader034/viewer/2022050802/5665b4981a28abb57c927a97/html5/thumbnails/38.jpg)
Correlación• Relación entre dos variables cuantitativas.
• Toma valores entre -1 y +1:– Negativo: a mayor valor de una variable, menor
valor de la otra.– Positivo: a mayor valor de la variable, mayor valor
de la otra.
![Page 39: Análisis estadístico en la elaboración de exámenes.](https://reader034.fdocuments.co/reader034/viewer/2022050802/5665b4981a28abb57c927a97/html5/thumbnails/39.jpg)
Correlación
![Page 40: Análisis estadístico en la elaboración de exámenes.](https://reader034.fdocuments.co/reader034/viewer/2022050802/5665b4981a28abb57c927a97/html5/thumbnails/40.jpg)
Correlación
![Page 41: Análisis estadístico en la elaboración de exámenes.](https://reader034.fdocuments.co/reader034/viewer/2022050802/5665b4981a28abb57c927a97/html5/thumbnails/41.jpg)
Análisis descriptivo (media, desviación estándar, cuartiles, gráficos):•De los ejercicios.•Del global.
Análisis de validez y fiabilidad:•Evidencias de validez (contenido, proceso de respuesta, estructura interna, consecuencias y relación con otras variables).•Fiabilidad (consistencia interna).
Post análisis – cuantitativo
![Page 42: Análisis estadístico en la elaboración de exámenes.](https://reader034.fdocuments.co/reader034/viewer/2022050802/5665b4981a28abb57c927a97/html5/thumbnails/42.jpg)
Programas informáticos
• Comerciales: SPSS, SAS, STATA BILOG, WINSTEP, PARSCALE
• Gratuitos: TAP (www.ohio.edu/people/brooksg/software.htm) R (R-commander) www.rcommander.com
OpenOffice
![Page 43: Análisis estadístico en la elaboración de exámenes.](https://reader034.fdocuments.co/reader034/viewer/2022050802/5665b4981a28abb57c927a97/html5/thumbnails/43.jpg)
Tercera parte
![Page 44: Análisis estadístico en la elaboración de exámenes.](https://reader034.fdocuments.co/reader034/viewer/2022050802/5665b4981a28abb57c927a97/html5/thumbnails/44.jpg)
SOLICITUD PUNTO 9
![Page 45: Análisis estadístico en la elaboración de exámenes.](https://reader034.fdocuments.co/reader034/viewer/2022050802/5665b4981a28abb57c927a97/html5/thumbnails/45.jpg)
SOLICITUD PUNTO 10