Jornadas de Evaluación de Murcia: Elaboración de pruebas
-
Upload
instituto-nacional-de-evaluacion-educativa -
Category
Education
-
view
1.782 -
download
0
description
Transcript of Jornadas de Evaluación de Murcia: Elaboración de pruebas
SECRETARÍA DE ESTADO DE EDUCACIÓN, FORMACIÓN PROFESIONAL Y UNIVERSIDADES
DIRECCIÓN GENERAL DE EVALUACIÓN Y COOPERACIÓN
TERRITORIAL
http://www.mecd.gob.es/inee
Elaboración de pruebas de evaluación
Modelos internacionales
Pruebas liberadas
Murcia 15 de enero de 2014
Elaboración de pruebas
Modelos Internacionales
2
A. 1. Rasgos comunes de los estudios de evaluación
2. Mapa de evaluaciones
B. Elaboración de pruebas
1. Marco de evaluación
2. Elaboración de las preguntas
3. Diseño de los cuadernillos y cuestionarios de contexto
Ejemplos de ítems liberados
4. Aplicación de las pruebas (trabajo de campo)
5. Análisis de datos y elaboración de informes
C. Recursos para el profesorado
Índice
Elaboración de pruebas
Modelos Internacionales
3
Evaluaciones muestrales, cíclicas, a gran
escala
Cuadernillo de prueba + cuestionarios de
contexto
Rigor metodológico: • Marco teórico: Qué evaluar, elaboración de ítems,
distribución de ítems y cuadernillos…
• Selección de la muestra
• Traducción de materiales, aplicación, corrección, limpieza
de datos…
• Análisis TRI de las respuestas Dificultad de los ítems y
puntuación lograda por los alumnos
Informes internacionales comparativos
RASGOS COMUNES DE LOS ESTUDIOS DE EVALUACIÓN
Elaboración de pruebas
Modelos Internacionales
4
OCDE (Organización para la Cooperación y Desarrollo Económicos)
PISA-Programa para la Evaluación Internacional de Estudiantes
Programme for International Student Assessment
•Alumnos que cumplen 16 años en el año de realización
•Periodicidad: 3 años desde el año 2000
TALIS-Estudio Internacional de Enseñanza y Aprendizaje
(Teaching and Learning International Survey)
•Profesores y directores de Educación Secundaria
•Periodicidad: 5 años desde el año 2008
UNIÓN EUROPEA
EECL o ESLC-Estudio Europeo de Competencia Lingüística
European Survey Language Competence
•4 º ESO
•Último estudio en 2011. Próximo en 2016
MAPA DE EVALUACIONES INTERNACIONALES
La IEA (Asociación Internacional para la Evaluación del Rendimiento Educativo
PIRLS-Estudio Internacional de Progreso en Comprensión Lectora
Progress in International Reading Literacy Study
•4º Educación Primaria
•Periodicidad: 5 años. Última en 2011
TIMSS-Estudio International de Matemáticas y Ciencias
Trends in International Mathematics and Science Study
•4º Educación Primaria
•Opción 8º grado4 años2011
ICILS, ICCS, TEDS-M
A. 1. Rasgos comunes de los estudios de evaluación
2. Mapa de evaluaciones
B. Elaboración de pruebas
1. Marco de evaluación
2. Elaboración de las pruebas
3. Diseño de los cuadernillos
y cuestionarios de contexto
Ejemplos de ítems liberados
4. Aplicación de las pruebas (trabajo de campo)
5. Análisis de datos y elaboración de informes
C. Recursos para el profesorado
Elaboración de pruebas
Modelos Internacionales
6
LO DESEABLE DE UN SISTEMA EDUCATIVO
Currículo
Competencias
y habilidades
para la vida
Evaluación
Elaboración de pruebas
Modelos Internacionales
7
LO OBSERVADO CON UNA PRUEBA DE EVALUACIÓN
Currículo
Competencias y
habilidades
para la vida
Evaluación
Elaboración de pruebas
Modelos Internacionales
8
MARCO DE LA EVALUACIÓN
Definición explícita sobre lo que pretende medir la evaluación Descripción racional del programa de evaluación Definición del área, materia, competencia… Descripción de las variables Guía de construcción de las pruebas
Modelos de ítems o preguntas
+
Currículo-Conocimientos qué se espera que los estudiantes
hayan aprendido
TIMSS, PIRLS
Competencias con qué éxito los estudiantes pueden
extrapolar lo que han aprendido y aplicar sus conocimientos y
habilidades en nuevos contextos
PISA, EGD, ED, PIAAC
Contexto
Todos los estudios y TALIS
¿Qué evaluar?
Elaboración de pruebas
Modelos Internacionales
9
ANÁLISIS DE LA COMPETENCIA
Niveles cognitivos (Niveles de complejidad en la resolución de la tarea)
Ponderación
Procesos Dimensiones/Dominios Proceso I Proceso II Proceso III
Dominio 1 Descriptores Descriptores Descriptores %
Dominio 2 Descriptores Descriptores Descriptores %
Dominio 3 Descriptores Descriptores Descriptores %
Ponderación % % %
Competencia
Dimensiones/Dominios
Áreas temáticas Temas de contenido
Contextos
Nivel de dificultad Descriptores:
Formulaciones sintéticas de las
competencias/capacidades que medirán los ítems
Elaboración de pruebas
Modelos Internacionales
10
COMPETENCIA MATEMÁTICA EN PISA 2012
Capacidad de los individuos
(15 AÑOS) para formular, emplear e
interpretar las matemáticas en
situaciones y problemas presentes en
contextos del mundo real.
Incluye:
razonamiento matemático y la
utilización de conceptos,
procedimientos, datos y herramientas
matemáticas para describir, explicar y
predecir fenómenos.
reconocimiento del papel que las
matemáticas desempeñan en el
mundo a la hora de realizar juicios
fundados y tomar decisiones como
ciudadanos constructivos,
comprometidos y reflexivos.
Elaboración de pruebas
Modelos Internacionales
11
COMPETENCIA MATEMÁTICA EN PISA 2012
Contextos
Personal Profesional Social Científico
25% 25% 25% 25%
Capacidades matemáticas
Comunicación; representación; diseño de estrategias; matematización; razonamiento y argumentación; utilización de operaciones y lenguaje simbólico, formal y técnico; utilización de herramientas matemáticas
Procesos matemáticos
Formulación matemática de las situaciones
Empleo de conceptos, datos,
procedimientos y razonamientos matemáticos
Interpretación, aplicación y valoración de los resultados
matemáticos
Cambio y relaciones 25%
Espacio y forma 25%
Cantidad 25%
Incertidumbre y datos 25%
25% 50% 25%
Elaboración de pruebas
Modelos Internacionales
12
DESCRIPTOR
BLOQUES DE CONTENIDOS • Números • Álgebra • Geometría • Funciones y Gráficas • Estadística y Probabilidad • Contenidos comunes
Ejemplo: Contenidos y Procesos
para Matemáticas 2º ESO
EJEMPLO DE ANÁLISIS DE COMPETENCIA
Elaboración de pruebas
Modelos Internacionales
13
OBJETIVO DE LOS ESTUDIOS PIRLS Y TIMSS Evaluar la comprensión lectora (PIRLS) y el rendimiento en matemáticas y ciencias (TIMSS) tras cuatro años de escolarización obligatoria (4º de Educación Primaria en España)
¿Qué evaluar? Contenidos curriculares comunes en todos los países participantes en la evaluación
Obtener información comparada entre los distintos países participantes y medir las tendencias entre ciclos.
Proporcionar información sobre: El contexto de aprendizaje: alumno, familia y centro escolar. Las actitudes de los alumnos hacia la lectura, las matemáticas y las
ciencias. El uso que hacen los alumnos del tiempo libre. Factores que favorecen el entorno de aprendizaje y la eficacia de la
escuela (recursos, métodos, clima, etc.)
Elaboración de pruebas
Modelos Internacionales
14
MARCO TEÓRICO DEL ESTUDIO PIRLS
La noción de lectura en PIRLS
Habilidad para comprender y
utilizar las formas lingüísticas
Habilidad para construir significados a partir de distintos
textos
Con el fin de aprender, participar
y disfrutar
LECTURA Habilidad para comprender y utilizar las formas
lingüísticas requeridas por la sociedad y/o valoradas por el
individuo. Leer para aprender, para participar en la
comunidad de lectores del ámbito escolar y de la vida
cotidiana, y para disfrute personal
Elaboración de pruebas
Modelos Internacionales
15
MARCO TEÓRICO DEL ESTUDIO PIRLS
Evalúa tres aspectos en la comprensión lectora
PROPÓSITOS DE LECTURA
• Leer para informarse y aprender (50%)
• Leer para disfrutar (50%)
PROCESOS COGNITIVOS •Obtener información (10%+10%) •Hacer inferencias (15%+15%) •Interpretar e integrar (15%+15%) •Analizar y evaluar (10%+10%)
ACTITUD Y HÁBITOS DE
LECTURA
CUESTIONARIOS DE CONTEXTO
• Alumnos • Padres o tutores legales • Profesores • Directores de centro
CUADERNILLOS DE LA PRUEBA
•Textos literarios (50%)
•Textos informativos (50%)
Preguntas o ítems para evaluar los
procesos cognitivos
Elaboración de pruebas
Modelos Internacionales
16
DOMINIOS DE CIENCIAS
DOMINIOS DE MATEMÁTICAS
DOMINIOS COGNITIVOS COMUNES • Conocer (40%) • Aplicar (40%) • Razonar (20%)
DOMINIOS DE CONTENIDO
• Números (50%)
• Formas y mediciones
geométricas (35%)
• Representación de
datos (15%)
ÁREAS TEMÁTICAS
CAPACIDADES EVALUABLES
HABILIDADES Y DESTREZAS
DOMINIOS DE CONTENIDO • Ciencias de la vida (40%)
• Ciencias físicas (40%)
• Ciencias de la Tierra (20%)
ÁREAS TEMÁTICAS
CAPACIDADES EVALUABLES
MARCO TEÓRICO DEL ESTUDIO TIMSS
Elaboración de pruebas
Modelos Internacionales
17
Dominios de contenido
Áreas temáticas
Se desglosan en capacidades
evaluables
Dominios cognitivos
NÚMEROS
50%
• Números naturales • Fracciones y decimales • Expresiones numéricas con números naturales • Modelos y relaciones
CONOCER 40% Hechos, procedimientos,
conceptos
APLICAR 40% Resolución de problemas
habituales y rutinarios
RAZONAR 20% Resolución de problemas
desconocidos, en contextos complejos, con
varios pasos
FORMAS Y MEDICIONES
GEOMÉTRICAS
35%
• Puntos, líneas y ángulos • Formas bidimensionales y tridimensionales
REPRESENTACIÓN DE DATOS
15%
• Números naturales • Organización y representación
MATEMÁTICAS
Elaboración de pruebas
Modelos Internacionales
18
CIENCIAS Dominios de
contenido
Áreas temáticas
Se desglosan en capacidades evaluables Dominios cognitivos
CIENCIAS DE LA
VIDA
45%
• Características y procesos de la vida en los seres vivos • Ciclos de la vida, reproducción y herencia • Interacción con el medio ambiente • Ecosistemas • Salud humana
CONOCER 40%
Hechos, procedimientos, conceptos
APLICAR 40%
Resolución de problemas habituales y rutinarios
RAZONAR 20%
Resolución de problemas desconocidos, en
contextos complejos, con varios pasos
CIENCIAS
FÍSICAS
35%
• Clasificación y propiedades de la materia • Fuentes y efectos de la energía • Fuerzas y movimiento
CIENCIAS DE LA TIERRA
15%
• La estructura de la Tierra, sus características físicas y sus recursos. • Los procesos, los ciclos y la historia de la Tierra, • La Tierra en el Sistema Solar
A. 1. Rasgos comunes de los estudios de evaluación
2. Mapa de evaluaciones
B. Elaboración de pruebas
1. Marco de evaluación
2. Elaboración de las preguntas
3. Diseño de los cuadernillos y cuestionarios de contexto
Ejemplos de ítems liberados
4. Aplicación de las pruebas (trabajo de campo)
5. Análisis de datos y elaboración de informes
C. Recursos para el profesorado
Elaboración de pruebas
Modelos Internacionales
20 ELABORACIÓN DE LAS PRUEBAS
Estímulos Situaciones-problema
Preguntas/ítems
Respuesta de elección múltiple
Respuesta cerrada
Respuesta abierta construida
Respuestas abiertas
Matriz de especificaciones
• Anuncios
• Textos extraídos de los medios de
comunicación
• Instrucciones
• Carteles informativos
• Diálogos, narraciones de hechos
• Descripción de situaciones reales o
simuladas
• Textos literarios o científicos
TEXTOS
ESCRITOS
IMÁGENES • Fotografías
• Dibujos
• Mapas
• Esquemas
Elaboración de pruebas
Modelos Internacionales
21
Generación de un banco de ítems
Revisión de la calidad de los ítems
- Redacción de un número elevado de ítems
- Cobertura de diferentes niveles de desarrollo de la competencia
- Redacción de criterios de corrección, contemplando graduación de respuestas
- Corrección
- Defectos en la redacción
- Adecuación de las respuestas previstas
- Graduación de las respuestas
- Adaptación al nivel al que se destinan
- Independencia
ELABORACIÓN DE LOS ÍTEMS
Pruebas prepiloto y piloto
Estudio principal
CRITERIOS PARA LA SELECCIÓN DE ÍTEMS
Cobertura de las competencias objeto de evaluación
Presencia de todas las categorías de respuesta
Evitar ítems con bajos niveles de discriminación
Evitar dificultad o facilidad extrema
Inclusión de ítems de diferentes niveles de dificultad
Equiparación con otros modelos de pruebas
Elaboración de pruebas
Modelos Internacionales
22 DISEÑO Y APLICACIÓN DE LAS PRUEBAS TIMSS-matemáticas EJEMPLOS DE ÍTEMS TIMSS 2011
Preguntas de opción múltiple (una única respuesta correcta)
Elaboración de pruebas
Modelos Internacionales
23 DISEÑO Y APLICACIÓN DE LAS PRUEBAS
EJEMPLOS DE ÍTEMS TIMSS 2011 Preguntas de opción múltiple (una única respuesta correcta)
TIMSS-ciencias
Elaboración de pruebas
Modelos Internacionales
24 EJEMPLOS DE ÍTEMS TIMSS 2011-Matemáticas
Elaboración de pruebas
Modelos Internacionales
25 EJEMPLOS DE ÍTEMS TIMSS 2011-Matemáticas
Elaboración de pruebas
Modelos Internacionales
26
TIMSS
A. 1. Rasgos comunes de los estudios de evaluación
2. Mapa de evaluaciones
B. Elaboración de pruebas
1. Marco de evaluación
2. Elaboración de las preguntas
3. Diseño de los cuadernillos y cuestionarios de contexto
Ejemplos de ítems liberados
4. Aplicación de las pruebas (trabajo de campo)
5. Análisis de datos y elaboración de informes
C. Recursos para el profesorado
Elaboración de pruebas
Modelos Internacionales
28 DISEÑO DE LOS CUADERNILLOS
La obtención de resultados representativos y fiables, y la distribución por niveles requiere gran
número de ítems para poder todas las dimensiones descritas en el marco muestral
Distribución de cuadernillos por bloques (Balanced Incomplete Block - BIB)
L1 L2
Cuadernillo 1
L2 L3
Cuadernillo 2
L3 L4
Cuadernillo 3
L4 I1
Cuadernillo 4
I1 I2
Cuadernillo 5
I2 I3
Cuadernillo 6
I3 I4
Cuadernillo 7
I4 L1
Cuadernillo 8
L1 I1
Cuadernillo 9
I2 L2
Cuadernillo 10
L3 I3
Cuadernillo 11
I4 L4
Cuadernillo 12
L5 I5
CuadernilloLECTURAS
L5 I5
CuadernilloPREGUNTAS
PIRLS
• Textos literarios: L1 a L5
• Textos informativos: I1 a I5
• Cuadernillo “Lecturas”: triple frecuencia
• Seis textos (3+3) de anclaje para medir
tendencias
MO1
MO2
Cuadernillo 1
CO1CO2
Cuadernillo 2
CO2
CO3
MO2
MO3
Cuadernillo 3
MO3
MO4
CO3
CO4
Cuadernillo 4
CO4
CO5
MO4
MO5
Cuadernillo 5
MO5
MO6
CO5
CO6
Cuadernillo 6
CO6
CO7
MO6
MO7
Cuadernillo 7
MO7
MO8
CO7
CO8
Cuadernillo 8
CO8
CO9
MO8
MO9
Cuadernillo 9
MO9
M10
CO9
C10
Cuadernillo 10
C10
C11
M10
M11
Cuadernillo 11
M11
M12
C11
C12
Cuadernillo 12
C12
C13
M12
M13
Cuadernillo 13
M13
M14
C13
C14
Cuadernillo 14
C14
C01
M14
M01
TIMSS • Cada bloque tiene entre 10 y 14
preguntas de dominios de
contenido y cognitivos en
proporción del marco teórico
• 175 ítems de matemáticas
• 172 ítems de ciencias
• 8 bloques de cada materia son
de anclaje
Elaboración de pruebas
Modelos Internacionales
29
DISTRIBUCIÓN POR BLOQUES DE LOS CUADERNILLOS
EN PISA 2009
Elaboración de pruebas
Modelos Internacionales
30
Contexto personal, social, escolar Sexo, fecha de nacimiento, lengua hablada en casa, número de libros en casa, recursos en
casa y frecuencia de uso, interés de los padres en las tareas escolares, opinión sobre el
colegio y bienestar en el mismo.
Hábitos de lectura (PIRLS) Lectura fuera del colegio: tiempo de lectura, motivación para leer, tipos de lectura y frecuencia
de lectura de cada una, frecuencia de asistencia a bibliotecas, frecuencia de préstamos de
bibliotecas, etc.
Lectura en clase: frecuencia, hábitos en clase, métodos del profesorado, gusto por la lectura,
interés por los temas leídos, autoconcepto en lectura, autoevaluación de su propia lectura,
interés de sus padres, etc.
Aprendizaje de las matemáticas y de las ciencias (TIMSS) Gusto por las matemáticas y las ciencias, autoconcepto, percepción de su utilidad, percepción
de la clase de matemáticas y ciencias y de la metodología del profesorado, etc.
CUESTIONARIOS DE CONTEXTO
Elaboración de pruebas
Modelos Internacionales
31
Elaboración de pruebas
Modelos Internacionales
32
Contexto personal, antecedentes, satisfacción general Edad, años de experiencia como docente, sexo, nivel de estudios, especialidad en
educación, matemáticas, ciencias o lengua, entorno del centro, satisfacción general,
recursos, uso de ordenadores, participación y colaboración con el profesorado, formación
continua, trabajo en equipo, etc.
Trabajo general con la clase PIRLS/TIMSS Número de alumnos (y en 4º primaria), alumnos con dificultades en lengua evaluada, materia
que enseña, hábitos de trabajo, distribución del tiempo de clase, dificultades que
entorpecen su tarea docente (alumnos con sueño, ACNEE, problemáticos, sin interés, etc.),
frecuencia en la relación con los padres.
Trabajo con la clase PIRLS/TIMSS en lectura, matemáticas y
ciencias Materiales, hábitos, distribución de los tiempos, alumnos que necesitan refuerzo de la
materia, tipos de lectura, tiempo dedicado a corrección, felicitación, tipo de deberes para
casa, importancia concedida a los distintos aspectos del currículo, modo de evaluación,
recursos (biblioteca, ordenadores, calculadoras, etc.)
CUESTIONARIOS DE CONTEXTO
Elaboración de pruebas
Modelos Internacionales
33
Elaboración de pruebas
Modelos Internacionales
34
Características generales del centro Número total de alumnos y en cuarto de primaria, entorno socioeconómico, tipo de
población, lengua materna de los alumnos, horario lectivo y de apertura del centro,
número de ordenadores disponibles para los alumnos, existencia de biblioteca y su
dotación, laboratorio de ciencias, recursos generales del centro y en particular para la
enseñanza de la lectura las matemáticas y las ciencias, etc.
Funcionamiento del centro Tipo y frecuencia de la relación con los padres, ambiente general del centro (disciplina,
puntualidad, respeto, interés del alumnado, expectativas del profesorado, instrumentos
de evaluación del profesorado, distribución del tiempo de actividades de la dirección
etc.
¿Qué saben los alumnos antes de entrar al colegio?
Actividades relacionadas con lectura, matemáticas y ciencias Preparación de los alumnos al entrar en el colegio, curso en que se incide en diferentes
hábitos y estrategias lectoras, atención dedicada a la lectura y escritura, medidas para
alumnos con otra lengua materna, etc.
CUESTIONARIOS DE CONTEXTO
Elaboración de pruebas
Modelos Internacionales
35
Elaboración de pruebas
Modelos Internacionales
36
Contexto general Persona que rellena el cuestionario, lengua hablada en casa, asistencia a Educación
Infantil del hijo, edad al entrar en el colegio, nivel de estudios, tipo de trabajo,
expectativas sobre los estudios de su hijo, número de libros generales e infantiles en
casa, frecuencia de uso de algunos recursos en casa (enciclopedias, ordenadores,
DVD, Internet, etc.)
Actividades relacionadas con el colegio Actividades y “logros” al entrar en el colegio, tiempo empleado por su hijo en hacer los
deberes, hábitos con los hijos, ayuda prestada, interés por las actividades relacionadas
con el colegio, opiniones sobre el colegio, etc.
Actividades personales y con los hijos en relación con la lectura Hábitos familiares relacionados con la lectura con los hijos antes de entrar en el colegio
(leer, cantar, contar cuentos, juegos de letras, de construcción, puzzles, etc.), frecuencia
de lectura personal, tipos de lectura, gusto por la lectura, etc.
CUESTIONARIOS DE CONTEXTO
Elaboración de pruebas
Modelos Internacionales
37
A. 1. Rasgos comunes de los estudios de evaluación
2. Mapa de evaluaciones
B. Elaboración de pruebas
1. Marco de evaluación
2. Elaboración de las pruebas
3. Diseño de los cuadernillos y cuestionarios de contexto
Ejemplos de ítems liberados
4. Aplicación de las pruebas (trabajo de campo)
5. Análisis de datos y elaboración de informes
C. Recursos para el profesorado
Elaboración de pruebas
Modelos Internacionales
39 EJEMPLO DE PREGUNTA PISA-MATEMÁTICAS
Elaboración de pruebas
Modelos Internacionales
40 EJEMPLO DE PREGUNTA PISA-MATEMÁTICAS
Elaboración de pruebas
Modelos Internacionales
41 EJEMPLO DE PREGUNTA PISA-MATEMÁTICAS
Elaboración de pruebas
Modelos Internacionales
42 EJEMPLO DE PREGUNTA PISA-MATEMÁTICAS
Elaboración de pruebas
Modelos Internacionales
43 EJEMPLO DE PREGUNTA PISA-CIENCIAS
Elaboración de pruebas
Modelos Internacionales
44 EJEMPLO DE PREGUNTA PISA-CIENCIAS
Elaboración de pruebas
Modelos Internacionales
45 EJEMPLO DE PREGUNTA PISA-CIENCIAS
Elaboración de pruebas
Modelos Internacionales
46 PRUEBA DE COMPRENSIÓN LECTORA – INGLÉS-EECL (R2-A1)
You will read a notice about a cat. For the next 4 questions, answer A, B or C.
Leo is lost. He’s my little cat. He’s white with black paws. He’s small and very sweet. He has brown eyes. He wears a grey collar. He didn’t come home on Monday and it’s Thursday today. That’s a long time for a little cat!
Leo often sits on top of the houses near here between Smith’s baker’s shop and King Street. If you find him in your garden or under your car, please telephone me immediately. Please note – Leo doesn’t like it when people pick him up, and he doesn’t like milk.
Thank you for your help!
Sophie Martin. Tel.: 798286
A. 1. Rasgos comunes de los estudios de evaluación
2. Mapa de evaluaciones
B. Elaboración de pruebas
1. Marco de evaluación
2. Elaboración de las pruebas
3. Diseño de los cuadernillos y cuestionarios de contexto
Ejemplos de ítems liberados
4. Aplicación de las pruebas (trabajo de campo)
5. Análisis de datos y elaboración de informes
C. Recursos para el profesorado
Elaboración de pruebas
Modelos Internacionales
48 APLICACIÓN DE LAS PRUEBAS (PIRLS/TIMSS 2011)
Preparación de los
alumnos
(10 minutos)
Primera parte
PIRLS/TIMSS 40/36
minutos
Descanso 15 minutos
Preparación (5 minutos)
Segunda parte
PIRLS/TIMSS 40/36
minutos
Cuestionario del alumno
(10-30 minutos)
Preparación de los
alumnos
(5 minutos)
Primera parte
TIMSS/PIRLS 36/40
minutos
Descanso 15 minutos
Preparación (5 minutos)
Segunda parte
TIMSS/PIRLS 36/40
minutos
INSTRUMENTOS PARA CONOCER LOS FACTORES DE CONTEXTO
CUESTIONARIOS DE
CONTEXTO •Alumnos •Padres o tutores legales •Directores de los centros •Profesores
ENCYCLOPEDIA
Información de cada país sobre
su sistema educativo y el
currículo de Lectura,
Matemáticas y Ciencias
PRIMER DÍA
SEGUNDO DÍA
Recogida Cuestionario
de padres
Elaboración de pruebas
Modelos Internacionales
49 TARGETED TESTING (EECL)
49
Objetivo: Adaptar la dificultad de la prueba al nivel de competencia de
cada alumno.
Resultado de
nivel bajo
PR
UE
BA
DE
NIV
EL
N
ovie
mb
re 2
01
0
PR
UE
BA
PR
INC
IPA
L
Ma
rzo
– A
bril 2
01
1
PRUEBA DE NIVEL
PROGRESIVA
Resultado de
nivel medio
Resultado de
nivel alto
A1 – A2 A2 – B1 B1 – B2
TA
RG
ET
ED
TE
ST
IN
G
Elaboración de pruebas
Modelos Internacionales
50 DISEÑO Y APLICACIÓN DE LAS PRUEBAS (EECL)
1- Los alumnos de cada nivel de
competencia se distribuyeron al
azar en tres grupos y cada alumno
fue evaluado de dos destrezas.
Todos los alumnos completaron
además un cuestionario de
contexto.
COMPRENSIÓN ORAL
COMPRENSIÓN LECTORA
EXPRESIÓN ESCRITA
CUESTIONARIO
GRUPO 1
GRUPO 2
GRUPO 3
2- Las tareas de cada nivel se distribuyeron en varios cuadernillos según un diseño
por bloques. Cada bloque contenía un numero variable de tareas según su dificultad.
A. 1. Rasgos comunes de los estudios de evaluación
2. Mapa de evaluaciones
B. Elaboración de pruebas
1. Marco de evaluación
2. Elaboración de las pruebas
3. Diseño de los cuadernillos y cuestionarios de contexto
4. Aplicación de las pruebas (trabajo de campo)
5. Análisis de datos y elaboración de informes
C. Recursos para el profesorado
Elaboración de pruebas
Modelos Internacionales
52 TIPO DE RESULTADOS PROPORCIONADOS
• Promedios globales por países
• Promedios por Dimensiones/dominios, procesos,
por propósitos de lectura/procesos de comprensión, etc.
• Niveles de rendimiento
• Cada nivel se caracteriza en función de los elementos
de competencia logrados en cada uno de ellos
• Análisis de factores de contexto asociados
• Análisis de tendencias
PIRLS/TIMSS/PISA: Punto de referencia 500
Elaboración de pruebas
Modelos Internacionales
53
PIRLS 2011
PROMEDIOS GLOBALES
En Lectura
… … Hong Kong-China, Federación Rusa, Finlandia
y Singapur obtienen los mejores resultados
España …
… obtiene 513 puntos, por debajo de la
media de los países participantes de la
OCDE, que se sitúa en 538 puntos
… Finlandia consigue el mejor rendimiento
de los participantes de la OCDE, con 30
puntos por encima de la media
… España, junto con Noruega y Bélgica
(Comunidad francesa) y Francia son los
países con puntuaciones más bajas de la
OCDE
De la OCDE…
375 400 425 450 475 500 525 550 575 600 625
Hong Kong - China (571)
Federación Rusa (568)
Finlandia (568)
Irlanda del Norte (558)
Estados Unidos (556)
Dinamarca (554)
Croacia (553)
Irlanda (552)
Inglaterra (552)
Canadá (548)
Países Bajos (546)
República Checa (545)
Suecia (542)
Italia (541)
Alemania (541)
Portugal (541)
Israel (541)
Hungría (539)
Eslovaquia (535)
Bulgaria (532)
Nueva Zelanda (531)
Eslovenia (530)
Austria (529)
Lituania (528)
Australia (527)
Polonia (526)
Francia (520)
Andalucía (515)
España (513)
Noruega (507)
Bélgica (C. francesa) (506)
Canarias (505)
Rumanía (502)
Georgia (488)
Malta (477)
Azerbaiyán (462)
Irán (457)
Colombia (448)
Arabia Saudí (430)
Catar (425)
Media OCDE (538)
Media UE (534)
1 2 3 4Niveles
Elaboración de pruebas
Modelos Internacionales
54 PROMEDIOS GLOBALES-PISA 2012 (OCDE)
Nivel 1Nivel 1Nivel 1Nivel 1Nivel 1Nivel 1Nivel 1 Nivel 2Nivel 2Nivel 2Nivel 2Nivel 2Nivel 2Nivel 2 Nivel 3Nivel 3Nivel 3Nivel 3Nivel 3Nivel 3Nivel 3 Nivel 4Nivel 4Nivel 4Nivel 4Nivel 4Nivel 4Nivel 4
Promedio OCDE (494)Promedio UE (489)
México (413)Chile (423)
Turquía (448)Grecia (453)
Extremadura (461)Murcia (462)
Israel (466)Andalucía (472)
Balears (Illes) (475)Hungría (477)Suecia (478)
Estados Unidos (481)Eslovaquia (482)
España (484)Italia (485)
Portugal (487)Galicia (489)
Noruega (489)Luxemburgo (490)
Cantabria (491)Islandia (493)
Cataluña (493)Reino Unido (494)
Francia (495)Aragón (496)
República Checa (499)Asturias (500)
Nueva Zelanda (500)Dinamarca (500)Eslovenia (501)
Irlanda (501)Rioja (La) (503)
Madrid (504)Australia (504)
País Vasco (505)Austria (506)
Castilla y León (509)Alemania (514)
Bélgica (515)Navarra (517)
Polonia (518)Canadá (518)
Finlandia (519)Estonia (521)
Países Bajos (523)Suiza (531)Japón (536)
Corea del Sur (554)
400 420 440 460 480 500 520 540 560
Elaboración de pruebas
Modelos Internacionales
55 DISTRIBUCIÓN POR NIVELES
1
1
1
1
1
2
2
2
2
2
2
2
3
3
3
3
4
5
5
5
5
5
5
5
6
6
7
7
7
7
8
14
14
18
22
24
28
35
40
3
5
10
6
7
7
9
11
11
12
12
13
13
13
14
10
12
17
17
14
12
14
16
18
20
22
24
22
24
13
16
17
23
17
21
26
37
23
31
34
31
26
14
15
42
26
29
29
36
33
37
30
35
38
39
39
37
29
32
41
41
38
29
33
37
38
40
42
46
41
45
31
32
34
43
30
33
39
36
31
32
28
26
22
37
36
41
49
44
45
43
43
42
39
38
38
36
36
38
39
37
33
34
36
36
36
34
32
30
27
23
27
23
34
34
32
24
31
25
19
9
20
12
9
7
10
36
36
7
18
19
18
11
12
8
17
13
9
10
10
9
19
16
6
5
8
18
12
8
7
5
4
2
4
2
15
11
10
3
14
7
2
4
1
1
1
2
10
8
Países BajosHong Kong - China
Federación RusaFinlandia
CroaciaDinamarca
República ChecaEstados Unidos
CanadáSuecia
ItaliaAlemaniaPortugal
Irlanda del NorteIrlanda
LituaniaAustria
EslovaquiaInglaterra
HungríaEslovenia
PoloniaFrancia
AndalucíaNoruega
EspañaBélgica (C. francesa)
IsraelBulgaria
AustraliaCanarias
Nueva ZelandaRumaníaGeorgia
AzerbaiyánMalta
IránColombia
Arabia SaudíCatar
Mediana OCDEMediana Internacional
PIRLS 2011
Elaboración de pruebas
Modelos Internacionales
56 DISTRIBUCIÓN POR NIVELES-MATEMÁTICAS PISA 2012
Elaboración de pruebas
Modelos Internacionales
57 EECL
RESULTADOS EN LA PRIMERA LENGUA
COMPRENSIÓN LECTORA
144
7912
1010
1516
1218
231920
2724
2822
14,3
1010
2123
342934
4227
3146
403340
413845
4957
33,2
87
159
1512
1817
1313
1812
1112
1311
1210
11
12,4
1516
2214
1716
1817
1515
1412
1012
1110
107
7
13,6
6663
3847
2531
2014
3025
1018
23171514
96
3
26,5
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Suecia (Inglés)Malta (Inglés)
Holanda (Inglés)Estonia (Inglés)
Navarra (Inglés)Eslovenia (Inglés)
Bélgica AL. (Francés)Bélgica Fr. (Inglés)
Grecia (Inglés)Croacia (Inglés)
Bélgica Fla. (Francés)España (Inglés)
Bulgaria(Inglés)Canarias (Inglés)Portugal (Inglés)Polonia (Inglés)
Andalucía (Inglés)Francia (Inglés)
Inglaterra (Francés)
Promedio (sin CC.AA.)
Pre-A1 A1 A2 B1 B2
Orden: mayora menor (% alumnos en nivel B)/(% alumnos en Pre-A1)
Elaboración de pruebas
Modelos Internacionales
58 DISTRIBUCIÓN POR NIVELES-TIMSS 2011-MATEMÁTICAS
Elaboración de pruebas
Modelos Internacionales
59 DESCRIPCIÓN DE NIVELES TIMSS 2011-MATEMÁTICAS
Conocimientos Destrezas
NIV
EL
BA
JO Los alumnos tienen
conocimientos matemáticos básicos.
Sumar y restar números enteros. Reconocer en cierta medida las líneas paralelas y perpendiculares,
formas geométricas comunes y mapas con coordenadas. Leer y completar diagramas de barras y tablas básicos.
NIV
EL
INT
ERM
EDIO
Los alumnos son capaces de aplicar conocimientos matemáticos básicos en situaciones sencillas.
Comprender los números enteros y cierta comprensión de las fracciones.
Visualizar formas en tres dimensiones a partir de representaciones en dos dimensiones.
Interpretar diagramas de barras, pictogramas y tablas para resolver problemas sencillos.
NIV
EL A
LTO
Los alumnos son capaces de utilizar sus conocimientos y comprensión para resolver problemas.
Resolver problemas que incluyan operaciones con números enteros. Emplear la división en variedad de situaciones con problemas. Utilizar su comprensión del valor posicional para resolver problemas. Capacidad para ampliar patrones para obtener un dato especificado
más adelante. Comprender la simetría axial y sus propiedades geométricas. Interpretar y utilizar datos de una tabla o gráfico para resolver
problemas. Utilizar información de pictogramas y gráficas de registro para
completar diagramas de barras.
NIV
EL A
VA
NZA
DO
Los alumnos son capaces de utilizar sus conocimientos y comprensión en una variedad de situaciones relativamente complejas y de explicar su razonamiento.
Resolver una variedad de problemas de varios pasos con números enteros, incluyendo proporciones.
Comprensión creciente de fracciones y decimales. Aplicar en variadas situaciones sus conocimientos geométricos sobre
formas en dos y tres dimensiones. Obtener una conclusión a partir de datos en una tabla y explicar dicha
conclusión.
Elaboración de pruebas
Modelos Internacionales
60
• Actitudes y comportamientos del alumnado
• Rasgos del entorno familiar del alumnado
• Características de los centros
ANÁLISIS DE FACTORES DE CONTEXTO ASOCIADOS
• Relación con los resultados
• Identificación de buenas prácticas
Elaboración de pruebas
Modelos Internacionales
61 PISA 2012-Tendencias (C-Matemática)
A. 1. Rasgos comunes de los estudios de evaluación
2. Mapa de evaluaciones
B. Elaboración de pruebas
1. Marco de evaluación
2. Elaboración de las pruebas
3. Diseño de los cuadernillos
y cuestionarios de contexto
Ejemplos de ítems liberados
4. Aplicación de las pruebas (trabajo de campo)
5. Análisis de datos y elaboración de informes
C. Recursos para el profesorado
Elaboración de pruebas
Modelos Internacionales
63
Preguntas liberadas PISA Preguntas liberadas PIAAC (adultos
1º http://www.mecd.gob.es/inee/portada.html
2º Ítems liberados y otrosrecursos
Preguntas liberadas de TIMSS-PIRLS EGD-EECL
Acceso a recursos INEE en tiching y SlideShare
Recursos EECL, TIMSS, PIRLS, EGD, etc.
RECURSOS PARA EL PROFESORADO
Elaboración de pruebas
Modelos Internacionales
64
RECURSOS PARA EL PROFESORADO Estímulos e ítems que han sido liberados después de formar parte de un estudio internacional o nacional.
Todas las pruebas de estas recopilaciones forman parte de otras publicaciones más completas donde se desarrollan los marcos teóricos, las características, los resultados, el diseño, etc. de cada estudio.
Materiales, recursos y difusión de los estudios
http://www.mecd.gob.es/inee/
Elaboración de pruebas
Modelos Internacionales
67
http://www.mecd.gob.es/inee/
Síguenos en Twitter:
@educaINEE
Y en nuestro blog:
http://blog.educalab.es/inee/
GRACIAS