INGENIERIA EN CHILE AL 2030. Desafíos en la formación de Ingenieros JAIME SOTO PRESIDENTE DE ACTI.
El monitoreo de los resultados de aprendizaje. Desafíos y oportunidades en la Agenda 2030.
54
UNESCO Institute for Statistics El Monitoreo de los Resultados de Aprendizaje Desafíos y Oportunidades en la Agenda 2030 Silvia Montoya, PhD Instituto de Evaluación, INEE Madrid, España 3 de Julio, 2015
-
Upload
instituto-nacional-de-evaluacion-educativa -
Category
Education
-
view
1.502 -
download
0
Transcript of El monitoreo de los resultados de aprendizaje. Desafíos y oportunidades en la Agenda 2030.
UN
ESC
O In
stit
ute
fo
r St
atis
tics
El Monitoreo de los Resultados de Aprendizaje
Desafíos y Oportunidades en la Agenda 2030
Silvia Montoya, PhD
Instituto de Evaluación, INEEMadrid, España
3 de Julio, 2015
UN
ESC
O In
stit
ute
fo
r St
atis
tics
Índice
El contexto político: Objetivos de DesarrolloSostenible (ODS) y la agenda post-2015
¿Qué sabemos sobre evaluaciones nacionalesde aprendizaje?
¿Qué sabemos sobre la economía política delas evaluaciones?
El monitoreo de los resultados de aprendizajeen los ODS
Próximos pasos 2
UN
ESC
O In
stit
ute
fo
r St
atis
tics
El IEU y el monitoreo de los acuerdos internacionales
Rol clave en el monitoreo de Educación Para Todos yde los Objetivos de Desarrollo del Milenio
El desafío para la agenda de desarrollo post-2015: losObjetivos de Desarrollo ODS:
Equidad, pobreza
Incluyen más objetivos, metas e indicadores
Nuevas áreas
3
UN
ESC
O In
stit
ute
fo
r St
atis
tics
La agenda post-2015: los Objetivos de Desarrollo Sostenible
La agenda post-2015 reconoce de manera explícitala pobreza, la inequidad, la seguridad alimentaria, lasustentabilidad del medio ambiente y launiversalidad de los derechos humanos
El desarrollo sostenible requiere informaciónsostenible
Se necesita más información a nivel local paracontribuir con planeamiento e inversiónestratégicos, monitoreo y rendición de cuentas
Cambio de paradigma: estadísticas nacionales sobredesarrollo deben estar basadas en datossubnacionales desagregados
4
UN
ESC
O In
stit
ute
fo
r St
atis
tics
La agenda post-2015: Complejidades en la era del big data
Informacióninconsistente, poco efectiva y no interpretadapara la política
pública
Riesgo de infobesidad:
información en demasía,
dispersa y de mala calidad
Medircompetenciascomplejas de una manera
estandarizada y útil
Los hacedoresde política no
utilizan la información
5
UN
ESC
O In
stit
ute
fo
r St
atis
tics
La agenda post-2015: Desafíos
Problemas diversos:
Falta de uso de información para diseñar,implementar y evaluar políticas
Poco entendimiento de la información y suutilización
Falta de infraestructura y habilidad de equipostécnicos dificulta que haya unidades de estadísticasustentables
6
UN
ESC
O In
stit
ute
fo
r St
atis
tics
El alcance de los objetivos educativos de los ODS
0-5 6-14 15-24 25+ Edades
Objetivo 4.3
Objetivo 4.6
Objetivo 4.4
Objetivo 4.2
Objetivo 4.5 EquidadTransversal
Medios de implementación Objetivos 4.8, 4.9 y 4.104.8, 4.9, 4.10
Objetivo 4.1
Objetivo 4.7
UN
ESC
O In
stit
ute
fo
r St
atis
tics
Contexto – niveles de aprendizaje
Preocupación creciente acerca de bajos niveles de aprendizajes (a pesar de incrementar el acceso)
Heterogeneidad en el uso de evaluaciones como herramientas de planeamiento y monitoreo
Escepticismo acerca del rigor técnico de ciertos enfoques o requerimientos evaluativos de manera que que
Hay países con sus propias mediciones de aprendizaje
Otras mediciones diferentes al conocimiento podrían ser importantes
8
UN
ESC
O In
stit
ute
fo
r St
atis
tics
Índice
El contexto político: ODS y la agenda post-2015
¿Qué sabemos sobre evaluaciones nacionalesde aprendizaje?
¿Qué sabemos sobre la economía política de lasevaluaciones?
El monitoreo de los resultados de aprendizajeen los ODS
Próximos pasos9
UN
ESC
O In
stit
ute
fo
r St
atis
tics
Algunos países no cuentan con evaluaciones
02
04
06
08
01
00
Num
ber
of C
ou
ntr
ies
0 2 4 6 8 10Number of Evaluations
Source: UIS based on UIS, GMR and WDI databases
10
UN
ESC
O In
stit
ute
fo
r St
atis
tics
Y algunas asignaturas son más evaluadas que otras
0.1
.2.3
.4.5
Literacy Writing
Reading Language
Math Sciences
Social Studies Civc Studies
Source: UIS based on UIS, GMR and WDR databases.
11
UN
ESC
O In
stit
ute
fo
r St
atis
tics
Evaluaciones en los dos ciclos de educación básica más frecuente en en países desarrollados
0 .2 .4 .6 .8 1
Upper middle income
Lower middle income
Low income
High income: nonOECD
High income: OECD
Primay High School
Both Levels International
Source: UIS based on UIS, GRM, and WDI databases.
12
UN
ESC
O In
stit
ute
fo
r St
atis
tics
Transformado en un Índice de Resultados de Aprendizaje…
02
04
06
0
Num
ber
of C
ou
ntr
ies
0 1 2 3 4Learning Outomces Index
Source. UIS based on UIS, GMR and WDI databases. 13
UN
ESC
O In
stit
ute
fo
r St
atis
tics
…la correlación con niveles de ingreso per cápita no es tan elevada
0
500
00
100
00
01
50
00
0
GD
P p
er
cá
pita
(cu
rren
t in
tern
ati $
PP
P)_
20
12
0 1 2 3 4Learning Outomces Index
Source: UIS based on UIS, GMR and WDR Databases
14
UN
ESC
O In
stit
ute
fo
r St
atis
tics
El índice muestra variación entre las regiones
15
0 5 10 15 20 25 0 5 10 15 20 25
0 5 10 15 20 25
43210
43210
43210
43210
43210
43210
43210
East Asia & Pacific Europe & Central Asia Latin America & Caribbean
Middle East & North Africa North America South Asia
Sub-Saharan Africa
frequencyGraphs by Region
UN
ESC
O In
stit
ute
fo
r St
atis
tics
Pero no conocemos las características
Información detallada sobre la evaluación:
Propósito
Alcance
Actores principales interesados
Diseño de la evaluación
Cobertura
Reporte y uso de los resultados
Con la excepción de algunas fuentes con:
Información detallada sobre la cultura de evaluación en países
Ciertos reportes en catálogo dle IEU, Saber, OCDE y otros esfuerzos
UN
ESC
O In
stit
ute
fo
r St
atis
tics
Catalogo de cobertura a fines de 2015
Datos onlineDatos a recolectar en 2015
UN
ESC
O In
stit
ute
fo
r St
atis
tics
Primeras estadísticas del catálogo de datos
La mayoría de las evaluaciones tienen como objetivo tanto escuelas estatales como privadas
Los 3 exámenes nacionales (Zimbawe y Brunei Darussalam) y 10 evaluaciones (Botswana, Cambodia, Myanmar y Vietnam) no incluyen a las escuelas privadas.
0
2
4
6
8
10
12
1 2 3 4 5 6 7 8 9 10 11Assessment Examination
Las evaluaciones nacionales son en su mayoría en el nivel primario
Exámenes al final de los ciclos
UN
ESC
O In
stit
ute
fo
r St
atis
tics
La mayoría de las evaluaciones son administradas de manera regular
Cicle de administración Porcentaje
Cada año 37,0 %
Cada 2 años 25,9 %
Cada 3 años 25,9 %
Cada 4 años 3,7 %
Cada 5 años 3,7 %
Variable 3,7 %
Total 100 %
UN
ESC
O In
stit
ute
fo
r St
atis
tics
Índice
El contexto político: ODS y la agenda post-2015
¿Qué sabemos sobre evaluaciones nacionalesde aprendizaje?
¿Qué sabemos sobre la economía política de lasevaluaciones?
El monitoreo de los resultados de aprendizajeen los ODS
Próximos pasos20
UN
ESC
O In
stit
ute
fo
r St
atis
tics
Lo que sí conocemos. La economía política de las evaluaciones internacionales
La psicometría importa, pero...
El muestreo, la administración y la logística sonfuentes de error y sesgo más importantes
Hay necesidad para asegurar la calidad de losaspectos
Los resultados son políticamente sensibles y difíciles demanejar: la complacencia no puede ser el camino depaíses en vías de desarrollo
No se trata solo de métodos, se trata de políticaeducativa
UN
ESC
O In
stit
ute
fo
r St
atis
tics
También sabemos que es un asunto donde queda mucho por hacer
Incorporar actores clave
Comunicación
Respetar el ciclo de vida de la información
Diseño conceptual y metodológico
Recolección de información
Procesamiento de datos y control cruzado
Diseminación de la información
UN
ESC
O In
stit
ute
fo
r St
atis
tics
Y es necesario pasar hacia una política y práctica educativa basada en la información
Alimentar decisiones sobre política y gestióneducativa
Modificar comportamientos donde hay desafíos La mayoría del tiempo tenemos problemas invisibles cuyos efectos se
manifiestan años después
La mejora de resultados de aprendizaje depende de factores y actoresmúltiples que no participan de la discusión
Maneras diferentes de trabajar para modificarcomportamiento: Deberías hacer X (versión A): regulaciones y castigos
Deberías hacer X (versión B): incentivos
Cambios sistémico y cultural donde X es “¿Qué hacemos?”
UN
ESC
O In
stit
ute
fo
r St
atis
tics
La pieza que falta en el planeamiento educativo: el uso de los datos
24https://www.youtube.com/watch?v=VRWw4JjNNAg
UN
ESC
O In
stit
ute
fo
r St
atis
tics
Diseminación de la información: ¿Por qué es importante para la mejora?
Ciudad de Buenos Aires 2012-2014
UN
ESC
O In
stit
ute
fo
r St
atis
tics
Cambios en las herramientas de recolección de la información: carga online de matrícula
UN
ESC
O In
stit
ute
fo
r St
atis
tics
Website institucional: observatorio de datos
UN
ESC
O In
stit
ute
fo
r St
atis
tics
Boletines por escuela
UN
ESC
O In
stit
ute
fo
r St
atis
tics
Portal Tu Escuela:Gestión escolar
UN
ESC
O In
stit
ute
fo
r St
atis
tics
Mejorá tu escuela con Astor
UN
ESC
O In
stit
ute
fo
r St
atis
tics
Mejora con acompañamiento: Astor ayuda a entender y simular resultados
www.mejoratuescuela.com.ar
UN
ESC
O In
stit
ute
fo
r St
atis
tics
App del IECEP
UN
ESC
O In
stit
ute
fo
r St
atis
tics
Practicá con Astor
UN
ESC
O In
stit
ute
fo
r St
atis
tics
Un sitio dedicado a los padres
https://www.youtube.com/watch?v=4ThHopW5Zx4
UN
ESC
O In
stit
ute
fo
r St
atis
tics
Inversión por escuela: datos sobre estructura de costos
UN
ESC
O In
stit
ute
fo
r St
atis
tics
Índice
El contexto político: ODS y la agenda post-2015
¿Qué sabemos sobre evaluaciones nacionalesde aprendizaje?
¿Qué sabemos sobre la economía política de lasevaluaciones?
El monitoreo de los resultados de aprendizajeen los ODS
Próximos pasos36
UN
ESC
O In
stit
ute
fo
r St
atis
tics
Propuestas de indicadores para objetivos mundiales en educación
Porcentaje de niños que logran mínimosestándares de competencia en lectura ymatemática al final de: i) primaria y ii)secundaria básica
Porcentaje de jóvenes/adultoscompetentes en habilidades de lectura ymatemática
Índices de paridad (mujer/varón,urbano/rural, primer/último quinto deingreso) para todos los indicadorees quepueden ser desgregados
Criterios claveRelevancia: refleja los temasde política más críticos encuanto a metasAlineamiento: el constructoa medir debe ser válido yfiable y tener el mismosignificado en todos loscontextosComparabilidad: lainformación es recolectadade manera regularComunicabilidad: elindicador es entendido demanera sencilla y permiteuna narración clara respectodel progreso hacia las metas
UN
ESC
O In
stit
ute
fo
r St
atis
tics
Niveles propuestos de monitoreo (UNSG*)
*UN Secretary General’s Synthesis Report, Dicembre 2014
Nacional
Relación con el plan nacional; consulta a actores clave del ámbito nacional; reconocimiento del contexto y búsqueda de inclusión y nuevos objetivos de aprendizaje
Global Focos en indicadores de comparación global basados en criterios claros (10-15 indicadores)
Temático Conjunto más amplio de indicadores que cubren diferentes prioridades sectoriales (42 indicadores)
Regional Indicadores para monitorear marcos validades por las regiones (AU Education decades, EU2020)
UN
ESC
O In
stit
ute
fo
r St
atis
tics
Foco en temas de calidad y equidadreflejados en los indicadores globales Calidad
Se debería hacer foco en un conjunto pequeño demedidas de resultados
Debería tener medidas directas de aprendizaje yhabilidades
Otras medidas de calidad también deben considerarse
Equidad
Desagregar, cuando es posible, indicadores parafortalecer cuestiones en equidad de género
Asegurar que la desventaja múltiple es capturada
Asegurar que grupos y contextos desfavorecidosdifíciles de medir tengan atención especial
UN
ESC
O In
stit
ute
fo
r St
atis
tics
Monitoreo: “las” opciones
Definir puntos de referencia e indicadores basados enestándares nacionales (derivados de evaluacionesnacionales)
Desarrollar mecanismos globales para medir yenmarcar los indicadores en un punto del tiempo (porejemplo, “fotos” en diferentes grados o edadesbasados en los instrumentos actuales)
Indicadores derivados de una escala validada demanera empírica
40
UN
ESC
O In
stit
ute
fo
r St
atis
tics
A favor de un enfoque… En contra de un enfoque…
41
… basado en “fotos” en grados o niveles educativos específicos
Tiene el potencial de proveer lainformación más válida y fiable en unmarco de tiempo realista (ej: equidad enresultados de aprendizaje
Foco en un número limitado de grado quepodrían implicar recursos dicionales para esosgrados
Se apoya y construye sobre evaluacionesexistentes
Podría requerir el desarrollo de instrumentosde evaluación específicos
Se pueden prever los costos de unamanera fiable
Instrumentos/definiciones diferentes usadospara cada uno de los niveles educativos amonitorear
Las implicancias para los países(financieras, logísticas) pueden serreltivamente bien definidas o explicadas
Podría ser costos si solo es una “soluciónintermedia”
Fortalece la colaboración entre diferentesorganizaciones de evaluación
Necesita apoyarse en una métrica exitentepor lo cual la negociación política puede sercompleja
UN
ESC
O In
stit
ute
fo
r St
atis
tics
A favor de un enfoque… Against an approach that …
42
… que resulte en el monitoreo de indicadores derivados de una escala validada empíricamente
La ventaja de la escala es que no esun instrumento pero “solo” unaescala en la que todos puedenparticipar
Se requiere mucho tiempo y recursos. Hayimplicancias técnicas, políticas y financierasrelacionadas
Establecer las bases para lainformación comparable y de altacalidad que los gobiernos puedenutilizar para mejorar los resultadosde aprendizaje de sus niños mientrasestablecen puntos de referencia parael progreso
Los niveles de competencia lectora podrían variarentre países y el progreso podría no ser lineal. Esdifícil pero no imposible adaptar competencias delectura de base en todos los idiomas
En la ausencia de información más completasobre trayectorias de aprendizaje en varios países,parece limitado en su habilidad para mediraprendizaje de manera correcta
Necesita de mucha más investigación
Las implicancias para los países (financieras, delogística) no están definidar de manera clara. Laparticipación es “opcional”
Objetivos finales
Qué camino seguir ?
1. R
ep
ort
eso
bre
pro
gre
sos
en
re
sult
ado
sd
e a
pre
nd
izaj
eh
acie
los
ob
jeti
vos
ed
uca
tivo
s2
03
0
2. L
os
paí
ses
usa
nla
sev
alu
acio
nes
par
am
ejo
rar
el
apre
nd
izaj
e
Para lograrlo, es necesario elegir un camino que sea…
Técnicamente robusto
Proporcione resultados en el tiempo necesario
Enfoque sostenible
Responda a las demandas nacionales
Simple de comunicar
Responda a las demandas de la comunidad internacional
Sensible a la economía politica
UN
ESC
O In
stit
ute
fo
r St
atis
tics
En el mismo camino, a diferentes velocidades
Muchas preguntas a responder
Algunas más simples que otras
Debate sobre la cuestión temporal (¿restringir a ciertos aspectos en el corto plazo mientras de intenta desarrollar en paralelo una escala global de aprendizaje?)
Definir el alcance
Dominios: ¿con qué dominios de aprendizaje comenzar?
¿Debería ser una escala evolutiva?
Población objetivo
Cobertura geográfica44
UN
ESC
O In
stit
ute
fo
r St
atis
tics
¿Qué se requiere?
Herramientas de medición que provean información sobre resultados
Evaluaciones usadas para establecer líneas de base y, aún más imprtante, retroalimentación
Saber que la medición regular es necesaria
Foco en resultados bien definidos y puntos de referencias
Conocimiento sobre la relevancia de mediciones para los diferentes actores
Capacidad para la acción
Recursos y políticas consistentes para lograr los objetivos
Do
s o
bje
tivo
s
Con independencia del camino elegido, se debe trabajar sobre…
Trabajar con otros actores
Definir la visión
Promover la transparencia
Ser efectivos
Llevar a cabo consultas formales
Sostener una comunidad global de las prácticas
Índice
• El contexto político: ODS y la agenda post-2015
• ¿Qué sabemos sobre evaluaciones nacionalesde aprendizaje?
• ¿Qué sabemos sobre la economía política de lasevaluaciones?
• El monitoreo de los resultados de aprendizajeen los ODS
• Próximos pasos 47
UN
ESC
O In
stit
ute
fo
r St
atis
tics
Próximos pasos: consultas formales a los países
Cuestiones políticas
Percepción de una escala universal para lectura y habilidades numéricas
Expectativas sobe el impacto de indicadores de aprendizaje y usabilidad en el ámbito nacional
Deseo de colaborar con diferentes actores en el ámbito nacional
Cuestiones técnicas
Enfoques para desarrollar los indicadores
Robustez de los métodos propuestos
Implicancias financieras48
UN
ESC
O In
stit
ute
fo
r St
atis
tics
Próximos pasos – el Technical Advisory Group (TAG-Grupo de trabajo) extendidoFecha objetivo Actividad Propósito
Presente Proceso de consulta
regional
Obtener miradas regionales sobre la
propuesta existente antes de la primera
reunión en persona
16-17 Julio Primera reunión en
persona
Presentar las posiciones regionales y definir
próximos pasos
Julio-Septiembre Reuniones virtuales, si
es necesario
Obtener miradas regionales adicionales sobre
la propuesta existente
24-25/28-29 Sept. Segunda reunión en
persona
Presentar propuesta que contemple las
posiciones regionales
Eventos
relacionados
1-2 Octubre Comité de EPT Revisar Marco para la Acción
6 Noviembre Reunión de altos
cargos de UNESCO
Adoptar el Marco para la Acción
Fin de noviembre Decha límite para
insumos para UNSC
IAEG-ODS provee borrador del marco de
indicadores
49
UN
ESC
O In
stit
ute
fo
r St
atis
tics
Próximo pasos: procesos de ONU relacionados con indicadores
• Primera reunión de la Inter-Agency and Expert
Group sobre indicadores de ODS (Junio)
• Reunión entre gobiernos sobre objetivos y metas
(Junio-Julio)
• Asamblea General de la ONU para establer
objetivos y asoptar metas (Septiembre)
• 47a Comisión de Estadísticas de la ONU para
considerar le nuevo marco de indicadores (Marzo
2016)
• Marco enviado al ECOSOC para adopción final
(Julio 2016)
UN
ESC
O In
stit
ute
fo
r St
atis
tics
Monitoreo global: foco en los usuarios de información no en los productores
Generar conciencia sobre los bajos niveles de aprendizajede los niños
Construir apoyo acerca de la relevancia de utilizarherramientas de medición robustas
Proveer evidencia para desarrollar enfoques conobjetivos para mejores prácticas en el aula y en laescuela
Generar una comunidad global de prácticas
Definir indicadores para monitorear el progreso en losresultados de aprendizaje hacia los objetivos educativosde 2030 51
UN
ESC
O In
stit
ute
fo
r St
atis
tics
Una reflexión final... Edwards Deming dijo que “Existimos para construir
otro mundo”.
Sistemas de información y medidas son importantes
Pero lo intangible es lo más relevante la mayoría de las veces
Combinación de ambos: sistema efectivo de recolección deinformación con entendimiento sobre el poder de lointangible producirán el cambio deseado.
Lo intangibles es el liderazgo de la comunidad internacional,líderes políticas, directores de escuelas, docentes y padrespara producir cambios en los resultados de aprendizaje
52
UN
ESC
O In
stit
ute
fo
r St
atis
tics
53
UN
ESC
O In
stit
ute
fo
r St
atis
tics ¡Gracias!
Silvia Montoya
Directora, Instituto de Estadísticas de la UNESCO
@montoya_sil
@UNESCOstat
54
