La evaluación educacional en Chile: mediciones nacionales ...
Transcript of La evaluación educacional en Chile: mediciones nacionales ...
La evaluación educacional en Chile: mediciones nacionales e internacionales
Jorge Manzi
Universidad Católica de Chile
www.mideuc.cl
Distribución Porcentual de población de 25 a 64 años según máximo nivel educativo alcanzado
Jóvenes de 20 a 24 años que completaron la primera y segunda etapa de la secundaria
Una caracterización de las tareas que componen las distintas ocupaciones (Levy y Murnane, 2001)
• Tareas que siguen reglas preestablecidas y bien definidas:– rutinarias manuales: ensamblaje, maquila– rutinarias cognitivas: verificación de datos, bancos
• Tareas que requieren de criterio y/o experticia.– no rutinarias manuales: construcción, servicios
personales– no rutinarias cognitivas: servicios profesionales,
investigación.
Cambios en número de personas ocupadas por tipo de tarea (EEUU 1959-1998). (Levy y Murnane, 2001)
Estos cambios explican el 40% del incremento en la demanda y por ende en la remuneración relativa de los trabajadores con educación superior durante este período.
Las habilidades que se requieren para acceder a los empleos de menor vulnerabilidad según Levy y Murnane
• Saber leer en un nivel de 9º grado.• Competencias matemáticas al nivel de 9º grado. • La habilidad de solucionar problemas semi-
estructurados en los que se requiera probar una hipótesis.
• La habilidad para trabajar en equipo con personas de distintas trayectorias.
• La habilidad para comunicarse de manera efectiva tanto de manera oral como escrita.
• La habilidad para utilizar computadores para realizar tareas sencillas.
Medición Educacional en Chile
• Exámenes de ingreso a universidades: Bachillerato → PAA → PSU
• Medición de logros escolares: PER → SIMCE
• Participación en programas internacionales
• Evaluación de profesores: egresados y en servicio
PRUEBAS DE INGRESO A LAS UNIVERSIDADES
Exámenes de ingreso a las universidades
• Bachillerato (fines del siglo XIX – 1966)– Preguntas abiertas
– Problemas con medición masiva y con aseguramiento de consistencia entre revisores
→
Exámenes de ingreso a las universidades
• PAA (1967 - 2002)– Preguntas de selección múltiple
– 3 pruebas obligatorias, 5 optativas
– Modelo original suponía que aptitudes eran estables, no entrenables y distribuidas en forma equivalente entre examinados de diversos grupos sociales
– Limitada relación con experiencia escolar de examinados
– Pruebas se vinculan con financiamiento a las universidades (AFI)
Exámenes de ingreso a las universidades
• PSU (desde 2003)– 4 pruebas: cada carrera universitaria exige 3 de ellas
(siempre matemática y lenguaje)– Se originan en comisión de expertos, que recomendó
unánimemente que las pruebas fueran reformuladas asegurando su alineamiento con la experiencia escolar de examinados (curriculum de enseñanza media). Se pretende así aprovechar el rol de señal de las pruebas (orientan a estudiantes y profesores) para promover la elevación de los aprendizajes.
– Se basan en modelo que explicita la indisoluble relación entre habilidades cognitivas (aptitudes) y contenidos.
Distribución de Postulantes según Dependencia del Establecimiento Educacional de origen
0
10
20
30
40
50
60%
P. Pagado 17,43 15,69 15,68 14,16 13,01 11,41 10,84 10,02
P. Subvencionado 37,19 38,96 41,62 43,27 44,66 45,58 48,05 48,9
Municipal 45,37 45,35 42,7 42,56 42,33 43,02 41,11 41,08
2002 2003 2004 2005 2006 2007 2008 2009
Porcentaje de Padres con Formación postsecundaria según tipo de Establecimiento Educacional
0
10
20
30
40
50
60
70
80
90%
PART PAG 74,59 77,62 81,18 80,5 81,62 81,97 83,71 84,78
PART SUBV 29,84 30,61 35,64 32,29 32,29 28,39 29,42 29,34
MUNICIPAL 19,4 18,88 21,9 18,49 17,49 14,25 14,62 14,3
2002 2003 2004 2005 2006 2007 2008 2009
Brechas Particulares Pagado vs. Municipales en PSUM y PSUL. Sin ajuste (Sólo alumnos Promoción)
0
25
50
75
100
125
150
Dife
renc
ia P
artic
ular
-Mun
icip
al e
n P
unta
je P
SU
Lenguaje 108 121 112 113 123 135 137 143
Matematicas 117 126 120 120 126 140 148 154
2002 2003 2004 2005 2006 2007 2008 2009
Brechas Particulares Subvencionados vs. Municipales en PSUM y PSUL. Sin ajuste (Sólo alumnos Promoción)
0
25
50
75
100
125
150
Dife
renc
ia P
artic
ular
-Mun
icip
al e
n P
unta
je P
SU
Lenguaje 27 29 29 27 32 36 33 33
Matematicas 26 28 27 23 25 31 31 32
2002 2003 2004 2005 2006 2007 2008 2009
Resumen de Correlaciones con Rendimiento Académico (Validez Predictiva)
Carreras Lenguaje Matemática NEM
2003 (PAA) 771 0,01 0,13 0,23
2004 777 0,07 0,27 0,25
2005 828 0,09 0,23 0,23
2006 859 0,09 0,23 0,22
MEDICIONES DE LOGROS ESCOLARES: SIMCE
SIMCE
• PER (1982) → SIMCE (desde 1988)– Censal
– 3 grados (4o básico, 8o básico, 2o medio)
– Mide los principales sectores de aprendizaje: Matemática, Lenguaje, Ciencias y Ciencias Sociales
– Preguntas de respuesta cerrada y abierta
– Se reporta a nivel agregado
– Conlleva consecuencias para los establecimientos (SNED, programas focalizados)
SIMCE y EQUIDAD (4º básico 2008)
GRUPO SOCIOECONÓMICO
LECTURA EDUCACIÓN MATEMÁTICA
COMPRENSIÓN DEL MEDIO SOCIAL Y CULTURAL
PROMEDIO VARIACIÓN PROMEDIO VARIACIÓN
PROMEDIO
BAJO 240 5 220 1 224
MEDIO BAJO 242 6 226 1 231
MEDIO 260 5 246 -1 250
MEDIO ALTO 281 5 272 1 273
ALTO 303 5 300 4 295
SIMCE y EQUIDAD: Resultados según GSE y Dependencia
GRUPO SOCIOECONÓMICO
LECTURA EDUCACIÓN MATEMÁTICA
MUN PSUB PPAG MUN PSUB PPAG
BAJO (+)242 234 - (+)222 209 -
MEDIO BAJO
242 243 - 226 226 -
MEDIO 255 (+)263 - 241 (+)249 -
MEDIO ALTO
276 (+)282 - 266 (+)273 -
ALTO - 295 (+)304 - 289 (+)302
NACIONAL 247 267 304 231 254 301
PRUEBAS INTERNACIONALES
Participación de Chile en pruebas internacionales
• SIALS 1998: comprensión lectora de población adulta• TIMSS (1999, 2003): dominio en matemática y
ciencias de estudiantes de 15 años• CIVICA 1999-2000: conocimientos y actitudes cívicas
de estudiantes de 8º básico y 4º medio• LLECE (Laboratorio Latinoamericano de Evaluación
de la Calidad de la Educación de la UNESCO) (1997, 2006): lectura, escritura, matemática y ciencias en estudiantes de 3º y 6º básico
Participación de Chile en pruebas internacionales
• PISA (2000, 2006 y 2009): habilidades básicas de estudiantes de 15 años– Foco 2000: Lenguaje– Foco 2006: Ciencias– Foco 2009: Lenguaje. Además se agrega prueba de Lectura
digital: habilidad para acceder, manejar, integrar y evaluar información; construir nuevos conocimientos a partir de textos electrónicos (de los 60 países, 17 incluyen esta habilidad, Chile entre ellos)
SIA
LS:
Dis
trib
uci
ón d
e C
ompre
nsi
ón L
ect
ora
de
adult
os (
Doc
um
ento
s)
0102030405060708090100 Swed
enNor
way Denmar
k Canad
a Finlan
dNeth
erla
nds
Czech
Rep
ublic
United
King
domUnit
ed S
tates Ger
many
New Ze
aland Aus
tralia
Belgium (F
lander
s)
Switzer
land
(Ger
man)
Switzer
land (F
rench
)
Switzer
land (It
alian
)Ire
land Hun
gary
Polan
d Slovenia Por
tugal
Chile
Niv
el4
-5
Niv
el3
Niv
el2
Niv
el1
Rendim
iento
en T
IMSS
2003 d
e
Mat
em
átic
a
200
250
300
350
400
450
500
550
600
650 Sing
apur
Corea
China T
aipei Ja
pón Bélgic
a Holand
a Eston
ia Hungr
ía Malasia
Rusia
Eslova
quia Aus
trali
aEEUU Sue
ciaIsr
aelIta
lia Rumania
Prom
Inte
rnac
ional Norue
ga Macedo
nia El Líb
ano
Iran
Indo
nesia
Egipto Pale
stina
Chile Filip
inas
Arabia
Saudit
aGan
aSudá
frica
Países PISA en 2009: 87% de la economía mundial
Población de estudiantes de 15 años por grado en PISA
Niveles de desempeño en lectura: Interpretación de textos (PISA)
Nivel5 � Interpreta el significado de textos que incorporan sutilezas del lenguaje (por ejemplo textos con figuras literarias, oraciones que utilizan el humor, la ironía o el sarcasmo). Demuestra comprensión plena y detallada del texto.
Nivel4 � Utiliza una inferencia de alto nivel basada en el texto para comprender y aplicar categorías, en un contexto que no le resulta familiar, para interpretar el significado de una sección del texto, considerando el texto completo. Maneja ambigüedades o ideas distintas a las expectativas generadas por el texto e ideas formuladas negativamente.
Nivel3 � Integra diversas partes de un texto para identificar una idea principal, comprende una relación o interpreta el significado de una palabra o frase. Compara, contrasta y clasifica en categorías, tomando en cuenta múltiples criterios. Discrimina entre información relevante que compite entre sí.
Nivel2 � Identifica la idea principal en un texto. Comprende relaciones, define o aplica categorías simples. Interpreta el significado dentro de una parte limitada del texto cuando la información no es relevante y se requieren inferencias de bajo nivel.
Nivel1 � Reconoce el tema principal o el propósito del autor en un texto sobre un tema que le resulta familiar, cuando la información requerida es relevante en el texto.
PISA: Porcentaje de estudiantes en cada uno de los niveles de dominio
Latinoamérica y OCDE: Porcentaje de estudiantes según niveles de desempeño en lectura global
0
10
20
30
40
50
60
70
80
90
100
Argentina
Brasil
Chile
México Per
úLati
noaméric
a
Finlandia
Portugal
Estado
s Unido s
Promedio
OCDE
Nivel 5Nivel 4Nivel 3Nivel 2Nivel 1Bajo 1
Lectura PISA 2000 - 2006Cambio en PISA Lectura: 2000-2006
TIMSS: Distribución de Rendimientos en Matemática según escolaridad de los padres
300
350
400
450
500
550
600
650
700
Sing apur
Corea
Holand
aHun
gríaCan
adáAust
ral iaRep
.Chec
aEEUU
Nueva
Zelan daIta
liaIsr
ael
Indonesia Chil
eFil ip
inasMarru
e cos
Primaria Completa
Universitaria Completa
Secundaria completa
SIA
LS:
Dis
trib
uci
ón d
e C
ompre
nsi
ón L
ect
ora
(Doc
um
ento
s) s
egú
n n
ivel educa
cion
al
180
200
220
240
260
280
300
320
340 Swed
enNethe
rland
s
Czech
Repub
lic Denmar
k Finlan
d Germ
any Nor
way
Belgiu
m (Fla
nder
s)Cana
da
New Z
ealand
United
Kingd
om
Switzerla
nd (F
renc
h)
Switzerla
nd (Germ
an) Portug
al Austral
iaIre
land
Switzerla
nd (I
talian
)Unit
ed Stat
esHun
gary Pola
nd Sloven
iaChil
e
Me
no
s q
ue
se
cu
nd
ari
a
Te
rcia
ria
Co
mp
leta
Se
cu
nd
ari
a c
om
ple
ta
Finlandia
CanadaJaponNueva Zelanda AustraliaPaises Bajos Korea
Alemania Reino UnidoRep. Checa
Suiza
AustriaBelgica IrlandaHungria Suecia
PoloniaDinamarcaFrancia
IslandiaEstados Unidos
EslovaquiaEspaña NoruegaLuxemburgo
ItaliaPortugal Grecia
Turquia
Mexico
IndonesiaArgentinaBrazil ColombiaTunisiaAzerbaijan
CHILE
380
400
420
440
460
480
500
520
540
560
2712172227Fuerte impacto de Condiciones Socioeconómicas
Distribución equitativa en Oportunidades de Aprendizaje
Relación entre Puntaje PISA 2006 e índice de equidad
PISA: Desempeño por alumno según el nivel de gasto en educación
Descomposicón de la Varianza de PISA en ciencias
2,3%
44,7%
5,8%
9,2%
3,4%
8,4%
7,6%
5,0%
6,2%
7,4%
Nivel Estudiante(47%)
Nivel Estudiante(47%)
Nivel Estudiante(47%)
Nivel Sistema26%
Nivel Escuela27%
Explicado por factores de la escuela y el sistema
EVALUACIÓN DE PROFESORES
Antecedentes
• La mayor parte de los países del Mundo miran en la actualidad a la sala de clases y a la escuela como el principal foco de su política educativa.
• Esto ha tornado la mirada a los principales actores en cada ámbito: profesores y personal directivo.
• El desafío es crear sistemas escolares donde profesores y directivos se organicen asegurar que todos los estudiantes progresen en sus aprendizajes
Aspectos claves en una política docente integral
Atraer a los mejores
•Becas
Asegurar buena Formación inicial y en servicio
•FFID (1997-2002)•MECESUP (2005-)•Acreditación
obligatoria de carreras de pedagogía
•Alinear formación con evaluación (Planes de Superación Profesional)
Retener a los mejores
• Incentivos colectivos (SNED)
• Incentivos individuales (AEP – AVDI)
•Carrera docente
Crecimiento de la matrícula en Pedagogía 2000-2007
Tipo de institución 2000 2007 Variación porcentual
Universidades 29.904 86.878 291%Institutos profesionales 5.175 12.501 242%TOTAL 35.079 99.379 283%
Condiciones Laborales: Salario Anual Profesores Educación Primaria en Establecimientos Públicos
0
10 000
20 000
30 000
40 000
50 000
60 000
70 000
80 000
90 000
100 000
Esto
nia
Ch
ile
Hun
gary
Turk
ey
Isra
el
Mexic
o
Cze
ch
Rep
ublic
New
Zeala
nd
Po
rtug
al
Fra
nce
Italy
Icela
nd
Sw
ed
en
Jap
an
Gre
ece
Austr
ia
Fin
land
Belg
ium
(F
l.)
Irela
nd
En
gla
nd
Ko
rea
Austr
alia
No
rway
Sp
ain
Den
mark
Germ
an
y
Sw
itze
rlan
d
Luxem
bo
urg
Do
lare
s A
nu
ale
s
Salario Máximo Salario Inicial Salario 15 años experiencia
Datos obtenidos de Education at a Glance 2008: OECD Indicators - OECD © 2008 -ISBN 9789264046283
Relación entre Salario de Profesores y Resultados PISA Matemática
Datos obtenidos de Informe PISA 2006 y Education at a Glance 2008: OECD Indicators - OECD © 2008 - ISBN 9789264046283
R² = 0.3135
400
420
440
460
480
500
520
540
560
0 10 000 20 000 30 000 40 000 50 000 60 000 70 000 80 000
Med
ias
PIS
A M
atem
átic
a
Salario Anual Profesores 15 años experiencia (Dolar es)
Matemática r= 0,56
Evaluación de profesores
• Asignación de Excelencia Pedagógica– Postulación voluntaria
– Profesores de establecimientos que reciben subvención estatal (Municipales y Particulares Subvencionados)
– Asignación se basa en Portafolio y Prueba de conocimientos pedagógicos y disciplinares
– Medición se basa en estándares de desempeño profesional (Marco para la Buena Enseñanza)
Evaluación de profesores
• Programa Nacional de Evaluación Profesional Docente (Docentemás)– Evaluación obligatoria (basada en ley)– Profesores de establecimientos Municipales– Se basa en acuerdo tripartito entre Ministerio de
Educación, Colegio de Profesores y Asociación de Municipios
– Evaluación se basa en cuatro instrumentos:• Portafolio (evidencia escrita y filmación de una clase)• Autoevaluación• Entrevista de evaluador par• Informe de Director y/o jefe de Unidad Técnico
Pedagógica– Medición se basa en estándares de desempeño
profesional (Marco para la Buena Enseñanza)
Docentemás: ¿Cómo se evalúa?
Se recogen distintas perspectivas acerca del desempeño profesional
del docente. A través de los siguientes instrumentos:
Autoevaluación
Propia perspectiva
Entrevista Evaluador Par
Perspectiva de un colega
Portafolio
Evidencia directa
Informes de Referencia de Terceros
Perspectiva de superior jerárquico
Estructura Portafolio: Productos y Subproductos
Estructura Portafolio: Productos y Subproductos
Evaluación Docente: Comparación de resultados 2005 a 2008
3,83% 2,96% 2,20% 1,14%
38,73%
32,96%35,15%
22,80%
51,42%
58,10%
54,89%
63,92%
6,02% 5,98%7,76%
12,13%
0%
10%
20%
30%
40%
50%
60%
70%
2005 2006 2007 2008
Resultados Finales 2005 a 2008
Insatisfactorio Básico Competente Destacado
Portafolio: Perfil medio en dimensiones
1
1.5
2
2.5
3
3.5
4
Organizac ión
de los
elem entos de
la unidad
Calidad de las
activ idades de
las c lases
Calidad del
instrum ento
de evaluac ión
Utilizac ión de
los resultados
de la
evaluación
Reflexión
sobre su
quehacer
docente
Am biente de la
clase
Estructura de
la c lase
Interacción
pedagógica
Video
Dimensión G: Estructura de la clase
141651416514165N =
PJE_INDG3PJE_INDG2PJE_INDG1
Mea
n +-
1 S
D
3,5
3,0
2,5
2,0
1,5
1,0
IndG.1. Calidad de la estructura de la clase
IndG.2. Utilización del tiempo instruccional
IndG.3. Contribución de las actividades al logro de los objetivos y contenidos de la clase
Distribución de resultado final según uso de computador para trabajo docente
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Menos de dos veces al mes
(6,3%)
Dos veces al mes (4%)
Una vez por semana (27,8%)
Todos los días (61,9)
Insatisfactorio Básico Competente Destacado
mjrobles1
Diapositiva 51
mjrobles1 Eliminamos el chi cuadrado porque ya no coresponde debido a la agrupación de categoríasmjrobles, 19-03-2009
Aspectos que inciden en la evaluación docente (Fuente: Valencia, 2009)
• Aspectos del profesor– Mayor formación en servicio
– Poseer Asignación de Excelencia Pedagógica
– Trabajar en un establecimiento
• Aspectos del establecimiento– Mayor proporción de otros docentes con
Asignación de Excelencia Pedagógica
– Altas expectativas académicas de los padres
– (No influye la condición socioeconómica y ruralidad del establecimiento)
Los buenos profesores hacen la diferencia (Fuente: SIMCE Informe Nacional 2008)
El Informe Nacional 2008 incluyó una sección donde comparó el rendimiento Medio de los estudiantes en el SIMCE según el número de profesores bienEvaluados a los que habían estado expuestos en los 4 años previos. Las comparaciones se hicieron al interior de cada grupo socioeconómicoPara controlar su efecto.
Evaluación de Egresados de Pedagogía• En 2008 se creó el Programa INICIA para apoyar la
renovación de la formación docente.
• El programa incluye una evaluación diagnóstica de los egresados de pedagogía
• La evaluación apunta a:– Conocimientos en el ámbito disciplinario donde el
futuro docente se desempeñará
– Conocimientos generales de educación y pedagogía
– Competencias pedagógicas fundamentales
– Competencias generales.• Habilidades de comunicación escrita;
• Competencias computacionales (con un foco en el uso pedagógico de la computación).
Puntaje PSU de ingreso Egresados de Pedagogía
• 64% de los alumnos examinados proviene deinstituciones cuyo promedio de ingreso víaPSU es inferior a los 500 puntos.
Nota: el número de instituciones se basa en aquellas con al menos 8 estudiantes con datos PSU
PSU Promedio Instituciones Estudiantes
Menor a 450 9 774
451-500 7 300
501-550 12 496
Mayor que 550 2 119
INICIA: Porcentaje de respuestas correctas Prueba de conocimientos
• Diferencia de desempeño entre generalistas y pruebas de 2º ciclo es estadísticamente significativa.
Prueba Alumnos que rinden Promedio Porcentaje de Respuestas Correctas
Generalista 1720 47%
Lenguaje Segundo Ciclo 115 42%
Matemática Segundo Ciclo
105 39%
Sociedad Segundo Ciclo 42 40%
Naturaleza Segundo Ciclo
11 36%
INICIA: Resultados en Prueba de conocimientos, según PSU de egresados
Resultados de esta prueba están directamente relacionados con puntaje PSU de ingreso de los examinados
Puntaje PSU Porcentaje de Respuestas Correctas
450 o menos 40%
451 – 500 45%
501 – 550 51%
Mayor que 550 63%
Conclusiones• Ampliación sostenida de la base de mediciones en
nuestro sistema educacional.• Perfeccionamiento y modernización de los
instrumentos empleados• Mediciones son el aspecto más visible del sistema
educacional ante la opinión pública.– Determinan la percepción social y política acerca del
progreso educacional.– Generan gran atención y debate cuando se producen
cambios, como lo demuestra el reciente cambio en las pruebas de admisión a las universidades.
• Necesidad de asegurar un marco político-institucional consensuado para crear el ambiente necesario para los desarrollos técnicos que requiere la medición educacional
Conclusiones• Las mediciones nacionales e internacionales
han ratificado el fuerte impacto que en nuestro país poseen los antecedentes socioeconómicos.
• Mayor varianza socioeconómica entre escuelas que al interior de ellas (efecto composicional)
• Necesidad de aprovechar las mediciones para orientar políticas que resuelvan los nudos centrales en la educación chilena:– Profesores: atraer, formar, retener y desarrollar
los mejores talentos– Directores: promover un auténtico liderazgo
pedagógico
Conclusiones
• Mediciones internacionales revelan importantes distancias con respecto a las aspiraciones de logro en educación.
• Bajos rendimientos nacionales también se manifiestan en nuestra elite
• Por tanto: se requiere que las mediciones educacionales apoyen la elevación de los aprendizajes:– Alineamiento de las mediciones con expectativas
nacionales de aprendizaje o rendimiento– Incorporar sistemas de información y retroalimentación
que faciliten las decisiones educacionales a nivel de escuelas y sala de clases
Conclusiones
• Las mediciones externas no han permeado suficientemente el sistema escolar:– Insuficiente preparación docente en medición– Insuficiente apropiación y aprovechamiento de
la información disponible – Necesidad de generar sistemas de monitoreo de
los aprendizajes con información útil para decisiones pedagógicas (incluyendo información individual y agregada acerca del progreso de los estudiantes)
– Insuficiente atención a los temas de comunicación de resultados (aunque SIMCE es uno de los sistemas más avanzados en este ámbito)
– Regular las consecuencias asociadas a las mediciones
La evaluación educacional en Chile: mediciones nacionales e internacionales
Jorge Manzi
Universidad Católica de Chile
www.mideuc.cl