¿Podemos identificar maestros efectivos al momento de contratación? Las clases de práctica...
-
Upload
instituto-nacional-de-evaluacion-educativa -
Category
Education
-
view
2.269 -
download
0
Transcript of ¿Podemos identificar maestros efectivos al momento de contratación? Las clases de práctica...
¿Podemos identificar maestros efectivos al momento de contratación? Las clases de práctica clínicaAlejandro J. Ganimian*, Andrew D. Ho* & Mariana Alfonso** *Universidad de Harvard **Banco Interamericano de Desarrollo
Universidad Autónoma de Madrid Madrid, España - 11 de febrero del 2015
Motivación
‣Varios estudios han demostrado que los maestros efectivos importan.
dos estudiantes
promedio
8 años 11 años
10% con mejores resultados en pruebas
40% con peores resultados en pruebas
asignado a
maestro efectivo
asignado a maestro inefectivodos
estudiantes promedio
8 años 28 años
salario promedio + $80,000 aumento de por vido
salario promedio
un año de un
maestro efectivo
un año de un maestro inefectivo
dos estudiantes
promedio
8 años 13 a 19 años
13% embarazadas en la adolescencia
12% embarazadas en la adolescencia
asignado a
maestro promedio
asignado a maestro efectivodos estudiantes
promedio
8 años 20 años
38% va a la universidad
37% va a la universidad
asignado a
maestro efectivo
asignado a maestro promedio
Source: Chetty et al. 2014, Sanders and Rivers 1996.
Motivación
‣Los datos que los sistemas escolares recolectan sobre sus docentes cuando los contratan no predice si éstos van a ser docentes efectivos.
‣Los datos que los investigadores recolectan explican sólo una pequeña parte de la variabilidad en la productividad docente.
títulos docentes
títulos de postgrado
(Clotfelter, et al., 2006, 2007; Darling-Hammond, et al., 2001; Darling-Hammond, et. al, 2005;
Goldhaber & Brewer, 2000; Hanushek, et al., 2005;
Kane et al., 2008)
(Hanushek, 1989; Hanushek et al., 2005;
Hanushek & Rivkin, 2006; Rivkin et al., 2005)
conocimiento pedagógico para cada materia
(Gitomer, et al., 2014; Hill, et al., 2011)
habilidades socio-
emocionales
(Duckworth, et al., 2009; Rockoff, et al., 2011)
Motivación
‣En el mundo, hay 35+ entradas alternativas a la docencia que requieren dos semanas de práctica antes de ejercer la profesión:
UruguayChile
Argentina
Perú
EcuadorColombia
HaitíMéxico
Estados Unidos
Australia
Nueva Zelanda
España
IndiaMalasia
Filipinas
Japón
Bangladesh
Nepal
Qatar
Pakistán
China
Suecia
Reino Unido
EstoniaLetonia
Lituania
Alemania
Bulgaria
Eslovaquia
Austria
Rumania
Bélgica
IsraelJordania
Motivación
‣Estudios previos sugieren que, una vez que los maestros entran al sistema, su efectividad un año predice su efectividad en el futuro.
Desempeño anticipado (en desviaciones estándares)
-0.10 -0.05 0 0.05 0.10
Des
empe
ño o
bser
vado
(e
n de
svia
cion
es e
stán
dare
s)
0.15
0.10
0.05
0
-0.05
-0.10
-0.15
Anticipado = Observado
Desempeño anticipado (en desviaciones estándares)
-0.10 -0.05 0 0.05 0.10
0.15
0.10
0.05
0
-0.05
-0.10
-0.15
Anticipado = Observado
Fuente: Kane et al. (2013)
Matemática Lectura
Preguntas
‣Las dos preguntas que la investigación existente no contesta son:
1) ¿Podemos realmente distinguir entre maestros efectivos e inefectivos cuando estos enseñan clases de práctica?
2) ¿Podemos usar las clases de práctica para predecir la efectividad de los maestros una vez que entren al sistema escolar?
Maestro inefectivo en
clase de prueba
Maestro efectivo en clase de
práctica
Maestro efectivo en escuela
Maestro efectivo en
clase de prueba
Contexto
Etapa 1: Postulación por Internet
Etapa 2: Centro de Evaluación
Etapa 3: Instituto de Verano
Etapa 4: Año escolar
‣ Aspirantes completan una postulación por Internet
‣ Postulantes participan en: - discusión grupal - entrevista - clase
demostración - ejercicio escrito - evaluación de
pensamiento crítico
‣ Postulantes participan en: - talleres de
formación - práctica clínica
‣ Maestros enseñan en las escuelas
‣Una entrada alternativa a la docencia (Enseñá por Argentina o ExA) tiene un proceso de selección de cuatro pasos:
Contexto
‣En cada etapa, ExA usa diferentes instrumentos:
‣ ExA califica las postulaciones usando rúbricas estructuradas
‣ ExA califica cada actividad del centro de evaluación usando rúbricas estructuradas
‣ ExA califica clases de práctica usando: - encuestas de
alumnos - observaciones de
clase
‣ ExA califica clases del año usando: - encuestas de
alumnos - observaciones de
clase - encuestas de
directores
Etapa 1: Postulación por Internet
Etapa 2: Centro de Evaluación
Etapa 3: Instituto de Verano
Etapa 4: Año escolar
Instrumentos
‣En cada etapa, ExA evalúa diferentes competencias:
Etapa 1: Postulación por Internet
liderazgo
perseverancia
logros
Instrumentos
actividades individuales (entrevista, clase demostración, ejercicio escrito, evaluación de pensamiento crítico)
‣En cada etapa, ExA evalúa diferentes competencias:
Etapa 2: Centro de Evaluación
actividad grupal (discusión grupal)
organización
comunicación
pensamiento crítico
comunicaciónliderazgo
perseverancia
apertura al feedback
respeto por la diversidad
Instrumentos
observaciones de clase
‣En cada etapa, ExA evalúa diferentes competencias:
Etapa 3: Instituto de Verano
presentación del contenido
verificación del entendimiento
manejo de disciplina
procedimientos de clase
ambiente para el aprendizaje
importancia del esfuerzo
Instrumentos
encuestas de estudiantes
‣En cada etapa, ExA evalúa diferentes competencias:
Etapa 3: Instituto de Verano
empatía por el alumno
consolidación del entendimiento
promoción de nuevas ideas
magnetismo en su presentación
rigor demandado
manejo de disciplina
claridad de exposición
Instrumentos
‣En cada etapa, ExA evalúa diferentes competencias:
Etapa 4: Año escolar
observaciones de clase
presentación del contenido
verificación del entendimiento
manejo de disciplina
procedimientos de clase
ambiente para el aprendizaje
planificación de clase
oportunidades de práctica
importancia del esfuerzo
Instrumentos
‣En cada etapa, ExA evalúa diferentes competencias:
Etapa 4: Año escolar
encuestas de directores
presentación del contenido
verificación del entendimiento
manejo de disciplina
planificación de clase
evaluaciones estudiantiles
procedimientos de clase
importancia del esfuerzo
ambiente para el aprendizaje
oportunidades de práctica
análisis de resultados
seguimiento docente
seguimiento estudiantil
Instrumentos
‣En cada etapa, ExA evalúa diferentes competencias:
Etapa 4: Año escolar
encuestas de estudiantes
empatía por el alumno
consolidación del entendimiento
promoción de nuevas ideas
magnetismo en su presentación
rigor demandado
manejo de disciplina
claridad de exposición
Asignación
‣En todas las etapas, se asignó aleatoriamente a los maestros a quienes observaron sus clases.
sorteo por computadoramaestro #1
observador #1
observador #2
observador #3
pareja asignada
aleatoriamente
Asignación
‣Durante las clases de , se asignó aleatoriamente a los maestros a quienes observaron sus clases.
sorteo por computadoramaestro #1
grupo #1
grupo #2
grupo #3
clase asignada aleatoriamente
Muestra20
13
‣Observamos 24 maestros en la cohorte del 2013 en tres etapas y 32 maestros en la cohorte del 2014 en las cuatro etapas:
2014
Etapa 1: Postulación por Internet
Etapa 2: Centro de Evaluación
Etapa 3: Instituto de Verano
Etapa 4: Año escolar
Estrategia Empírica
1) La postulación por Internet ¿predice la efectividad docente?
Yi = �j + �k + �t + �Xi + ✏ijkt
efectos fijos de observadores
en etapa 1
efectos fijos de observadores
en etapa 4
efectos fijos de cohortes
desempeño en postulación (rúbricas estructuradas)
efectividad docente
(observaciones de clase + encuestas
de alumnos + encuestas de
directores)
Resultados
‣El puntaje que los maestros obtienen en la postulación por Internet tiene una relación negativa con su efectividad docente.
(1) (2) (3) (4) (5) (6) (7)
Etapa 4 Etapa 4 Etapa 4 Etapa 4Etapa 4
encuestas de alumnos
Etapa 4 observaciones
de clase
Etapa 4 encuestas de
directores
Etapa 1-0.0001 -0.689** -0.527** -0.516** -0.697* -0.272 -0.476*
(0.181) (0.257) (0.222) (0.221) (0.358) (0.278) (0.266)
EF Etapa 1? ✔ ✔ ✔ ✔ ✔ ✔
EF Etapa 4? ✔ ✔ ✔ ✔ ✔
EF Cohortes? ✔ ✔ ✔ ✔
N 47 47 47 47 52 54 51
Resultados
‣Pero el puntaje en la postulación por Internet fue usado para seleccionar maestros. Es posible que haya descartado a los menos efectivos.
05
1015
200
510
1520
1 2 3 4 5 1 2 3 4 5
Admitido, 2013 Admitido, 2014
No-Admitido, 2013 No-Admitido, 2014
Perc
ent
Etapa 1Graphs by pexa and sel_cohort
Los admitidos tienen un mejor desempeño promedio que los no admitidos
Los admitidos también varían menos en su desempeño que los no admitidos
Es posible que pocas diferencias a este nivel de desempeño no lleven a mayor efectividad docente
Estrategia Empírica
2) El centro de evaluación ¿predice la efectividad docente?
Yi = �j + �k + �t + �Xi + ✏ijkt
efectos fijos de observadores
en etapa 2
efectos fijos de observadores
en etapa 4
efectos fijos de cohortes
desempeño en centro de evaluación (rúbricas estructuradas)
efectividad docente
(observaciones de clase + encuestas
de alumnos + encuestas de
directores)
Resultados
(1) (2) (3) (4) (5) (6) (7)
Etapa 4 Etapa 4 Etapa 4 Etapa 4Etapa 4
encuestas de alumnos
Etapa 4 observaciones
de clase
Etapa 4 encuestas de
directores
Etapa 2-0.012 0.169 0.114 0.122 0.090 0.311 -0.083
(0.141) (0.207) (0.211) (0.229) (0.211) (0.261) (0.215)
EF Etapa 2? ✔ ✔ ✔ ✔ ✔ ✔
EF Etapa 4? ✔ ✔ ✔ ✔ ✔
EF Cohortes? ✔ ✔ ✔ ✔
N 47 47 47 47 52 54 51
‣No hay una clara relación entre el puntaje de los maestros en el centro de evaluación y su efectividad docente.
Resultados
‣Si se considera sólo el puntaje en las actividades individuales del centro de evaluación, no hay relación alguna con la efectividad docente.
(1) (2) (3) (4) (5) (6) (7)
Etapa 4 Etapa 4 Etapa 4 Etapa 4Etapa 4
encuestas de alumnos
Etapa 4 observaciones
de clase
Etapa 4 encuestas de
directores
Etapa 2 actividades individuales
0.074 0.023 0.0004 0.021 -0.059 0.177 0.064
(0.104) (0.118) (0.108) (0.113) (0.165) (0.128) (0.156)
EF Etapa 2? ✔ ✔ ✔ ✔ ✔ ✔
EF Etapa 4? ✔ ✔ ✔ ✔ ✔
EF Cohortes? ✔ ✔ ✔ ✔
N 47 47 47 47 52 54 51
Resultados
‣Estos puntajes también fueron usados para seleccionar a los maestros. Es posible que hayan descartado a los maestros inefectivos.
010
2030
010
2030
1 2 3 4 5 1 2 3 4 5
Admitido, 2013 Admitido, 2014
No-Admitido, 2013 No-Admitido, 2014
Perc
ent
Etapa 2 (Actividades Individuales)Graphs by pexa and sel_cohort
05
1015
200
510
1520
1 2 3 4 5 1 2 3 4 5
Admitido, 2013 Admitido, 2014
No-Admitido, 2013 No-Admitido, 2014Pe
rcen
t
Etapa 2 (Actividad Grupal)Graphs by pexa and sel_cohort
Los maestros admitidos se desempeñaron mejor en las actividades individuales, pero no varían menos que los no admitidos
Los maestros admitidos se desempeñaron mejor y varían menos en la actividad grupal que los no admitidos
Resultados
(1) (2) (3) (4) (5) (6) (7)
Etapa 4 Etapa 4 Etapa 4 Etapa 4Etapa 4
encuestas de alumnos
Etapa 4 observaciones
de clase
Etapa 4 encuestas de
directores
Etapa 2 actividad grupal
-0.096 -0.101 -0.107 -0.103 -0.265 -0.037 -0.055
(0.108) (0.120) (0.119) (0.122) (0.173) (0.142) (0.157)
EF Etapa 2? ✔ ✔ ✔ ✔ ✔ ✔
EF Etapa 4? ✔ ✔ ✔ ✔ ✔
EF Cohortes? ✔ ✔ ✔ ✔
N 47 47 47 47 52 54 51
‣Si se considera el puntaje en la actividad grupal del centro de evaluación, la relación es negativa, pero no estadísticamente significativa.
Resultados
(1) (2) (3) (4) (5) (6) (7)
Etapa 4 Etapa 4 Etapa 4 Etapa 4Etapa 4
encuestas de alumnos
Etapa 4 observaciones
de clase
Etapa 4 encuestas de
directores
Etapa 2 clase de prueba
0.158 0.122 0.116 0.127 0.101 0.300** 0.097
(0.106) (0.117) (0.106) (0.108) (0.157) (0.116) (0.151)
EF Etapa 2? ✔ ✔ ✔ ✔ ✔ ✔
EF Etapa 4? ✔ ✔ ✔ ✔ ✔
EF Cohortes? ✔ ✔ ✔ ✔
N 47 47 47 47 52 54 51
‣Las clases de prueba del centro de evaluación predicen el desempeño en las observaciones de clase.
Estrategia Empírica
efectividad docente
(observaciones de clase + encuestas
de alumnos + encuestas de
directores)
3) La práctica clínica ¿predice la efectividad docente?
efectos fijos de observadores
en etapa 3
efectos fijos de observadores
en etapa 4
desempeño en práctica clínica (observaciones de clase + encuestas de alumnos)
Yi = �j + �k + �Xi + ✏ijk
Resultados
‣El puntaje en la práctica clínica predice la efectividad docente en las observaciones de clase y encuestas de directores.
(1) (2) (3) (5) (6) (7)
Etapa 4 Etapa 4 Etapa 4Etapa 4
encuestas de alumnos
Etapa 4 observaciones
de clase
Etapa 4 encuestas de
directores
Etapa 30.284 0.338 0.435 0.401 1.060** 0.796*
(0.216) (0.370) (0.376) (0.631) (0.364) (0.427)
EF Etapa 3? ✔ ✔ ✔ ✔ ✔
EF Etapa 4? ✔ ✔ ✔ ✔
N 32 32 32 29 31 29
Resultados
‣La relación entre las encuestas de alumnos en práctica y la efectividad docente es positiva, pero no estadísticamente significativa.
(1) (2) (3) (5) (6) (7)
Etapa 4 Etapa 4 Etapa 4Etapa 4
encuestas de alumnos
Etapa 4 observaciones
de clase
Etapa 4 encuestas de
directores
Etapa 3 encuestas de
alumnos
0.215 0.149 0.043 0.238 0.280 0.117
(0.156) (0.231) (0.215) (0.344) (0.259) (0.269)
EF Etapa 3? ✔ ✔ ✔ ✔ ✔
EF Etapa 4? ✔ ✔ ✔ ✔
N 26 26 26 29 31 29
Resultados
‣Lo mismo sucede con las observaciones de clase durante práctica.
(1) (2) (3) (5) (6) (7)
Etapa 4 Etapa 4 Etapa 4Etapa 4
encuestas de alumnos
Etapa 4 observaciones
de clase
Etapa 4 encuestas de
directores
Etapa 3 observaciones
de clase
0.073 0.076 0.158 0.001 0.412* 0.399
(0.152) (0.196) (0.179) (0.315) (0.228) (0.249)
EF Etapa 3? ✔ ✔ ✔ ✔ ✔
EF Etapa 4? ✔ ✔ ✔ ✔
N 26 26 26 29 31 29
Estrategia Empírica
efectividad docente
(observaciones de clase + encuestas
de alumnos + encuestas de
directores)
4) La práctica clínica ¿predice la efectividad docente, teniendo en cuenta el desempeño en etapas previas?
efectos fijos de observadores
en etapa 3
efectos fijos de observadores
en etapa 4
desempeño en práctica clínica (observaciones de clase + encuestas de alumnos)
Yi = �j + �k + �Xi + ✏ijkt
Resultados
(1) (2) (3) (5) (6) (7)
Etapa 4 Etapa 4 Etapa 4Etapa 4
encuestas de alumnos
Etapa 4 observaciones
de clase
Etapa 4 encuestas de
directores
Etapa 3 observaciones
de clase
0.294 0.462 0.493 0.442 1.089** 0.872**
(0.243) (0.405) (0.384) (0.546) (0.380) (0.349)
Etapa 1? ✔ ✔ ✔ ✔ ✔ ✔
Etapa 2? ✔ ✔ ✔ ✔ ✔ ✔
EF Etapa 3? ✔ ✔ ✔ ✔ ✔
EF Etapa 4? ✔ ✔ ✔ ✔
N 26 26 26 29 31 29
‣La práctica clínica predice la efectividad docente aún cuando se tiene en cuenta el puntaje de los maestros en etapas anteriores.
Resultados
‣Las relaciones no varían por cohorte (2013 y 2014).
‣Las relaciones tampoco varían por momento del año en el que se recolectaron los datos (comienzo v. fin de año).
‣Las relaciones no varían por quintil de desempeño en etapas 1 ó 2.
- La única relación que varía por quintil de desempeño es aquella entre las etapas 3 y 4 varían por quintil.
- La relación entre estas etapas es más estrecha entre los maestros con bajo desempeño en la etapa 3.
010
2030
4050
6070
8090
100
Perc
entil
en
Etap
a 4,
201
4
0 20 40 60 80 100Percentil en...
Etapa 1 Etapa 2 Etapa 3
Resultados
‣El poder predictivo de la práctica clínica resulta principalmente de poder identificar a quienes serán los maestros menos efectivos.
La Etapa 1 y la Etapa 2 no predicen desempeño en la Etapa 4 en ninguna parte de la distribución
La Etapa 3 predice el desempeño en la Etapa 4 en la “cola izquierda” de la distribución
Conclusiones
‣En el contexto estudiado, las clases de práctica clínica demuestran promesa para predecir la efectividad docente.
- Estas clases agregan información no capturada por el proceso de postulación y selección docente.
- Son más útiles para identificar a maestros que van a tener gran dificultad en el sistema escolar y menos útiles para identificar a maestros que van a tener un gran desempeño.
- Son más útiles para predecir desempeño en observaciones de clase y encuestas de directores.
‣Las medidas de postulación y selección no predicen diferencias entre individuos que entraron al programa.
- Sin embargo, estas variables fueron utilizadas para seleccionar a quienes entraron al programa, así que es posible que hayan dejado fuera individuos que hubiesen sido poco efectivos como maestros.