Post on 21-Jan-2018
Efectos del estatuto docente del 2002 sobre los resultados académicos de
los estudiantes
Zelda Brutti *, Fabio Sánchez Torres °
* IEB y Universidad de Barcelona; ° CEDE y Universidad de Los Andes
Calidad del profesor Varios aspectos en la literatura:
•Los buenos profesores pueden hacer una gran diferencia en laeducación (Chetty et al. [2014] Rivkin et al. [2005], Rockoff[2005] ...)
•Qué hace un buen maestro (Rockoff et al. [2011], Kane et al.[2008], Gordon et al. [2006] ...)
•Cómo podemos hacer mejores maestros, o retener a losmejores (Hanushek Et al. [2004], Figlio [2001] ...)
Consenso: Los maestros hacen una gran diferencia en elaprendizaje de los estudiantes y los controles de calidad sondeseables (aunque no hay consenso sobre cuáles exactamente).
…y la calidad de los docentes en los países en desarrollo• Varios países de América Latina (y del Sudeste de Asia) estáncomenzando a intervenir la calidad docente directamente.
• Colombia ha iniciado una gran transición de la cual se puedeaprender
Colombia ha hecho de la educación una prioridad en pro demejorar la prosperidad económica y social del país. Secomprometieron más recursos a este sector que cualquier otroámbito político [OCDE, 2016].
• Gran reforma en 2002: Introducción de requisitosde calidad docente e incentivos.
Objetivos de este trabajo • Evaluar cómo la reforma docente del 2002 en Colombia ha impactado el desempeño estudiantil
¿La nueva regulación ha sido exitosa en la tarea de generar "mejores" maestros? (En general, SÍ)
Investigar los posibles canales del efecto ¿Cuáles disposiciones de la reforma han sido las más eficaces?
Documentar el incumplimiento significativo (y preocupante!) de la nuevas reglas Reducción consecuente de los beneficios para los estudiantes
Revisión de literatura
Efectividad de las políticas de aseguramiento de la calidad• Figlio (2001), Hanushek et al. (2004)
Calidad docente en América Latina • Duarte (2001, 2003), Rossel y Valliant (2006), Murillo et al. (2007), Louzano y Moriconi (2014)
Evaluación de la reforma colombiana de 2002• Ome (2012, 2013): Con efectos fijos de escuela (variación anual), encuentra efectos en primaria pero no encuentra ningún efecto en los estudiantes de secundaria.
Contribución
• Mejorar las evaluaciones previas del efecto de la reforma docente sobre el rendimiento estudiantil en Colombia.
• Primer intento de investigar los canales y las heterogeneidades del efecto.
• Análisis novedoso de la relación entre las características de los docentes del nuevo estatuto (especialmente, los resultados de las pruebas de ingreso) y el desempeño estudiantil.
• Documentación robusta de las fallas importantes de reforma.
Hallazgos
• Se encuentra un efecto positivo y significativo de la reforma Con una estrategia de efectos fijos within colegio-año
• El efecto parece estar dirigido por la selección a la entrada, pero no por la selección posterior durante la carrera docente
• Los docentes del nuevo estatuto presentan rendimientos marginales decrecientes
Antes de la reforma
El proceso de entrada no era transparente, nombramientos de docentes a través de "Actos administrativos"
Promociones automáticas (cada 3 años)
Protección excesiva en el trabajo (era casi imposible despedirlos)
El sistema no creaba incentivos para que los profesores invirtieran en sus habilidades pedagógicas y conocimiento del área de enseñanza
Después de la reforma
1. Concurso selectivo para entrar
2. Período de prueba
3. Evaluación del desempeño permanente (anual)
3.1 Pre-requisitos para ser promovido
3.2 Posibilidad de ser despedido
Aspectos clave de la reforma
• Las disposiciones de la nueva regulación sólo aplican para los profesores contratados después de 2002 (acuerdo con los sindicatos)
• Los maestros que ya ejercían la profesión antes de la reforma siguen sus carreras según las antiguas reglas
• Aprovechamos la existencia de la mezcla entre docentes con nuevo estatuto y docentes con antiguo estatuto para identificar el efecto de la reforma
• Controlando por selección (efectos fijos colegio-año y por área de enseñanza)
1. Concurso de selección• Cada secretaría de educación emite una convocatoria pública para las aplicaciones, especificando el número y tipo de vacantes.
• Los candidatos eligen la secretaría de educación a la que desea aplicar.
• Los candidatos participan en un concurso que incluye Examen de conocimientos y habilidades pedagógicas
Evaluación de títulos
Entrevista verbal
• Con base en la puntuación global que obtiene cada candidato en el concurso, este puede elegir su vacante preferida (el resto quedan en una lista de espera)
2. y 3. Periodo de prueba y evaluación permanente 2. Periodo de prueba
• Los candidatos que obtengan una vacante entran por primera vez en un período de prueba (Mínimo 4 meses, máximo 1 año académico)
• El director del colegio evalúa el nuevo maestro utilizando un formato estandarizado y puede vetarlo
3. Evaluación permanente
• El director del colegio evalúa el maestro (después del período de prueba) cada año.
• Los maestros toman pruebas similares a la prueba de ingreso cuando aplican a una promoción (la cual es denegada si el resultado de la prueba es insatisfactorio).
Datos• Profesores: datos administrativos (Ministerio de Educación), a nivel de individuo entre 2008-2013
• El 87,4% de los nuevos profesores cuentan con información del puntaje de la prueba de ingreso.
• Estudiantes: datos administrativos (ICFES) del examen final de secundaria (Saber11) entre 2000 y 2013.
• Match entre profesores y estudiantes, a nivel de la escuela-cohorte (no hay información disponible sobre la clase en la que dictaba el docente)
• Por ejemplo, match entre resultados de la prueba Saber 11 en 2005 para matemáticas en la escuela A y maestros de matemáticas que enseñaban en secundaria de la escuela A en 2005.
Estadísticas descriptivas – Por departamento
58
59
60
61
62
63
64
65
66
San
An
dré
s
San
tan
der
Bo
gotá
Qu
ind
ío
V. d
el C
auca
Atl
ánti
co
Am
azo
nas
Cu
nd
inam
arca
Ris
aral
da
N. S
anta
nd
er
Cal
das
Pro
m N
acio
nal
Bo
yaca
Có
rdo
ba
An
tio
qu
ia
Bo
líva
r
La
Gu
ajir
a
Gu
avia
re
Nar
iño
Hu
ila
Caq
uet
a
Ces
ar
To
lim
a
Mag
dal
ena
Sucr
e
Met
a
Cas
anar
e
Cau
ca
Pu
tum
ayo
Gu
ain
ía
Ara
uca
Vau
pés
Vic
had
a
Ch
ocó
Pu
nta
je p
rom
edio
Docentes nueva regulación (Aprobaron)
Estadísticas descriptivas – Por departamento
0%
5%
10%
15%
20%
25%
30%
35%
40%
Bo
gotá
Cu
nd
inam
arca
Qu
ind
ío
An
tio
qu
ia
Hu
ila
Ris
aral
da
Bo
yac
a
San
tan
der
V. d
el C
auca
Met
a
Cal
das
To
tal N
acio
nal
Cas
anar
e
Mag
dal
ena
Bo
lív
ar
Caq
uet
a
Có
rdo
ba
To
lim
a
Ces
ar
Gu
ain
ía
Ch
ocó
La
Gu
ajir
a
San
An
dré
s
Sucr
e
Gu
avia
re
Nar
iño
Am
azo
nas
Pu
tum
ayo
Atl
ánti
co
N. S
anta
nd
er
Vau
pés
Vic
had
a
Cau
ca
Ara
uca
Po
rcen
taje
Número docentes nueva regulación (aprobaron) / Total docentes
Estadísticas descriptivas – Por departamento
0%
5%
10%
15%
20%
25%
30%
35%
40%G
uai
nía
Vau
pés
Cas
anar
e
Caq
uet
a
Gu
avia
re
Met
a
Vic
had
a
Am
azo
nas
An
tio
qu
ia
Pu
tum
ayo
Ch
ocó
Nar
iño
Cu
nd
inam
arca
San
An
dré
s
Bo
yac
a
To
lim
a
Hu
ila
Ces
ar
Ris
aral
da
Ara
uca
Cal
das
Bo
gotá
Có
rdo
ba
Mag
dal
ena
San
tan
der
La
Gu
ajir
a
V. d
el C
auca
Qu
ind
ío
Cau
ca
Bo
lív
ar
Sucr
e
Atl
ánti
co
N. S
anta
nd
er
Porcentaje de profesores temporales (2008-2013)
Estadísticas descriptivas – Por departamento
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Vau
pés
Gu
ain
ía
Vic
had
a
Ara
uca
Am
azo
nas
Nar
iño
Pu
tum
ayo
Gu
avia
re
San
An
dré
s
Cas
anar
e
Caq
uet
a
Met
a
Ch
ocó
Cau
ca
An
tio
qu
ia
To
lim
a
Ces
ar
Bo
yac
a
La
Gu
ajir
a
Cal
das
Hu
ila
Ris
aral
da
Cu
nd
inam
arca
Mag
dal
ena
San
tan
der
Có
rdo
ba
V. d
el C
auca
Bo
gotá
Sucr
e
Atl
ánti
co
Bo
lív
ar
Qu
ind
ío
N. S
anta
nd
er
Porcentaje de profesores temporales de la nueva regulación (2008-2013)
Los profesores “irregulares” I
Alrededor del 28% de los profesores activos del nuevo estatuto tienen un puntaje (máximo alcanzado) menor al mínimo
Los profesores “irregulares” II
... y la mayoría de ellos nunca pasaron el examen de admisión, y se encuentran en"Posiciones temporales"
Los profesores “irregulares” II
•Existe una alta heterogeneidad en la distribución a lo largo de todo el país
• Probablemente correlacionado con otros indicadores. Señal de la desigualdad (trabajo en progreso)
• La mayoría de estos maestros irregulares han intentado el examen de ingreso múltiples veces (83%)
Identificación: Ilustración
- Mejor ubicación- Mejor gestión - Buena reputación…
- Peor ubicación- Peor gestión - Mala reputación…
NUEVOS 50%
NUEVOS 30%
ANTIGUOS 30%
ANTIGUOS 70%
Rendimiento comparado
Identificación: Ilustración
NUEVOS 50%
NUEVOS 30%
ANTIGUOS 30%
ANTIGUOS 70%
2005
2008
- Desarrollo del área - Cambio de rector- Cambio de reputación …Rendimiento comparado
Identificación: Ilustración
NUEVOS 50%
NUEVOS 25%
ANTIGUOS 30%
ANTIGUOS 75%
NUEVOS 75%
ANTIGUOS 25%
Matemáticas
Lenguajes
Ciencias Compara el desempeño
Identificación: Ilustración
Efecto fijo de colegio-año y por área de enseñanza.
6.000 colegio
8 áreas de evaluación
6 años (2008-2013)
Identificación: Ilustración
𝑦𝑖𝑡𝑠 = 𝛽0 + 𝛽1𝑆𝑁𝑃𝑖𝑡𝑠 + 𝛽2𝑆𝑁𝑁𝑃𝑖𝑡𝑠 + 𝜷𝒌𝑿𝒌𝒊𝒕𝒔 + 𝛼𝑖𝑡 + 𝛼𝑠 + 𝑒𝑖𝑡𝑠
• Efectos fijos de colegio-año y por áreaPor ejemplo: en la escuela A, en el año 2005, habían 50% de docentes de matemáticas del nuevo estatuto, pero sólo 25% de docentes de español del nuevo estatuto. Se compara el rendimiento de los mismos estudiantes en Matemáticas y Español ese año.
• De esta forma se controla por características del colegio, gestión del rector, choques temporales al colegio, etc…
Un aumento de la participación de los docentes del nuevo estatuto en 10% en un colegio, área de enseñanza y año dado, aumenta el desempeño de los estudiantes, en promedio, en 0.9% de una desviación estándar
¿Qué tan grande es el efecto?
• Considerando el desempeño de los estudiantes como resultado:• En nuestra muestra y estimaciones: Es equivalente a
aumentar la experiencia promedio del dodcente en 7 años.
• Comparado con la literatura de Estados Unidos • Pasar de 100% de profesores tradicionales a 100% de
profesores con el nuevo estatuto en un área de enseñanza, en Estados Unidos, es comparable a asignarle a un docente 1 desviación estándar de calidad
No linealidad 1Efecto marginal de los diferentes niveles de participación de los docentes del
nuevo estatuto (aprobaron)
Resumen de las no linealidades
Los docentes del nuevo estatuto:• Retornos marginales decrecientes (efecto más grande para los
primeros docentes) • ¿Efectos de pares? ¿Efecto de derramamiento (spillovers)?
• No hay diferencias significativas por área de enseñanza (Matemáticas es un poco más fuerte, Filosofía e Inglés es más débil)
• Rendimientos marginales crecientes en la participación de los docentes con postgrado.• ¿Más receptivos y abiertos a innovación?
Selección a la entrada- Por departamento
0%
5%
10%
15%
20%
25%
30%
35%
40%
BO
GO
TA
SAN
TA
ND
ER
HU
ILA
RIS
AR
AL
DA
ME
TA
NO
RT
E S
AN
TA
ND
ER
CA
LD
AS
AN
TIO
QU
IA
CU
ND
INA
MA
RC
A
VA
LL
E
NA
RIÑ
O
QU
IND
IO
AT
LA
NT
ICO
CA
UC
A
CA
QU
ET
A
BO
YA
CA
TO
LIM
A
CO
RD
OB
A
GU
AV
IAR
E
VIC
HA
DA
SUC
RE
PU
TU
MA
YO
CA
SAN
AR
E
CE
SA
R
AM
AZ
ON
AS
LA
GU
AJI
RA
BO
LIV
AR
AR
AU
CA
MA
GD
AL
EN
A
VA
UP
ES
CH
OC
O
SAN
AN
DR
ES
Po
rcen
taje
ap
rob
aro
n
Docentes aprobaron/ Docentes que presentaron el examen (2009)
Conjeturas de los canales
• Selección a la entrada
• Selección en periodo de prueba ?
• Despido de docentes con posiciones permanentes
Conclusiones
• La reforma colombiana ha tenido resultados positivos en términos del desempeño de los estudiantes• Alrededor de un incremento de 0.9% desviaciones estándar
en los puntajes de la prueba Saber 11 por cada 10% de docentes adicionales del nuevo estatuto.
• Es probable que el efecto esté determinado por la selección a la entrada, posiblemente por el periodo de prueba, pero no por la selección posterior durante la carrera docente.
• El puntaje de los docentes en la prueba de ingreso es una señal de la calidad de los docentes
• Se debe mejorar la permanencia de los docentes que presentan el mejor desempeño