¡Novedades en nuestro @SlideShare!Presentación curso #UIMP:Factores determinantes de la...

J. Ignacio García-Pérez Marisa Hidalgo-Hidalgo (Universidad Pablo de Olavide, Sevilla)

UIMP (Santander) Julio 1-2, 2014

Evaluación de PROA: su efecto sobre el rendimiento de los estudiantes

2/29Evaluación de PROA: su efecto sobre el rendimiento de los estudiantes UIMP, 1-2 Julio 2014

Motivación

Aumento competencia internacional interés diferencias en los resultados académicos entre países centro del debate educativo: medidas para mejorar la calidad del sistema educativo español.

Esta calidad se refleja en: los resultados que obtienen los alumnos. y en la eficacia de las acciones dirigidas a alcanzar la igualdad de

oportunidades. Entre todas las medidas tomadas para mejorar la calidad:

programa de apoyo dirigido a centros con estudiantes de origen socioeconómico bajo (PROA)

Introducción

3/29

¿Qué es PROA?

Plan de Refuerzo, Orientación y Apoyo destinado a centros de Primaria y Secundaria.

Objetivo: apoyar a los centros educativos que atienden a un número significativo de alumnos en situación de desventaja educativa, para mejorar la calidad educativa y los resultados escolares.

Modalidades: A) Programa de Acompañamiento Escolar B) Programa de Apoyo y Refuerzo

Evaluación de PROA: su efecto sobre el rendimiento de los estudiantes UIMP, 1-2 Julio 2014

Introducción

4/29

¿Qué es PROA?

A) Programa de Acompañamiento Escolar Centros de Primaria y Secundaria Apoyo en pequeños grupos y horario extraescolar Monitores o profesores del propio centro Dirigido a:

Primaria: Alumnos de dos últimos ciclos, seleccionados por el tutor.

Secundaria: Alumnos de cualquier ciclo, seleccionados por el equipo de profesores y el tutor.


Introducción

5/29

¿Qué es PROA?

B) Programa de Apoyo y Refuerzo Centros de Secundaria Apoyo global al centro Conjunto de actuaciones sobre el ámbito escolar, familiar

y del entorno Dirigido a:

Centros que se encuentran en entornos difíciles y con una proporción elevada de alumnos con dificultades.


Introducción

6/29

Objetivo estudio

Actualmente existe cierta evaluación previa: Porcentaje de alumnos que promocionan, que abandonan, etc. Grado de satisfacción de los agentes implicados (monitores o

profesores, tutores, coordinadores, alumnos, familias, equipo directivo y jefes de departamento)

Evaluar efectividad PROA en sobre los resultados académicos de los estudiantes a nivel individual. Utilizaremos resultados de pruebas externas al centro: PISA

2012. Compararemos los resultados de centros con características

similares que se diferencian en que unos han tenido PROA en el periodo 2005-2012 y otros no.


Introducción

7/29

Literatura previa

Evaluaciones de políticas educativas consistentes en clases de recuperación, apoyo o refuerzo dirigidas a estudiantes con bajo rendimiento educativo (remedial education)

Problema: estas políticas son difíciles de evaluar debido al problema de selección muestral:

Las características personales de estos estudiantes afectan tanto a la probabilidad de ser seleccionados como al éxito del programa.


Introducción

8/29

Literatura previa

Distingue entre tres tipos de efectos: Corto plazo: Lavy and Schlosser, 2005; Jacob and Lefgren, 2004;

Hanushek et al., 2002; Banerjee et al., 2007. Largo plazo: ¿Desaparece el efecto tras el programa?

Banerjee et al., 2007 encuentran que, sólo un año después de la finalización del programa, su efecto desaparece.

Duración/ Intensidad: ¿El efecto de este tipo de intervenciones es acumulativo?

Banerjee et al., 2007 también encuentran que, aquellos estudiantes que participaron en el programa durante dos años consecutivos, pudieron experimentar incrementos en su capital humano que aumentaron sus puntuaciones académicas en los dos años siguientes.


Introducción

9/29

Literatura previa

Estos resultados sugieren que este tipo de programas pueden ser efectivos en la reducción de las diferencias de rendimiento académico entre estudiantes con diferentes características socio-económicas,

…pero que los diseñadores de políticas deben tener como objetivo intervenciones de largo plazo.

Así, siguiendo esta literatura en este trabajo analizaremos los efectos de PROA en el corto y largo plazo, así como el efecto de la intensidad de la intervención.


Introducción

10/29

Principales resultados

1) En general PROA tiene efectos positivos, aunque reducidos, sobre el rendimiento académico de los alumnos: ambas modalidades de PROA mejoran los resultados sobre todo en lectura, tanto en el corto como en el largo plazo.

2) La modalidad PAE (Programa de Acompañamiento) es la más efectiva en el Corto Plazo. En el largo Plazo el PAR (Programa de refuerzo) es el programa PROA más efectivo.

3) El efecto de las intervenciones a través de PROA es acumulativo: los estudiantes que se encuentran en centros que recibieron PROA uno o dos años más obtienen mejores resultados que el resto.


Introducción

11/29

Análisis descriptivoEvolución centros PROA: 2005-2012


12/29

Análisis descriptivoCentros PROA-PISA 2012: 2008-2012


13/29



14/29


Por lo tanto tenemos varios tipos de centros: No han sido tratados con PROA ningún año. Han sido tratados con PROA-Acompañamiento de éstos

tenemos el número de cursos que han participado en dicho programa

Han sido tratados con PROA-Refuerzo de éstos tenemos el número de cursos que han participado en dicho programa

Han participado en ambos programas también tenemos el número de años que lo han hecho.

Compararemos centros tratados con centros no tratados


15/29

Análisis descriptivoPISA 2012

Resultados académicos: lengua, matemáticas y ciencias Variables que utilizamos como controles:

Individuales: sexo, estatus inmigrante, si es alumno repetidor o no, si ha asistido a educación infantil o no

Socio-familiares: educación y ocupación de los padres Centro educativo: porcentaje estudiantes del centro cuyos

padres tienen estudios superiores


16/29



17/29



18/29

Metodología: matching (emparejamiento)


19/29

El principal problema para evaluar este programa es que la selección de los individuos tratados no es aleatoria.

Por tanto, los individuos tratados y no tratados pueden diferir en otras características, diferentes de la asignación o no al tratamiento.

Si no se tienen en cuenta dichas características, se podría estar atribuyendo de forma espúrea al tratamiento un efecto sobre la variable de interés que realmente es debido a la influencia de otras características.

Por tanto, para poder obtener efectos causales es necesario controlar por las diferencias entre individuos tratados y no tratados.

El objetivo con el matching es el de emparejar cada participante con aquellos no participantes similares a él es como si construyéramos un experimento con datos no experimentales.



20/29

Una vez tenemos individuos tratados y controles con los mismos valores en cuanto a la probabilidad de ser tratados (haber recibido PROA), evaluamos el efecto de la política mediante tres metodologías distintas: Estratificación:

Se construyen intervalos de tratados y controles con igual probabilidad de ser tratados.

Vecino más cercano: Asigna un peso de 1 al control más cercano al tratado en cuestión y cero

al resto de controles. Radio:

Usa todos los controles de un entorno cercano al tratado para construir la comparación

Asigna pesos diferentes a cada observación dentro del entorno, siendo los pesos menores cuanto mayor es la distancia del tratado en cuestión.



21/29

Metodología: matchingNos centramos en una muestra restringida (estudiantes

cuya puntuación en PISA, matemáticas, ciencias y lectura, está por debajo de la mediana).

Variables que se evalúan: puntuación en PISA en cada una de las materias (diferencia entre

el grupo de control y el de tratamiento): “Mates”, “Ciencias” y “Lectura”

probabilidad de estar en el percentil 25 de la distribución de resultados en PISA (diferencia entre el grupo de control y el de tratamiento): “Mates25”, “Ciencias25” y “Lectura25”.


22/29

Resultados: corto plazo

El PAE (Programa de acompañamiento) es más efectivo que el PAR (Programa de refuerzo) en el Corto Plazo.

Destacan los efectos positivos del PAE sobre los resultados de Lectura, tanto la puntuación como la probabilidad de salir del percentil más bajo.


23/29

Resultados: largo plazo

El PAR (Programa de refuerzo) es más efectivo que el PAE (Programa de acompañamiento en el Largo Plazo.

Destacan los efectos positivos del PAR sobre los resultados de Ciencias y Lectura, tanto la puntuación como la probabilidad de salir del percentil más bajo.


24/29

Resultados: intensidad/duración

Si el PAE se mantiene 3 cursos en lugar de 2 esto implica mejoras en los resultados de Matemáticas.


25/29

Resultados: intensidad/duración

Si el PAR se mantiene 4 cursos en lugar de 2 esto implica mejoras en los resultados de Lectura.


26/29

Conclusiones1) El PAE (Programa de acompañamiento) es más efectivo

que el PAR (Programa de refuerzo) en el Corto Plazo. 2) Sin embargo, el PAE (Programa de acompañamiento) es

menos efectivo que el PAR (Programa de refuerzo) en el Largo Plazo.

3) Esto puede deberse a las características de cada programa: a) mientras el PAE implica acciones inmediatas durante el curso

académico (clases extra) cuyos efectos también deben serlo…b) …el PAR puede implicar realizar inversiones adicionales

(material escolar, bibliotecas, laboratorios, etc.) por parte de los centros, cuyos efectos son más visibles en el largo plazo, cuando se termina de implementar el programa.


27/29

Conclusiones4) Los efectos del PAE son más fuertes en Matemáticas y

Lectura. Esto puede deberse de nuevo a las características propias del

programa (clases extra de asignaturas que requieren un mayor esfuerzo)

5) Los efectos del PAR son más fuertes en Ciencias y Lectura. De nuevo, en la medida que los recursos complementarios que

recibe el centro los destina a mejoras en las instalaciones: biblioteca, laboratorios, etc. esto podría implicar mejoras en estas materias.


28/29

Conclusiones

6) El efecto de estas intervenciones es acumulativo: Los alumnos que se encuentran en centros que

tuvieron PAR dos años más (4 en lugar de 2) tienen mejores resultados. Estos mejores resultados son más evidentes en Lectura.

Los alumnos que se encuentran en centros que tuvieron PAE un año más (4 en lugar de 3, o 3 en lugar de 2) tienen mejores resultados. Estos mejores resultados son más evidentes en Matemáticas y

Ciencias.


29/29

Conclusiones

7) Cautela: es muy complicado establecer relaciones causales en general en este tipo de programas.

8) Importante: disponer de más y mejores datos relativos a su implementación: Criterios específicos de selección del centro Número de alumnos implicados Modalidad concreta Etc..


¡Novedades en nuestro @SlideShare!Presentación curso #UIMP:Factores determinantes de la...

Education

Transcript of ¡Novedades en nuestro @SlideShare!Presentación curso #UIMP:Factores determinantes de la...