EL SISTEMA DE EVALUACIÓN DE LA EDUCACIÓN BÁSICA DE …12dfa166-0c96-4746-8793-947a3… · sa...

19
EL SISTEMA DE EVALUACIÓN DE LA EDUCACIÓN BÁSICA DE BRASIL MARÍA HELENA GU1MARÁES DE CASTRO (*) MARÍA INÉS COMES DE SÁ PESTANA (*) MARÍA ALEJANDRA SCHULMEYER IRIARTE (*) RESUMEN. La propuesta de instituir un sistema de evaluación de la educación sur- gió en Brasil al inicio de la Nueva República en 1985/1986 para proporcionar a las autoridades ministeriales elementos para implementar políticas en pro de la mejora de la educación. Se aborda el concepto de calidad a través de dos aproximaciones: una de forma conceptual y otra centrada en su operacionalización (a la que se asocian otros con- ceptos como efectividad y eficiencia). La evaluación, efectuada a través del Sistema Nacional de Evaluación de la Educa- ción Básica (SAEB), se lleva a cabo mediante la aplicación de varios cuadernos de pruebas, con cerca de 150 ítems por grado y disciplina, valorándose no sólo el nivel de competencia de los alumnos sino también otros factores contextuales y escolares que inciden en la calidad de la educación. Los objetivos de la actuación del SAEB son la superación de los problemas diag- nosticados o consolidación de las prácticas exitosas y permitir que la sociedad brasi- leña cuente con un instrumento de control social del importante servicio público educativo. Todo ello se enmarca en el papel líder del gobierno federal a fin de pro- mover la equidad y calidad del sistema educativo. INTRODUCCIÓN Durante la década de los ochenta, las polí- ticas educacionales se vieron enfrentadas a nuevos desafíos, puesto que las nuevas condiciones de competencia en el merca- do mundial pusieron de relieve las venta- jas comparativas de las sociedades que ha- bían aumentado la educación de sus trabajadores y dirigentes. Es por ello que las políticas educacio- nales comenzaron a darle más atención no tan sólo a la eficiencia del funcionamiento de sus instituciones escolares, con la in- tención de potenciar los resultados de la aplicación de los limitados recursos dispo- nibles, sino también a la propia calidad de esos resultados, ampliando y profundi- zando los análisis realizados en relación a la eficiencia en la administración escolar, a (*) Instituto Nacional de Estudios e Investigaciones Educacionales, Ministerio de Educación y Depor- tes. Brasil. Revista de Educación, núm. 321 (2000), pp. 61-80 61

Transcript of EL SISTEMA DE EVALUACIÓN DE LA EDUCACIÓN BÁSICA DE …12dfa166-0c96-4746-8793-947a3… · sa...

Page 1: EL SISTEMA DE EVALUACIÓN DE LA EDUCACIÓN BÁSICA DE …12dfa166-0c96-4746-8793-947a3… · sa índole, donde están incluidos los siste-mas de enseñanza y la evaluación. En América

EL SISTEMA DE EVALUACIÓN DE LA EDUCACIÓN BÁSICA DE BRASIL

MARÍA HELENA GU1MARÁES DE CASTRO (*)MARÍA INÉS COMES DE SÁ PESTANA (*)

MARÍA ALEJANDRA SCHULMEYER IRIARTE (*)

RESUMEN. La propuesta de instituir un sistema de evaluación de la educación sur-gió en Brasil al inicio de la Nueva República en 1985/1986 para proporcionar a lasautoridades ministeriales elementos para implementar políticas en pro de la mejorade la educación.

Se aborda el concepto de calidad a través de dos aproximaciones: una de formaconceptual y otra centrada en su operacionalización (a la que se asocian otros con-ceptos como efectividad y eficiencia).

La evaluación, efectuada a través del Sistema Nacional de Evaluación de la Educa-ción Básica (SAEB), se lleva a cabo mediante la aplicación de varios cuadernos depruebas, con cerca de 150 ítems por grado y disciplina, valorándose no sólo el nivelde competencia de los alumnos sino también otros factores contextuales y escolaresque inciden en la calidad de la educación.

Los objetivos de la actuación del SAEB son la superación de los problemas diag-nosticados o consolidación de las prácticas exitosas y permitir que la sociedad brasi-leña cuente con un instrumento de control social del importante servicio públicoeducativo. Todo ello se enmarca en el papel líder del gobierno federal a fin de pro-mover la equidad y calidad del sistema educativo.

INTRODUCCIÓN

Durante la década de los ochenta, las polí-ticas educacionales se vieron enfrentadas anuevos desafíos, puesto que las nuevascondiciones de competencia en el merca-do mundial pusieron de relieve las venta-jas comparativas de las sociedades que ha-bían aumentado la educación de sustrabajadores y dirigentes.

Es por ello que las políticas educacio-nales comenzaron a darle más atención notan sólo a la eficiencia del funcionamientode sus instituciones escolares, con la in-tención de potenciar los resultados de laaplicación de los limitados recursos dispo-nibles, sino también a la propia calidad deesos resultados, ampliando y profundi-zando los análisis realizados en relación ala eficiencia en la administración escolar, a

(*) Instituto Nacional de Estudios e Investigaciones Educacionales, Ministerio de Educación y Depor-tes. Brasil.

Revista de Educación, núm. 321 (2000), pp. 61-80

61

Page 2: EL SISTEMA DE EVALUACIÓN DE LA EDUCACIÓN BÁSICA DE …12dfa166-0c96-4746-8793-947a3… · sa índole, donde están incluidos los siste-mas de enseñanza y la evaluación. En América

las mediciones de lo que habría sido gana-do en términos de aprendizaje y de la efi-cacia de los currículos y, recientemente, ala adquisición y dominio de competenciasy habilidades cognitivas.

En consecuencia, esta última décadase caracterizó 'Por la enorme importanciaque se les atribuyó a las estructuras dirigi-das a evaluar el desempeño de los sistemasescolares, originando, en un gran númerode países, el desarrollo de diversas modali-dades de evaluación de sus propios siste-mas de enseñanza. Así, en los EstadosUnidos, prácticamente todos los estadosestán desarrollando o reformulando pro-fundamente los sistemas de evaluación deldesempeño de sus alumnos. De la mismaforma, diversos países de Europa hanaprovechado las instancias de reorganiza-ción política y económica para estableceracuerdos de cooperación mutua, de diver-sa índole, donde están incluidos los siste-mas de enseñanza y la evaluación.

En América Latina, la medición de lacalidad de la educación comenzó a desa-rrollarse de una forma amplia en Brasil yChile, a partir de 1988. Los demás paísessolamente tomaron iniciativas en esa di-rección durante la actual década, exceptoCuba que desarrolla actividades en esaárea desde 1975. Anteriormente, las eva-luaciones existentes eran limitadas y espe-cíficas, siendo utilizadas, casi exclusiva-mente, como un mecanismo de selecciónpara tener acceso a la educación superior.Está claro que tales actividades correspon-dían a mediciones de carácter individual,por lo tanto poco podían informar de loque estaba sucediendo en los sistemaseducacionales como un todo.

Siendo así, el criterio generalizado eraT'e, de forma general, hasta hace pocotiempo atrás habría un bajo nivel de expe-riencias acumuladas en la región, razónpor la cual varias instancias internaciona-les crearon foros de discusión sobre eltema con énfasis en la calidad de la educa-ción. Los sistemas de evaluación existen-

tes comenzaron a crear programas espe-ciales que les permitiese a los 'diversos paí-ses aprender a trabajar o perfeccionar susactividades en este sentido, comenzandopor la identificación de las situacionesproblemáticas (cuando no tenían expe-riencias en ese sentido), intercambiar ex-periencias exitosas (cuando ya habían rea-lizado algunas actividades en ese sentido),creando bibliografía y poniendo al alcancede los técnicos la ya existente, pasandodespués al diseño de proyectos concretosen ámbito internacional, algunos de loscuales, actualmente, están en fase de eje-cución.

La proposición de instituir un sistemade evaluación surgió, en el Ministerio deEducación, durante el período de rede-mocratización del país, al inicio de laNueva República en 1985/1986. Enaquel momento se discutía la cuestión fe-derativa, la redefinición de los papeles ylas atribuciones de los diversos niveles degobierno existentes en Brasil y también, elsentido de la cooperación, de la articula-ción, de la integración y de la colabora-ción entre las instancias de gobierno. Ta-les cuestiones, por diversos motivos,continuarían siendo debatidas hasta finesde la década siguiente.

Fue así que surgió el Sistema Nacio-nal de Evaluación de la Educación Básica(SAEB), como una atribución del Minis-terio de Educación, con el objetivo de re-colectar informaciones sobre el sistemaeducacional, sobre cómo, cuándo y quié-nes son los que tienen acceso a una ense-ñanza de calidad, para que, de esta forma,las autoridades ministeriales tengan ele-mentos para implementar políticas en prode la mejoría de la educación.

LA SITUACIÓN DE BRASIL

Ya refiriéndonos a la situación concretade Brasil, es necesario comenzar cono-ciendo la estructura administrativa del

62

Page 3: EL SISTEMA DE EVALUACIÓN DE LA EDUCACIÓN BÁSICA DE …12dfa166-0c96-4746-8793-947a3… · sa índole, donde están incluidos los siste-mas de enseñanza y la evaluación. En América

país y examinando algunos aspectos rela-tivos a las atribuciones de las esferas admi-nistrativas, en la Educación Básica'.

Brasil está estructurado en 26 estadosmás el distrito federal, que tienen autono-mía en la administración de la educación.Cada unidad federada cuenta con su pro-pio sistema educacional cuya conforma-ción y atribuciones obedecen a lo dispues-to en la ley n.° 9.394, del 20 de diciembrede 1996, Ley de Directrices y Bases de laEducación Nacional (LDB):

• Sistema Federal de Enseñanza: Com-prende las instituciones de enseñan-za sostenidas por la Unión' y las ins-tituciones educacionales federales deeducación3.

• Sistemas de Enseñanza de los Estadosy del Distrito Federal: Comprendenlas instituciones de enseñanza sos-tenidas por los poderes públicoscorrespondientes, las institucionesde Enseñanza Fundamental y Me-dia creadas y mantenidas por la ini-ciativa privada y los órganos deeducación estaduales y del distritofederal, respectivamente.

• Sistemas Municipales de Enseñanza:Comprenden las instituciones deEnseñanza Fundamental, Media yde Educación Infantil (preescolar).Las primeras están mantenidas porel poder público municipal y lasinstituciones de educación infantilestán creadas y son mantenidas porla iniciativa privada y los órganosmunicipales de educación.

En lo que se refiere al tema de este en-sayo, a la Unión le compete: elaborar elPlan Nacional de Educación; establecer,

en colaboración con los estados, el distritofederal y los municipios, competencias ydirectrices para la educación infantil, laEnseñanza Fundamental y la EnseñanzaMedia, que orientarán los currículos y suscontenidos mínimos, de tal forma quepuedan asegurar una formación básica co-mún; recolectar, analizar y diseminar in-formaciones sobre la educación; colaboraren las actividades propias del proceso na-cional de evaluación del rendimiento es-colar en la Enseñanza Fundamental, Me-dia y Superior, en colaboración con lossistemas de enseñanza, con el objetivo dedefinir prioridades y mejorar la calidad dela educación.

Por lo tanto, a la Unión, por interme-dio del Ministerio de Educación, le com-pete la formulación de las grandes direc-trices para el sistema educacional y,principalmente para la Educación Básica,ejerciendo una acción supletoria, en unpaís de gran dimensión territorial y degrandes desigualdades socioeconómicas.La función supletoria debe ser cumplidaen el sentido de reducir las desigualdadesexistentes en Brasil, lo que la convierte enuna de las funciones más importantes delMinisterio de Educación.

EL DEBATE SOBRE LA CALIDAD DELA EDUCACIÓN

El debate sobre el proceso de democratiza-ción en Brasil se reflejaba en la educacióncomo una discusión sobre la democratiza-ción de la enseñanza. En este debate, dosaspectos resultaban relevantes:

El primero se relacionaba con el acce-so a la escuela. Se reconocía que el país

(1) La Educación Básica brasileña está compuesta por la Enseñanza Fundamental que va de 1." a 8.°grado y la Educación Media que va de 1." a 3." grado.

(2) Unión: reunión de los 27 estados brasileños que disfrutan de plena autonomía.(3) Las instituciones educacionales federales son las escuelas técnicas, las universidades federales y el

Consejo Nacional de Educación.

63

Page 4: EL SISTEMA DE EVALUACIÓN DE LA EDUCACIÓN BÁSICA DE …12dfa166-0c96-4746-8793-947a3… · sa índole, donde están incluidos los siste-mas de enseñanza y la evaluación. En América

había realizado un gran esfuerzo paraconstruir escuelas y realmente, se habíaampliado bastante el número de personasque ingresaban en el sistema de enseñan-za. Sin embargo, los resultados generadosno eran (o por lo menos se tenía la impre-sión general de que no parecían ser) losdeseados. No se habían realizado medi-ciones en ese sentido, pero, se tenía unaclara percepción de que era necesario me-jorar la calidad de la educación impartida,pero ¿de qué calidad?

La calidad de la enseñanza era la se-gunda cuestión crítica del debate sobre lademocratización del país y de su educa-ción. Precisamente esto era lo que un sis-tema de evaluación, paralelamente a otrosproblemas, debería intentar examinar.Quedó claro entonces que un sistema na-cional de evaluación podría proporcionarinformaciones útiles sobre lo que estabasiendo generado en el sector educacional,cómo, dónde, cuándo y quién era el o losresponsables por el producto obtenido.

De forma general, el concepto de cali-dad se aborda a través de dos aproxima-ciones diferentes: una que pretende discu-tirlo y definirlo de forma conceptual, y lasegunda, centrada en su operacionaliza-ción. En el segundo caso, con frecuenciase asocian al término calidad otros con-ceptos afines, tales como la efectividad y laeficiencia. Es bajo esta segunda perspecti-va que se logran consensos para determi-nar la calidad de la educación y para for-mular políticas que deriven en su mejoría.

En la búsqueda de la calidad de laeducación, se han implementado una se-rie de medidas, entre las cuales está la crea-ción de sistemas de evaluación que, pro-gresivamente han ido asumiendo la ideade realizar evaluaciones, dejando de ladola simple medición, entendiendo que lamedición está incluida en el concepto deevaluación. La definición de evaluaciónmás universal es la de Beeby (1977), quedefiende la evaluación como un levanta-miento e interpretación sistemática de

evidencias orientadas, como parte del pro-ceso evaluativo, para la emisión de juiciosde valor con focos concretos de acción.

El énfasis en los procesos de evalua-ción, hoy considerado estratégico, es unsubsidio indispensable para controlar laefectividad de las reformas y de las políti-cas educacionales. No hay país en el mun-do preocupado en aumentar la eficiencia,la equidad y la calidad de su sistema edu-cacional que haya ignorado la importan-cia de la evaluación como mecanismo deseguimiento y control de los procesos dereforma. Cada vez más se le atribuye granrelevancia tanto a la evaluación institucio-nal en sus diferentes dimensiones (estadode la infraestructura de las institucionesescolares; procesos de gestión; formación,calificación y productividad de los recur-sos humanos, entre otros), como en rela-ción a la evaluación de los resultados (qué ycómo los alumnos aprenden, cuáles sonlos factores asociados al rendimiento esco-lar, impactos de factores extra e intraesco-lares en el aprendizaje, entre otros).

Resulta cada vez más evidente que lapreparación de ciudadanos competentespara actuar de forma crítica y responsableen la construcción de una sociedad másjusta, democrática y desarrollada, exige unperfil de calificación en el que el desarrollode la inteligencia cognitiva, emocional yafectiva será decisivo en la formación delos niños y jóvenes para facultar su plenainserción social y en el mundo del trabajo.Es preciso, por lo tanto, asegurarles unaformación ética y solidaria. Es precisotambién desarrollar sus capacidades pararesolver problemas, seleccionar y procesarinformaciones con autonomía y razona-miento crítico. Es preciso entregarles lasherramientas y condiciones que les permi-tan utilizar los conocimientos adquiridos,para que de esta forma puedan tener acce-so a las nuevas oportunidades que lespresenta un mundo cada vez más comple-jo y competitivo. Implementar tales con-cepciones representa un gran desafío a las

64

Page 5: EL SISTEMA DE EVALUACIÓN DE LA EDUCACIÓN BÁSICA DE …12dfa166-0c96-4746-8793-947a3… · sa índole, donde están incluidos los siste-mas de enseñanza y la evaluación. En América

instituciones nacionales, especialmente alos ministerios de educación encargadosde tal cometido.

Se considera que los principales ejesde acción para el mejoramiento de los ni-veles de calidad de los aprendizajes son eleje institucional y el pedagógico. En elinstitucional interesa destacar la impor-tancia que se les asigna a los Ministeriosde Educación en el establecimiento depatrones nacionales y sistemas de evalua-ción que indiquen las áreas o niveles másdébiles del sistema, desarrollando unapolítica que fomente innovaciones. Esdecir, los ministerios deben incentivar,conducir, evaluar, sistematizar y divulgarlas innovaciones educativas. Con respec-to al eje pedagógico, se señala que elaprendizaje de la lectura, de la escritura yde la matemática son los principales indi-cadores de la educación en los primerosgrados de enseñanza. Por su carácter ins-trumental y formativo, estos aprendiza-jes facilitan el acceso a la cultura y al de-sarrollo personal y son la base para seguiraprendiendo.

EL SISTEMA NACIONAL DEEVALUACIÓN DE LA EDUCACIÓNBÁSICA (SAEB)

El Sistema Nacional de Evaluación de laEducación Básica —SAEB— tiene comoobjetivo primordial el seguimiento de lacalidad de la Enseñanza Básica que, enBrasil está conformada por la EnseñanzaFundamental (de 1.° a 8.° grado) y laEnseñanza Media (de 1.° a 3•° grado) ad-ministrada en el país. Para tal efecto, sonrealizadas mediciones periódicas (bianua-les) basadas en los siguientes indicadores:identificación de los niveles de desempe-ño —competencia y aprovechamiento cu-

rricular promedio de los alumnos— inves-tigación de los factores que interactúancon el aprendizaje, tales como la escuela,la gestión escolar y el profesor.

Además de realizar un diagnóstico dela Educación Básica, el SAEB suministralas informaciones necesarias para el proce-so de formulación de las políticas educa-cionales para los estados y municipios, asícomo para la Unión, lenerando indicado-res y parámetros utilizados para identifi-car el nivel de calidad de la Enseñanza Bá-sica.

El sistema debe suministrar informa-ciones destinadas, primeramente, a losgestores del sistema educacional (ministrode educación, secretarios estaduales4 ymunicipales de educación). Se trata de ge-nerar y organizar las informaciones sobrela calidad, la equidad y la eficiencia de laeducación nacional, de tal forma que seaposible conducir las políticas educaciona-les brasileñas con el respaldo de una basereal de informaciones.

Tradicionalmente, la acción guberna-mental brasileña se concretizaba en gran-des programas o proyectos donde se inver-tían elevadas sumas de dinero, en términosrelativos y absolutos, en la construcción deescuelas, en la capacitación de profesores yen la compra de material didáctico, casisiempre sin ninguna articulación entre esasacciones. Como consecuencia de esa vi-sión, al concluir esos programas y proyec-tos, solamente se sabía cuántas escuelasfueron construidas, cuántos profesores fue-ron capacitados y cuántos libros didácticosfueron imprimidos y distribuidos, pero nose podía afirmar si el sistema había mejora-do o no y cuál había sido la contribuciónefectiva de cada una de las partes (la cons-trucción de escuela, la capacitación de pro-fesores y el material didáctico) para el me-joramiento del sistema.

(4) El término «estadual» se refiere a actividades realizadas a nivel del estado. El término «estatal» existeen la lengua portuguesa con la misma connotación de la lengua española.

65

Page 6: EL SISTEMA DE EVALUACIÓN DE LA EDUCACIÓN BÁSICA DE …12dfa166-0c96-4746-8793-947a3… · sa índole, donde están incluidos los siste-mas de enseñanza y la evaluación. En América

La estructura del SAEB fue el resulta-do de una amplia discusión, en la cual fue-ron debatidas, entre otros asuntos, la ne-cesidad de darle transparencia al sistemaeducacional, siendo para eso imprescindi-ble responsabilizar a los diversos agentesdel sistema educacional por los productosy resultados presentados por el sistema deenseñanza brasileño. Para alcanzar talesobjetivos, era preciso internalizar la ideade producto del sistema educacional, defi-niendo también lo que sería ese productopara, en seguida, determinar qué aspectosrelacionados al proceso de obtención delproducto deberían ser observados.

El punto de partida del SAEB fue eldebate, el convencimiento y el estableci-miento de acuerdos, toda vez que era ne-cesario que los agentes del sistema educa-cional y la sociedad comenzaran a ver laescuela como una prestadora de servicios,generando como resultado un producto:el desempeño del alumno. De esta forma,por medio del debate y de la persuasión,fue posible establecer un consenso entre elMinisterio de Educación y de Deportes ylos secretarios estaduales de educación.

Del punto de vista conceptual, elSAEB buscó articular diversos aspectos re-lacionados con la educación, intentandosuperar la fuerte tendencia a la sectoriza-ción de la educación, bastante evidente enla política educacional y, en consecuencia,en las inversiones en el sector.

El SAEB intentó, en primer lugar,trabajar articuladamente con los aspectosmencionados, de tal modo que fuese posi-ble determinar la evolución real de la cali-dad del sistema. En seguida, buscó identi-ficar el conjunto de factores quepermitirían esa mejoría, toda vez que difí-cilmente un factor responde sólo por cual-quier mudanza en el campo educacional.

Evidentemente, evaluar el desempeñodel alumno es una tarea bastante amplia, yel SAEB no es capaz aún de medir todoslos aspectos que lo conforman, principal-mente actitudes, aspectos afectivos y valo-

res, que forman parte del quehacer educa-cional, objetivo de la escuela. Mas, el de-sempeño del alumno, en términos delaprendizaje de contenidos y de adquisi-ción de habilidades y competencias, sí esposible cuantificarlo.

El SAEB comenzó midiendo el de-sempeño académico de los alumnos brasi-leños. Basado en los resultados obtenidosfue posible realizar análisis y comparacio-nes y discutir si los resultados concretosposeían o no calidad. Es decir, se comenzóa evaluar.

Hoy hay un gran debate sobre el he-cho de que la educación no sucede en elvacío, sino por el contrario, a partir de lascondiciones iniciales del aprendizaje deun individuo, siendo muy importante de-terminar el valor agregado a los indivi-duos por la educación y por la escuela.Con esa discusión se relaciona otro puntofundamental de la concepción del SAEB:se parte del principio de que el desempeñodel alumno sufre múltiples condiciona-mientos, los cuales deben ser considera-dos por la evaluación. Para ello, se debesumar al desempeño del alumno, por lomenos, otras tres dimensiones, que son: ladeterminación del contexto en el que ocu-rre la enseñanza y el aprendizaje; la identi-ficación de los procesos de enseñanza yaprendizaje y, por fin, el dimensiona-miento de los insumos utilizados.

La inclusión de estas dimensiones esfundamental, por ejemplo, para determi-nar el grado de equidad de la oferta educa-cional. Cuando los insumos están biendistribuidos y las escuelas tienen el mismopatrón de infraestructura o un patrón se-mejante, es posible afirmar que la pobla-ción tiene las mismas oportunidades edu-cacionales. Yendo más allá y examinandoen qué medida la oferta de oportunidadessemejantes genera resultados diferencia-dos y cuáles son las posibles razones deesas diferencias, se puede determinarhasta qué punto los buenos servicios edu-cacionales están siendo efectivamente

66

Page 7: EL SISTEMA DE EVALUACIÓN DE LA EDUCACIÓN BÁSICA DE …12dfa166-0c96-4746-8793-947a3… · sa índole, donde están incluidos los siste-mas de enseñanza y la evaluación. En América

democratizados, o sea, si por lo menos a lamayoría de los alumnos se les garantiza,de hecho, el derecho a una educación decalidad.

Para recolectar informaciones sobrecada una de las tres dimensiones cubiertaspor el SAEB, fueron desarrollados instru-mentos y procedimientos específicos:

• La dimensión producto es examina-da por medio de la aplicación depruebas que miden el nivel decompetencia y habilidades que losalumnos brasileños poseen o de-muestran poseer.

• Las dimensiones contexto, proceso einsumos son examinadas por mediode la aplicación de cuestionarios alos profesores (sobre la práctica do-cente, el perfil profesional y lascondiciones de trabajo), a los di-rectores (también sobre el perfil, lapráctica y las condiciones de traba-jo) y a los alumnos (sobre el nivelsocioeconómico y sus hábitos deestudio). Además de eso, se realizaun levantamiento sobre las condi-ciones de las escuelas (instalacio-nes, equipamientos y materialesdisponibles).

Las informaciones resultantes de estoslevantamientos permiten realizar asocia-ciones, correlaciones, análisis jerárquicosy estudios relativamente complejos sobrela realidad educacional brasileña.

El cuadro de la página siguiente pre-senta la estructura del Sistema Nacionalde Evaluación de la Educación Básica deBrasil.

Éste fue el esquema que sirvió de basepara la creación del Sistema Nacional deEvaluación y a pesar de haberse realizadovarios levantamientos de datos, ha cam-biado muy poco desde que comenzó a serimplementado.

Creado en el ario 1988 y habiendorealizado cuatro levantamientos, el SAEB

está siendo continuamente perfeccionadoen cada aplicación, tanto del punto de vis-ta metodológico, como en los procedi-mientos, operacionalización y alcance.

El primer levantamiento fue realizadoen 1990 solamente para la red pública dela Enseñanza Fundamental, siendo eva-luados el 1 a , 3 • cr , 5 . 0 y 70 grados en tresáreas: lengua portuguesa, matemática yciencias. En 1993, los levantamientos tu-vieron las mismas características, conti-nuando con los mismos procedimientos.

A partir de 1995, las evaluaciones co-menzaron a ser realizadas en los gradosterminales de cada ciclo de estudios, es de-cir, en el 4.° y 8.° grados de la EnseñanzaFundamental y en el 3 cr grado de la Ense-ñanza Media.

Avances metodológicos importantesfueron introducidos a partir del año1995, al incorporar modernas técnicas,avanzando, desde los modelos y técnicasclásicas de pruebas y medidas, para laTeoría de Respuesta al ítem —TRI— y elmodelo de muestra matricial de ítemspara la elaboración de los instrumentosde medición.

Desde el punto de vista operacional,el SAEB también introdujo modificacio-nes, si consideramos que los primeros le-vantamientos fueron realizados de formadirecta por el Ministerio de Educación yluego, bajo la coordinación del InstitutoNacional de Estudios y Pesquisas Educa-cionales (INEP) pasó a ser llevado a lapráctica por entidades externas contrata-das expresamente con esa finalidad, pormedio de licitaciones públicas.

La cobertura también fue ampliada,expandiendo la aplicación a todas las re-des de atención —red pública (federal, es-tadual, municipal) y red particular, incor-porando también a la Enseñanza Media.En 1995 se alcanzó un nivel de coberturanacional dado que, por primera vez, las 27unidades de la federación participaron enel levantamiento.

67

Page 8: EL SISTEMA DE EVALUACIÓN DE LA EDUCACIÓN BÁSICA DE …12dfa166-0c96-4746-8793-947a3… · sa índole, donde están incluidos los siste-mas de enseñanza y la evaluación. En América

CUADRO I

Sistema Nacional de Evaluación de la Educación Básica (SAEB)

ENFOQUE DIMENSIÓN INDICADOR/VARIABLE INSTRUMENTO

Acceso a laEnseñanzaBásica

Atención• Tasas de acceso• Tasas de escolarización

• Cuestionario delCenso Escolar ela-borado por MEC/INEP/SEEC

Eficiencia• Tasas de productividad• Tasas de transición• Tasas de eficiencia interna

Calidad,Eficiencia,Equidad delSistema deEvaluaciónde laEnseñanzaBásica

Producto• Desempeño del alumno, en tér-

minos de:— Aprendizaje de los contenidos— Desarrollo de habilidades y

competencias

• Preguntas de laspruebas

Contexto• Nivel socioeconómico de los

alumnos• Hábitos de estudio de los alumnos• Perfil y condiciones de trabajo de

los docentes y de los directores• Tipo de escuela• Grado de autonomía de la escuela

Cuestionarios para:

• Alumnos• Profesores• Directores

Proceso

• Matriz organizativa de la escuela• Planificación de la enseñanza y

de la escuela• Proyecto pedagógico• Relación entre los contenidos

propuestos/enseñados y los con-tenidos enseñados/aprendidos

• Utilización del tiempo pedagógico• Estrategias y técnicas de enseñan-

za utilizadas

Insumo

• Infraestructura (adecuación, man-tenimiento y conservación):— Espacio físico e instalaciones— Equipamientos— Recursos y materiales didácticos

• Cuestionario so-bre las condicio-nes de la escuela

68

Page 9: EL SISTEMA DE EVALUACIÓN DE LA EDUCACIÓN BÁSICA DE …12dfa166-0c96-4746-8793-947a3… · sa índole, donde están incluidos los siste-mas de enseñanza y la evaluación. En América

En el ario 1997, el SAEB fue aplica-do en una muestra nacional de alumnos,representativa del país y de cada una delas 27 unidades de la federación, partici-pando 167.196 alumnos de 1.933 es-cuelas públicas y privadas. La distribu-ción por grado, de alumnos, grupos,

profesores y directores que respondie-ron los diversos instrumentos puede servista en la tabla I.

De los totales anteriormente presenta-dos, 56.106 alumnos, 1.598 grupos, 4.306profesores y 624 directores pertenecían aescuelas de la red particular de enseñanza.

TABLA 1

Alumnos, grados, profesores y directores participantes en el SAEB/97

Grado N.° dealumnos

N.° degrupos

N.° deprofesores

N.° dedirectores

4.° grado de la Enseñanza Funda-mental 70.445 2.544 2.516 1.0288.° grado de la Enseñanza Funda-mental 56.490 1.875 5.306 8133" grado de la Enseñanza Media 40.261 1.240 5.445 461

Total 167.196 5.659 13.267 2.302 *

(') Los directores están contados dos veces cuando en la escuela fueron evaluados dos o más grados.

CARACTERISTICAS DE LOS

LEVANTAMIENTOS

• Población objetivo: son evaluadoslos alumnos de 4.° y 8.° grados dela Enseñanza Fundamental y del 3crgrado de la Enseñanza Media.

• Ámbito de ki evaluación: las disci-plinas evaluadas son lengua portu-guesa, matemática y ciencias, sien-do que, para el 3. cr grado de laEnseñanza Media, la disciplina deciencias comprende las disciplinasde física, química y biología. A par-tir del presente ario (1999), seránincorporadas las disciplinas de his-toria y geografía para todos los gra-dos.

• Periodicidad: el Sistema Nacionalde Evaluación de la Enseñanza Bá-sica (SAEB) es aplicado cada dos

años. Ya fueron realizadas cuatroevaluaciones, siendo la primera en1990, la segunda en 1993, la terce-ra en 1995 y la cuarta en 1997. Lapróxima aplicación será realizada alfinal del presente año lectivo.

• Procedimientos de aplicación: parala realización de la investigación decampo, en el ario 1997, el SAEButilizó 27 coordinadores estadualesde las Secretarías de Educación, 27asistentes de investigación de lainstitución contratada para realizarel levantamiento, 129 supervisoresde campo y 2.695 examinadores.

Antes de la aplicación de los instru-mentos de colecta de los datos, se realizanjornadas de capacitación de los agentesparticipantes en el levantamiento, dadoque las pruebas son aplicadas por personasexternas a la escuela, con procedimientos

69

Page 10: EL SISTEMA DE EVALUACIÓN DE LA EDUCACIÓN BÁSICA DE …12dfa166-0c96-4746-8793-947a3… · sa índole, donde están incluidos los siste-mas de enseñanza y la evaluación. En América

unificados y con tiempo controlado. Losmismos agentes recogen las informacio-nes sobre la escuela. Los cuestionariospara el director y los profesores son autoaplicados, pero los agentes deben estar enposesión de todas las informaciones paraaclarar las dudas que pudieran surgir.

Las jornadas de capacitación co-mienzan con un seminario nacional don-de participan los equipos técnicos de las27 Secretarías Estaduales con una dura-ción de dos días, normalmente realizadoen Brasilia. En estos seminarios se discu-te la organización general del SAEB, asícomo los criterios de muestreo y los fun-damentos de la Teoría de Respuesta alítem (TRI). Los participantes analizanlos manuales de instrucciones para loscoordinadores y el de supervisión, reali-zando también actividades de simula-ción, preparatorias para las jornadas decapacitación de los examinadores en losrespectivos estados.

La capacitación de los examinadoreses de exclusiva responsabilidad de losequipos técnicos de las Secretarías Esta-duales, en donde se utiliza como materialde apoyo, entre otros, un vídeo elabora-do expresamente con esa finalidad y elManual de Instrucciones para el Exami-nador.

• En relación a las pruebas: son apli-cadas pruebas elaboradas con ungran número de ítems provenien-tes del Banco Nacional de ítems.Los ítems están distribuidos en va-rios cuadernos de pruebas (cerca de150 ítems por grado y disciplina),en vez de utilizar solamente prue-bas tradicionalmente compuestaspor 25 ó 30 preguntas. Tal caracte-rística permite una mayor valida-ción curricular puesto que amplíala cobertura de los contenidos y delas habilidades (con sus diferentesgrados de complejidad) en todoslos grados y disciplinas evaluados.

Los cuadernos de pruebas aplicados alos alumnos en el SAEB/97 incluyenÍtems pre-testados cuyas estadísticas, entérmino de índice de dificultad, de dis-criminación y de coeficiente biserial fue-ron considerados adecuados. Los cuader-nos de pruebas, por grado y disciplina,están organizados en tres bloques, cadauno de ellos con 10 a 13 ítems, depen-diendo del grado; por lo tanto, cadaalumno responde entre 30 a 39 pregun-tas. Para el SAEB/ 97 fueron diseñados26 cuadernos de pruebas por grado/dis-ciplina, con bloques comunes entre ellos.En total, fueron aplicados 1.737 ítems,que correspondían a 416 para el 4.° gra-do, 476 para 8.° grado y 845 para Y r gra-do de la -Enseñanza Media.

• En relación a los ítems: son elabora-dos basados en la «Matriz Curricu-lar de Referencia del SAEB», ins-trumento producto de una ampliaconsulta nacional sobre los conte-nidos aplicados en las escuelas bra-sileñas de la Enseñanza Funda-mental y Media, incorporandotambién la reflexión de profesores,investigadores y especialistas sobrela producción científica en cadaárea objeto del conocimiento esco-lar. A los contenidos, fueron aso-ciadas las competencias cognitivasutilizadas en el proceso de su cono-cimiento, así como las habilidadesinstrumentales que les son propias.Del cruzamiento entre los conteni-dos y las competencias cognitivasresultaron los descriptores de de-sempeño deseables de los alumnos,que en conjunto, expresan la totali-dad de los indicadores necesariospara orientar el trabajo de los espe-cialistas que elaboran los ítemspara el SAEB.

• En relación al tipo de respuesta: parael área de lengua portuguesa, laspruebas contienen tanto respuestas

70

Page 11: EL SISTEMA DE EVALUACIÓN DE LA EDUCACIÓN BÁSICA DE …12dfa166-0c96-4746-8793-947a3… · sa índole, donde están incluidos los siste-mas de enseñanza y la evaluación. En América

cerradas (de alternativa múltiple)como respuestas abiertas (respues-tas construidas cortas y largas). Enlas demás disciplinas, las pruebasson de respuesta cerrada (alternati-va múltiple).

• Otras áreas de investigación: sonverificados algunos factores con-textuales y escolares que incidenen la calidad de la educación, talescomo: la infraestructura y dispo-nibilidad de la unidad escolar (pormedio del cuestionario de la es-cuela), el perfil del director y losmecanismos de gestión escolar(por medio del cuestionario deldirector), el perfil y la práctica do-cente (por medio del cuestionariodel profesor), las característicassocioculturales y los hábitos de es-tudio de los alumnos (por mediodel cuestionario del alumno, queestá dividido en dos partes: unacon preguntas socioculturales y laotra con preguntas vinculadas a ladisciplina respecto de la cual elalumno está respondiendo las pre-guntas).

El cuestionario de la escuela incluyevariables de identificación (red, zona y lo-calización), estado de conservación de laescuela; estado, utilización y funciona-miento de las instalaciones y equipos; can-tidad de horas de clases por semana quereciben los alumnos de cada grado, pordisciplina evaluada; datos de matrícula yflujo de alumnos.

El cuestionario del director está es-tructurado en cuatro grandes bloques:

• identificación del director, que in-cluye variables sobre sexo y edad;

• formación y experiencia profesio-nal, que incluye variables sobre eltiempo de trabajo en el área deeducación y en el área administra-tiva; estudios generales y específi-

cos realizados en el área de admi-nistración escolar y participaciónen cursos de capacitación;

• situación funcional, que incluyevariables sobre la forma cómo acce-dió al cargo de director de la escue-la; situación funcional y situaciónlaboral;

• organización y funcionamiento dela escuela, que incluye variables so-bre los procedimientos relativos alos aspectos administrativos y pe-dagógicos adoptados por la direc-ción; sobre la existencia de consejode clase; la participación de los pa-dres en las reuniones organizadaspor la escuela; los problemas quedificultan la gestión escolar y losrecursos financieros.

El cuestionario del profesor está es-tructurado en cinco graneles bloques:

• identificación del profesor, que in-cluye variables como sexo y edad;

• formación y experiencia profesio-nal, que incluye variables sobretiempo de trabajo en el área deeducación; tiempo que lleva comoprofesor jefe de grupo; tipo de es-tudios realizados y participación encursos de capacitación;

• situación funcional, que incluyevariables sobre la forma de ingresoa la carrera de Magisterio; situa-ción laboral y salarial; cantidad dehoras contratadas;

• práctica docente, que incluye va-riables sobre el plan de enseñanza;sobre la disponibilidad y utiliza-ción de libros de texto; procedi-mientos utilizados en el trabajocon los alumnos; desarrollo de loscontenidos previstos; tiempo utili-zado efectivamente en las activida-des de enseñanza; opinión sobre elaprendizaje de los alumnos;

71

Page 12: EL SISTEMA DE EVALUACIÓN DE LA EDUCACIÓN BÁSICA DE …12dfa166-0c96-4746-8793-947a3… · sa índole, donde están incluidos los siste-mas de enseñanza y la evaluación. En América

• organización y clima de la escuela,que incluye variables sobre la parti-cipación del profesor en la elabora-ción de plan de trabajo de la escue-la; consejo de clase; participaciónen las diversas reuniones organiza-das en la escuela; opiniones sobre lagestión escolar y las condiciones enque realiza su trabajo.

Para levantar dados sobre los alum-nos, fueron creados tres instrumentos:

• Cuestionario demográfico y socio-cultural de los alumnos, incluyen-do 15 preguntas sobre edad, sexo,color, educación de los padres, si-tuación familiar, hábito de lecturade periódicos e inasistencia a clases,entre otras;

• Cuestionario de hábitos de estudio(uno para cada disciplina) con 7preguntas cada uno, sobre el tiem-po utilizado para realizar los debe-res de casa; actividades relaciona-das con el aprendizaje de ladisciplina y sobre el valor prácticoque representa para el alumno loaprendido en la disciplina.

PROCEDIMIENTOS Y ANÁLISIS

• Corrección de los ítems de respuestaabierta: cuando las pruebas inclu-yen ítems de respuesta abierta, lacorrección se basa en una metodo-logía especialmente desarrolladapara garantizar la homogeneidadde los criterios de aceptación de lasrespuestas. Tal metodología inclu-ye la definición de esos criterios, laformación de bancos de correcciónformados por especialistas de lasdiferentes disciplinas, la capacita-ción de los bancos de corrección, laaplicación experimental de los pa-trones de corrección en muestrasde respuestas dadas por los alum-

nos y paneles de discusión acercade la aplicación de los criterios y desus fluctuaciones.

• Ingreso de los datos: el ingreso de losdatos de los cuestionarios se realizapor medio de digitalización de losmismos. Los cuestionarios para losalumnos y las respuestas a los ítemsde los cuadernos de prueba sonprocesados por medio de lector óp-tico.

• Análisis de los datos: para el análisisde los datos son utilizados diversostipos de softwares, de acuerdo conel nivel de análisis. Para el análisisde los ítems de la pruebas son utili-zados softwares como el Bimain,Bilog, Microcat y otros, dependien-do del tipo de ítem y del tipo deanálisis que se desee (estimar pará-metros TRI y de la Teoría Clásica ycálculo de estadísticas para verificarlas estimativas), TesOct y Micro-fact (para análisis de la unidimen-cionalidad de los ítems). Para esti-mar la competencia individual sonutilizados los sofi-wares Bilog y Bi-main entre otros, dependiendo delmodelo utilizado. Para la tabula-ción de los datos y análisis estadís-ticos son utilizados paquetes esta-dísticos como SAS, SPSS y EXCEL.

• Tipos de análisis realizados con laspruebas: en primer lugar, como unapráctica usual del Banco Nacionalde Ítems, son realizados los análisisde los ítems utilizados en las prue-bas, es decir, el análisis de la unidi-mensionalidad de los ítems; la esti-mativa de los parámetros de losítems (dificultad, discriminación,acierto al azar, entre otros) depen-diendo del modelo utilizado. Des-pués, se procede a la verificación dela calidad del ajuste al modelo TRI;y se estiman parámetros de la Teo-ría Clásica —proporción de acier-tos, correlación biscerial y otros.

72

Page 13: EL SISTEMA DE EVALUACIÓN DE LA EDUCACIÓN BÁSICA DE …12dfa166-0c96-4746-8793-947a3… · sa índole, donde están incluidos los siste-mas de enseñanza y la evaluación. En América

En el ario 1995 fueron calculadostambién los indicadores del Apro-vechamiento Curricular Promedioobtenidos a través de las probabili-dades de acierto a los ítems, pormedio de la técnica PuntuaciónVerdadera. En el ario 1997, se tra-bajó exclusivamente con el modeloTRI, por lo tanto, fueron realiza-das los análisis mencionadas ante-riormente. Como resultado de losanálisis anteriormente descritos, seobtienen escalas de proficiencia, pordisciplina, que son comunes paratodos los grados evaluados. Las es-calas, interpretadas en término deaquello que los alumnos dominan,comprenden y son capaces de ha-cer, describen el desempeño delos alumnos de tal forma que lepermita al gran público facilitar sucomprensión. También permitenrealizar la comparación de los re-sultados por disciplina, entre losdiferentes grados y los resultadosde los sucesivos ciclos del SAEB.

• Tipos de análisis realizados con loscuestionarios: a partir de los datosde todos los cuestionarios y de losresultados obtenidos por los alum-nos (competencia) y de Aprove-chamiento Curricular (solamenteel ario 1995), son efectuados diver-sos tipos de análisis —cruzamientode las informaciones, correlacio-nes, comparación de promedios,proporciones, regresiones, compa-raciones con los indicadores delcenso educacional, entre otros.También, y a partir del ario 1997,se comenzaron a realizar análisis je-rárquicos o multinivel que, segúnHarvey Goldstein, en su libro Mul-tilevel Statistical Models (publicadoen Londres, por Arnold, en el ario1995) describe aspectos sistemáti-cos del modelo estadístico y análi-sis de datos jerárquicamente es-

tructurados, además de integrar as-pectos metodológicos existentes enel área. De esta forma, los modelosjerárquicos han sido empleados enanálisis de datos de las ciencias hu-manas y biológicas, pues muchosde ellos presentan una estructurajerarquizada y, dado que los siste-mas escolares también tienen untipo de estructura jerarquizada,pues los alumnos se agrupan den-tro de escuelas, que a su vez puedenser agrupadas dentro de los propiossistemas escolares, se ha comenza-do, recientemente, a realizar estetipo de análisis.

En el SAEB/97 se realizaron análisisjerárquicos para explicar los logros de losalumnos en función de las variables queles son propias, considerando la siguienteestructura jerárquica o multinivel: unidadde la federación, escuela, grupo, alumno.

A continuación, algunas variablesconsideradas:

— Variables a nivel de los estados: re-gión, índices de desarrollo.Variables a nivel de la escuela: local(capital, interior), zona (urbana, ru-ral), dependencia administrativa,variables relativas a la condición dela escuela, variables relativas al di-rector de la escuela.Variables a nivel del grupo: turno,duración de las clases, variables rela-tivas al profesor.Variables a nivel del alumno: edad,sexo, color, educación de los pa-dres.

• Presentación de los resultados: los re-sultados sobre el desempeño de losalumnos son presentados en formade escala, que es una manera de or-denar medidas de acuerdo con va-lores arbitrarios. Por ejemplo, latemperatura puede ser medida con

73

Page 14: EL SISTEMA DE EVALUACIÓN DE LA EDUCACIÓN BÁSICA DE …12dfa166-0c96-4746-8793-947a3… · sa índole, donde están incluidos los siste-mas de enseñanza y la evaluación. En América

un termómetro, que puede utilizarla escala Celsius o la Fahrenheit.Esas dos escalas son diferentes puesen la escala Celsius, el punto de fu-sión del agua fue arbitrado en cerogrados y el de ebullición en 100grados, mientras que en la escalaFahrenheit esos puntos correspon-den a 32 grados y 212 grados, res-pectivamente. Aunque sean dife-rentes, los valores de una escalapueden ser convertidos a la otra es-cala realizando una sencilla trans-formación.

La teoría estadística utilizada en elSAEB permite la construcción de una es-cala para cada disciplina, que englobe lostres grados evaluados y ordena el desem-peño de los alumnos en un continuum (delnivel más bajo al más alto). Ello es posiblepor la incorporación en los cuadernos depruebas, de ítems comunes para los tresgrados y por la transformación (equaliza-ción) de las escalas de cada disciplina entrelos grados para poder obtener una escalacomún para todos ellos.

La metodología para interpretar lasescalas incluye dos procedimientos princi-pales: identificar los ítems de anclaje y lainterpretación pedagógica de esos ítemspor un panel de reconocidos especialistas.

Los ítems de anclaje son aquellos quecaracterizan los niveles de las escalas en lamedida que la gran mayoría de los alum-nos localizados en cada uno de los nivelesacierte el ítem, mientras que menos de lamitad de los alumnos situados en el nivelinmediatamente inferior también lo acier-ta. Para que el ítem pueda ser consideradode anclaje en el nivel 250, por ejemplo,debe satisfacer el siguiente criterio:

Que el 65% o más de todos los alumnos si-tuados en el nivel acierten el ítem, que me-nos de 50% de los alumnos situados en elnivel anterior (nivel 175) acierten el ítem yque la diferencia entre los porcentajes dealumnos situados en el nivel 250 y los

alumnos localizados en el nivel inmediata-mente superior (nivel 325), que acertaronel ítem, sea más de 30%.

La selección de los ítems de anclajepara los demás niveles de las escalas obe-dece al mismo criterio. De esta forma, enel SAEB/97 fueron identificados 691ítems de anclaje.

De acuerdo con el segundo procedi-miento, la interpretación pedagólica delos ítems de anclaje pretende identificar elsignificado de las respuestas dadas por losalumnos. Es así que, en el SAEB/97 se rea-lizaron paneles de especialistas que conta-ron con la participación de 35 profesoresespecialistas en los respectivos contenidos.

En el año 1997, para describir el logrode los alumnos, fueron escogidos cincopuntos en las escalas: 100, 175, 250, 325y400 para las disciplinas de lengua portu-guesa y ciencias. En matemáticas, el nivel100 no fue considerado. Las proficienciasde los alumnos fueron explicadas por ladescripción de los conocimientos y habili-dades que ellos demostraron poseer cuan-do se situaban en torno a los puntos co-rrespondientes a cada nivel. Por ejemplo,alumnos localizados en torno al punto175 en la escala de lengua portuguesa, soncapaces de identificar personajes a partirde su forma de hablar (modismos, expre-siones típicas) entre otras habilidades; loslocalizados en torno al punto 250 en ma-temáticas, son capaces de establecer rela-ciones entre los valores de células y mone-das y de resolver situaciones en las quedeba pagar y dar cambio.

DIVULGACIÓN DE LA INFORMACIÓN

• Qué se informa: los resultados son di-vulgados, tanto en términos genera-les (a nivel nacional) como por sepa-rado para las regiones, estados, porlocalización (capital e interior delpaís), zona geográfica (urbana y ru-ral), dependencias administrativas

74

Page 15: EL SISTEMA DE EVALUACIÓN DE LA EDUCACIÓN BÁSICA DE …12dfa166-0c96-4746-8793-947a3… · sa índole, donde están incluidos los siste-mas de enseñanza y la evaluación. En América

(federal, estadual, municipal, y parti-cular). Los resultados engloban tan-to aquellos relacionados al desempe-ño de los alumnos como aquellosque se refieren a las variables de la es-cuela, director, profesor y de hábitosde estudio y condiciones socioeco-nómicas y culturales de los alumnos.Los resultados del levantamiento delario 1997 fueron divulgados tam-bién, por medio de un CD-ROM ypor Internet.

• A través de qué medios se divulga lainformación: los resultados sondivulgados por medio de la distri-bución de informes técnicos, in-formes estaduales, boletines y do-cumentos específicos (sobre eldesempeño de los alumnos, condi-ciones de la escuela, característicasde los profesores y directores, etc.)de material preparado para los me-dios de comunicación (televisión,periódicos, radios y revistas) y de laparticipación en seminarios loca-les, nacionales e internacionales.

• Quiénes son los usuarios de las infor-maciones: los usuarios de las infor-maciones recolectadas son el pro-pio Ministerio de Educación, lasSecretarías Estaduales y Municipa-les de Educación, las universida-des, los institutos de investigación,las escuelas y el público en general(incluyendo los alumnos y sus fa-miliares).

EL DEBATE SOBRE EL SISTEMANACIONAL DE EVALUACIÓN HOY

A partir del momento en que los resultadosde las sucesivas evaluaciones comenzaron aser de conocimiento público, comenzó aser debatida siguiente interrogante: ¿hastadónde va la capacidad real de un sistemanacional de evaluación de informar sobrelos principales aspectos relacionados a la

educación y sobre la diversidad y singulari-dad de las escuelas?

A pesar de todo el esfuerzo realizadoen desarrollar el sistema, de la legitimidadobtenida, de la mutua colaboración esta-blecida entre los sistemas de enseñanza, yaunque la evaluación haya sido progresi-vamente incorporada por los sistemas es-taduales de enseñanza, un sistema nacio-nal de evaluación no responde, ni podríaresponder a todas las necesidades de infor-mación. Tampoco tiene la capacidad deaprehender toda la diversidad y singulari-dad de las escuelas. Es por ello que tieneque ser complementado.

La luz que el SAEB lanzó sobre el sis-tema de enseñanza brasileño y lo que ocu-rre en las escuelas no fue suficiente, porejemplo, para iluminar lo que acontecíaen las clases. En éste y en otros aspectos,sería necesario que los estados, munici-pios y las escuelas promoviesen la realiza-ción de estudios y pesquisas que sustenta-sen el desarrollo de sistemáticas deevaluación capaces de informar sobreasuntos más específicos y singulares decada instancia. Esas evaluaciones podríancomplementar el sistema de evaluaciónnacional, tanto en término de objetocomo en términos conceptuales y meto-dológicos.

En la medida en que fue aumentandola utilización de las informaciones delSAEB y ampliándose el espectro de usua-rios de las informaciones y, tal vez por esomismo, surgieron muchos asuntos paralos cuales el SAEB no podía entregar ele-mentos. Esta imposibilidad generó críti-cas al sistema de evaluación, siendo laprincipal de ellas la que apuntaba comofallo del sistema el hecho de que no fuesenenviados los resultados a las escuelas. Lue-go, y como consecuencia de ello, las es-cuelas no estarían en condiciones de apro-vechar los datos de la evaluación nacional.

Aun cuando tal crítica tuviese funda-mento y fuese deseable enviar los resulta-dos a las escuelas, sería necesario discutir

75

Page 16: EL SISTEMA DE EVALUACIÓN DE LA EDUCACIÓN BÁSICA DE …12dfa166-0c96-4746-8793-947a3… · sa índole, donde están incluidos los siste-mas de enseñanza y la evaluación. En América

algunos otros aspectos que también com-ponen el cuadro de la evaluación en los es-tablecimientos de enseñanza.

En primer lugar, como la evaluaciónno era un fin en sí misma, sino un instru-mento utilizado para corregir rumbos, pa-recía ser muy importante asegurar que,conjuntamente con las informaciones ob-tenidas por la evaluación, fueran creados yutilizados recursos que pudiesen ser em-pleados en la superación de los problemasdiagnosticados, o en la reafirmación de lasmedidas y prácticas exitosas.

Debe haber una conexión entre laevaluación y la acción, o sea, no basta in-formar o iniciar un proceso de reflexiónen la escuela acerca de sus problemas odeficiencias, sin colocar a su disposiciónlos recursos necesarios para superar susdificultades pues en este caso la evalua-ción tendería a ejercer solamente un pa-pel cruel, inútil y vacío de testigo, y node agente transformador en pro de la ac-tividad.

Que la escuela esté informada, porlo tanto, es una condición necesaria,mas no suficiente para utilizar los datosde las evaluaciones. A la informacióndebe sumarse el conocimiento y la capa-cidad técnica para lidiar con la informa-ción, la autonomía para decidir y los re-cursos para implementar las decisionestomadas. En el caso de que esos tres ele-mentos no existan en la escuela, proba-blemente las informaciones, productode las evaluaciones, serán dejadas delado, en el mejor de los casos.

Otra posibilidad más pesimista, es quela evaluación, en la medida en que las In-tervenciones propuestas no sean coheren-tes con el diagnóstico resultante, o sea, losresultados no correspondan a la línea de ac-tuación de la escuela y de las SecretaríasEstaduales y Municipales de educación,ejerza un papel paralizante y desestructura-dor de la acción educacional, generandomás situaciones conflictivas que solucio-nes. La capacitación de profesores puede

ser un ejemplo de este tipo de situación. Enel caso de que la evaluación muestre quehay problemas de aprendizaje en matemá-ticas, por ejemplo, sería deseable que a losprofesores les fuesen ofrecidas oportunida-des de capacitación en los contenidos espe-cíficos, origen del problema.

Por ello, parecería ser más prudenteque los resultados de la evaluación na-cional llegasen a las escuelas a través delas autoridades estaduales y municipalesque podrían, de esta forma, establecerlos vínculos y mantener la coherenciaentre el diagnóstico y sus respectivas lí-neas de acción.

Además de la utilización de los re-sultados de la evaluación por las escuelasy por los diversos sistemas de enseñanza,existe otro beneficiario de las informa-ciones que merece ser destacado. Se tra-ta de la sociedad, que, por medio delSAEB, cuenta con un instrumento quele permite ejercer el control social de unimportante servicio público, ya que, pormedio del sistema nacional de evalua-ción la sociedad se informa sobre los re-sultados obtenidos por los diferentes sis-temas de enseñanza, sobre la oferta deeducación y sobre las diferencias y lasdesigualdades educacionales que existenen Brasil. En este caso, la utilización detales informaciones tiene un caráctereminentemente político, de fortaleci-miento del juego democrático, al gene-rar presión social, tanto para corregir lasdistorsiones como para superar los pro-blemas y de esta forma preservar las con-quistas y mejoras.

Considerando la descentralización,la desconcentración y la autonomía de laescuela como tendencias irreversibles denuestro sistema educacional, el sistemanacional de evaluación se reviste de fun-damental importancia para servir comoreferencia para los sistemas descentrali-zados y autónomos y, de esta forma,reducir el riesgo de desarticulación y

76

Page 17: EL SISTEMA DE EVALUACIÓN DE LA EDUCACIÓN BÁSICA DE …12dfa166-0c96-4746-8793-947a3… · sa índole, donde están incluidos los siste-mas de enseñanza y la evaluación. En América

pulverización de los objetivos del siste-ma educacional.

Al entregar informaciones sobre losresultados que han sido obtenidos en elpaís, en las regiones, en los estados yen lasescuelas, el sistema nacional le ha permiti-do a la población evaluar la escuela y serinformada sobre la calidad de la enseñan-za ofrecida.

EQUIDAD Y CALIDAD: EL NUEVOENFOQUE DE LAS POLÍTICASEDUCACIONALES

En la década de los noventa se perfiló unnuevo marco en el diseño de las políticaseducacionales en Brasil. Tres factores fue-ron determinantes para provocar el cam-bio en el perfil de actuación del poder pú-blico en el área educacional. En primerlugar, se alcanzó un razonable grado deconsenso en el diagnóstico de los princi-pales problemas de aprendizaje y de lascausas de la baja efectividad de los siste-mas de enseñanza. En segundo lugar, secaminó en pos de una gran convergenciade las acciones desarrolladas por las dife-rentes esferas de gobierno, sobre todo enrelación a la Enseñanza Fundamental. Entercer lugar, la sociedad comenzó a darlemás valor a la educación, reivindicandouna enseñanza con mejor calidad, princi-palmente en las escuelas públicas.

Actualmente, se puede afirmar queBrasil, con ritmos y énfasis diferentes yrespetando las particularidades locales yregionales, ya superó la etapa en que lamáxima prioridad era la política de expan-sión del acceso a la escuela. Es así que, enlas nuevas agendas, en relación a las políti-cas de Educación Básica, comenzaron aser tratados los temas de la búsqueda de lacalidad en el sentido de promover unamayor equidad del sistema.

Esas nuevas directrices se incorpora-ron a las principales políticas y programasimplementados por el gobierno federal a

partir de 1995 y comenzaron también aorientar las iniciativas de los estados y mu-nicipios en el área educacional. Como ejecomún de las acciones de los tres nivelesde gobierno, se observa un fuerte énfasisen la descentralización de la gestión edu-cacional, orientada para promover y forta-lecer la autonomía de la escuela.

Las recientes reformas institucionalesen el sector educacional —consolidadaspor medio de la Enmienda Constitucio-nal n.° 14, del 12 de septiembre de 1996;de la creación del Fondo de Manutencióny Desarrollo de la Enseñanza Fundamen-tal y de Valorización del Magisterio (Fun-dee; de la aprobación de la nueva Ley deDirectrices y Bases de la Educación y de lareorganización y redefinición de las atri-buciones del Consejo Nacional de Educa-ción (CNE)— reforzaron el papel del go-bierno federal de coordinador de laspolíticas nacionales, al mismo tiempo queredefinieron las responsabilidades de losestados y municipios en relación a la ofer-ta de los servicios educacionales. Ademásde ello, se crearon mecanismos que incen-tivan a la sociedad y la articulación de lastres esferas del poder público en torno auna meta común: la mejoría de la calidaddel aprendizaje y la búsqueda de la escuelaefectiva.

El papel de líder que tiene el gobiernofederal en el campo de las políticas, en elsentido de promover la equidad y la cali-dad del sistema educacional, solamentefue asumido con mayor fuerza en la déca-da de los noventa, consolidándose en losúltimos cuatro años. Al mismo tiempo, elhecho de que los estados y municipiosemergieran como actores importantes enel proceso de formulación e implementa-ción de las políticas nacionales de Educa-ción Básica —fenómeno que se inserta enla dinámica desencadenada por la rede-mocratización del país— contribuyó paraque el propio Ministerio de Educaciónasumiese un nuevo papel, concentrándose

77

Page 18: EL SISTEMA DE EVALUACIÓN DE LA EDUCACIÓN BÁSICA DE …12dfa166-0c96-4746-8793-947a3… · sa índole, donde están incluidos los siste-mas de enseñanza y la evaluación. En América

en la orientación, conducción y controlde esas políticas.

Ese nuevo enfoque de actuación le diomayor énfasis al desarrollo de los sistemasnacionales de evaluación y de indicadoreseducacionales, alcanzando todos los nive-les de enseñanza. De esta forma, el gobier-no federal dejó de ser un ejecutor 'directode acciones —especialmente en el área de laEducación Básica— y adoptó la descentra-lización de sus programas y la cooperacióncon los estados y municipios, como prin-cipales estrategias de intervención en elsistema educacional.

Los sistemas estaduales y municipalesde enseñanza, a sus vez, comenzaron a pro-mover innovaciones pedagógicas incorpo-rando a sus prioridades el desarrollo denuevos modelos de gestión escolar y lacreación de mecanismos de evaluación. Enel área de la gestión escolar, el principalavance fue la introducción de nuevos pro-cedimientos para escoger los directores delas escuelas, combinados con mecanismosde selección basados en la calificación y lacompetencia profesional de los candidatos,lo que contribuyó para el fortalecimientode la autonomía administrativa y pedagó-gica de la escuela. Esta práctica también in-centivó la planificación en la escuela y laparticipación de los padres y de los profeso-res en la gestión escolar, fortaleciendo elvínculo entre la escuela y la comunidad.Como consecuencia de ello, la escuela co-menzó a asumir una mayor responsabili-dad por los resultados obtenidos.

En el área de la evaluación se observaun importante cambio cultural entre losdirigentes y gestores de los sistemas de en-señanza, que comenzaron a reconocer losprocesos evaluativos como una herra-mienta indispensable para el seguimientoy control de la efectividad de las políticas.Esta nueva postura permitió que las redesestaduales y municipales de enseñanza seempeñaran en participar en los proyectosde evaluación con cobertura nacional, es-pecialmente en el SAEB, así como cm-

prender grandes esfuerzos para crear suspropios sistemas de evaluación. A partirde los resultados del SAEB, las redes esta-duales y municipales de enseñanza co-menzaron a planear y luego, a desarrollar,programas de formación continuada deprofesores.

El saldo positivo de las políticas na-cionales de educación está directamenterelacionado al nivel de articulación alcan-zado entre el gobierno federal, los estadosy los municipios. Otro factor importanteque ha venido contribuyendo a tornar vi-sibles las reformas ha sido el creciente es-pacio ocupado por los temas educaciona-les en los medios de comunicación,fomentando una mayor participación dela sociedad en el debate sobre las políticaspúblicas y sobre el desempeño de las insti-tuciones de enseñanza. El espacio dedica-do por la prensa a la cobertura del temaeducación registró un aumento de más del300% durante el primer semestre de 1998en relación al mismo período del ario an-terior, de acuerdo con la Pesquisa ANDI—Infáncia na Mídia. Realmente, la divul-gación de los resultados de las evaluacio-nes nacionales realizadas por el MEC/INEP fue decisiva para llamar la atenciónde los medios de comunicación y mante-ner el interés de la opinión pública en re-lación a este importante tema.

BIBLIOGRAFÍA

BARBOSA, M. a T. SERRANO: Modelo logit paraexplicar as chances de classifica lño no vesti-bular. DissertaÇ,jo (Mestrado). Instituto deMatemática Pura e Aplicada, 1979.

DEPARTMENT OF EDUCATION; NATIONALCENTER FOR EDUCATIONAL STATISTICS:State indicators in education 1997. Wa-shington, 1997.

FISHER, L. D.; BELLE, G. Van: Biostatistics: amethodology for the health sciences. NewYork, John Wiley & Sons, 1993.

78

Page 19: EL SISTEMA DE EVALUACIÓN DE LA EDUCACIÓN BÁSICA DE …12dfa166-0c96-4746-8793-947a3… · sa índole, donde están incluidos los siste-mas de enseñanza y la evaluación. En América

HAMBLETON, R. K.: «Item Response Theo-ry», en Principies and Applications. Boston,Kluwer Nijhoff Publishing, 1990.

INSTITUTO NACIONAL DE ESTUDOS E PES-QUISAS EDUCACIONAIS: Matrizes de re-feréncia para o SAEB. Brasília, 2. a ed.,1999.

—Relatorio Final SAEB/95. Brasília, 1998.—SAEB 97: Primei ros resultados. Brasilia,

1998.LINDEN, Van Der Wim J.; HAMBLETON, R.

K.: Handbook of Modern Item ResponseTheory. New York, Springer, 1997.

LORD, F. M.: Applications of ítem ResponseTheory to Practical Testing Problems. New

Yersey, Lawrence Erlbaum Associates Pu-blishers, 1968.

LORD, F. M.; NOVICK, M. Statistical Theoriesof Mental Test Sco res. California, Addi-son-Wesley Publishing Company Inc., 1968.

MESSICK, S.; BEATON A.; LORD, F.: A new de-sign firr a new era. National Assessment ofEducational Progress, marzo de 1993.

NATIONAL COUNCIL ON MEASUREMENT INEDUCATION: Journal of Educational Mea-surement (JEM), 29, 2 (1992).

RIBEIRO, S. C. et al.: «Mecanismos da escolhada carreira e estructura social da universi-dade», en Educacia- o e SeleMo. So Paulo, 3(1981), pp. 93.

79