El sistema de evaluación por Pares y la dimensión ética de la evaluación

1

____________________________________________________________________________ Nicols Miranda Mndez

Unidad de Aprendizaje

Diplomado en:

EVALUACIN Y ACREDITACIN

DE LA CALIDAD DE LA

EDUCACIN SUPERIOR

Mdulo V

EL PROCESO DE EVALUACION EXTERNA Y

LA ACREDITACION

Unidad de Aprendizaje 2

El sistema de evaluacin por Pares y la

dimensin tica de la evaluacin.

Autor:

Nicols Miranda Mndez

2015

2


ndice

Unidad de Aprendizaje 2. El sistema de evaluacin por Pares y la dimensin

tica de la evaluacin.

I. Introduccin 3

II. Objetivos 3

III. Orientaciones para el estudio 4

IV. Contenidos 4

V. Resumen 4

VI. Evaluacin 5

VII. Referencias bibliogrficas 5

3


I. Introduccin

En la segunda unidad de aprendizaje del mdulo: El sistema de evaluacin por

Pares y la dimensin tica de la evaluacin, se pretende identificar la labor que

cumplen los Pares Externos en los procesos de evaluacin y acreditacin,

usualmente conocidos como Pares evaluadores. Los pares evaluadores

ajenos a la institucin o carrera en estudio.

Luego vamos a presentar la funcin que desempea el Comit de Pares en los

procesos de evaluacin externa.

Tambin vamos a revisar la manera como se organizan los Pares evaluadores

en el desarrollo de las actividades de evaluacin externa, los cuales son

regulados por la Agencia de Evaluacin y Acreditacin. Tambin vamos a

analizar y describir aspectos procedimentales con respecto al informe de

evaluacin externa que emite el Comit de Pares, el perfil que deben tener los

pares, la formacin requerida para habilitarse como par evaluador.

Por ltimo, con relacin a los tipos de informes que evacua el Comit de Pares,

en caso de que la evaluacin est orientada a la acreditacin, habr que ver y

analizar que el informe tenga una recomendacin o no de acreditacin, adems

de recomendaciones adicionales de tipo cualitativo.

II. Objetivos

Los objetivos de esta unidad de aprendizaje se pueden formular en los

siguientes trminos:

Objetivo general:

Caracterizar el sistema de evaluacin por Pares y la dimensin tica de la

evaluacin externa de la educacin superior.

Objetivos especficos

Comprender que la evaluacin externa se realiza con la participacin de

pares evaluadores externos a la institucin.

Analizar y conocer los procedimientos de evaluacin externa que practica

el Comit de pares en el desarrollo de su trabajo.

Identificar la actuacin del comit de pares con respecto a los

pronunciamientos de acreditacin o no acreditacin y sus fundamentos

reflejados en consensos y disensos.

Conocer al informe de evaluacin externa en sus etapas de informe

preliminar e informe definitivo.

Comprender y analizar el significado de la dimensin tica de la

evaluacin y acreditacin de la educacin superior.

4


III. Orientaciones para el estudio

En esta unidad de aprendizaje es importante que el estudiante se familiarice

con la parte conceptual con relacin al sistema de evaluacin por Pares, los

procedimientos a seguir para desarrollar este proceso, quienes son los Pares

evaluadores, cul es su rol en los procesos evaluacin externa. Lo importante

es comprender, interpretar y conocer la labor de desempean los Pares

evaluadores.

Para una mayor comprensin y orientacin sera bueno que el estudiante se

involucre en el anlisis e interpretacin de algunos aspectos que siempre estn

presentes cuando abordamos el tema de sistema de evaluacin por pares, la

conformacin del Comit de pares, su actuacin, su formacin, perfil, etc.

Se sugiere realizar una primera lectura del contenido sin detenerse en las cifras

o datos. Una vez que tenga una idea clara de lo presentado, resaltar los

trminos que considere de inters. Si lo considera necesario detenerse en el

anlisis de esos trminos, para luego concluir con una reflexin propia respecto

de los alcances de lo expuesto. Es importante recurrir a la lectura de la

bibliografa disponible para tener una visin ms amplia de este tema que nos

introduce al estudio de este mdulo.

IV. Contenidos

IV. 1. Introduccin

Existen diferentes sistemas de evaluacin por Indicadores y por Pares. Un

abordaje netamente tcnico es el de la evaluacin por indicadores, se trata de

informacin sistematizada cuya construccin (metodolgicamente unificada)

permite realizar el seguimiento de una evolucin y comparaciones. Los

indicadores proporcionan informacin que puede leerse entre diferentes

momentos para un mismo caso o entre distintos casos.

La revisin por pares tiene su origen en los albores de la ciencia moderna. La

gnesis de la evaluacin a cargo de expertos en la materia ha sido rastreada

por la literatura en el surgimiento de las primeras revistas cientficas en Francia

e Inglaterra a principios del siglo XVII, cuando se incorpor la necesidad de

organizar, categorizar y seleccionar el material que iba a ser reconocido por la

comunidad a travs de su publicacin.

El sistema es identificado como un subproducto de la emergente organizacin

social de los cientficos y de la progresiva institucionalizacin de la ciencia en

los mbitos donde se desarrolla (bsicamente universidades e institutos de

investigacin).

5


IV. 2. Sistemas de evaluacin

Particularmente en los ltimos veinte aos, el peer review (revisin por

pares) trasciende al mbito de la legitimacin de la produccin del investigador

y se instala como un instrumento que generaliza la implantacin de polticas de

evaluacin de la calidad y desarrollo y de la planificacin.

Tal como se lo conoce en la actualidad, el peer review o sistema de referato

o evaluacin por pares constituye un sistema que utiliza la opinin fundada de

expertos para asesorar a diversas instituciones de decisin.

La forma ms difundida de evaluacin por pares corresponde a los comits

editoriales que se valen de la opinin acerca de la calidad de un trabajo de

investigacin que se pretende publicar en la revista o publicacin

especializada.

Otras formas, son comisiones revisores de agencias de financiamiento.

Consejos de investigacin o las mismas instituciones universitarias. Estas

comisiones se refieren a grupos de expertos que participan en la evaluacin de

la calidad de propuestas de investigacin, sus resultados o ms recientemente,

asesoran en el campo de la evaluacin de las actividades que desarrollan las

instituciones de Educacin Superior

IV.2.1. La participacin de los pares en la evaluacin

Desde el inicio de las primeras instituciones de educacin suprior, la evaluacin

de alumnos es una prctica comn para determinar la formacin del alumno y

el concurso acadmico lo es para determinar la idoneidad del cuerpo

acadmico de la institucin. Lo que es una novedad, en la historia de la

educacin superior es la evaluacin sistemtica de las actividades que

desarrolla en su interior.

Los pares participan en el sistema de evaluacin de la educacin superior de

diferentes maneras. En coordinacin y consulta con las agencias de

evaluacin, puesto que la comunidad educativa participa en la elaboracin de

los estndares de calidad.

En la aplicacin de los criterios de evaluacin y estndares, para la realizacin

de los procesos de evaluacin y acreditacin.

En sus instituciones ya que estas participan en distintos procesos de

evaluacin, a travs de sus profesionales acadmicos y docentes como pares

evaluadores, como asesores o simplemente realizando aportes y crticas a los

procesos que se desarrollan.

Los juicios y pronunciamientos de acreditacin deben fundamentarse en la

opinin de expertos o de comits de pares.

La opinin sobre una carrera o institucin esta necesariamente ligada a la

actuacin del Comit Pares, que lo har de acuerdo con un procedimiento que

fija la agencia de acreditacin y de acuerdo con los estndares y criterios de

evacuacin en cada pas. Para ello, se debe contar con instrumentos que

6


permitan lograr resultados reproducibles, razonables, fundamentados y no

arbitrarios.

Los pronunciamientos son normados y explicitados (estn escritos), siendo

conocidos por el evaluador y los evaluados.

IV.2.2. El entrenamiento de pares evaluadores

Se aborda desde diferentes puntos de vista: la agencia organiza curso bajo la

forma de taller, a partir del cual se otorga una certificacin de

aprobacin/asistencia.

El evaluador entrenado integra el Banco de Expertos, ya en condiciones de

integrar un Comit de Pares. Parte del entrenamiento consiste en trabajar

sobre un caso tipo y la aplicacin de los instrumentos a esa situacin

hipottica.

Las agencias entrenan a los integrantes del Comit de Pares un corto tiempo

antes de realizar la evaluacin propiamente dicha. Se aborda el manual general

de los procesos de evaluacin y se profundiza en la utilizacin de los

instrumentos de evaluacin sobre los casos reales.

En algunos casos, los evaluadores participan en un Comit de Pares en calidad

de oyentes, adems de realizar un entrenamiento sobre los aspectos formales

de los procedimientos que desarrolla la Agencia.

No hay una nica receta para entrenar a un par evaluador

Lo importante es que durante el entrenamiento se incluya:

El marco general y normativo en el que se insertan los procesos de

evaluacin.

Las caractersticas del sistema de evaluacin de la educacin superior

del pas.

Las caractersticas de la agencia o la organizacin que gestiona los

procesos de evaluacin.

Los procedimientos: autoevaluacin y evaluacin externa.

Los criterios de evaluacin. Dimensiones variables e indicadores.

El informe de evaluacin externa: requisitos y caractersticas.

Los principales documentos institucionales adems de las guas y

manuales de evaluacin. Cdigo de tica.

Una composicin tradicional de un Comit de Pares para abordar el estudio de

una institucin seria la siguiente:

Experto en gestin institucional: generalmente, se trata de acadmicos que

han sido decanos o rectores, secretarios acadmicos o de investigacin.

Expertos en reas disciplinarias que caracterizan a la institucin: No se trata

aqu de cubrir cada una de las disciplinas o profesiones ofertadas sino de

7


incorporar evaluadores que puedan abarcar una determinada agrupacin de

ellas. Generalmente se trata de docentes investigadores con amplia

trayectoria en actividades acadmicas.

Otros perfiles. Hay agencias que recurren alternativamente a: Expertos

extranjeros, representantes de asociaciones profesionales, representantes de

la sociedad o expertos en educacin universitaria.

Desde el punto de vista de la gestin de los procesos de evaluacin, es

importante para las agencias administrar un Banco de Pares Evaluadores, que

usualmente tiene carcter pblico. Los bancos de evaluadores renen

informacin sobre las caractersticas acadmicas, profesionales y de

experiencia en gestin y evaluacin a fin de que pueda servir como base para

evaluar currculos a la hora de elegir la conformacin del comit de pares.

A estos efectos, IESALC/UNESCO ha desarrollado el sistema de evaluacin

de currculo de pares evaluadores: www.iesalc.unesco.org.ve

IV.3. Caracterizacin de los pares evaluadores

Los pares evaluadores son acadmicos y profesionales experimentados, que

cuentan con reconocida autoridad como docentes, investigadores,

profesionales o administradores. Han sido seleccionados por la Comisin, a

travs de un concurso pblico de presentacin de antecedentes, para

integrar los equipos externos que evalan las carreras voluntariamente

sometidas a la acreditacin.

Los pares son quienes conducen la evaluacin externa de la carrera o

programa. Para tal efecto, en primer lugar deben estudiar y analizar

detenidamente el proceso de autoevaluacin y el informe preparado por la

unidad y despus visitar y evaluar en terreno la carrera.

Se les denomina pares pues se trata de personas que comparten entre ellos

y con los profesionales, docentes y acadmicos que se desempean en la

carrera, los cdigos propios de la disciplina o profesin, y por tanto estn

familiarizados con el lenguaje y el estilo de la carrera. Pertenecen a la

comunidad acadmica o profesional nacional o internacional y tienen una

reconocida experiencia en materia de gestin y en el quehacer acadmico

docente, equivalente a la desarrollada en la carrera en acreditacin.

Su importancia para la acreditacin es clave, puesto que complementan

los resultados del proceso de autoevaluacin, aportando a ste una

opinin fundada, externa e independiente, acerca de la calidad de la

carrera, que permite a la Comisin contar con una perspectiva ms

completa al momento de adoptar el juicio correspondiente.

Los pares que conforman los comits de evaluacin externa se seleccionan

del registro pblico de evaluadores, que mantiene la Agencia de Evaluacin

y Acreditacin.

8


El reglamento de Evaluacin y Acreditacin del Sistema de la

Universidad Boliviana, define en los artculos correspondientes las

caractersticas y requisitos que deben cumplir los pares externos:

Artculo. 43. La seleccin y contratacin de pares acadmicos, que

formaran el

Equipo de Evaluacin Externa se realizar a travs del Comit de

Acreditacin.

Artculo. 18. Los pares acadmicos, debern ser profesionales

nacionales o extranjeros; estos ltimos preferentemente latinoamericanos,

de reconocido prestigio, capaces de emitir juicios de valor en forma objetiva,

con el propsito de certificar la validez y confiabilidad de los resultados de su

estudio.

Artculo. 19. Los pares acadmicos responsables de la evaluacin

externa, debern ser expertos en investigacin evaluativa y educacin

superior, adems, debern conocer a profundidad el campo del saber

especfico de la carrera sometida a la evaluacin externa.

Artculo. 20. Los Pares Acadmicos debern responder al siguiente perfil

bsico:

a) Ser profesional en el rea especfica del programa que se evala,

con Diploma Acadmico y Ttulo Profesional en Provisin Nacional

o equivalente.

b) Haber participado en cursos especiales para evaluadores y

en procesos de evaluacin.

c) Ser profesional de reconocido prestigio.

d) Haber realizado investigaciones y/o producido intelectualmente

en torno a las reas de conocimiento, objeto de la evaluacin.

e) Los pares acadmicos extranjeros debern pertenecer a

una institucin acadmica reconocida oficialmente en su pas.

Artculo. 21. As mismo, se podr convalidar la formacin como

pares acadmicos a profesionales del rea, que cuenten con un grado

acadmico superior a Licenciatura con 10 o ms aos de experiencia en el

ejercicio de la profesin y la docencia universitaria y con reconocido

prestigio en el medio.

Artculo. 22. Los pares acadmicos debern estar inscritos en el Registro

Nacional de Pares Acadmicos y designados por el Comit de Acreditacin

en conformidad con el Art. 29 del Reglamento General de Evaluacin y

Acreditacin de la Universidad Boliviana.

Artculo. 23. Los pares acadmicos y especialistas extranjeros en

evaluacin, necesariamente debern acreditar su formacin profesional y

contar con el auspicio o patrocinio de una institucin especializada en

9


evaluacin y acreditacin, reconocida oficialmente por el pas de origen o

pertenecer a Redes Internacionales de Evaluacin.

IV.4. La actuacin del Comit de Pares

El anuncio de una convocatoria se realiza de acuerdo con el abordaje que se

ha decidido en dicha oportunidad. Una vez decepcionadas las solicitudes, se

analizan las caractersticas de las carreras que se va a evaluar y se elabora un

listado tentativo de expertos que van a conformar el Comit de Pares. Este

listado es normalmente informado a las instituciones involucradas para que

puedan ejercer el derecho de recusacin (la recusacin debe ser

fundamentada: si es que hubo algn error al considerar el perfil de la carrera o

de la institucin y el perfil del par evaluador o bien porque se demuestran

incompatibilidades o enemistad manifiesta).

La actuacin del comit de pares consiste en reunir todos los elementos de

juicio, abordando la evaluacin a travs de la gua y manual de pares

evaluadores. La evaluacin culmina con un dictamen de carcter cualitativo,

que debe ser razonable y fundado.

IV.4.1. Compromiso y responsabilidades de los pares evaluadores

La tarea de los pares evaluadores es compleja y delicada. Pertenecen a la

disciplina o profesin que evalan, y en ese sentido, son cercanos a los

miembros de la unidad que visitan. Pero al mismo tiempo, son externos

a ella, y la visitan con el fin de verificar la validez del informe de

autoevaluacin, lo que los pone ms bien en un rol evaluador, siempre

difcil de asumir y sobre todo, de aceptar por parte de los evaluados.

Para que sus conclusiones sean aceptadas y valoradas por la institucin

visitada, es esencial que el Comit de Pares y cada uno de sus integrantes

sea percibido como un acadmico o profesional comprometido con la

tarea, capaz de darse el tiempo necesario para conocer la historia de la

unidad o la carrera, de conocer los antecedentes preparados durante el

proceso de autoevaluacin y de actuar con respeto durante toda la visita y

las acciones relacionadas con ella.

Compromisos que suscribe el par valuador:

Conocer y realizar todas las acciones contempladas en orden a

alcanzar los objetivos del proceso de evaluacin.

Estar dispuesto a aplicar y cumplir con los procedimientos y

exigencias del proceso de acreditacin.

Conocer los patrones y criterios de evaluacin correspondientes.

Estar dispuestos a aplicar y cumplir con los procedimientos y

exigencias del proceso de acreditacin. Lo anterior significa:

Leer y estudiar detenidamente el informe de autoevaluacin y los antecedentes documentales presentados por la carrera.

10


Aplicar los criterios de evaluacin de la A g e n c i a , ya sean los correspondientes a carreras especficas o bien los criterios

generales de evaluacin.

Participar en la reunin preparatoria, contribuyendo a la formulacin del programa de la visita.

Destinar a la visita el tiempo establecido en la programacin, participando en todas las actividades definidas por el Comit de

Pares.

Evaluar y validar el proceso de autoevaluacin desarrollado por la unidad que voluntariamente se ha sometido a la

acreditacin, considerando las caractersticas que tuvo el

proceso, la participacin de la comunidad, la pertinencia del

diagnstico efectuado, las medidas inmediatas de mejora que se

hayan aplicado, si fuera el caso, y las conclusiones y proyecciones

de la carrera derivadas del diagnstico.

Contribuir oportunamente a la elaboracin del informe escrito que se presentar a la Agencia, en la forma concordada por el Comit

de Pares;

IV.4.2. Composicin del comit de pares

El Comit de Pares es el equipo de acadmicos y profesionales

designado por la Comisin para efectuar la evaluacin externa de una

carrera o programa determinado. Durante la visita, el Comit de Pares debe

cumplir las siguientes funciones:

Evaluar y validar el proceso de autoevaluacin desarrollado

por la unidad que voluntariamente se ha sometido a la

acreditacin, considerando las caractersticas que tuvo el proceso, la

participacin de la comunidad, la pertinencia del anlisis

efectuado, las medidas inmediatas de mejora que se hayan aplicado,

si fuera el caso, y las conclusiones y proyecciones de la carrera

derivadas del diagnstico.

Juzgar la calidad del informe de autoevaluacin,

considerando si ste recoge adecuadamente el diagnstico que

realiz la unidad y permite una evaluacin realista de la carrera.

Evaluar si el informe puede ser utilizado por las autoridades

directivas de la carrera como un instrumento para la gestin de la

misma.

Para planificar una visita de evaluacin externa, la Agencia identifica

del registro, tres o cuatro posibles evaluadores externos. Los criterios para

conformar un Comit de Pares son similares en las distintas carreras, aunque

con algunas diferencias menores entre s. Se considera prioritariamente el

perfil de la carrera en evaluacin, de tal modo que los evaluadores sean

11


especialistas en las reas de mayor importancia del programa de estudios

de la carrera. Adems de considerar el perfil de la carrera, se analiza la

ubicacin geogrfica de la misma, la eventual existencia de sedes, la

jornada en la que se dicta el programa, el nmero de alumnos, la

conformacin del cuerpo directivo y docente, entre otros aspectos.

La designacin de los miembros de un Comit de Pares se efecta de

acuerdo a las siguientes consideraciones:

El Comit de Pares est constituido a lo menos por tres personas,

una de las cuales debe ser designada Presidente.

Como norma general se privilegia la participacin de, a lo menos,

un evaluador extranjero en el Comit.

Las caractersticas y orientaciones de la carrera deben tomarse en

cuenta a travs de las especialidades de los integrantes del Comit

de Pares;

El evaluador designado como Presidente del Comit, est encargado de

coordinar el grupo, hablar en su representacin, y asumir algunas

responsabilidades adicionales, segn se detalla ms adelante.

El evaluador designado como Presidente del Comit, est encargado de

coordinar el grupo, hablar en su representacin, y asumir algunas

responsabilidades adicionales, segn se detalla ms adelante.

El Presidente del Comit de Pares evaluadores.

La Agencia designa a uno de los pares nominados como Presidente (o

Coordinador) del Comit. La presidencia es ocupada generalmente por el

acadmico con mayor experiencia en el rea a que pertenece la carrera y

en procesos evaluativos de este tipo.

El Presidente, adems de cumplir con las condiciones y requisitos

sealados ms arriba, tiene funciones especiales. Estas son:

Colaborar en la organizacin del proceso de evaluacin externa y, en

particular, de la visita de pares.

Establecer una buena relacin de trabajo con los directivos

superiores de la carrera y de la institucin.

Cautelar el cumplimiento de los objetivos del proceso.

Asignar funciones especficas al resto del Comit de Pares si es

necesario.

Monitorear el trabajo del Comit, ayudar a hacer ajustes, facilitar

los consensos entre los pares y asegurar que el trabajo se

mantenga ajustado a los objetivos de la visita y a los criterios de

evaluacin definidos.

Organizar con el resto del Comit de Pares el informe oral y el escrito.

12


Emitir el informe oral de la visita ante las autoridades de la carrera.

Redactar el informe escrito a partir de las conclusiones acordadas

entre los miembros del Comit durante la visita e inmediatamente

despus de ella.

Preparar el informe escrito, y entregarlo dentro de los plazos

establecidos. Para los efectos de elaborar el informe escrito, cada

miembro del Comit de Pares deber hacer llegar al Presidente su

contribucin.

Es responsabilidad del Presidente elaborar el informe del Comit,

que una vez aprobado por los integrantes del Comit de Pares para

que sea enviado a la Agencia en el plazo establecido luego de

finalizada la visita.

Las dudas sobre procedimientos, interpretacin de Criterios de

Evaluacin, fuentes de informacin, y cualquier otra materia

relacionada con la aplicacin del proceso, debern ser resueltas por

la Agencia

IV.4.3. Preparacin de la visita de pares

La visita de pares es un hito central del proceso de evaluacin y acreditacin,

que surge de una larga tradicin en la vida acadmica. Su principal objetivo

es el de validar el informe de autoevaluacin, dentro de un marco definido

por un conjunto de criterios y parmetros previamente concordados.

La visita constituye un ejercicio profesional exigente y motivador. Los

pares evaluadores deben responder a un conjunto importante de

expectativas, que provienen tanto de la agencia que los invita a participar

en la visita, como de la institucin visitada. Para que la satisfaccin

de estas expectativas sea posible, es esencial que los pares evaluadores

hayan recibido algn entrenamiento previo y que el trabajo que se va a

desarrollar en la visita est cuidadosamente planificado.

Antecedentes documentales

El documento central para la preparacin de la visita es el Informe de

Autoevaluacin. Este debe ser analizado cuidadosamente, en funcin de

los criterios de evaluacin. La Gua de Formularios que se acompaa,

as como los anexos enviados por la institucin, aportan los fundamentos

al anlisis y los juicios emitidos en el Informe de Autoevaluacin y por

consiguiente, constituyen tambin un valioso material de trabajo para la

preparacin de la visita.

El informe de autoevaluacin

Este documento da cuenta del proceso desarrollado en la institucin, con

el fin de identificar las principales fortalezas y debilidades de la carrera y

priorizar las acciones necesarias para asegurar su calidad en el tiempo.

13


El anlisis del Informe de Autoevaluacin debe hacerse con la finalidad de

conocer la situacin de la carrera evaluada.

La reunin preparatoria

La Agencia convoca a una primera reunin de los miembros del Comit

de Pares aproximadamente 30 das antes de la realizacin de la visita, con

el fin de identificar la informacin adicional que la institucin debe

proporcionar al Comit, poner en comn los planteamientos de los distintos

miembros, concordar las prioridades para la organizacin del programa

de la visita y, ponerse de acuerdo acerca de la metodologa de trabajo y

la distribucin de responsabilidades entre pares evaluadores integrantes

del Comit.

Luego, considerando las observaciones de los pares, las entrevistas que

a su juicio es necesario realizar y el programa tipo que se presenta en el

recuadro, el Comit efecta los ajustes necesarios y define el programa

efectivo de la visita.

IV.4.4. Plan general y programa sugerido para la visita de la Comisin de

Pares

Si bien cada comisin, a travs de Coordinador, puede acordar con la Institucin

el programa para la visita correspondiente, la experiencia de las agencias

participantes permite sugerir el siguiente programa.

Da primero:

Presentacin de la Comisin de Pares Acadmicos al rector y dems directivas

de la institucin

Reunin de la Comisin de Pares Acadmicos con el decano o el directivo

responsable del programa acadmico, con el fin de informar sobre los

aspectos de inters que hayan sido identificados para la evaluacin el primer

da

Revisin de documentacin complementaria correspondiente al programa

acadmico objeto de evaluacin; los directivos del programa pondrn a

disposicin de los pares acadmicos, en un espacio dedicado

exclusivamente para este fin, documentos como prospectos, currculo,

planes de estudios, guas, bibliografa, medios didcticos, muestras de

produccin intelectual de profesores, trabajos de grado y otros que se

consideren relevantes

Revisin de materiales complementarios relacionados con la administracin

y gestin de la institucin, tales como presupuestos, estatutos,

reglamentos, organigrama, planes de desarrollo y otros que se consideren

relevantes

Entrevistas de los miembros de la Comisin de Pares con profesores del

programa y con responsables de reas de inters; se explorar la opinin de

14


profesores sobre la marcha del programa y sobre las diferentes expresiones de

calidad del mismo

Entrevistas de los miembros de la Comisin de Pares con estudiantes del

programa; se explorar su opinin respecto del funcionamiento del programa y

de las diferentes expresiones de calidad del mismo

Entrevistas con miembros del personal administrativo del programa acadmico

y de la institucin

Entrevistas con egresados del programa acadmico

Reunin de trabajo de la Comisin de Pares, en la cual cada par acadmico

compartir sus observaciones y apreciaciones sobre la visita; el coordinador

har la sntesis del trabajo del da.

Da segundo:

Visita de la Comisin de Pares a las instalaciones de la institucin y

entrevistas con los responsables de las mismas (bibliotecas, dependencias

administrativas, auditorios, unidades de apoyo, centros informticos,

dependencias y escenarios de bienestar)

Entrevistas de los miembros de la Comisin de Pares con profesionales del

sector externo (gremios, empleadores, asociaciones profesionales) para

explorar su opinin sobre demandas laborales, empleabilidad,

competencias profesionales y otras expresiones de calidad del programa

Visita a dependencias del programa acadmico y entrevistas con los

responsables de las mismas (aulas, laboratorios, campos de prcticas,

talleres, oficinas)

Entrevistas que, de acuerdo con el trabajo realizado previamente, se

consideren pertinentes

Reunin de trabajo de la Comisin de Pares, en la cual cada par acadmico

compartir sus observaciones y apreciaciones sobre la visita; el coordinador

har la sntesis del trabajo del da.

Da tercero:

Reunin de la Comisin de Pares en la cual el Coordinador presentar un

proyecto de conclusiones y lo someter a consideracin de los dems pares

acadmicos

Reunin final de la Comisin de Pares con el rector, los vicerrectores y los

directivos del programa en la que se compartirn y anotarn los aspectos

crticos identificados

Esta reunin es una oportunidad para agradecer a la institucin por su acogida y

darle una retroalimentacin de la visita, sin anticipar juicios y recordando la

consistencia necesaria con los contenidos y conclusiones que integrarn el

informe final de los pares acadmicos.

15


Se recomienda mantener un enfoque positivo, constructivo, de apoyo,

concentrndose en reas o mensajes claves, sin entrar en detalles. Si se indican

fortalezas y debilidades, es preciso comenzar por las primeras, para crear un clima

apropiado. Al plantear debilidades, es importante hacerlo desde una perspectiva

constructiva para facilitar su comprensin y aceptacin.

IV.5. La visita

La visita tiene, por lo general, una duracin de tres das, con un equipo de

pares de tres personas como mnimo.

En secciones anteriores se han analizado los patrones de evaluacin

que es preciso tomar en consideracin y las tareas asociadas a la

preparacin de la visita. En sta pretendemos recorrer la visita

propiamente tal, enfatizando la forma en que debe conducirse para

que produzca los resultados esperados y sealando los aspectos esenciales

que contempla.

Antes de iniciar el recorrido, es importante destacar que las visitas de

evaluacin que se estn realizando forman parte de un proceso

relativamente nuevo para la mayora de las instituciones de educacin

superior.

Estas circunstancias deben ser consideradas por el Comit de Pares al

momento de realizar la visita. Una visita siempre constituye la irrupcin de un

extrao en una situacin que puede ser incmoda al inicio. Corresponde a los

pares, al momento de iniciarla, crear un clima de colaboracin y confianza

que permita avanzaren conjunto hacia el logro de los objetivos del proceso.

Las visitas de evaluacin externa se ajustan a normas generales de sentido

comn, deferencia hacia las personas y respeto entre pares.

El contexto de la visita

La visita de pares forma parte de un proceso mayor, constituye uno

de los ingredientes indispensables de la evaluacin con fines de

acreditacin (el otro es el informe de autoevaluacin). Los antecedentes

provistos por el comit de pares representan el juicio de validacin

externa, idneo e independiente sobre el nivel de cumplimiento de una unidad

respecto de sus propsitos y estndares previamente definidos.

En concreto, esto significa que el Comit de Pares visita la institucin en

representacin de la Agencia, en virtud de su competencia disciplinaria o

profesional. En este sentido, sus integrantes actan como consultores de

la Comisin.

Por otra parte, es muy importante que antes de la visita los pares conozcan

el contexto cultural y organizacional de la carrera y la institucin que visitan,

con el fin de mantener durante todo el proceso una actitud de respeto a

las dinmicas propias de la carrera que visitan, aun cuando pudieran no

compartir los principios que las sustentan o la forma de operacionalizarlos.

16


El equipo del Comit de Pares

El Comit de Pares debe comportarse como un equipo debidamente

articulado. Si bien es natural -y enriquecedor- que existan diferencias de

opinin y estilo entre los pares que componen el comit, es preciso recordar

que el objetivo es que concuerden en un informe comn, para lo cual

es indispensable que exista la disposicin a trabajar en equipo en pos de un

objetivo compartido.

En efecto, el valor del comit est en la diversidad organizada de sus

miembros, los que permiten diversas miradas frente al objeto de anlisis.

Los juicios y recomendaciones a las que haya lugar deben ser del comit

en pleno, justamente para asegurar su validez y reconocimiento por parte de

la unidad.

El Presidente del Comit es quien tiene la responsabilidad explcita de

articular sus actividades, organizar el trabajo y conducir al Comit a juicios

consensuales. Esta tarea slo puede cumplirse con la colaboracin activa y

comprometida de cada uno de los miembros del Comit de Pares. En caso

de que existan divergencias, stas se tratan en los momentos de reunin de

trabajo del Comit y, por supuesto, sin que stas se hagan evidentes a los

miembros de la carrera, por cuanto esto slo podra conducir a confusiones y

a reducir la validez y legitimidad del informe presentado.

IV.5.1. Desarrollo de la visita

Reunin inicial del Comit de Pares

Inmediatamente antes de la visita (la noche antes, o muy temprano el da

en que se inicia la visita), el Comit de Pares sostiene una reunin de

coordinacin. Esta es importante, porque a veces es la primera vez que el

Comit se encuentra fsicamente reunido, pero tambin porque es el

momento de efectuar los ltimos ajustes al programa, asignar tareas y

organizar las reuniones y entrevistas del primer da.

Suele ser conveniente que al final de esta reunin se integre el director de la

carrera o el acadmico responsable de la coordinacin de la visita, con

el fin de trasmitir la informacin fundamental acerca del programa.

Reuniones de trabajo del Comit de Pares durante la visita

Luego de cada reunin importante, el Comit de Pares debe guardarse

un tiempo para consolidar sus avances y completar sus notas sobre el

tema. Conviene organizar el programa dejando espacios (no ms de cinco

o diez minutos) entre reunin y reunin para esto; adicionalmente, es

necesario establecer momentos concretos para el trabajo de los pares.

17


Hay un momento, habitualmente al trmino del segundo da, en que el

Comit se rene para hacer una revisin del estado en que se encuentra

respecto de cada criterio y sus principales aspectos. Esta reunin -que

permite hacer los ajustes necesarios para completar los aspectos faltantes

en el da 3- se trata ms en detalle en el punto siguiente.

Los recorridos.

Los recorridos y observaciones suelen ser claves en una visita. Son

momentos donde se observar en terreno la infraestructura,

instalaciones, laboratorios, bibliotecas y recursos. Tambin puede

utilizarse este procedimiento para observar otras actividades, tales como

clases, seminarios, trabajo en laboratorios, ejercicios prcticos, etc.

Constituyen una oportunidad para ver las instalaciones en momentos

de uso efectivo: Cmo funciona la cafetera? Se usan los espacios de

trabajo de la biblioteca? Cuntos alumnos estn trabajando en los

laboratorios de computacin? Usualmente los recorridos son orientados por

los directivos de la carrera, y a lo largo de stos, se producen

interesantes discusiones. Es recomendable que durante los recorridos el

Comit conozca y entreviste brevemente a responsables de laboratorios,

profesores, alumnos que rotan entre actividades, y otras personas que

usualmente no aparecen en las reuniones que se programan.

Actividades sociales.

Durante la visita, pueden producirse diversas invitaciones a

actividades de camaradera. Los directivos de la carrera e institucin

suelen invitar a los pares evaluadores con el objeto de amenizar el

proceso y promover un acercamiento ms informal entre los miembros

de la institucin y el Comit de Pares. En la medida en que estas

invitaciones no interfieran con las actividades propias de la visita y se

mantengan en un nivel razonable, representan una buena

oportunidad para compartir opiniones y desarrollar una conversacin ms

distendida.

IV.5.2. Informe de salida, o informe oral

A partir del trabajo realizado, el Comit identifica los principales puntos que

quiere reportar a la institucin al terminar la visita. El informe de salida es

importante, porque la institucin (que ha dedicado tiempo y esfuerzo a la

autoevaluacin) tiene derecho a una retroalimentacin luego de la visita, que

suele ser un momento tenso y estresante en la mayora de los casos.

Hay algunas estrategias que es conveniente considerar al elaborar el

informe de salida. stas facilitan la labor del Presidente y disponen ms

positivamente a las autoridades de la carrera, favoreciendo su cabal

comprensin.

18


Por ltimo, es recomendable que el Comit elabore el informe de salida por

escrito (aun cuando se presenta en forma oral, sin entregar un texto a la

institucin). En efecto, contar con el texto del informe de salida contribuye a

la consistencia entre ste y el informe escrito.

Cada miembro del Comit registra individualmente su opinin acerca de

cada uno de los temas, marcando el casillero correspondiente. En el

cuadro ms arriba, se resume la opinin de tres evaluadores (cada

asterisco representa la opinin de uno de ellos). Luego, el Presidente

coordina una discusin en la que cada uno fundamenta sus juicios, de tal

manera que se pueda llegar a una opinin de consenso, registrando

preliminarmente las evidencias que sustentan tal consenso en el cuadro

de observaciones. Cuando sta no se logra, o se llega a la

conclusin de que falta informacin, se marca el casillero sin informacin

y se organizan las actividades del tercer da de visita de tal manera que sea

posible obtener la informacin que falta y llegar a una opinin comn respecto

del tema de que se trate.

IV.5.3. El informe del Comit de Pares

Los pares evaluadores recogen las observaciones efectuadas durante la

visita en un informe escrito, que se presenta a la Agencia para que sta, al

analizarlo en conjunto con el informe de autoevaluacin, pueda pronunciarse

sobre la acreditacin de la carrera o programa.

Como se seal en la seccin que se refiere a la visita, los pares concluyen

la misma con un informe de salida, o informe oral.

Contenido

Dicho informe, que se presenta en forma oral a la principal autoridad de la

carrera y a quienes l o ella decida invitar, constituye una primera base

para el informe escrito. Por esta razn, en la seccin mencionada se

recomend que se hiciera por escrito, con el fin de que exista una

constancia de lo que se dijo en esa oportunidad y pueda utilizarse en la

elaboracin del informe escrito.

El informe escrito debe hacerse cargo de los siguientes temas principales:

Una evaluacin formal acerca del cumplimiento de los criterios.

El informe se organiza en funcin de las dimensiones en que

se organizan los criterios, utilizando cada uno de ellos como un

acpite para la redaccin. Se debe realizar una evaluacin tanto de

los criterios como de cada una de las dimensiones.

Un anlisis del proceso de autoevaluacin realizado, considerando

su potencial para identificar fortalezas y debilidades y definir

acciones concretas de mejoramiento.

19


Recomendaciones acerca de las acciones de mejoramiento

esenciales que deben ser desarrolladas por la institucin, ya sea

para obtener la acreditacin o simplemente para mejorar su labor.

El informe escrito es la sntesis de las observaciones del Comit durante

la visita. Por consiguiente, es importante tener presente su redaccin a

travs de las distintas actividades de la visita, con el fin de ir haciendo los

ajustes necesarios para asegurar que se estn cubriendo todos los

temas a los cuales el informe debe referirse.

IV.6. Dimensin tica de la evaluacin

Los miembros del Comit, en el cumplimiento de su labor, deben

conducirse con profesionalismo y con pleno respeto a las siguientes

exigencias ticas asociadas a su misin:

Liberarse de prejuicios y de sesgos, antes de iniciar la evaluacin;

Esforzarse por comprender los principales aspectos relativos a la

cultura, principios y estilos de la institucin visitada, de modo que

sean stos los que proporcionen el marco de referencia de la

evaluacin, y no las caractersticas de la institucin de origen o

trabajo del evaluador;

Respetar a los directivos, acadmicos y funcionarios de la carrera

o programa que les corresponde evaluar.

Emitir juicios exclusivamente sobre la base de los patrones de

evaluacin definidos: los criterios y estndares de evaluacin y los

propsitos definidos por la carrera;

No emitir juicios acerca de personas individuales;

Abstenerse de efectuar recomendaciones a la carrera; si esto

ocurre, debe quedar claro que dichas recomendaciones slo se

hacen a ttulo personal y no comprometen de manera alguna el

juicio que posteriormente realice la Agencia;

Abstenerse de adelantar juicios relativos a la decisin de

acreditacin que la Agencia debe adoptar. Guardar reserva de todos

los antecedentes relativos a la carrera e institucin que la Comisin

les proporcione;

Guardar reserva de los antecedentes que la carrera o algn

miembro del grupo proporcione durante la visita. La obligacin de

guardar reserva subsiste indefinidamente, aun cuando una vez que

es presentado el informe de la visita a la Comisin cesa la relacin

entre sta y los pares, y entre stos y la institucin visitada;

Devolver a la Agencia los documentos utilizados que tengan relacin

con el proceso.

20


V. Resumen

En esta primera parte de la Unidad de Aprendizaje 2 del Mdulo V: El Sistema

de Evaluacin por Pares y la Dimensin tica de la Evaluacin, hemos tenido

la posibilidad de introducirnos al anlisis de: los aspectos conceptuales y

metodolgicos del sistema de evaluacin por pares, participacin de los pares

en la evaluacin, la actuacin del Comit de Pares en los procesos de

evaluacin, el entrenamiento de los Pares evaluadores, as como el rol y

funciones de los pares evaluadores en el desarrollo de procesos de evaluacin

institucional y de carreras.

VI. Evaluacin

La evaluacin se realizar a partir de la comprensin que exprese respecto a

esta segunda unidad de aprendizaje. A este efecto nos basaremos en las

aportaciones que realice en los foros de debate: en la calidad de las mismas,

en la redaccin, en la coherencia de las aportaciones, en su capacidad de

resumen, en las iniciativas que demuestre para realizar sus propias

investigaciones respecto los temas estudiados.

Para ampliar el anlisis de los temas de esta Unidad de Aprendizaje realizar la

siguiente tarea, partiendo de una bsqueda a travs de las fuentes

documentales y de informacin a su alcance sobre:

a) Actuacin del Comit de Pares en el desarrollo de los procesos de

evaluacin externa.

Realizar un breve anlisis que integre estos aspectos y que recoja no slo lo

opinin de los expertos, sino que adems incorpore su opinin de acuerdo a su

experiencia y conocimiento respecto de alguna universidad. Los criterios de

valoracin sern los mismos que para la participacin en los foros de debate.

VII. Referencias bibliogrficas

Instituto Internacional para la Educacin Superior en Amrica Latina y el Caribe

Sistema de Evaluacin por Pares 2006

Comisin Nacional de Acreditacin (CNA) Chile. Manual de Pares

Evaluadores (2008). http://www.cnachile.cl

Comit Ejecutivo de la Universidad Boliviana (CEUB). Reglamento de

evaluacin y acreditacin (2012)

Didou Aupetit, Sylvie (2006). Internacionalizacin de la educacin superior y

provisin transnacional de servicios educativos en Amrica Latina. Informe

Sobre la Educacin Superior en Amrica Latina y el Caribe: 2000-2005.

IESALC-UNESCO. En http://www.unesco.org.ve/publicaciones/Boletin-

InformeES.htm

IESALC-UNESCO (2006). "Informe sobre Educacin Superior en Amrica

Latina y el Caribe: 2000-2005. En

http://www.unesco.org.ve/publicaciones/Boletin-InformeES.htm

21


Brunner, Jos Joaqun (coordinador) (1995), Educacin Superior en Amrica

Latina. Una agenda de problemas, polticas y debates en el umbral del ao

2000. Proyecto de Polticas Comparadas de Educacin Superior. FLACSO.

Santiago de Chile.

Villarroel, Cesar (2004); El estado de la evaluacin y la acreditacin en los

pases de la Regin Andina y alternativas de integracin de estos procesos,

Quinta Reunin del Foro Regional Andino para el Dilogo y la Integracin de la

Educacin Agropecuaria y Rural, Quito - Ecuador. Octubre 2004.

Comit Ejecutivo de la Universidad Boliviana (2013); Boletn Estadstico, N 2.

Sistema de la Universidad Boliviana en Cifras. Junio 2013. La Paz Bolivia.

Ministerio Educacin (2011); Estadsticas de las Universidades Privadas de

Bolivia. Ministerio de Educacin Estado Plurinacional de Bolivia,

Viceministerio de Educacin de Formacin Profesional. Marzo 2011. La Paz

Bolivia.

ARCUSUR (2008). Dimensiones, componentes, criterios e indicadores para la

acreditacin Mercosur Enfermera.

ARCUSUR (2008). Sistema de acreditacin de carreras universitarias para el

reconocimiento regional de la calidad acadmica de sus respectivas

titulaciones en el Mercosur y estados asociados.

ARCUSUR (s.f.). Gua de autoevaluacin para carreras de arquitectura.

Asociacin Colombiana de universidades (ASCUN) Proyecto Alfa PUENTES

(2010). Sistemas de aseguramiento de la calidad de la educacin superior en

los pases que integran el consejo universitario andino.

Baeza H., J. (2008). El rol de las universidades en el desarrollo cientfico-

tecnolgico en la dcada 1998 - 2007. Informe Nacional Chile. ARCUSUR.

Chaparro, F. (2011). Surge la necesidad de un Sistema Andino de Acreditacin

de programas acadmicos. Seminario de Integracin Regional, Proyecto Alfa

PUENTES EUA/ CONSUAN. Lima

CCA (2005 / 2006). Glosario para la evaluacin y acreditacin de organismos

acreditadores. Managua, Nicaragua y San Jos, Costa Rica.

CNA Chile (2002). Manual de pares Evaluadores. Gua para la evaluacin

externa con fines de acreditacin. Ministerio de Educacin. Chile.

CNA Colombia (2006). Lineamientos para la acreditacin de programas.

Bogot.

CONEA (2003). El sistema nacional de evaluacin y acreditacin de la

educacin superior. Estructuras, polticas, estrategias, procesos y

proyecciones. Ecuador.

CONEA (2004). Manual de evaluacin externa con fines de acreditacin.

22


El-Khawas, E.; DePietro-Jurand, R.; Holm-Nie!sen L. (1998). El control de

calidad en la educacin superior: avances recientes y dificultades por superar.

Education The World Bank.

UNESCO IESALC-RAP (2004). La evaluacin como estrategia de

autorregulacin y cambio institucional. Caracas. Universia, C. I. d. D. C.-.

(2011). Educacin Superior en Iberoamrica Informe 2011.

El sistema de evaluación por Pares y la dimensión ética de la evaluación

Documents

Transcript of El sistema de evaluación por Pares y la dimensión ética de la evaluación