Anexo S1P2

Nota precautoria: la primera lectura que aquí se presenta es una referencia de la forma en la que se está considerando la evaluación en el contexto internacional. No se pretende en ningún momento que sea un documento normativo en el trabajo de los docentes, pero creemos que contiene argumentos importantes para poder conceptualizar de mejor manera la evaluación.

La evaluación en el aula de ciencias1La evaluación de la enseñanza/aprendizaje de la ciencia ocurre en diversos ámbitos y con fines muy variados: puede circunscribirse al salón de clases y ser realizada por el propio docente o puede ampliarse para abarcar las esferas de lo local, nacional o internacional. Puede llevarse a cabo con fines formativos que sirvan de guía al profesor para mejor encauzar sus esfuerzos y directamente ayudar a los alumnos a aprender —y, especialmente, a aprender a aprender— o con fines sumativos que se traduzcan en certificaciones externas o en evidencias del éxito, o no, de un programa o currículo determinado, en aras de la rendición de cuentas o de comparaciones del desempeño entre países —como el multicitado Informe PISA (Bell, 2007).

La amplia y sostenida atención que ha recibido el tema de la evaluación por los académicos de la educación —y de la que dan cuenta las revisiones sistemáticas emprendidas por Black (1998a), Doran, Lawrenz y Helgeson (1993), Gitomer y Duschl (1998), Parker y Rennie (1998) y Tamir (1998) — refleja la gran importancia del tema, en particular en lo que concierne a su incorporación a una práctica docente efectiva. Su importancia también ha sido enfatizada por investigadores entregados al estudio de la práctica docente en sí (Bell y Cowie, 2001b; Doran et al., 1993; Hattie y Jaeger, 1998), quienes han convenido en señalar a la evaluación como una tarea sumamente compleja que exige de los docentes el desarrollo acorde de habilidades. Asimismo, una evaluación efectiva e integral se considera uno de los factores potencialmente más benéficos para la enseñanza/aprendizaje de las ciencias, toda vez que proporcione una retroalimentación pertinente y oportuna al alumno sobre la calidad de su desempeño (Hattie y Jaeger, 1998).

En la presente lectura, el repaso a la problemática de, y la investigación en torno a la evaluación de la educación científica se ceñirá al salón de clases, en virtud de que, a diferencia de las evaluaciones oficiales o internacionales, es aquella que inmediatamente afecta a los alumnos y la que más probabilidades tiene de mejorar su desempeño. El papel del maestro es, sobra decirlo, fundamental el esto: es él

1 Aportación del Dr. Luis Jiro Suzuri

quien puede adaptar e implementar los mecanismos de evaluación a la luz de las circunstancias particulares y contingentes de sus alumnos, además de ocupar una posición privilegiada desde la cual juzgar el valor, el significado, las implicaciones, la pertinencia y el uso apropiado de las evaluaciones y los resultados que arrojan.

Además de la problemática asociada con la evaluación en el aula, en las páginas que siguen se tocarán brevemente temas como la evaluación de objetivos múltiples, tanto con fines formativos como sumativos, la mejora de la calidad de la evaluación y las distintas teorías en torno a ésta.

ANTECEDENTES Y PROBLEMÁTICA

Las dos principales tendencias en la evaluación de la enseñanza/aprendizaje en el aula, identificadas por Bell (2007), son: 1] el abandono de una concepción de la inteligencia como una entidad unitaria y del consecuente uso de pruebas psicométricas —consistentes en medir diferencias entre individuos— que arrojan una única y, se asume, verdadera calificación de un atributo cognitivo (Black, 2001) en favor de la evaluación integral del proceso educativo con sus múltiples facetas; en otras palabras, el énfasis de quien evalúa reside no ya en demostrar que el aprendizaje ocurrió sino en mejorar el aprendizaje en sí (Gipps, 1994a, 1994b) y 2] la sustitución de la noción de evaluación como la medición objetiva de una característica, rasgo o atributo por la noción de evaluación como un juicio más bien subjetivo —basado en evidencia lo más sólida y confiable posible— acerca del aprendizaje de los alumnos (Boradfoot, 2002; Harlen y James, 1997).

Estos cambios en la concepción de la evaluación implican, entre otras cosas, un cambio equivalente en la imagen tradicional que de los alumnos tienen los docentes, de la relación quien aprende y quien evalúa, así como el reconocimiento del papel que juegan el contexto, la motivación del alumno y las características del test en el desempeño, entendido éste como la demostración de competencia en una ocasión específica y bajo ciertas circunstancias (Gipps, 1994b). A la luz de esta propuesta, la evaluación ha dejado de verse como un ejercicio mecánico, un reto técnico para los evaluadores, reconceptualizándose como una práctica que involucra tanto al alumno como al docente, y se desarrolla en un contexto de dimensiones políticas, históricas, sociales y culturales (Broadfoot, 2002). Aunque el poder estadístico propio de los métodos psicométricos tradicionales aún tiene un papel importante en la tarea de evaluar el aprendizaje, su primacía ha menguado, poniéndose al servicio del alumno, no de las instituciones educativas.

Dado que, como ya se mencionó, la evaluación no está, en modo alguno, aislada del marco social y cultural, la influencia de la política es particularmente intensa sobre ella. No es extraño que los resultados de una evaluación sean puestos en duda por alguno de los muchos interesados en el proceso educativo: alumnos,

maestros, padres y madres de familia, directivos y políticos, entre otros. Cada uno de ellos buscará influir en los objetivos, procesos y resultados de la evaluación, a fin de implementar una política educativa, obtener beneficios profesionales o satisfacer necesidades personales, por ejemplo. A diferencia de otros aspectos de la educación en ciencias, como serían la selección de los temas de un currículo, la calendarización de cursos o el equipamiento de laboratorios, la evaluación en un factor determinante en el avance profesional de los docentes, la efectividad percibida de la enseñanza, la asignación de recursos económicos, la fijación de responsabilidades y el futuro académico de los alumnos. Por este motivo, la evaluación es, por lo general, un tema sumamente controversial. Existen estudios que ilustran cómo factores como la acreditación o la rendición de cuentas influyen en la práctica docente en el aula, en países tan como Estados Unidos (p. ej., Collins, 1995), Inglaterra (p. ej., Donnelly y Jenkins, 2001), Canadá (p. ej., Doran et al., 1993), Corea (p. ej., Han, 1995), Australia (p. ej., Butler, 1995) y Nueva Zelanda (p. ej., Hill, 1999). En vista de esto, el provecho que se pueda sacar de la evaluación depende en buena medida de que los intereses de cada uno de los actores en el proceso educativo sean formulados de manera explícita y compartidos abiertamente, a fin de disminuir sopesar y compensar el natural sesgo de los juicios derivados de los resultados obtenidos.

ATENCIÓN EVALUATIVA DE OBJETIVOS MÚLTIPLES

A raíz de la atención de los muchos actores interesados en la evaluación de la enseñanza/aprendizaje de la ciencia, paulatinamente se han ido incrementando la cantidad de objetivos que la tarea evaluativa tiene que cubrir. Entre los principales se cuentan, más allá de conocer el aprendizaje de los alumnos, 1] auditar escuelas, 2] monitorear el desempeño a nivel nacional e internacional, 3] documentar la deserción escolar, 4] otorgar grados y certificaciones de validez oficial, 5] evaluar el desempeño docente, 6] evaluar currículos implementados y 7] mejorar la educación en ciencias. Por su parte, los principales interesados —externos al salón de clases— en estos propósitos son directivos, miembros de mesas directivas, políticos y funcionarios, certificadores, miembros de paneles de selección de ingreso a la educación superior y empresarios, en su rol de patrones (Bell y Cowie, 2001b).

Un influyente documento preparado por el National Research Council (1999) de los Estados Unidos delineó, a grandes rasgos, los tres rubros que toda evaluación debe cubrir; rubros que a su vez engloban los objetivos múltiples citados arriba:

1] Evaluación sumativa, es decir, monitorear los avances —o retrocesos, según sea el caso— en el aprendizaje de los alumnos, a fin de mantener informados a docentes, legisladores, padres y madres de familia y al

público en general del cumplimiento de los estándares de desempeño establecidos. El principal motor de este tipo de evaluación es la creciente inversión de recursos económicos, materiales e intelectuales en la enseñanza de la ciencia.

2] Evaluación formativa, es decir, proporcionar a docentes y alumnos retroalimentación oportuna y pertinente acerca de su desempeño, a fin de permitir al docente reevaluar y mejorar sus prácticas en el aula y a los alumnos dar seguimiento puntual a su propio aprendizaje. El principal motor de este tipo de evaluación es la incorporación de novedosas estrategias de enseñanza enfocadas en los alumnos como, por ejemplo, el constructivismo.

3] Evaluación para la rendición de cuentas, es decir, servir de guía y motivación de cambios en las prácticas y las políticas educativas, así como asignar las responsabilidades de los éxitos y fracasos de las reformas implementadas. El principal motor de este tipo de evaluación es la popularización del uso de incentivos y sanciones al desempeño docente.

A propósito de lo anterior, Harlen (1998) ha recomendado, para una evaluación integral, aplicar una serie de estrategias evaluativas que recorran todo el espectro entre las de propósito claramente formativo hasta las de propósito decididamente sumativo. Cualquier actividad, sea un mapa conceptual, un portafolio, un test de opción múltiple, puede aplicarse con cualquiera de las dos finalidades. Sobre esto, uno de los asuntos que más atención ha recibido a últimas fechas es la posibilidad de emplear una evaluación formativa con fines sumativos y viceversa, así como la manera de usar ambas para la rendición de cuentas. Ingredientes en esta discusión abierta son lo ético de usar una evaluación con más de un fin; la confiabilidad, validez y equidad de esta práctica; los diferentes estándares aplicados a uno y otro tipo de evaluación (definidos por los alumnos mismos versus fijados por las autoridades educativas); la organización del proceso evaluativo con múltiples fines y la tensión existente entre los roles de docente y de evaluador. Algunos investigadores (Biggs, 1998; Black, 1993; Gilmore, 2002; Harlen y James, 1997) han argumentado a favor de usar una evaluación con más de un fin, a la luz de la creciente carga curricular y organizacional con la que tienen que lidiar los docentes.

Otro asunto a considerar es que la evaluación, el currículo, la didáctica de las ciencias y el aprendizaje en sí están íntimamente interrelacionados (Carr et al., 2000). Por ende, casi cualquier cambio practicado a nivel de la evaluación impactará al resto, y viceversa. Por ejemplo, la preponderancia de evaluaciones

sumativas tanto a nivel nacional (como ENLACE) como internacional (como PISA) influyen determinantemente en el tipo de enseñanza practicada por un profesor en su aula, reforzando o favoreciendo el entrenamiento de los alumnos en pruebas del tipo (Black y William, 1998a).

Por último, los tres propósitos de la evaluación —formativo, sumativo y rendición de cuentas— también se encuentran interrelacionados entre sí, muchas veces en detrimento de alguno de los propósitos. Por ejemplo, el imperativo de la rendición de cuentas con base en evidencia documental suele restar la disposición de los docentes a practicar la evaluación formativa (Cowie y Bell, 1999). Asimismo, el énfasis puesto en las evaluaciones de índole nacional condiciona a los docentes a enseñar lo justo para aprobar dichos exámenes, en detrimento de otras prácticas pedagógicas. Estudios realizados por Gipps et al., (1995) ofrecen indicios de cómo los docentes pueden paliar los efectos negativos derivados de privilegiar un objetivo por sobre los otros: 1] mejorar su comprensión de los intríngulis de la evaluación; 2] redirigir el enfoque de su enseñanza, privilegiando la enseñanza de habilidades —más que el contenido— útiles en las evaluaciones nacionales; 3] planear con más cuidado sus clases; 4] hacer un uso más sistemático de métodos de recolección de información documental en lugar de depender de evidencia anecdótica; 5] enfocarse en el progreso del aprendizaje y no sólo sus resultados y 6] abrir la discusión sobre el tema con sus pares.

CONTENIDOS A EVALUAR DE LA EDUCACIÓN EN CIENCIAS

La respuesta tradicional a la pregunta sobre qué evaluar suele remitirse al conocimiento de hechos, conceptos y teorías científicos, habilidades o destrezas científicas, habilidades de pensamiento científico de alto nivel, habilidades de resolución de problemas, habilidades para la manipulación de equipo y materiales y actitudes hacia la ciencia (Doran et al., 1993). Sin embargo, una de las principales críticas en contra de la evaluación ha sido que se privilegia el examen del contenido factual y conceptual de la ciencia dado que es el más fácil de evaluar vía preguntas memorísticas de opción múltiple (Crooks, 1988). En la actualidad, no queda duda de que todos los aprendizajes deseados tienen que evaluarse cabalmente (Osborne y Ratcliffe, 2002).

La lista de aprendizajes se ha ido refinando y ampliando a lo largo del tiempo, hasta incluir, además de los citados líneas arriba, aquellos mostrados en la siguiente tabla:

APRENDIZAJES DE LA EDUCACIÓN CIENTÍFICA (TOMADOS DE BELL, 2007)

La visión de la naturaleza de la ciencia de los estudiantes. Conocimientos y habilidades considerados esenciales dentro de una

disciplina científica, es decir, conocimientos y experiencias de indagación similares a las de los científicos profesionales, sin dejar de lado la naturaleza cambiante del conocimiento disciplinar a la luz de los resultados de la investigación, las reglas metodológicas aceptadas y el marco conceptual de la disciplina.

El conocimiento de que el conocimiento científico está inmerso en una cultura y sujeto a un contexto sociohistórico particular.

La evidencia, los procesos y las prácticas de la ciencia, a través de las cuales sustentamos nuestro conocimiento. Es decir, cómo podemos saber qué es lo que sabemos.

Disposición al aprendizaje y hábitos mentales como la perseverancia, el gusto, la reciprocidad, la curiosidad, la amistad, el liderazgo, la confianza, la intencionalidad, el autocontrol, la comunicación, la cooperación, el valor, la responsabilidad, la experimentación, la reflexión, el sentido de la oportunidad y la convivencia.

EVALUACIÓN FORMATIVA EN EL AULA DE CIENCIAS

El ímpetu por la evaluación formativa tiene tres fuentes: la exigencia, dirigida a los docentes de rendir de cuentas; los resultados de la investigación del papel de la retroalimentación en la enseñanza/aprendizaje y los resultados de la investigación sobre el desarrollo conceptual (Bell y Cowie, 2001b; Treagust et al., 2001).

A grandes rasgos, la evaluación formativa se caracteriza por dar retroalimentación tanto a alumnos como a docentes acerca del proceso de enseñanza/aprendizaje durante el proceso mismo, no solamente después de concluido (Cowie, 1997) y porque esta retroalimentación conduce a tomar acciones por parte de alumnos y docente a fin de mejorar el aprendizaje (Black, 1993). Una de las definiciones más elocuentes de lo que es la evaluación formativa se debe a Bell y Cowie (2001b, p. 8): “El proceso usado por profesores y alumnos para reconocer y dar respuesta al aprendizaje de los propios alumnos a fin de mejorarlo durante el aprendizaje mismo.” Para ser efectiva, la tan importante retroalimentación debe tocar temas como aquello que los alumnos saben, entienden y son capaces de hacer.

Una caracterización más detallada de la evaluación formativa, debida a Harlen y James (1997), la diferencia de la evaluación sumativa en tanto que, a diferencia de ésta, la formativa es positiva —es decir, activa y efectiva, contribuyente a la mejora de—, forma parte de la enseñanza, toma en cuenta el progreso de los alumnos, saca a luz inconsistencias que ayudan a hacer un diagnóstico del

aprendizaje, valora más la validez y la utilidad que la confiabilidad y exige de los estudiantes una constante vigilancia de su propio aprendizaje y su mejora.

El apoyo a la evaluación formativa, especialmente de parte de los investigadores educativos, no es injustificado: una revisión sistemática de los estudios realizados sobre el tema reveló que “concluyentemente, la evaluación formativa sí mejora el aprendizaje. Las mejoras en el desempeño son en apariencia bastante considerables y, como se mencionó antes, se encuentran entre las mayores jamás reportadas para una intervención educativa” (Black y Wiliam, 1998a, 1998b, p. 61). A pesar de estos prometedores resultados, la misma revisión reveló algunos de los principales problemas que enfrenta la implementación de la evaluación formativa de manera generalizada, mencionando que existen evidencias de que:

“ … la evaluación formativa no está bien entendida por los profesores y, en la práctica, se lleva a cabo sin mucho ímpetu; de que en los niveles nacional o local, los requisitos de certificación y rendición de cuentas ejercerán una gran influencia en su práctica; y de que su implementación requerirá de profundos cambios en las concepciones de los profesores acerca de su papel en relación con sus estudiantes y su práctica docente en el aula” (Black y Wiliam, 1998a, p.20).

Uno de los requisitos para llevar a cabo una evaluación formativa efectiva es la flexibilidad en el aula: una vez que el docente ha extraído e interpretado cierta información de los alumnos, tiene que disponer de la disponibilidad de tiempo para actuar en respuesta a esa información, así como contar con la libertad y la creatividad para actuar de diversas maneras o emplear estrategias pedagógicas alternativas, según la información recabada lo requiera. De otra manera, la evaluación formativa es inútil (Bell y Cowie, 1999).

La evaluación formativa puede adquirir dos formas: la planeada o interactiva. La primera, como su nombre lo indica, implica que el profesor elija o diseñe una actividad o test con cierta anticipación para implementarla o aplicarlo a sus alumnos. La información, después, de ser analizada, repercute en la manera como el profesor da su clase, adaptándose a las necesidades de los alumnos. Esta variante de la evaluación formativa es más rígida que la interactiva y es idónea para ajustar los objetivos a mediano plazo a las circunstancias reales de aprendizaje. Por su parte, la evaluación formativa interactiva es imposible de planear, ya que responde a información surgida de la interacción cotidiana entre alumnos y docente; por este motivo es más flexible y proporciona retroalimentación inmediata a los alumnos. Es, pues, idónea para el ajuste de los objetivos a corto plazo. En cierto sentido, este segundo tipo de evaluación es más desafiante para el docente, ya que le exige dar respuesta inmediata a los alumnos

y modificar el tono y dirección de su clase sin premeditación. Exige, por tanto, que el docente recurra a su caudal de conocimiento y sabiduría pedagógica personal, producto de años de experiencia directa. En la tabla que se muestra a continuación, se resumen las principales características del modelo general de la evaluación formativa.

CARACTERÍSTICAS DEL MODELO DE LA EVALUACIÓN FORMATIVA

(TOMADAS DE BELL, 2007)

1. Requiere planificación (en el caso de la evaluación sumativa planeada).2. Es una tarea compleja, de un alto grado de habilidad. Por lo mismo, se

sustenta en una diversidad de conocimientos: del contenido, pedagógico general, del currículo, pedagógico del contenido, acerca del aprendiz en general y de sus alumnos en particular, del contexto educativo, del desarrollo del aprendizaje de los alumnos y de los objetivos educacionales perseguidos. Depende, asimismo, de un razonamiento y una actuación docente juiciosa y adecuada, que comprende principalmente la transformación del conocimiento del contenido en conocimiento pedagógico.

3. Pone en acción la habilidad de interacción del docente y necesita de una buena la relación alumno-profesor. La interacción con los alumnos debe ser un acto voluntario basado en un genuino interés por conocer y entender lo que el alumno piensa, a la vez que debe apelar al respeto y confianza mutuos que deben existir en la relación entre los participantes en el acto educativo.

4. Hace explícitos el o los propósitos de la evaluación, así como compartir, en la medida de lo posible, la responsabilidad de establecerlos con los propios alumnos. Los alumnos siempre deben estar informados de los objetivos de la evaluación y el docente debe tener bien en claro estos objetivos.

5. Exige tomar algún tipo de acción. La evaluación formativa es parte integral del proceso de enseñanza/aprendizaje y debe responder a las necesidades, inquietudes e ideas de los alumnos. El docente extrae, analiza y actúa sobre información del aprendizaje de los alumnos.

6. Cuida la calidad de la retroalimentación. Ésta debe ceñirse a aspectos como aclarar los objetivos, señalar debilidades y fortalezas en una tarea en particular, la comparación entre el desempeño y los objetivos o estándares y ayudar a que eso que los alumnos saben y son capaces de hacer se acerque a lo establecido en los planes y programas de estudio.

7. Privilegia la autoevaluación y el automonitoreo, es decir, la autonomía intelectual, el autodidactismo, la autoestima y la metacognición.

8. Conlleva la mejora continua de los docentes, en tanto implica le reevaluación constante de su práctica y el replanteamiento, a veces total, de sus presupuestos pedagógicos.

Aunque hasta aquí la exposición de la evaluación formativa ha enfatizado en papel del docente, no hay que subestimar el importante papel que tiene que desempeñar el alumno, como se deduce del punto 7 del modelo descrito en la tabla. A él le toca llevar a cabo la tarea central de la evaluación formativa, la correspondiente al vocablo “formativa”: primero, percatarse de la brecha existente entre el objetivo planteado y su estado cognitivo actual —referido al conocimiento, comprensión o habilidad— y, segundo, tomar las medidas necesarias para cerrar esta brecha (Ramaprasad, 1983; Sadler, 1989; Black y Wiliam, 1998a).

Junto con el docente, los estudiantes, vía sus impresiones acerca de los objetivos y la naturaleza de la evaluación formativa, construyen sus respectivas identidades en el aula (Cowie, 2000). Así como el profesor evalúa a sus alumnos, así también ellos evalúan las ideas, el desempeño y las actitudes del profesor. Los estudiantes influyen en el funcionamiento de la evaluación formativa de tres maneras, principalmente: 1] los objetivos académicos (aprobar el curso, entrar a la universidad) y sociales (agradar a sus compañeros, evitar sentirse humillados) de los alumnos regulan su interacción con el profesor (por ejemplo, pueden rehusarse a participar o contestar para evitar que los tachan de “matados”); 2] dosifican la evaluación de su aprendizaje evitando activamente hacer preguntas que los expongan al ridículo o a la desaprobación y limitando el acceso del profesor a su trabajo y 3] evalúan cómo es que el profesor reacciona ante sus preguntas y comentarios, a fin de conocer qué cosas son importantes para él (Cowie, 2000).

EVALUACIÓN SUMATIVA EN EL AULA DE CIENCIAS

La evaluación sumativa se define como aquella que resume —generalmente en forma de un número o letra con un determinado valor en una escala— el aprendizaje y el desempeño de los alumnos a lo largo de un periodo, y recurre a métodos como tests escritos (parciales o finales), calificaciones asignadas por el profesor y reportes para padres o tutores. A diferencia de la evaluación formativa, que busca incidir y mejorar el aprendizaje, la evaluación sumativa juzga el aprendizaje. (Crooks, 2001).

En los últimos diez años, la investigación en torno a la evaluación sumativa se ha enfocado en diseñar maneras de evaluar cada vez más contenidos (véase el apartado CONTENIDOS A EVALUAR DE LA EDUCACIÓN EN CIENCIAS) y el diseño y uso de una cada vez más amplia gama de herramientas de evaluación, entre las que se cuentan la evaluación del desempeño, los mapas conceptuales, los portafolios, las entrevistas, las tareas predictivas, las historias de aprendizaje, las observaciones, la evaluación dinámica, los retos experimentales a la medida, la evaluación grupal y la evaluación asistida por computadora (Dori, 2003). El ímpetu detrás de todos estos esfuerzos ha sido la creciente importancia de las

evaluaciones nacionales e internacionales y el dar atención de las numerosas críticas en contra de la validez de los tradicionales tests escritos.

A) EVALUACIÓN DEL DESEMPEÑO

La evaluación del desempeño es una respuesta directa al hecho de que los tests escritos —por lo general de opción múltiple o respuestas breves, y enfocados a la memorización de hechos y conceptos— no evalúan adecuadamente varios resultados deseables de la educación científica (Fusco y Barton, 2001). Ergo, la evaluación del desempeño, como su nombre lo indica, se centra en el desempeño efectivo del alumno y en los productos que resultan de ese desempeño, se define habitualmente como la ejecución de alguna tarea o proceso que ha de ser evaluado a través de una demostración de competencia (Wiggins, 1993) y busca evaluar todos los objetivos curriculares —conceptuales, procedimentales y actitudinales.

Aunque la evaluación del desempeño se ha aplicado en contextos tales como situaciones que simulan la ciencia como la practican los científicos o aplicada a situaciones de la vida cotidiana (Lubben y Ramsden, 1998), indagaciones en colaboración, resolución de problemas y co-construcción del conocimiento (Fusco y Barton, 2001; Rogoff, 1990), su uso con fines sumativos del trabajo experimental en el laboratorio ha sido el más importante (Bednarski, 2003; DeTure, Fraser, Giddings y Doran, 1995; Doran et al., 1993; Erickson y Meyer, 1998; Fairbrother, 1993; Gott, Welford y Foulds, 1998; Harlen, 1999; Stefani y Tariq, 1996; Tariq, Stefani, Butcher y Heylings, 1998). Estos y otros estudios han descubierto que esta estrategia evaluativa es sumamente sensible a la tarea planteada, las circunstancias de la prueba, el método a utilizar para su resolución (Ruiz-Primo y Shavelson, 1996b) y el tipo de conocimiento involucrado (Erickson y Meyer, 1998).

Críticas hacia la evaluación del desempeño con fines sumativo han echado luz sobre 1] la influencia del contenido disciplinar y el contexto de la evaluación en el desempeño (que, por ende, no depende unívocamente de la capacidad del alumno) (Harlen, 1999); 2] la presencia inusual —y su efecto sobre el desempeño— de evaluadores externos cuando se trata de evaluaciones nacionales u oficiales (Kennedy y Bennett, 2001); 3] la dificultad inherente en seleccionar una indagación o problema que satisfaga todos los criterios a evaluar (Lubben y Ramsden, 1998); 4] los retos asociados con separar la función docente de la función evaluadora y calificadora (Lubben y Ramsden, 1998); 5] la necesidad de meticulosidad a la hora de establecer la validez y la confiabilidad de la evaluación (Hattie y Jaeger, 1998; Shaw, 1997) y 6] la importancia de establecer de antemano protocolos de calificación efectivos, puntos de corte y criterios de juicio (Hattie y Jaeger, 1998).

B) MAPAS CONCEPTUALES

Los mapas conceptuales son tareas que buscan que el alumno exprese la estructura de un campo del conocimiento determinado (Ruiz-Primo y Shavelson, 1996a). Cuando se usan con fines evaluativos, el docente debe, previo a la aplicación de la prueba, definir un formato de respuesta y un sistema de calificación preciso y consistente (una rúbrica, por ejemplo).

Entre las principales críticas en contra de los mapas conceptuales están las dudas 1] acerca de su validez y confiabilidad y 2] sobre como correlacionar los resultados que arrojan con los de otros tests más convencionales (Kinchin, 2001; Liu y Hinchey, 1996; McClure et al., 1999; Rye y Rubba, 2002; White y Gunstone, 1992). Una atractiva propuesta de uso de los mapas conceptuales como herramientas de evaluación con fines sumativos fue propuesta por Stoddart et al. (2002), quienes diseñaron una rúbrica capaz de convertir el desempeño en la factura de estos mapas en calificaciones cuantitativas. Los aspectos que contempla esta rúbrica son el uso del vocabulario, la disposición del contenido disciplinar y la revisión de la validez del contenido mapeado. No incluye, sin embargo, aspectos como lo elaborado del mapa o la cantidad de vínculos y componentes, dos aspectos que incrementarían la validez de la herramienta. De cualquier forma, la confiabilidad, validez y practicidad de la rúbrica se pusieron a prueba con éxito.

C) PORTAFOLIOS

Los portafolios se han definido como archivos de evidencia documental —trabajos, reportes, autoevaluaciones— reunida y organizada con un propósito en particular, y que puede ser usada por terceros para inferir el grado de conocimiento, habilidad o disposición del autor del portafolio (Collins, 1992).

Las críticas más frecuentes a esta estrategia se centran en 1] la definición de los objetivos a evaluar vía el portafolio; 2] el uso dado a los portafolios (¿evaluaciones parciales o finales?; ¿reportes para personas externas al aula o informes para otros profesores?); 3] el diseño de un método de calificación —válido y confiable— proporcional a la complejidad y facetas de la evidencia presentada (Collins, 1992); 4] la carga de trabajo que representan para el docente o evaluador; 5] la disparidad entre estudiantes de semejante rendimiento; 6] el grado de acuerdo entre diferentes evaluadores sobre el mismo portafolio y 7] el costo y la practicidad del uso generalizado de portafolios (Anderson y Bachor, 1998).

Aunque existe poco apoyo empírico en favor de los portafolios (Gitomer y Duschl, 1998), algunas de las ventajas que se supone derivarían del uso de portafolios son: 1] el alumno se responsabiliza de su aprendizaje y de la evaluación de éste;

2] favorece la implementación de actividades más acordes con las ideas más recientes de cómo aprenden las personas y qué cosas vale la pena aprender; 3] contribuyen a organizar las clases de ciencias de manera que se fomente el cambio conceptual (Gitomer y Duschl, 1995); 4] promueven la lectura y el estudio fuera del aula; 5] personalizan el conocimiento disciplinar y fomentan el disfrute del aprendizaje (Slater, Ryan y Samson, 1997, Slater, 1997); 6] involucran al alumno en la selección de los objetivos del aprendizaje y de los materiales relevantes para satisfacerlos, así como en la discusión de los criterios de calificación (Fusco y Barton, 2001).

D) ENTREVISTAS

Con fines sumativos, las entrevistas han sido empleadas para hacer explícito el pensamiento de los estudiantes en lo que se refiere a su aprendizaje de los contenidos fijados en los planes y programas de estudio. Esta herramienta también ha sido provechosa para explorar aquello que los estudiantes aprenden y que no está contemplado en dichos planes y programas (Bell, 1995), como pueden ser las concepciones alternativas. Algunos investigadores han argumentado que las entrevistas representan una alternativa válida a los tests escritos: por principio de cuentas, no obligan a los alumnos a que adopten una postura que puede no ser la suya, como ocurre en los exámenes de opción múltiple (Lederman et al., 2002).

Las principales críticas a esta herramienta son 1] el tiempo prolongado que requiere el análisis de los datos que arrojan; 2] la complejidad en el análisis cualitativo de la información y que, a su vez, requiere de la capacitación de personal docente y 3] el reducido número de alumnos que pueden evaluarse a fondo mediante interacciones uno a uno.

E) SITUACIONES PREDICTIVAS

Las situaciones predictivas son tareas que presentan escenarios o situaciones (por ejemplo, la descripción de algún fenómeno natural) sobre los cuales los alumnos tienen que, primero, formular una predicción para entonces explicar el porqué del desenlace observado —se cumpla o no la predicción (Lawrence y Pallrand, 2000; White y Gunstone, 1992).

F) HISTORIA DE APRENDIZAJE

Las historias de aprendizaje son, a grandes rasgos, conjuntos de observaciones realizadas en escenarios cotidianos o auténticos acompañados por viñetas (narraciones breves) donde alumnos ficticios ilustran los diferentes aprendizajes contemplados en los planes y programas de estudio. Las reacciones o

comentarios de los alumnos reales ante los aprendizajes presentados se organizan en un portafolio de manera que permitan vislumbrar la así llamada “narrativa del aprendizaje” del alumno, es decir, la trayectoria que el aprendizaje ha ido siguiendo a lo largo de un curso (Carr, 2001).

G) OBSERVACIÓN

Aunque generalmente destinada para investigaciones a pequeña escala, la observación ha sido empleado como una herramienta de evaluación sumativa (Leat y Nichols, 2000). El principal aspecto a cuidar es el diseño un itinerario de observación que refleje lo más fielmente posible los aprendizajes deseados. Hecho esto, la observación con fines sumativos requiere de una rúbrica que asigne a lo observado una calificación numérica. Esta estrategia evaluativa comparte los problemas señalados para las entrevistas, es decir, la dificultad del análisis y el periodo prolongado de tiempo necesario para su administración y análisis, a lo cual hay que añadir el reto de observar grupos numerosos de alumnos.

H) EVALUACIÓN DINÁMICA

Las evaluaciones dinámicas usadas con fines sumativos (Lidz, 1987) consisten en evaluar el desempeño de los alumnos cuando se les asignas tareas próximas o alejadas de su Zona Proximal de Desarrollo. Por ejemplo, en un estudio realizado por Grigorenko y Sternberg (1998), a un grupo de estudiantes se le asignó una tarea que superaba sus capacidades (alejada de su Zona Proximal de Desarrollo) y se evaluó cómo respondían al reto planteado y qué uso hacían de ciertas pistas e informaciones para intentar resolverlo.