Prueba de Evaluación Continua 1 (PEC1) Competencias Objetivos
El nuevo sistema de evaluación continua
-
Upload
alfredo-martin -
Category
Education
-
view
841 -
download
5
description
Transcript of El nuevo sistema de evaluación continua
ALFREDO PRIETO
1
Evaluación continua más formativa y eficiente
en los nuevos grados
11
CSIC/UAH
Agenda de la sesión2
1. Evaluación continua mas formativa y eficiente
2. Cómo evaluaremos las competencias genéricas
3. Evaluación de ganancias de aprendizaje FCI
4. Evaluación de la comprensión profunda (SOLO) y de
operaciones de alto nivel cognitivo (Bloom)
5. Construcción de preguntas de calidad para pruebas
de elección entre múltiples opciones
6. Estudios de caso en evaluación alineada.
7. ¿Qué problemas tenemos para evaluar a nuestros alumnos?
8. Selección de instrumentos de evaluación
ASSESSMENT PRACTICES MUST SEND THE RIGHT SIGNALS,
THE PURPOSE OF ASSESSMENT MUST BE CLEAR, AND THE
ASSESSMENT TASKS SHOULD COVER THE OBJECTIVES OF
LEARNING.
JOHN BIGGS 2003 TEACHING FOR QUALITY LEARNING AT
UNIVERSITY: WHAT THE STUDENT DOES,
01 Evaluación continua más formativa y eficiente
en los nuevos grados sanitarios3
¿Por qué la evaluación del aprendizaje es importante en la enseñanza?
4
Porque es la herramienta más poderosa que tenemos los
profesores para estimular y orientar el trabajo y el aprendizaje
de nuestros alumnos.
You get what you assess
And you don’t get what you
don’t assess
¿ Cuál es la fuerza más poderosa para producir aprendizaje ?
5
La evaluación
¿Por qué?
Pues dependiendo de ella se determina:
1 qué se aprende,
2 cómo se aprende y
3cuándo se aprende.
¿Por qué es importante que los profesores universitarios aprendamos a evaluar?
6
Porque no hemos sido formados para ello y seguimos las
tradiciones departamentales casi a ciegas sin habernos planteado
otras alternativas.
Muchas veces evaluamos como nos evaluaron cuando fuimos
estudiantes (al menos hasta que nos obligaron a cambiar de método).
Nuestra práctica evaluativa suele basarse más en la tradición
departamental que en las mejores prácticas descritas en la
literatura sobre enseñanza universitaria.
En el EEES se exige aplicar sistemas de evaluación continua.
Para salir de esta situación hay que estudiar la literatura sobre
evaluación en educación universitaria.
¿ Cómo debemos evaluar para que nuestros alumnos aprendan más y mejor?7
1. De manera auténtica, continua y frecuente
2. proporcionando retroinformación (feedback)
1. sin dilación (lo más inmediato posible)
2. Discriminativa
3. Amable
4. Colectiva (para que nuestro trabajo sea eficiente) el
feedback personalizado es muy bonito pero si tienes
100 alumnos puede ser insostenible.
Evaluación continua (EC)8
¿Qué es la EC? ¿es formativa? ¿es sumativa?
¿Qué diferencia a la buena EC de la evaluación fragmentada o dividida?
¿Por qué debemos usar la EC?
¿Cómo debe ser la EC para que motive más el trabajo de nuestros alumnos?
¿Qué ventajas e inconvenientes tiene la EC?
¿Es útil la evaluación continua?
¿Qué información útil nos puede proporcionar la evaluación continua de
nuestros alumnos?
¿Qué características son importantes en la EC y no se pueden
comprometer?
¿Cómo debe ser la evaluación continua para que motive más el trabajo de
nuestros alumnos?
¿Qué es la evaluación continua (EC)?
La que se hace durante el proceso de
aprendizaje.
¿Es formativa?
¿Es sumativa?
La buena evaluación continua debe ser
ambas cosas, formativa y sumativa?
9
Debe tener repercusión en la calificación (impacto) aunque lo ideal es que esta sea baja
Falsas (pero útiles) dicotomías en evaluación:
Evaluación sumativaCalificativa, acreditativa, certificativaMedir con validez, fiabilidadEstimula al estudio por obtener el resultado deseado
Evaluación formativa mejora el aprendizajeDirigir el esfuerzo y aportar retroinformación Para la mejora
La buena Evaluación Continua
es formativa y sumativaEstimula y formaLOW STAKESASSESSMENT
impactoEducativo
HIGH STAKESASSESSMENTValidezFiabilidad
¿Qué diferencia a la buena evaluación continua de la evaluación fragmentada o dividida?
11
La buena evaluación continua es formativa se aprovecha
para proporcionar retroinformación de los alumnos
para que puedan mejorar su ejecución en reevaluaciones
ulteriores.
La evaluación fragmentada libera partes, la continua
no, sigue evaluando y permitiendo la reevaluación de
partes ya evaluadas pero así estimula al alumno a no dejar
de estudiar ciertas partes ya superadas.
Hay que especificar esto en la guía, de lo contrario los
alumnos asumirán que los exámenes son liberatorios.
¿Por qué debemos usar la la evaluación continua?
La práctica distribuida produce aprendizaje de más
calidad que la práctica masiva.
ECTS 40h/semana. Ofrece oportunidad de corrección
de aprendizaje. La Evaluación final lo produce más
tarde y de menos calidad en la mayoría de los
alumnos.
Permite la administración de feedback
Summer learning loss
Five minutes university
https://www.youtube.com/watch?v=ceMeiaGaFeo
12
¿Qué ventajas e inconvenientes tiene la evaluación continua?
13
Ventajas
1. La EC puede ser una parte importante de la solución a los
problemas de aprendizaje de nuestros alumnos.
2. Ayuda a detectarlos a tiempo.
3. La retroinformación ayuda a solucionarlos.
El inconveniente
Es mucho, mas trabajosa que la evaluación final.
No vamos a centrar en como evitar que sea demasiado trabajosa
Si no cuenta en calificación los alumnos no se la tomaran en serio
Si cuenta demasiado puede disminuir el nivel de exigencia
¿Es útil la evaluación continua?
Depende de cómo se use. ¿Cuándo será útil la EC?
Será útil si proporciona
estimulo para que los alumnos emprendan las actividades que
producirán los aprendizajes deseados. (valor de cambio de la EC
sumativa)
información que es aprovechada por el alumno y el profesor.
El alumno para mejorar su aprendizaje .
El profesor para mejorar su enseñanza .
Si es aprovechada para una retroinformación inmediata, frecuente,
discriminativa, amable y eficiente (si tenemos muchos alumnos
deberemos darlo colectivamente). (valor retroinformador de la EC
formativa)
14
¿Qué características son importantes en la EC?15
1. Que sea formativa
1. Debe proporcionar retroinformación inmediata, frecuente,
informativa, discriminativa y empática (Fink).
2. Que sea estimulante.
1. Las Actividades de Aprendizaje-evaluación deben tener valor intrínseco y
formativo y deben tener valor de cambio (peso en calificación)
3. Que este alineada y sea coherente con lo que queremos que
aprendan y lo que hacen para aprender (evaluación
auténtica). Si es coherente será orientadora (alineada)
indica el camino a seguir para lograr los resultados de
aprendizaje.
1. Lo que hacemos para aprender, debe también servirnos para evaluar.
¿Cómo debe ser la evaluación continua para que motive más el trabajo de nuestros alumnos?
16
1. Anticipada, que los alumnos sepan con claridad que se les va a pedir que
hagan para demostrar lo que han aprendido.
2. Alineada con los resultados de aprendizaje que deseamos, así será
provechosa en términos de aprendizaje, de lo contrario no los
conseguiremos.
3. Rentable, que de puntos en la calificación de la asignatura, que premie al
alumno que trabaje en actividades formativas
4. Basada en actividades interesantes y atractivas para ellos
5. Con criterios de evaluación explícitos y una idea clara de los. niveles
esperados (rubricas).
6. Coste eficaz para el alumno y el profesor que contribuya a los aprendizajes
deseados sin costes excesivos de trabajo para el alumno y profesor que debe
supervisar y proporcionar feedback
¿Qué información útil nos puede proporcionar la evaluación continua de nuestros alumnos?
1.Discrimina los que trabajan de los que no
2.Te permite seguir su progreso
3.Te permite relacionar distintas formas de trabajar del profesor o del
alumno con los resultados.
4.Te permite descubrir (a tiempo) qué es lo que los alumnos no aprenden y
sus dificultades. Detectar los problemas de comprensión que hay que
corregir a nivel individual y grupal. Da pie a discutir sobre ello.
5.Te permite retroinformar a tus alumnos e indicarles que aspectos deben
mejorar.
6.Te informa de cómo funciona tu sistema de enseñanza y tus items de
evaluación
7.Si mide aprendizajes de distinto nivel sabrás el nivel que alcanza cada
uno de tus alumnos.
8.Si mide aprendizajes de calidad me permitirá saber si mis alumnos
adquieren esos aprendizajes de calidad. Debo identificar que aprendizajes
de calidad debo medir
17
Una serie de preguntas (y respuestas) sobre la evaluación continua
18
¿Por qué la evaluación del aprendizaje es
importante en la enseñanza?
¿Por qué es importante que los profesores
universitarios aprendamos a evaluar?
¿ Cómo debemos evaluar para que nuestros
alumnos aprendan más y mejor?
Ejercicio presencial ¿Qué aprenden los alumnos en una asignatura?
Lo que más les interese
Lo que hagan y practiquen
Pero sobre todo lo que piensan que va a
ser evaluado
19
20
Ejercicio presencial ¿Para qué evaluamos el aprendizaje ?
1. Para calificar
2. Para medir y valorar el aprendizaje
3. Para estimular esfuerzo
4. Para detectar lo que debe mejorarse y aportar feedback sobre el aprendizaje
5. Para mejorar el proceso enseñanza aprendizaje
6. Para proporcionar otra manera de aprender
7. Para entrenar al alumno en situaciones de evaluación
Para CalificarObligación burocrática
Motivar Estimular esfuerzo
Empollada final
Aprender de otra manera
Entrenar proceso
evaluación
Corregir
aprendizaje
Obtener Información mejorar Proceso EA
Medir y valoraraprendizaje
21
¿Cómo debe ser la evaluación en el EEES?
1. Continua (cuando)
2. Formativa (generadora de retroalimentación)
3. Estimulante (de la actividad de los estudiantes)
4. Coherente con los objetivos docentes (competencias)
5. Coherente con los métodos de aprendizaje (aprendemos
aplicando conocimento en ejercicios y evaluamos con esos
ejercicios)
6. Debe aplicarse a los resultados de aprendizaje y a los procesos
de enseñanza
7. Será compleja y trabajosa (más que un examen de test ) (cuanto)
BASE PARA LA NUEVA
PROPUESTA CURRICULAR
DE LOS GRADOS(PUNTO 3 .2 DEL ANEXO I DEL R .D. 1393 /ORDENACIÓN DE
ENSEÑANZAS UNIVERSITARIAS OFICIALES)
22
02 Las competencias genéricas
y su evaluación
Competencias genéricasAl término del ciclo, los alumnos podrán
demostrar:
Poseer y comprenderConocimientos
Aplicar Conocimientos y resolver problemas
Capacidad de informarse, fundamentar yemitir juiciosCapacidad
de comunicar
Habilidades de aprendizajeautónomo
1
5
4 3
2Y además en ingles, utilizando TICS y en
equipo
PROCEDIMIENTOS PARA LA EVALUACIÓN
DE LAS CINCO COMPETENCIAS
GENÉRICAS DE DUBLIN
24
¿Cómo evaluaremos las competencias genéricas?
Evaluación de los aprendizajes25
Resultado de aprendizaje Método
Recordar y comprender conocimientos básicos
MCQ, preguntas cortas
Aplicación Problemas, MCQ sobre problemas
Obtención de información, búsqueda, integración y juicio
Casos, viñetas clínicas, PBL (presentación solución), Examen libro abierto, ECOE,
Comunicación apropiada al entorno profesional
ECOE ,TOSBA
Aprendizaje autónomo PBL, estudio de casos
Interacción personal, trabajo en equipo
Trabajos y proyectos en equipo
Desarrollo de sensibilidad apreciación y preocupación
Portafolio, diario reflexivo
Dimensión humana, autoimagen, autoideal profesional
Portafolio, diario reflexivo, cuestionarios autoreflexivos
Competencias clínicas ECOE, OSLER, TOSBA Diario clínico
Competencia 1 (RD 1393): “poseer y comprender conocimientos de un área de estudio”
Sobre textos que han debido estudiar antes de clase, les hacemos
preguntas, les pedimos que rellenen un mapa conceptual con huecos.
Comprobamos si recuerdan la idea principal, las ideas secundarias, si
relacionan los conceptos entre sí.
Les pedimos que resuman lo fundamental indicando la idea principal
y las ideas secundarias.
Material texto a leer debe ser escogido por su interés formativo.
Les podemos enviar el próximo tema y pedirles que nos lo resuman en 200
palabras.
Tarea los alumnos deben estudiar un documento para responder a un
cuestionario.
¿Cómo evaluaremos las competencias
genéricas?
26
Comprender implica que somos capaces de explicar en nuestras propias palabras sin repetir como loros
Explica las similitudes y diferencias entre la respuesta
inmune frente a bacterias intracelulares y extracelulares.
Explica como los anticuerpos desencadenan distintos
mecanismos de respuesta inmunitaria
Explica por qué …
Explica cómo se relaciona esto (caso, experimento)
con lo que has aprendido en la asignatura
Infiere una concusión a partir de los resultados de este
experimento.
27
Reflexión metacognitiva
Se puede añadir un cuestionario metacognitivo
para que el profesor pueda correlacionar los
resultados de aprendizaje de cada alumno con
las estrategias que empleó para estudiarlo y
hacer una reflexión.
Describe con detalle lo que has hecho para:
estudiar este tema, preparar esta práctica,
entender este artículo.
28
Síntesis y relación entre los conceptos más esenciales
29
Valora el interés que te ha suscitado la
lectura de este texto.
Resume en 250 palabras o una página lo que
consideras fundamental del texto estudiado
Diseña un mapa conceptual del tema que
establezca las relaciones entre los conceptos
más importantes.
Instrumento de calificación de un mapa conceptual Oleguer Camerino U Lleida
Calificación del segundo mapa conceptual
CRITERIOS FORMALES (deben existir para empezar la
corrección)
a. El contenido del mapa está correctamente expresado y no tiene
errores ortográficos ni sintácticos.
b. Existen referencias documentales y están bien citadas según las
normas APA:
c. Existen los conceptos claves del tema, el esquema, el artículo y las
paginas web de forma relacionada mediante conectores y enlaces.
CRITERIOS DE CONTENIDO
1. Documentación nueva aportada: la documentación usada se ha
introducido en el contenido del mapa y afecta a su estructura y
significado (30%) 3puntos
2. Relación entre diferentes conceptos: existe una comprensión
global de los elementos del mapa producido por relaciones entre los
conceptos expuestos (30%) 3 puntos
3. Aspectos estéticos: se ha cuidado la presentación incorporando
colores, distintivos y señales que facilitan la lectura (10%) 1 punto
4. Crítica personal: existe una opinión personal y crítica sobre la
frase planteada que indique una alternativa de cambio para la
actualidad (30%) 3 puntos
Puntuación
Justificación
Puntuación
Justificación
Puntuación
Justificación
Puntuación
Justificación
30
Competencia 2 (RD 1393): aplicar sus conocimientos a su trabajo, en elaboración y defensa de argumentos y resolución de problemas dentro de su área de estudio
Argumentar a favor y en contra de …
Resolver un problema fundamentando la elección de
solución con tus conocimientos sobre la disciplina
Elige cuál sería el mejor método para … y justifica
por qué
Cómo utilizarías …. Para tal propósito.
Explica como diseñarías un experimento para
demostrar…
31
Estructura de un ejercicio de aplicación
Aplica tus conocimientos a la interpretación de esta
situación.
Explica lo que pasa e hipotetiza sobre los mecanismos
causales por los que ese produce esta situación.
Formula conclusiones a partir de los datos mostrados.
Deduce posibles aplicaciones del principio ilustrado.
Deduce implicaciones sobre la práctica.
32
Ejemplo de ejercicio de aplicación de conocimientos
Explica como diseñarías una placa de enzima inmunoensayo
para estimar la precisión, la exactitud y la sensibilidad de la
prueba. Indica en cada pocillo de la placa las cantidades de
sustancia problema
A B C D E F G H I J K L
1
2
3
4
5
6
7
8
33
Competencia 3 (RD 1393): reunir e interpretar datos relevantes … para emitir juicios
Saber buscar información, interpretarla.
Realizar un trabajo de investigación bibliográfica.
Interpretar una imagen (tabla o figura)
Qué información te aporta el grafico
Qué ha pasado en la evolución de los sistemas de defensa de los
seres vivos
Comenta ejemplos de homologías y analogías a partir de la
información mostrada en la tabla.
¿Qué información te aporta la tabla sobre la evolución del
sistema inmune?
34
Competencia 4 (RD 1393): “transmitir información, ideas, problemas a distintos públicos ”
Explícale a un compañero de clase las razones de la
crisis económica en España y el efecto de su negación
por el gobierno
Explícale a tu profesor por qué suspendiste en la
convocatoria ordinaria y que has hecho para merecer
aprobar en la extraordinaria.Muy correcto
Adecuado
Poco adecuado
No adecuado
Lenguaje
Sintaxis
Conecta con el punto de vista ajeno
Ideas principales
orientación disciplinar
35
Ejercicio Competencia 4
Defiende por qué son necesarios los cambios que
implica el EEES ante una audiencia de
profesores que se resisten a los cambios.
Explica los cambios que supone el EEES ante
una audiencia de alumnos desinformados.
¿Qué diferencia hay entre los argumentos que
presentas a unos y a otros ? ¿Por qué?
36
Competencia 5 (RD 1393): Habilidades de aprendizaje necesarias para
emprender estudios posteriores con autonomía
Aprende por tu cuenta sobre ….
Léete esto y sintetiza
Busca en tales URLs información para resolver este problema
Busca con las siguientes keywords
Busca sobre este tema
Busca sobre lo que te haga falta para resolver este problema
Esta es la situación, define tu el problema y busca la información
que necesites para plantear el problema y resolverlo
Decide cuál es el problema principal por ti mismo y resuélvelo.
Escoge tus propios objetivos de aprendizaje y diseña un plan para
alcanzarlos.
37
Metodología:Proyecto de investigación bibliográfica
Asignación de una patología distinta para cada grupo que toma su
nombre de la patología que estudia.
Una discusión de calentamiento
Unas directrices para búsqueda de información especifica sobre el
problema de cada grupo.
Puesta en común y selección de key words.
Directrices para trabajo de grupo y elaboración de un documento de
síntesis
Directrices para estructuración y un modelo de presentación
Tutoría para dar feedback sobre documento de síntesis y presentación
38
Genéricas olvidadas39
Las que no son ni genéricas genéricas, ni específicas
específicas.
Las que son especificas de la titulación pero no son
específicas de ningún área
En biología
Diseño experimental y razonamiento hipotético de ductivo
Buscar información bibliográfica
Lectura e interpretación de información bibliográfica
comunicación profesional escrita y oral
Instrumentos evaluación de competencias
40
Presentación
Guía para la evaluación de las competencias
en Medicina
02 ¿Cómo lograr que la Evaluación continua sea formativa y eficiente incluso con grandes grupos
de alumnos?
COMUNICACIÓN EN DOS DIRECCIONES
E VA LUA C I Ó N C O M O P R O C E S O D E C O M U N I C A C I Ó N E N D O S
D I R E C C I O N E S D U R A N T E E L P R O C E S O D E A P R E N D I Z A J E
DOS CARAS DE LA EVALUACIÓN
E VA LUA C I Ó N C O M O P R O C E S O F O R M AT I VO Y O R I E N TA D O R
D E E L E S F U E R Z O D E L A LU M N O
E VA LUA C I Ó N C O M O P R O C E S O D E O B T E N C I Ó N D E
E V I D E N C I A S VA L I D A S D E L A C O N S E C U C I Ó N D E L O S
R E S U LTA D O S D E A P R E N D I Z A J E
¿Qué cambios en mi sistema de evaluación pueden ayudar a que mis alumnos
aprendan más y mejor?
Sin ahogarme en un mar de tareas por
corregir.
Sin atosigarles con trabajos
innecesarios o desal ineados con nuestros
objet ivos formativos y que probablemente
no fomentarán aprendizajes relevantes.
Cómo puedo obtener una evidencia más
valida y fiable del aprendizaje de mis
alumnos.
Mejorar mi sistema de evaluación
43
Llevará a me jorar e l aprend iza je de mis a lumnos
pero requ iere es tud iar l a in formac ión sobre
me jores prác t i cas y metodo log ías de eva luac ión .
Apl icar l as mejores práct icas supone tener que
abandonar hábitos cómodos y confortables
para e l pro fesor y l os a lumnos como la
evaluación f inal y las c lases magistrales .
¿Cómo puedo lograr que trabajen más por su aprendizaje
sin que yo (su profesor/a) sea el que tenga que trabajar
intensivamente?
Para que la evaluación continua logre un máximo impacto debemos incorporarla al inicio del aprendizaje
De evaluación final a evaluación inicial. Al principio de
cada cuatrimestre (detección de concepciones
erróneas)
¿De qué niveles parten nuestros alumnos?
¿Qué concepciones erróneas traen mis alumnos?
Al principio de cada tema (promoción del estudio y
detección de dificultades).
¿Cómo puedo estimularles para que empiecen a estudiar antes de
que yo empiece a explicar cada tema y se planteen preguntas sobre
la materia?
Evaluación en un modelo de enseñanza inversa45
¿Qué significa enseñanza inversa?
Lo que antes se hacia en clase primer contacto
con la materia ahora se hace fuera leyendo
documentos y escuchando podcasts lo que antes
se hacia fuera resolución casos y problemas ahora
se hace en clase.
La evaluación antes final pasa ahora a comprobar
el estudio previo
Metodologías para la enseñanza inversa 46
Hay varias:
JITT, Just in time teaching (Novak)
TBL, Team Based Learning (Michaelsen)
PEPEOLA, Preparación y Estudio Previo
Por Evaluación on Line automática (Robles,
Barahona , Prieto)
PI peer instruction Mazur
Tecnologías para la enseñanza inversa 47
Podemos usar distintas tecnologías:
tarjeas de respuesta, flash cards
cuestionarios con hojas de respuesta de lectura
óptica (OMR optical mark reader),
plataformas de e-learning (moodle, blackboard,)
Sistemas de repuesta personal a distiancia (SRP)
Clickers
softwares on line (Test moz, Socrative) para usar
smartphones, como clickers
Llevar la evaluación al principio de cada tema
Llevar la evaluación al proceso de desarrollo de cada
tema para estimular el trabajo continuo de los alumnos.
Sin que la carga de trabajo suponga riesgo para la
salud y la integridad mental de su profesor pero
que tenga un efecto significativo y doble estudio y
el aprendizaje medio en la clase.
¿Es esto realmente posible?49
¿Es eficaz?
50
Si, con metodologías de fomento y comprobación del
estudio previo
Se ha demostrado experimentalmente para el aprendizaje
de la física, la química y biología y otras disciplinas.
Por un 5-15 % de la calificación los alumnos estudiarán
antes de que les expliquemos los temas.
La ganancias de aprendizaje se doblan en Física y
Biología
Evidencias del éxito de estas estrategiasTons of it. Richard Felder
51
R R Hake Interactive engagement versus traditional methods: A six-thousand-student
survey of mechanica test data for introductory physics courses Am J of Physics 66 1p 64 (1998)
Knight JK, Wood WB Teaching more by lecturing less. Cell Biology education; 2005; 4: 298-
310
Peer instruction: ten years of experience and results CH Crouch E Mazur Am J Phys 69:9 70-77
Farewell, lecture? Mazur Science 2009 323:50-51
Eric Mazur, Peer Instruction: A User’s Manual ~Prentice–Hall, Upper Saddle River, NJ, 1997!.
Additional information and resources for PI can be found at http://galileo.harvard.edu.
Catherine H. Crouch, ‘‘Peer Instruction: An Interactive Approach for Large Classes,’’ Opt.
Photonics News 9 ~9!, 37–41 ~September 1998!.
Gregor Novak, Evelyn Patterson, Andrew Gavrin, and Wolfgang Christian, Just-in-Time
Teaching: Blending Active Learning and Web Technology ~Prentice–Hall, Upper Saddle River,
NJ, 1999!, and http://webphysics.iupui.edu/jitt/jitt.html.
Infusing active learning into the large-enrollment biology class: seven strategies, from
simple to the complex D Allen, K Tanner Cell Biology education 2005 4:262-68
¿Es eficiente?¿Merece la pena el coste de la ganancia?
52
Clases en gran grupo Arons, A. B. (1997) Teaching introductory physics. New York: Wiley.
Bligh, Donald A. (1998) What's the use of lectures? Exeter: Intellect Books.
Brandford, John D., Ann L Brown and Rodney R. Cocking (eds.) (1999) How people
learn: brain, mind, experience, and school. Washington, D.C.: National Academy Press.
Carbone, Elisa and James Greenberg (1998) "Teaching Large Classes: Unpacking the
Problem and Responding Creatively". In Matthew Kaplan (ed.), To Improve the
Academy 1998, Resources for Faculty, Instructional and Organizational Development..
Professional & Organizational Development Network in Higher Education.
McDermott, L. C. (1997) "Bridging the gap between teaching and learning: The role of
research". In International Conference on Undergraduate Physics Education. AIP
Conference Proceedings.
Redish, E. F. (1994) "Implications of cognitive studies for teaching physics", American
Journal of Physics, 62, 796-803.
Wulff, Donald H., Jody D. Nyquist and Robert D. Abbott (1987) "Students' Perceptions
of Large Classes". In M. E. Weimer (ed.), Teaching Large Classes Well. San Francisco,
CA: Jossey-Bass.
Aprendizaje activo
Bonwell, Charles C. and James A. Eison (1991) Active Learning: Creating
Excitement in the Classroom. 1991 ASHE-ERIC Higher Education Reports: The
George Washington University.
Johnson, D. W., R. T. Johnson and K. A. Smith (1991) Active Learning: Cooperation
in the college classroom. Edina, MN: Interaction Book Company.
Heller, Patricia, Ronald Keith and Scott Anderson (1992) "Teaching problem
solving through cooperative grouping. Part 1: Group versus individual problem
solving", American Journal of Physics, 60, 7, 627-36.
Smith, Karl A., Sheri D. Sheppard, David W. Johnson and Roger T. Johnson (2005)
"Pedagogies of Engagement: Classroom-Based Practices", Journal of Engineering
Education, January, 87-101.
Thornton, Ronald K. and David R. Sokoloff (1998) "Assessing student learning of
Newton's Laws: The force and motion conceptual evaluation and the evaluation of
active learning laboratory and curricula." American Journal of Physics, 66, 338-52.
Instrucción por compañeros en ciencias
Biología
Allen, Deborah and Kimberly Tanner (2005) "Infusing
Active Learning into the Large-enrollment Biology
Class: Seven Strategies, from the Simple to
Complex", Cell Biology Education, 4, Winter 2005,
262-8.
Knight, Jennifer K., Wood, William B. (2005)
"Teaching More by Lecturing Less". Cell Biology
Education, vol. 4, pp. 298-310.
Instrucción por compañeros en ciencias
Astronomía Green, P. (2003) Peer Instruction for
Astronomy: Prentice-Hall.
Química
Landis, C.R., A.B. Ellis, G.C. Lisensky, J.K. Lorenz, K.
Meeker and C.C. Wamser (2001) Chemistry
ConcepTests: A Pathway to Interactive Classrooms:
Prentice-Hall.
Geología
McConnell, David A, David N Steer and Katharine D Owens (2003) "Assessment
and active learning strategies for introductory geology courses." Journal of
GeoScience Education, 51, 2, 205-16.
McConnell, David A, David N Steer, Katharine D Owens, Jeffrey R Knott and et
al (2006) "Using Conceptests to Assess and Improve Student Conceptual
Understanding in Introductory Geoscience Courses", Journal of Geoscience
Education, 54, 1, 61.
Matemáticas
Cline, Kelly (2006) "Classroom voting in calculus", Mathematics Teacher
(forthcoming).Preprint:
http://www.carroll.edu/~kcline/Classroom-Voting-in-Calculus.htm
Loman, David O. and Maria K. Robinson (2004) "Using ConcepTests in Single
and Multivariable Calculus". In Proc. 16th Annual International Conference on
Technology in Collegiate Mathematics. New York: Addison Wesley.
Pilzer, Scott (2001) "Peer Instruction in Physics and Mathematics." Primus, 11,
1, 185-92.
Medicine
Rao, Sumangala P. and Stephen E. DiCarlo (2000) "Peer Instruction Improves
Performance on Quizzes." Advances in Physiology Education, 24, 1, 51-5.
Robertson, L. J. (2000) "Twelve tips for using a computerised interactive audience
response system", Medical Teacher, 22, 3, 237-9.
Pharmacology
Piepmeier, E. (1998) "Use of concepTests in a large lecture course to provide active
student involvement and peer teaching." American Journal of Pharmaceutical
Education, 62.
Psychology
Chew, S. L. (2004) "Using concepTests for formative assessment", Psychology Teacher
Network, 14, 1, 10-2.
Chew, S. L. (2005) "Student misperceptions in the psychology classroom". In B. K.
Saville, T. E. Zinn and V. W. Hevern (eds.), Essays from excellence in teaching, 2004:
Retrieved 9th April, 2006 from the Society for the Teaching of Psychology Web site:
http://teachpsych.org/resources/e-books/eit2004/eit04-03.html
Statistics
Wit, E. (2003) "Who wants to be... The use of a personal response system in statistics
teaching", MSOR Connections, 3, 2, 5-11.
Research On the Effectiveness of PI Crouch, Catherine H. and E Mazur (2001) "Peer Instruction: Ten years of experience and
results", American Journal of Physics, 69, 9, 970-7.
Kennedy, G. E. and Q. I. Cutts (2005) "The association between students' use of an electronic
voting system and their learning outcomes", Journal of Computer Assisted Learning, 21, 260-
8.
Fagen, Adam P., Catherine H. Crouch and E Mazur (2002) "Peer instruction: results from a
range of classrooms", The Physics Teacher, 40, April, 206-9.
Hake, Richard R (1998) "Interactive engagement vs. traditional methods: A six-thousand-
student survey of mechanics test data for introductory physics courses",American Journal of
Physics, 66, 64-74.
Meltzer, David E. and K. Manivannan (2002) "Transforming the lecture-hall environment: The
fully interactive physics lecture", American Journal of Physics, 70, 6, 639-54.
Sharma, M. D., J. Khachan, et al. (2005). "An investigation of the effectiveness of electronic
classroom communication systems in large lecture classes." Australasian Journal of
Educational Technology 21 (2): 137-154.
Shapiro, Joel A. (1997) "Electronic student response found feasible in large science lecture
hall", Journal of College Science Teaching, 26, 408-12.
Poulis, J., C. Massen, E. Robens and M. Gilbert (1998) "Physics lecturing with audience paced
feedback", American Journal of Physics, 66, 439-41.
Electronic Response Systems Boyle, J. and D. Nicol (2003) "Using classroom communication systems to support interaction and
discussion in large class settings", Association of Learning Technology Journal, 11, 43-57.
Burnstein, Ray A. and Leon M. Lederman (2001) "Using wireless keypads in lecture classes", The
Physics Teacher, 39, 8-11.
Burton, K. (2004). "Interactive Powerpoints: Is there any point in giving power to students?" Murdoch
University Electronic Journal of Law. 11 (4).
Draper, S. W. and M. I. Brown (2004) "Increasing interactivity in lectures using an electronic voting
system", Journal of Computer Assisted Learning, 20, 81-94.
Draper, S. W., Cargill J. and Q. I. Cutts (2002) "Electronically enhanced classroom interaction",
Australasian Journal of Educational Technology, 18, 13-23.
Dufresne, Robert J., William J. Gerace, William J. Leonard, Jose P. Mestre and Laura Wenk (1996)
"Classtalk: A classroom communication system for active learning", Journal of Computing in Higher
Education, 7, 3-47.
Duncan, Douglas (2005) Clickers in the classroom. San Francisco: Pearson Education Inc.
Elliot, C. (2003). "Using a personal response system in economics teaching." International Review of
Economics Education 1 (1).
Simpson, V. and M. Oliver (2007). "Electronic voting sysems for lectures then and now: a comparison of
research and practice." Australasian Journal of Educational Technology 23(2): 187-208.
Williams, J. (2003). Learning by remote control: exploring the use of an audience response system as a
vehicle for content delivery. Interact, Integrate, Impact: Proceedings ASCILITE Conference, Adelaide, 7-
10 December.
Esquema general de los métodos de fomento del estudio previo
61
Profesor
Alumnos
Clase
envía
Evalúa dificultades y replantea , se prepara para superar dificultades que
tienen los que tienen que aprender
estudia reflexiona y responde
Van preparados a clase habiéndose formulado preguntas sobre lo que han estudiado
Aumenta la cantidad Y la calidad de la participación
Comprobación
Metodologías de estudio previo y clase interactiva
62
Principio Mecanismo de comprobación y garantía del estudio previo
Nombre de la metodología(Autores)
Ponemos a disposición de los alumnos o mejor les enviamos los materiales a ser estudiados con antelación al inicio de la clase presencial
Bonificamos con hasta un 10%-15% a los estudiantes que demuestren un máximo rendimiento en el estudio previo
Cuestionario de preguntas abiertas sobre lo que se ha entendido en el estudio previo y lo que necesita explicarse másProfesor analiza este feed back y replantea su clase presencial
JITT Just In Time Teaching(Novak) Just-In-Time Teaching: Blending Active Learning with Web Technology
Cuestionarios de preguntas MCQ on line en pataforma e-learning con feedback que se cierra antes de la calse
PEPEOLAPreparación y Estudio Previo por Evaluación On Line Automática (Robles Barahona y Prieto)
La clase empieza con un examen test MCQ individual continua con un examen e n grupo formal se sigue con casos y problemas en equipo
TBL Team Based LearningMichaelsen y Fink Team-Based Learning: Small Group Learning’s Next Big Step
La clase se basa en intercalar preguntas MCQ con discusión en parejas y discusión general
PT Peer teaching (Mazur) Peer instruction: A User’s Manual
Tecnologías al servicio de la clase interactiva con evaluación formativa
63Metodología Tecnología para la garantía (aseguramiento) del
estudio previo
Just in time teaching
Cuestionarios on line Survey monkeyGoogle driveBases de datos en Moodle
PEPEOLA Exámenes de test MCQ on lineMoodle Blackboard Test moz
Team Based Learning
Scratch tests (rasca)Cuestionarios de MCQ de lectura automática con copia Test moz
Peer teaching Flash cards (evaluación formativa)Clickers (mandos a distancia de respuesta personalizada) Evaluación formativa y sumativaSocrative
Métodos de Estudio y trabajo previo a las clases interactivas
Team based Learning (TBL)Team-Based Learning: Small Group Learning’s Next Big
Step. New Directions for Teaching and Learning, Eds. Larry
K. Michaelsen, Michael Sweet & Dean X. Parmelee, (2008)
Just in time teaching Just-In-Time Teaching: Blending Active Learning with Web
Technology Gregor Novak , Andrew Gavrin, Wolfgang
Christian, Evelyn Patterson
Peer teachingPeer instruction: A User’s Manual 1997 Eric Mazur
Tests de conceptos en física permiten que el alumno
determine su propia comprensión y al profesor comprender
el nivel general de comprensión de una idea y decidir si es
necesario invertir mas tiempo en ese concepto
Larry Michaelsen
Gregor Novak
Gregor Novak
Eric Mazur
Trabajo previo más uso de cuestiones y clickers. Sistemas de respuesta personal a distancia
Teaching with classroom response
systems: Creating active learning
Environments 2009
Derek Bruff
Cómo incorporar los clickers a
nuestra docencia
Herramientas para evaluación diagnóstica y continua:
“concept tests”66
Force Concept Inventory FCI (Hestenes)
30 preguntas de este tipo
Un camión pesado y un utilitario chocan de frente. Durante la
colisión la fuerza ejercida por el camión sobre el coche es:
A Mayor que la del coche sobre el camión.
B igual a la que el coche ejerce sobre el camión.
C menor que la del coche sobre el camión.
D No ejerce ninguna fuerza sobre el coche simplemente
esta justo en su camino.
Pensarlo durante un minuto y contestar con la tarjeta o flash card.
CÓMO LOGRAR QUE LA EVALUACIÓN
CONTINUA SEA COSTE-EFICAZ
67
03 Gestión de la carga de trabajo asociada a la EC para el
alumno y el profesor
La realidad es que estudian menos horas de las establecidas
68
69
Crédito ECTS realidad o ficción
Video teaching teaching & understanding understanding parte 1
70
Es necesario que los alumnos hagan cosas
para aprender ergo debemos evaluar lo
que hacen para estimularles a hacerlo.
http://www.youtube.com/v/_eF4934qsas&fs=
1&source=uds&autoplay=1
Stop 4.09
¿Cuál es el problema que os plantea este caso?71
¿Cuáles son vuestras hipótesis sobre las causas de que
tengamos tantos estudiantes pasivos?
¿Qué consecuencia tiene la abundancia de alumnos con el
planteamiento de Robert sobre nuestra función docente?
Seguimos con el vídeo
http://www.youtube.com/v/_eF4934qsas&fs=1&source=u
ds&autoplay=1
Teacher perspective
Distintos tipos de cuatrimestres:cuatrimestres europeos
72
18 semanas de duración
Cuatrimestre Yorkshire 120 dias / 7 días = 19 semanas750/19= 40 horas por semana
40
hora
s/se
man
a
Cuatrimestres europeos 73
18,5 semanas
Cuatrimestre Landrace 120 dias / 7 días = 19 semanas750/19= 40 horas por semana
40
hora
s/se
man
a
Cuatrimestre ibérico “cutrimestre patanegra”
74
13,5 semanas de duración (2 fiestas, 3
exámenes)
55
hora
s/se
man
a El aprobado
en la evaluación continua se premia con
tres semanas de vacaciones
por cuatrimestre
Cuatrimestre patanegra 13,5 semanas750/13,5= 55 horas por semana
Pata Negra
Si aguanto cuatro años retozando en la dehesa del campus me darán el título de grado en…
Mala planificación de los “cuatrimestres”
75
Si los “cuatrimestres” fueran de 18 semanas de clase
150 horas/asignatura x 5 asignaturas = 750 horas /
cuatrimestre
750 horas /18 semanas =41.6 horas por semana
Como los “Cuatrimestres” son de 13-14 semanas
“hábiles”
750/14= 53.6 horas por semana
750/13= 57,7 horas por semanaAplicando un desajuste de 42,25 % las 55 horas por semana se quedan en 23,23 horas por semana
Wonder: the hearth of the alchemistWilliam Prosser
La EC como estímulo: el sueño del profesor
Quiero que os olvidéis de lo que ha pasado en los últimos años.
Volvamos a 2008 en un pasado en el que la evaluación
continua no se estilaba.
Imagina… que un mago y alquimista de Bolonia te dijera que
tus alumnos iban a hacer todo lo que tu les mandases para
que aprendiesen. Lo hiciesen dedicándole tiempo y esfuerzo
suficiente y te entregasen sus tareas en los plazos establecidos.
Antes era un sueño imposible, muy pocos de nuestros alumnos
hacían lo que les mandábamos. La motivación intrínseca no era
suficiente para poner a trabajar a la mayoría.
77
Ahora tienes ese sueño al alcance de tu mano (y puede transformarse en pesadilla)
78
Si les mandas algo razonable y justificado a los alumnos de
grado, lo harán casi todos gracias a la motivación que les
proporciona la evaluación continua y a la inercia de haberse
acostumbrado a hacer lo que les mandan para sacar puntos de
evaluación continua y aprobar.
Otra cosa es cómo lo hagan de bien pero eso dependerá de:
1. cómo les orientes para la realización de la tarea,
2. cómo les entrenes,
3. qué tarea les mandes y
4. cómo perciban que va a ser corregida (rúbrica).
¿Cuál es nuestro desafío en la nueva situación? crédito ECTS y evaluación continua
Nuestro desafío es
1 Escoger las mejores tareas, aquellas que ayudarán a aprender a
nuestros alumnos aquellas cosas que queremos que aprendan.
2 Debemos aprender medir su carga y dosificarlas de modo que
nuestros alumnos trabajen una mediana de 8 horas por semana en
nuestra asignatura.
Deben trabajar 100 horas no presenciales en cada asignatura de
seis créditos ¿lo hacen en realidad? ¿lo hacen en tu asignatura?
¿Se lo preguntamos?
¿Queremos saber la respuesta?
O no será que preferimos no conocerla
79
Ese sueño tiene otro lado, la pesadilla de corregir tantas tareas
80
El efecto boomerang de hacer trabajar a
nuestros alumnos
¿Qué papel tiene la evaluación en la promoción del trabajo y el ajuste del volumen de carga de
trabajo de nuestros alumnos?81
La EC estimula al trabajo
La EC puede informarnos
del volumen de trabajo que realizan nuestros alumnos
Del aprendizaje producido
Niveles de evolución del profesorado82
El profesor que consigue mejores aprendizajes es el del nivel
tres. El que se centra en lo que el alumno debe hacer para
aprender.
“What the student does, that is the important thing.”
Debemos conocer como se aprende construyendo significado
(lo veremos en la segunda parte dentro de un rato).
Una evaluación acorde con esta filosofía debería evaluar:
1) lo que el alumno hace para aprender
2) y lo que el alumno ha aprendido a hacer.
El efecto boomerang de las tareas de aprendizaje
Cada tarea que el profesor manda a sus X alumnos
se convertirá en X tareas a corregir
Que los alumnos trabajen es lo mejor para que aprendan mucho y bien.
El problema es que si haces trabajar a tus alumnos, tu tendrás que
hacer el trabajo de evaluar sus tareas.
Si tienes muchos, 100 (demasiados) alumnos tendrás que encontrar
maneras de controlar lo que hacen, calificarles y retroinformarles
rápidamente con eficacia de tiempo y economía de medios.
¿Alternativas?
83
¿Qué tiene que ver esto con las tareas de evaluación continua?
Afortunadamente no es necesario
corregir y calificar siempre todas las
tareas de todos.
¿Conoce el dingo cuál es la diferencia
entre un boomerang y un palo?
Sale corriendo cuando el aborigen lo
lanza
¿La conoce el profesor universitario?
La acabaremos conociendo por la
cuenta que nos trae
Debemos controlar el abuso del
boomerang o nos daremos con él en
la cabeza
84
Debemos cambiar el boomerangPor la varita mágica de Harry Potter
Gestión del trabajo para el profesor derivado de la evaluación continua
1. Separación de los aspectos:
1. 1 control-
2. 2 calificación-
3. 3 retroinformación
2. Divide y vencerás trabajo en grupo
3. Seleeciona ¿Es necesaria esta tarea que aprendan lo que
quiero que aprendan?
4. Convierte a tus alumnos en profesores ayudantes peer
teaching talleres de coevaluación, equipos
5. Da feedback coletiva y presencialmente
85
Análisis vectorial y gestión del volumen de carga de corrección
86
Números de alumnos
Dividir en Grupos, coevaluación autoevaluación Herramienta taller y RúbricasCalificación por muestreo
La t
are
a d
el
pro
feso
r C
on
trol,
cali
ficació
n,
fe
ed
back
Tipos
de ta
reas
,
numer
o de
repet
icio
nes
¿Son re
almen
te fo
rmat
ivas?
¿Es n
eces
ario re
petirl
as
tanta
s vec
es?
Disociar los tres elementos :
1. Automatizar el Control
2. simplificar la calificación
3. Administrar el feedback
colectivamente
Estrategias para disminuir la carga del proceso:87
1. Simplificación sistema de calificación+(muy bien 10 ), OK (bastante bien
7,5), ν (pasable 5 ),- (tienes que volver a hacerlo mejor 2,5).
2. Semi-Automatización del proceso C-C-R plataforma, survey monkey
clickers.
3. Incorporación de los alumnos al proceso de evaluación: evaluación por
compañeros, autoevaluación. Rúbricas
4. Control parcial
1. Sorteo. A cada alumno le voy a corregir 4 tareas.
2. Lee y contesta: ¿Qué es lo que no entiendes? ¿Cuál ha sido la mayor dificultad? Uso
de indicadores Controlando tu respuesta a esto controlo si has hecho lo otro.
5. Retroinformación colectiva en clase o por medios electrónicos
6. Evaluación por compañeros outsourcing de la evaluación
Importancia de los tres elementos de la tarea del profesor
El control es necesario para producir efecto
estimulador.
La calificación tiene un efecto estimulador extra para
hacer mejor la tarea. Debe ser muy discriminativa pero
no tiene por que ser muy precisa . (0-2-4-6-8-10)
El feedback o retroinformación es necesaria para la
mejora del rendimiento
Pero si no queremos ahogarnos en montañas de papeles
por corregir debemos disociar estos tres aspectos
88
Los otros factores del volumen de carga de corrección
El número de alumnos.
La frecuencia o número de repeticiones de la tarea
¿Cuántas veces debe repetirse para que se produzca el
aprendizaje?
El número de las distintas tipologías de tareas.
problemas y casos resolución y discusión en clase.
Presentaciones ,ejercicios escritos
Exámenes de autoevaluables
Debemos seleccionar las más formativas
89
METODOLOGÍA DE LOS INVENTARIOS
CONCEPTUALES
CONCEPT TEST INVENTORY
90
Evaluación de ganancias de aprendizaje
¿Cómo hacer un inventario conceptual para una asignatura?
91
Decidir cuáles son los conceptos esenciales
Realizar un cuestionario diagnostico sobre ellos
(survey monkey) primero de preguntas abiertas después
de test.
Ejercicio y evaluación formativa
Diseñar tares para trabajarlos que permitan ejercitarse en su uso y
recibir retroinformación
Evaluación acreditativa
Diseñar pruebas para evaluarlos que permitan obtener evidencia
de que se han conseguido
Ejercicio . Estructura conceptual de tu asignatura o disciplina en relación a sus actividades de
enseñanza-aprendizaje y evaluación.92
¿Qué conocimiento es el más importante en tu asignatura?
1. Escoge los 15-20 conceptos más importantes de tu asignatura. Aquellos
que es necesario comprender y recordar como un primer paso hacia un
conocimiento profundo de la asignatura. Redacta una lista con ellos
2. Diseña un cuestionario breve para medir el conocimiento previo que tus
alumnos tienen sobre ellos en 15 minutos del primer día de clase de la
asignatura.
3. Diseña actividades o tareas para que trabajen con algunos de ellos a la
vez que ejercitan competencias que pienses que son importantes para su
futuro profesional
4. Diseña preguntas para un examen en el que tengan que aplicar a un caso
real o verosímil algunos de estos conceptos más importantes de tu
asignatura
Sugerencia de aplicación a tu docencia (en el próximo cuatrimestre).
93
Aplica el cuestionario diagnóstico a tus alumnos. Discute
con ellos los resultados en la siguiente clase. Pídeles que
durante el curso estén atentos a todo lo relacionado con
estos conceptos esenciales.
Avísales de que las actividades de aprendizaje y las
pruebas de evaluación se centrarán en la comparación, la
interrelación y la aplicación de estos conceptos esenciales.
Veras como mejora el aprendizaje de tus alumnos acerca
de esos conceptos que consideras más esenciales.
Metodología de diseño de inventarios conceptuales el ejemplo
del FCI (Force Concept Inventory)
Hestenes
Diseñó force concept inventories y concept tests para
evaluar estos conceptos (ejercicio 5)
Con pregunas conceptuales abiertas investigaban las
concepciones erróneas más frecuentes en los alumnos y las
convertían en distractores de preguntas de test de opción
múltiple.
Los test se redactaban sin jerga especializada por lo pueden
aplicarse a los alumnos antes y después de la instrucción
Así puede determinarse la ganancia que produce la
enseñanza durante el periodo formativo (si es que se produce
alguna)
Con esta metodología podemos comparar científicamente la
eficacia de distintas metodologías para que los alumnos
aprendan.
Diagramas de Puntuación pretest vs. Ganancia: El rendimiento de métodos tradicionales
es muy inferior al de los interactivos 95
Monkey
Aristotelian Newtonian
Utilidad del FCI96
El FCI sirve para comparar instituciones, alumnos de distintos cursos,
distintas metodologías y sirve para medir la ganancia que produce
una asignatura.
Mide en que grado la instrucción ha cambiado las concepciones
erróneas que los alumnos tenían al principio de la asignatura.
Se han diseñado CI o concept tests para múltiples disciplinas.
Podemos crear un FCI para nuestra propia asignatura y publicarlo
¿Por qué es tan importante conocen el nivel de partida de
nuestros estudiantes y saber lo que no comprenden antes de
explicarles ?
Video Biggs 2
http://www.youtube.com/watch?v=2DMnYxc3ank&feature=player_
embedded
¿Qué podemos concluir de estos resultados?
Porc
en
taje
de g
an
an
cia
C
on
resp
ecto
a l
a m
áxim
a p
ote
ncia
l
La incorporación de más métodos interactivos mejora los resultados del peer instruction
PIPI + JITT
STRUCT URE OF OB SERV ED LEA RNING OU TCOM ES ( SOLO)
TA XONOM ÍA DE LA EST RUCTURA DEL A P RENDIZA J E
OBSERVA DO
J OHN BIG GS
TA XONOM IA DE NIV ELES DE RA ZONA M IEN TO CON EL
CONOCIM IEN TO
BEN J A M IN B LOOM
98
Evaluación de la comprensión profunda (SOLO) y de operaciones
de alto nivel cognitivo (Bloom)
99
Taxonomía de la estructura del aprendizaje observado (SOLO taxonomy) J Biggs
Describe el aumento de complejidad en la
comprensión de un tema por el estudiante en cinco
estadios Uni-estructuralConexiones SimplesEnfca en elementosIdentifica Sigue prodedimientorecita
Pre-estructuralPiezasNo comprendeTautologíasconfunde
RelacionalRelación y significación de las partes con el todoRelaciona compara analiza integra
Multi-estructuralMás conexionesSin significación globalClasificaCombinaenumera
Abstracto extendidoCon conexiones fuera del área de estudioGeneraliza estructura y transfiere los principios e ideas a otros temas Generaliza , hipotetiza, teoriza
COMPRENSIÓN PROFUNDA
COMPRENSIÓN SUPERFICIAL
100
Diagnosis de los niveles de respuesta a nuestras preguntas
1. Aumento de los conocimientos: Preestructural. No tienen ni idea, confunden unos
conceptos con otros. Intentan encubrir la falta de comprensión con tautologías y vaguedades. 0
Uniestructural: Respuesta bien orientada pero se queda en la terminología y faltan datos. 2,5
Multiestructural: Apabullan con datos, pero faltan conexiones y una estructura de relación. 5
2. Profundización en la comprensión: Relacional: Se relacionan unos conceptos con otros
y se integran en una estructura. 7,5 Abstracta ampliada: es la que trasciende de lo dado
lo relaciona con otros temas y contextos e incluso abre perspectivas nuevas incluso para el profesor. 10
101
La taxonomía solo también puede aplicarse a la ejecución de tareas que demuestran
competencias
La tarea no es realizada de modo apropiado (preestructural), abordaje simplista.
Uno (uniestructural) o varios (multiestructural) aspectos de la tarea son realizados
correctamente pero otros no y además no son integrados correctamente.
Relacional comprende, relaciona e integra correctamente los distintos aspectos en
una ejecución correcta.
Abstracta-extendida la ejecución no es solo correcta sino modélica, ejemplar.
Veamos que relación tiene esto con lo que debemos evaluar para producir
aprendizajes
Parte tercera del vídeo sobre las teorías de John
Biggs. The solution constructive alignment
http://www.youtube.com/watch?v=AuCG0kdj5DQ
Iconografía de los niveles SOLO102
4. Relacional
1. Preestructural
2. Uniestructural
3. Multiestructural
5. Abstracto extendido
http://pamhook.com/free-resources/downloadable-resources/
Selecciona los verbos para tareas
y preguntas de distinto nivel. 103
Generaliza
r
Predecir
Evaluar
Reflexionar
Hipotetizar
Crear
Probar
Planificar
Definir
Identificar
Nombrar
Encontrar
Etiquetar
emparejar
Recordar
Describir
Enumerar
Esquematizar
Seguir un
procedimiento
Ordenar
Clasificar
Comparar y contrastar
Explicar causas
Explicar efectos
Analizar
Hacer una analogía
Organizar
Distinguir
Cuestionar
Aplicar
Justificar
Argumentar
Componer
Priorizar
Diseñar
Construir
Desempeñar
Inventar
Desempeñar
ejercer
Abstracto extendidoUniestructural Multiestructural Relacional
104
Preguntas de evaluación y niveles SOLO Algunas preguntas son muy fáciles de corregir para el
profesor pero limitan el nivel de las posibles respuestas Enumera… cuatro especies de mosquitos transmisores de
enfermedades Estudiante con comprensión preestructural (se sabe 2
mosquitos de memoria) la aprobará .. e indica los riesgos sanitarios que crea cada una Estudiante con comprensión multiestructural la clava. …y discute su importancia en los programas de salud
pública Invita a una respuesta relacional con criterios e incluso a
una abstracta sobre cómo valorar la importancia de una amenaza sanitaria
Con esta pregunta podemos explorar todos los niveles SOLO:
105
Discute cómo podrías juzgar la
importancia relativa de amenazas a la
salud pública, utiliza como ejemplos
para tu discusión varios tipos de
mosquitos tropicales.
106
Ejercicio toma una pregunta de recuerdo de hechos y conviértela en la base de preguntas que inviten a respuestas multiestructurales
Tus alumnos deben practicar la contestación a este tipo de
preguntas en clase o en tareas asignadas como “Deberes”.
Después de que tus alumnos practiquen ya puedes ponerles
preguntas de este tipo en tu examen
Verás que con este tipo de preguntas podrás discriminar
mucho mejor los distintos niveles de conocimiento de tus
alumnos y animarles a qué hagan durante el cuatrimestre los
deberes que les asignas.
Compara las tres preguntas 107 Nombre:
1) Explica las infecciones intracelulares desde la perspectiva de la teoría de juegos. ¿Cómo
denominarías los distintos niveles de juego?,¿ cuáles son sus posibles protagonistas?
¿Cuáles las estrategias para intentar ganar o seguir en el juego de las bacterias intracelulares
y de los mecanismos inmunes dirigidos a defenderse contra ellas?
¿Cuáles son los desenlaces más probables de cada tipo de interacción y su consecuencia
sobre la evolución del juego posterior?
¿Cuáles son las posibilidades de equilibrios permanentes y desenlaces finales?
Ejemplificar estos conceptos en los casos de infecciones por microrganismos del género
Mycobacterium
Valor hasta cuatro puntos
2) Explica las diferencias y similitudes entre los diferentes factores implicados en la etiología
de
las enfermedades autoinmunes y el cáncer.. Valor hasta tres puntos
3) Describe la clasificación de las inmunodeficiencias primarias. Características generales. Se
valorará la citación de un ejemplo representativo. Valor hasta tres puntos
E VA LU A M O S C O N O C I M I E N T O S P E R O …
¿ Q U É T I P O S D E O P E R A C I O N E S C O N E S O S C O N O C I M I E N T O S S O N L A S
Q U E E VA LU A M O S ?
L O S E S T U D I O S D E M U E S T R A N Q U E L A M A Y O R Í A D E L O S P R O F E S O R E S E N
L A M A Y O R Í A D E L A S O C A S I O N E S E VA LÚ A N R E C U E R D O ,
L A E VA LU A C I Ó N D E R A Z O N A M I E N T O D E N I V E L S U P E R I O R A N Á L I S I S
S Í N T E S I S Y E VA L U A C I Ó N S U P O N E U N A PA R T E D E M A S I A D O P E Q U E Ñ A D E
L O Q U E E VA LU A M O S
A L H A C E R L O E N V I A M O S E L M E N S A J E D E Q U E M E M O R I Z A R C O N C E P T O S
E S L O I M P O R T A N T E PA R A A P R O B A R Y E S O E S L O Q U E N U E S T R O S
A LU M N O S H A C E N
PA R A C A M B I A R E S T O D E B E M O S C A M B I A R L A S P R E G U N T A S Y E N C A R G O S
Q U E H A C E M O S A N U E S T R O S A LU M N O S
108
Aplicación de la taxonomía de Bloom a las pruebas de
evaluación
109
Nivel Básico:
1. Recordar (Reproducir)
Nivel Intermedio:
2. Resumir (identificar lo mas importante)
3. Enumerar (identificar puntos)
4. Comprender (explicar e interpretar el significado) 1ª CG de Dublín
5. Comparar identificar similitudes y diferencias
Alto nivel:
6. Aplicar (usar para resolver un problema nuevo) 2ª Dublín
7. Analizar (Estudiar componentes e interrelaciones)
8. Sintetizar (producir algo nuevo integrando partes)
9. Evaluar (hacer un juicio basado en criterios) 3ªDublín
Niveles de razonamiento con el conocimiento (taxonomía de Bloom ampliada)
110
Uso de la taxonomía de Bloom para diseñar ejercicios y pruebas (recuerdo)1. Conocimiento: recuerdo de información específica.
Define el término tolerancia inmunológica.
Identifica las principales poblaciones de linfocitos antígeno-específicos.
¿Quién ganó el premio Nobel por el descubrimiento de los
reordenamientos genéticos de las inmunoglobulinas?
Escribe la ecuación que relaciona la fuerza motivadora con la inercia
mental del estudiante y su actividad formativa.
¿Cuáles son las cinco secciones de un artículo original de
investigación?
¿Qué son las bacterias gram-positivas?
Enumera en una lista
Las características peculiares de la respuesta autoinmune
111
Uso de la taxonomía de Bloom para diseñar ejercicios y pruebas (comprensión)2. Comprensión: Ser capaz de comunicar sin repetir.
Indica que operaciones matemáticas debes realizar para resolver este
problema.
Explica los resultados del experimento mostrado en la gráfica.
A partir del plano describe el artículo representado
Dada una cuestión establece un diseño experimental que pueda
responderla.
Traduce el siguiente párrafo del inglés al Español.
Resume en cien palabras la teoría de la selección clonal
Resume en una oración lo mas importante que has aprendido en este curso.
Compara y contrasta en una tabla
Explica las similitudes y diferencias entre los linfocitos T y los linfocitos B
Explica similitudes y diferencias entre respuestas inmunes a bacterias
extracelulares e intracelulares
112
Uso de la taxonomía de Bloom para diseñar ejercicios escritos (aplicación)
3. Aplicación: El uso de abstracciones en situaciones
concretas.
Relaciona el principio de refuerzo positivo con tus
comportamientos en la clase.
Describe un experimento para conocer los efectos de un profesor
en el aprendizaje de sus alumnos.
Determina el porcentaje de la población de células NK en el
siguiente estudio.
Entrena a tus alumnos para que desarrollen la competencia X.
Aplica sombreado para producir profundidad en un dibujo.
113
Uso de la taxonomía de Bloom para diseñar ejercicios escritos (análisis)
4. Análisis: La descomposición de una situación en las partes
que la componen.
Identifica las asunciones que subyacen a una teoría.
Dado un argumento para la aprobación de los xenotrasplantes,
enumera razones a favor y en contra de ellos.
Analiza los resultados del siguiente experimento y ofrece una
interpretación.
Dado un diseño experimental, identifica las variables predictora y
dependiente.
Identifica premisas no explicitas en una argumentación lógica
Interpreta esta gráfica
114
Uso de la taxonomía de Bloom para diseñar ejercicios escritos (síntesis y evaluación)
5. Síntesis: reunir elementos y partes para formar un todo
coherente.
Escribe un argumento lógico a favor de una determinada posición.
Dados un conjunto de datos formula una hipótesis que pueda
explicarlos
Dadas dos teorías opuestas diseña un experimento para
compararlas.
Diseña un separador de urea para un acuario marino de 200 l.
Especifica flujo de agua requerido y condiciones de mantenimiento y
limpieza.
Escribe una historia corta relacionando una experiencia personal en
el estilo de la novela picaresca.
115
Uso de la taxonomía de Bloom para diseñar ejercicios escritos (evaluación)
6. Evaluación: Realización de juicios acerca del valor de las
cosas y la validez de los métodos y argumentos
Dado un argumento, detectar y enumerar las falacias lógicas que
contiene.
Dados los datos acerca de una cuestión, tomar una posición y
defenderla.
Dado un estudio de investigación, evaluar si las resultados obtenidos
justifican las conclusiones alcanzadas.
En una situación clínica, seleccionar la intervención más razonable y
predecir los efectos y los posibles efectos no deseados.
Evaluar el trabajo de un compañero dando las razones para tu
evaluación.
¿Cómo puede la evaluación favorecer el aprendizaje significativo, reflexivo, crítico y relevante?
Pidamos a nuestros alumnos que demuestren:
Capacidad de transferir y aplicar sus
conocimientos a situaciones nuevas.
Comprensión en profundidad.
Capacidad de síntesis.
Capacidad para la creación
116
Tus alumnos reaccionarán al cambio en la estrategia de evaluación
Tus alumnos al saber que se les va a exigir comprensión profunda,
aplicación, integración e interrelación de conocimientos
estudiarán de otra manera, preparándose para este tipo de evaluación.
Tus alumnos tendrán que aprender más para aprobar y de esta manera
aprenderán más.
Recuerda el dicho anglosajón : “You get what you assess” El único inconveniente es que te pasaras una semana extra corrigiendo
los exámenes de tus alumnos. Recuerda mi consejo: “Lo mejor para el
aprendizaje, casi nunca es lo más cómodo para el profesor”
117
118
Un ejemplo de evaluacióncon viñeta experimental Comenta estas gráficas indicando qué
fenómenos muestran.
Explica, con lo que sabes de la biología de
las células B, los mecanismos celulares y
moleculares que explican los datos
mostrados en ambas gráficas.
Deben leer las gráficas interpretar los datos
y relacionarlos con lo que saben del
temario.
¿Qué ocurre? ¿Qué mecanismos de los
estudiados explican cada cosa que ocurre?
¿Transmite honestamente la información?
Herramienta pruebas de evaluación a prueba de abordaje superficial
Interpretar un contexto de inmunización
Dif
ere
nci
ar
con
cen
traci
ó n
de a
fin
idad
Un examen de un curso de formación del profesorado
119
Defiende con argumentos pedagógicos ante una
audiencia de profesores que se resisten a cualquier
innovación por qué es conveniente cambiar al sistema de
mas aprendizaje activo, enseñanza mediante retos y
evaluación continua propugnado por el EEES.
¿Por qué es mejor para el aprendizaje…
…el aprendizaje activo?
…la clase interactiva?
…usar metodologías inductivas?
120
121
Ejercicio de interpretación de figuras.
Estudia detenidamente la figura e interprétala:
¿Qué se muestra en cada uno de sus gráficos? ¿Cuáles son las conclusiones que se pueden extraer de los
resultados presentados en la figura? ¿Cuál es el mensaje principal de la figura?
Lo sacan los que han pensado en clase y han hecho los ejercicios
Herramienta pruebas de evaluación a prueba de abordaje superficial medido/real
Error/medida
122
¿Cuál es la similitud?Herramienta pruebas de evaluación a prueba de abordaje superficial
123
Ejercicio de interpretación y extracción de conclusiones.
Responda a las siguientes preguntas¿Qué muestran los resultados mostrados en la grafica?
¿Qué podemos concluir, qué demuestran los resultados mostrados en la grafica?
¿Esperarías estos resultados si los anticuerpos fueran la causa necesaria de la enfermedad? ¿Por qué?
¿A la vista de los resultados cual puede ser el mecanismo necesario para que se produzca la enfermedad?
¿Cómo lo confirmarías en un modelo animal?
Efectos del tratamiento con Rituxan anticuerpo monoclonal anti CD20 de pacientes con LES
Lee el documento y explícalo relacionándolo con lo que sabes de presentación antigénica y coestimulación linfocitaria¿Qué aplicaciones se te ocurre que podría tener este descubrimiento?
Herramienta ejercicios que entrenan para esas pruebas de evaluación
124
Utilidad del FCI125
Se utilizó el Force concept inventory
(FCI) para medir la comprensión de
leyes de Newton en high schools
Community colleges, and state
universities
Se descubrió que con docencia
tradicional la ganancia media era un
cuarto de la máxima potencial en una
asignatura
Con docencia interactiva incluso
cohortes de alumnos de alto nivel
doblaban su ganancia con respecto a
la típica de la tradicional
Puntuación pretest
Gan
acia
pre
test
-post
test
Tradicional
Interactiva
Ganancia potencial máxim
a
50
25
¿Por qué el aprendizaje activo?
126
El aprendizaje activo produce más y
mejor aprendizaje que el aprendizaje
pasivo. (Interactive engagement vs.
Traditional methods. Hake 1988)
Compara resultados de 6542 alumnos
de 62 asignaturas
La ganancia en aprendizaje es
significativamente superior en las
asignaturas que usan implicación
interactiva con respecto a las que usan
metodología tradicional.
El aprendizaje activo ofrece
oportunidades para ejercicio de
competencias.
R.R. Hake, Am. J. Phys. 66, 64 (1998).
Traditional
Active interactive
Problemas convencionales vs. Problemas conceptuales
127
¿Qué será más difícil?
Diseñar un experimento para responder a esta pregunta
Explorar el mismo contenido de las dos maneras en el
mismo examen.
En apariencia lo conceptual es más sencillo pero los
alumnos obtienen peores resultados en el “sencillo” test
conceptual que en el complicado problema.
Hagamos un experimento
Problemas complejos
(pero esperados)
128
Problemas complejos vs. Tests conceptuales“No podemos regalar el 20% del examen”
“Llámalo problema de calentamiento” Test conceptual
(inesperados)
¿Los que resuelven problemas convencionales entienden los conceptos básicos?Muchos aprenden de memoria la mecánica de resolución de los problemas esperados
Los mismos alumnos en el mismo examen
nota media 6,9 > nota media 4,9
Problemas convencionales esperados vs. Problemas conceptuales inesperados
¿Hay alguna correlación entre los resultados?129
¿Cómo interpretáis estos
resultados?
Relación en la mitad
Pocos hicieron mejor el
conceptual que el
convencional
Muchos hicieron peor el
conceptual que el
convencional
¿Qué son?
52 %
Problema convencional
Pro
ble
ma c
on
cep
tual
20 40 60 80 100
20
4
0
6
0
8
0
10
039 %
9 %
¿Qué podemos concluir de estos resultados?
Porc
en
taje
de g
an
an
cia
C
on
resp
ecto
a l
a m
áxim
a p
ote
ncia
l
La incorporación de más métodos interactivos mejora los resultados del peer instruction
PIPI + JITT
Tradicional teaching vs. Peer teaching
Ganancia media
Física25% de la máxima posible
Biología 17%
Ganancia media
Física50-60% de la máxima posible
Biología33%
Trabajo extra que nos da el peer teaching a los profesores
Los temas deben estar preparados con más antelación.
Debemos preparar preguntas de test sobre aquello que
queremos que nuestros alumnos aprendan.
Centradas sobre la comprensión profunda y aplicación de
los conceptos esenciales de nuestra asignatura.
Esas preguntas deben servir para poner en evidencia si
nuestros alumnos comprenden las ideas más importantes
Estrategia sugerida empezar con JITT ir preparando
preguntas para peer teaching
Una vez conocidos estos resultados ¿Es ético seguir utilizando la metodología tradicional de enseñanza universitaria ?
Una analogía con el ensayo clínico de tratamientos.
La eficacia de distintos tratamientos se compara aplicando uno a un
grupo de pacientes otro a otro y comparando los resultados.
En medicina cuando se demuestra que un tratamiento es el doble de
eficiente que otro y se publica y se admite como un hecho la
superioridad del tratamiento I (Innovador) sobre el tratamiento T
(Tradicional)
Si tu propones otro estudio comparando los tratamientos I y T el comité
de ensayos clínicos te lo tirará para atrás por que “No es éticamente
admisible negar a un grupo de pacientes el mejor tratamiento conocido”
¿Por qué negamos a nuestros alumnos el tratamiento que produce más
aprendizaje?
¿Es ético que sigamos utilizando la metodología tradicional a sabiendas de que hay otras
metodologías mas eficaces pero menos cómodas para el profesor?
La evidencia publicada demuestra que no
¿Por qué ignoramos la evidencia publicada?
Más allá de la intuición y la experiencia personal (Cees van der
Veluten)
¿Por qué el profesor de medicina basa su práctica médica en la medicina basada en la
evidencia publicada y su práctica docente en la tradición y su opinión personal?
¿Por qué a su paciente le administra el tratamiento que según la última literatura
médica es el mas eficaz y sin embargo a su alumno le enseña de aquella manera que
simplemente le resulta más cómoda a él?
Ha sido formado en medicina pero no en docencia es y se comporta como un
profesional de la medicina y sin embargo se comporta como un amateur en la docencia
Debemos esforzarnos por convertirnos en profesionales de la docencia . Debemos
basarnos en las mejores prácticas puestas a prueba en los países más avanzados
Debemos informarnos
Investigación original
Revisiones y meta análisis
Libros y manuales para la innovación y la mejora
135
¿Qué es la práctica profesional basada en la evidencia?136
Hacer lo más correcto en cada situación.
Por ejemplo en medicina
“… the conscientious, explicit, and judicious use of
current best evidence in making decisions about
the care of individual patients.”
David Sackett MD (1994)
¿Por qué no hacemos esto mismo con los alumnos?
¿Se vuelven tontos los profesores de medicina al ir del hospital a la facultad?
137
Obviamente no
¿Por qué cada servicio del hospital
realiza sesiones clínicas todos los días y
pasa un lustro sin que en el Dpto. de
Medicina se haga nada para modernizar
la docencia?
Estamos tan acostumbrados a que esto
sea así, que lo que debería ser normal
nos parece lo anormal.
Una selección histórica de la literatura sobre enseñanza universitaria para el gran público
51- 80 McKeachie teaching tips
1985 Assessing educational outcomes Ewel
1987 Developing critical thinkers Brookfield
1991 Active learning Creating excitement in the
classroom
1994 Classroom assessment techniques Cross , Angelo
1997 Peer instruction: A User’s Manual
1997 How to use problem-based learning in the
classroom.
1997 Adviser, teacher, role model, friend on being a
mentor to students in science and engineering.
1998 Educative assessment Grant Wiggings
1999 The Chicago handbook for teachers: a practical
guide to the college classroom. A Brinkley y cols
1999 Teaching for quality learning at University J.biggs
1999 Just-In-Time Teaching: Blending Active Learning
with Web Technology
1999Discussion as a way of teaching
1999 A handbook for teaching and learning in higher
education
2000 teaching with your mouth shut
2000The Internet and problem based learning developing
solutions through the Web.
• 2001 Understanding by design Wiggings G• 2001 The Power of Problem-Based Learning: A Practical 'How To' for teaching Undergraduate Courses in Any Discipline
• 2002 Learner-Centered Teaching: Five Key Changes to Practice Weimer M
• 2003 Creating Significant Learning Experiences: An Integrated Approach to Designing College Courses Fink
• 2004 What the Best College Teachers Do Bain • 2004 building faculty learning communities Cox• 2004 An introduction to rubrics Stevens D• 2005The joy of teaching P Filene • 2006 Exploring research based learning Kreber C
• 2008 Team based learning Micaelsen • 2008 Teaching unprepared students • 2009 Designing courses for significant learning: voices of experience Fink
• 2009 Teaching with classroom response systems: Creating active learning Environments Bruff D
• 2010 2nd edition The Art And Craft of College Teaching: A Guide for New Professors And Graduate Students Rotenberg
• 2010 XIII edition of teaching tips of Mc Keachie• 2011 Engaging Ideas : The Professor's Guide to Integrating Writing, Critical Thinking, and Active Learning in the Classroom Bean
¿Cómo puedo incorporar estas metodologías a mi docencia?
Introducir preparación previa
JITT muy fácil sólo comunicación
virtual bidireccional
DIFICULTAD
Team based learning
Scracth system
Si queremos usarlo para
Evaluación contiua se necesitan
lectores OMR para lectura
automática
PEPEOLA muy fácil cuestionarios
en plataforma se pueden
importar preguntas desde word
Preguntas solo comprueban
pregunta y
Aprendizaje activo
Introducir actividad y reflexión en clase
preguntas ejercicios
Peer teachning más complejo
pero puede ir haciéndose
gradualmente
Se puede empezar con
cartulinas
Si queremos usarlo para
evaluación-calificación continua
se necesitan clickers
Diagrama de flujo de las discusiones en clase
en el peer teaching
Escalera hacía el máximo aprendizaje
Dictatio Monólogo magistral lectio, lectio, y lectio
Clase expositiva interrogativa (evolución del lectio, comentatio disputatio) hay que hacerles pensar como profesionales con la información que les damos
Aprendizaje activo ejercicios y estudio previo, reorientación de presentaciones y retroinformación colectiva
Estudio previo y retroinformación Just in time teaching reorientación de explicación a lo que no se entiende . Aumenta atención. FAQ
Partic
ipac
ión, implic
ación ap
rendiza
je, d
esar
rollo
de c
ompeten
cias
PEPEOLA Preparación y Estudio Previo con Evaluación On-Line Automática
Peer teaching alumnos como recursos, ayudantes del profesor
Team based learning
Estudio previo, tema empieza con un
examen, finaliza con trabajo en equipo
Cómo implementar los distintos métodos
Dictatio no tenemos que cambiar nada
Clase expositiva interrogativa planificar preguntas y casos para intercalar en las explicaciones y dar lugar a diálogo
introducir ejercicios y reflexión, estudio previo, retroinformación colectiva
Just in time teaching aplicación creación gestion y análisis de formularios Survey monkey y google docs . Estudio previo y retroinformación se explica lo que no se entiende
Partic
ipac
ión, implic
ación ap
rendiza
je, d
esar
rollo
de c
ompeten
cias
PEPEOLA Poner preguntas en plataforma
Peer teaching Crear preguntas que pongan de relieve concepciones erróneas
clickers
Team based learning PEPEOLA en aula
info lectores OMR
Servicio correcciónScracth
Com
od
idad
para
el a
lum
no y e
l pro
feso
r
Compartir vuestros resultados de aprendizaje
¿Qué hemos aprendido hoy?
Consejos para el futuro
Escoge un objetivo de aprendizaje
Diseña una prueba que lo evalúe
Diseña actividades apara aprenderlo
ejercitarlo
Rediseña tu prueba de evaluación, rediseña
tus actividades de enseñanza aprendizaje
¿Aportan nuestras asignaturas experiencias de aprendizaje de calidad a nuestros alumnos?
¿Obtienen aprendizajes que permanecerán y usarán en el futuro?
¿Obtienen aprendizajes valiosos para sus perfiles profesionales?
¿Obtienen aprendizajes que les hacen cambiar y madurar? ¿les ayudan a
desarrollarse como personas y profesionales?
¿Obtienen aprendizajes novedosos pero que se apoyan en el nivel de base
que tienen?
No podremos responder a esta cuestión hasta que conozcamos las
respuestas de nuestros alumnos. Deberíamos preguntárselo a ellos.
Hagámoslo.
Debemos aprender a crear experiencias de aprendizaje significativo
para ellos , no basta con planificar temas y clases.
Batería de preguntas para la reflexión metacognitiva
146
5) Reflexión sobre el aprendizaje en la
asignatura
¿Qué cosas importantes has aprendido en esta
asignatura?
Incluye: conocimientos que has adquirido,
competencias (Aprender a hacer cosas) y
visiones (nuevas formas de ver y pensar las
cosas) que has desarrollado.
¿De los aprendizajes que has adquirido en
esta asignatura cuáles piensas que te serán
más útiles en tu futuro profesional?
¿Qué aspectos de la asignatura han sido más
novedosos para ti?
¿Qué aspectos de la asignatura te han gustado
más?
¿Qué te ha parecido el sistema empleado
de enviaros los materiales antes de
empezar a explicarlos para que los leáis y
respondáis a preguntas?
¿Notabas que te era más fácil entender un
tema cuando lo habías estudiado antes?
¿Te has sentido más responsable de tu
propio aprendizaje en esta asignatura?
¿Te has sentido más motivado a trabajar en
ella que en otras asignaturas de este curso?
¿Por qué?
¿De lo que han hecho los profesores que es lo
que más te ha ayudado a aprender?
¿Qué has aprendido de las actividades
formativas y ejercicios que has realizado?
¿Qué actividades formativas te han gustado
más? ¿Por qué?
¿Qué has echado en falta?
¿Cómo mejorarías la asignatura?
¿Algún otro comentario que quieras hacer
(puedes usar también la cara de atrás)?
DEPENDIENDO DE CÓMO SE HAGA LA
EVALUACIÓN CONTINUA
PUEDE MEJORAR EL NIVEL DE
APRENDIZAJE PRETENDIDO O EMPEORARLO
147
Estudios de caso en evaluación continua
alineada y desalineada
En general la evaluación continua suele mejorar los resultados de calificación
Cuando se cambia de evaluación final a evaluación
continua los estudiantes aprueban más y sacan
mejores notas.
¿Es esta una prueba valida de la bondad del método?
¿No será que estamos disminuyendo la dificultad
más que mejorar el resultado del aprendizaje?
Hay una metodología para responder a esta pregunta
148
Estudiamos la evolución de los resultados de distintas promociones
149
Manteniendo una serie de preguntas con
índice de dificultad conocido en los exámenes.
Voy a presentar dos casos: uno con muy buenos
resultados (lo que hay que hacer ) y el otro con
muy malos resultados (lo que no hay que repetir).
Una lección: El efecto de la EC depende de cómo
se haga esta.
Caso 1. EC que no mejora los resultados sino que los empeora (se dice el pecado pero no el pecador)
Experiencia piloto de los nuevos grados incorporan evaluación continua pero mantienen
los tests de conocimiento que empleaban en licenciatura.
Profesores y alumnos trabajan más en actividades no alineadas con los tests de evaluación.
Los resultados tests van bajando en años sucesivos. ¿Nos sorprende?
¿Por qué no debería sorprender nos a profesores capaces de ponernos en el lugar del
alumno?
1. Porque el que va a aprobar gracias a los puntos de evaluación continua puede dormirse
en los laureles, ya no necesita estudiar tanto como antes para sacar los puntos que le
faltan en el test.
2. La evaluación continua no esta alineada con los aprendizajes evaluados en la evaluación
final
¿Conclusión?
No están aprovechando el potencial de la evaluación continua para que mejoren los
resultados de aprendizaje pretendidos. Los alumnos trabajan más y no mejoran los
resultados
150
Caso 2. EC que contribuye a mejorar los resultados de la EF
(los cracks de Inmunología de la UAH)
Tras una serie de años endureciendo las pruebas de evaluación.
Aumentando el porcentaje de preguntas discriminativas nos dimos
cuenta de que el porcentaje de suspensos aumentaba. Nuestro
progresivo incremento en exigencia no era equilibrado por nuestra
mejora en apoyo. Nos estábamos convirtiendo en una de las asignaturas
huesos de la licenciatura en biología.
Tras aumentar nuestro nivel de exigencia debíamos aumentar el
entrenamiento para pruebas tan exigentes.
Decidimos incorporar una evaluación continua que prepara para
evaluación certificativa test con preguntas que vamos retirando de
los “exámenes finales” y las incorporamos a exámenes formativos.
También preguntas de casos.
151
Resultados obtenidos152
Resultados de los tests “finales” mejoran con la
realización de tests al final de los módulos y
espectacularmente cuando se añaden pre-tests al
principio de los módulos temáticos.
Claves del éxito: menos valor (no se aprueba sólo con
los puntos de la continua) pero más alineamiento de
evaluación continua con evaluación final
Hay que alinear bien y no pasarse con el valor.
2007/08 2008/09 2009/100
20
40
60
80
100
120
matrículasobresalientenotableaprobadosuspensono pre-sentado
Mejora de resultados incorporando evaluaciónformativa (convocatoria ordinaria junio)
Sólo final test post test pre
Test post redujo el porcentaje de suspensos en 2008/09 y aumento el porcentaje de alumnos con calificaciones de notable o superior.Test pre aumentó en 2009/2010 el porcentaje de notables y sobresalientesEvaluación continua alineada con la final y no permite dormirse en los laureles
Porc
en
taje
de a
lum
nos
(Ju
nio
)
153
Incremento en calificación de pruebas finales
Incremento calificación media
con respecto a 2007/08
Casos y peguntas de desarrollo
2008/09 27,0%
2009 /10 38,12%
2010/11 40,23%
Prueba MCQ
2008/09 12,5 %
2009 /10 23,36%
2010/11 25,06%
Nosotros ya hacíamos evaluación continua y AAD con ABP
Pero lo que puntuaba una parte (preparación de presentaciones orales) y otra
(casos y tests en exámenes) no estaba alineado
El cambio fue introducir actividades de evaluación formativa alineadas con las
pruebas de evaluación final. El resultado fue una mejora espectacular.
2007/08 2008/09 2009/10 2010/110
5
10
15
20
25
30
35
40
45
casosMCQ
154
Alternativas con preguntas MCQ de exámenes certificativos
1. Darlas “quemarlas” y hacer otros.
Ventaja banco creciente de preguntas
Inconveniente hay que hacerlas nuevas y desconoceremos su
dificultad y su capacidad de discriminación al elaborar la prueba
sólo la conoceremos después pero al darlas la habrán perdido.
Así no hay manera de hacer preguntas de calidad para la
evaluación certificativa.
2. Mantenerlas secretas, estudiar su dificultad y su
poder discriminativo
Sacamos algunas para evaluación continua y formativa
155
156
¿Cómo realizar el análisis y el proceso de mejora de calidad
de la prueba?
157
¿Cómo realizar el análisis y el proceso de mejora de calidad de la prueba?
1. Matriz de respuestas y calificaciones programa de corrección de tests
alumnos en filas x preguntas en columnas2. Se ordena la matriz Ranking por calificación global en la prueba3. Se hace una matriz de aciertos por comparación con la fila plantilla
=SI('RANK respuestas'!D126='RANK respuestas'!D$151;1;0)4. Se crean grupos de alumnos en función de su calificación primer
cuartil – cuarto cuartil
5. Se hallan las proporciones de acierto de alumnos de distintos
cuartiles.
6. Con índices se comparan las proporciones de acierto en distintos
grupos
7. Podemos seleccionar las preguntas mas discriminativas. Esto nos
permite diseñar una prueba de alto poder discriminativo: un test corto
de 25-50 preguntas y preguntas, casos y ejercicios (cuya capacidad
para discriminar también podemos estudiar).
8. Así podemos combinar lo mejor de ambos tipos de exámenes.
158
Los valores de los Índices permiten comparar, clasificar y mejorar preguntas
Más discriminativas diferencian más entre los que saben y los que no
(mantener)
Las que diferencian ente los mejores y el resto
Las que diferencian entre los que saben algo y los que no tienen ni idea
Menos discriminativas (corregir o eliminar)
Demasiado fáciles los que no estudian las aciertan. Hay que dificultarlas o a EC
Demasiado difíciles las fallan hasta los más estudiosos. Hay que facilitarlas o
eliminarlas
Tienen algún fallo o ambigüedad. Hay que corregirlas
=SI('RANK respuestas'!D126='RANK respuestas'!D$151;1;0)
¿Qué necesitamos?159
1.Un lector de exámenes (1989) o un servicio
universitario de corrección de exámenes que
nos facilite la tarea
2.Un programa de corrección de exámenes y
alguien que nos explique como usar el software.
3.Una hoja de cálculo de excel.
4.Para preguntas MCQ la fórmula para convertir
aciertos en (1) y los fallos en (0)
=SI('RANK respuestas'!D126='RANK respuestas'!D$151;1;0)
160
Gestión de la información generada por un sistema de evaluación multivariante
1. Las TICs nos facilitan mucho esta labor:
1. Plataformas de aprendizaje que permiten
1. la realización de foros on line para el trabajo de equipo
2. portafolios electrónicos,
3. Programas para la realización, autocorrección y autocalificación de
tests,
2. Surveymonkey, google docs
3. Lectores que califican tests automáticamente, sistemas de
respuesta a distancia clickers Educlick.
4. Hojas de datos que nos permiten
1. Procesar toda esta información numérica e integrarla en una calificación
final para cada alumno.
2. Estudiar la calidad de nuestras pruebas para discriminar distintos niveles de
aprendizaje.
2. Los profesores debemos aprender a explotar estas herramientas
Recursos sobre como hacer preguntas de test (MCQ)
Manual para la elaboración ce preguntas
http://www.nbme.org/Publications/index.html)
Ventajas e inconvenientes de distintos
métodos de evaluación por medio de pruebas
escritas.
161
Preguntas de test cómo herramienta para fomentar comportamientos éticos
Raíz
En relación a XXXXXX es cierto que:
A afirmación 1
B afirmación 2
C A y B son ciertas
D A y B son falsas
E No tengo certeza de cuál es la
correcta, debería buscar
información y estudiarla para
responder.
162
Raíz
Viñeta clínica:
¿Qué habría que hacer?
A distractor 1
B distractor 2
C respuesta correcta
D distractor 3
E No tengo certeza de cuál es la
correcta, debería buscar información
y estudiarla para responder.
Ventajas didácticas y logísticas
• Al haber una opción para abstenerse E (que no penaliza) evitamos tener que revisar manualmente si en corrector lee bien las preguntas en blanco pues sólo habría preguntas en blanco cuando el lector no lee bien u ocasionalmente el alumno olvida responder a alguna.
• Además así el alumno tiene una opción ética para contestar reconociendo que no sabe.
• Fomentamos con nuestro sistema de calificación que el alumno reconozca cuando no sabe y actué en consecuencia.
163
Cómo funciona el sistema de penalización en preguntas que combinan dos VF
164
• Errar resta medio punto que es la probabilidad que corresponde al que sabe una, duda otra y se arriesga entre V/F (0,5)
• Pero el truco está en que al que no sabe ni una ni otra le resta 0,5 que es más su probabilidad de acertar por azar (0,25)
• Con este test los que no tienen ni ética, ni idea sacan puntuaciones negativas,
• Al combinar dos afirmaciones no hace falta rebuscar tanto estas afirmaciones para que la pregunta sea discriminativa (diferencie entre los que saben más y los que saben menos).
Penalización variable165
A correcta CD -0,25 B-0,50
B correcta CD-0,25 A-0,50
C correcta AB-0,25 D-0,50
D correcta AB-0,25 C-0,50
Cómo funciona el sistema de penalización en preguntas con tres distractores
166
• Errar resta medio punto que es la probabilidad que corresponde al que duda entre la correcta y un distractor y se arriesga (0,5)
• Pero el truco está en que al que duda entre 3 ó 4 le resta 0,5 que es más que su probabilidad de acertar por azar si duda entre tres (0,33) o entre cuatro (0,25)
• Con este test los que no tienen ni ética, ni idea sacan puntuaciones negativas,
• Al penalizar más a los más ignorantes se aumenta la capacidad de discriminación de la pregunta.
Nuestro modelo de evaluación continua
Concepto Valor Evaluación Continua 1
Evaluación Continua 2
Evaluación “al Final”
ABP (seminarios)
25% Tutorías 5% (individual)
Presentación ppt 10% (grupal)
Presentación oral10% (individual)
Teoría (clase grande)
50% Primer módulo E formativa pre2,5% E sumativa post 7,5%
Segundo módulo E formativa pre 2,5% E sumativa Post 7,5%
Examen “finalito” 30%15 tests15 casos
Prácticas (laboratorios)
25% 5% 5% Examen prácticas 15%
Total 100% 20% 25% 55% (repartido)Examen final en convocatoria ordinaria 100 % sólo para alumnos que no
optaron a evaluación continua
167
Aprendizajes del ABP Valor Novedad Dificultad de la tarea
Disfrute de la tarea
Desarrollo de la competencia
Presentation oral (PO) Muy Alto Muy Alto Alto Muy Alto Alto
Preparación de la PO Muy Alto Alto Alto/ Suficiente
Alto Alto
Comprensión de artículos originales de investigación
Alto Muy Alto Alto Suficiente Alto
Trabajar con bibliografía en Inglés
Alto Alto Alto Bajo Suficiente
Buscar información en Internet
Alto Suficiente Suficiente/Bajo
Alto Alto
Acquisición independente de conocimiento
Alto Suficiente Suficiente Alto Alto
Trabajo en equipo Alto Suficiente Suficiente Muy Alto Alto
Aprender a aprender con autonomía
Alto Suficiente Suficiente Alto Alto
Resolución de dudas en tutorías
Alto Suficiente Suficiente Alto Alto
Uso de TICs y softwares Alto Bajo Bajo Alto Alto168
¿Puedo mantener el nivel de exigencia utilizando evaluación continua?
Abogado del diablo ¿No estaremos aprobando a alumnos con
un nivel de aprendizaje mediocre?
Si el profesor no controla adecuadamente su sistema de
evaluación esto puede ocurrir.
Si queremos evitar que ocurra esto debemos regular nuestra
exigencia en la evaluación continua y controlar el nivel
de exigencia y dificultad de tus pruebas de evaluación
final.
Estudios de dificultad de preguntas y de su poder
discriminativo. Sistema de análisis en Excel.
169
¿Cómo mejorar la evaluación continua?
Centrarla en competencias escogidas (ejercicio 11) y
alrededor de conceptos fundamentales de nuestra
asignatura (ejercicio 6).
¿Cómo hacerla factible?
Decidir en qué ocasiones hacerla (frecuencia) y cómo gestionar control
(automático), calificación (sorteo) y feedback (colectivo).
¿Cómo vamos a explotar la información que genera nuestra evaluación?
Para mejorar aprendizaje retroinformación colectiva del profesor al alumno
Para mejorar enseñanza planificación de obtención de retroinformación
desde el Alumno al Profesor
170
Criterios de calidad de la evaluación continua
Validez ¿Qué evalúa? ¿Es la evidencia suficiente para
inferir los aprendizajes deseados?
Fiabilidad ¿Con qué reproducibilidad?
Marketing ¿Perciben los alumnos que desarrollan
competencias y aprendizajes valiosos?
Poder informativo ¿Qué información sacamos de la
EC?¿proporcionamos retroinformación a los alumnos?
¿obtenemos información útil para replantear y
mejorar nuestra enseñanza?
171
Poder informativo de la EC
¿Qué información genera sobre aprendizajes
de calidad?
¿Qué información genera sobre lo que nuestros alumnos
no aprenden y las dificultades que tienen?
¿Cómo se aprovecha esta información para
retroinformar al alumno?
¿Cómo se aprovecha esta información para mejorar el
proceso de enseñanza-aprendizaje?
172
Competencias para la evaluación a desarrollar por el profesor
1. Seleccionar resultados de aprendizaje que permitan la
evaluación competencias.
2. Escoger métodos para premiar la realización de actividades
formativas.
3. Diseño de pruebas de evaluación de utilización de conocimiento
de alto nivel.
4. Aprender a utilizar la evaluación on line automática para
estimular el estudio previo.
5. Evaluación formativa y auténtica
6. Aprender a elaborar rúbricas
173
174
COMPETENCIAS y resultados del aprendizaje Herramientas de evaluación
Competencia nº 1: Saber específico: Conocimientos de inmunología
- Definir, comparar y aplicar conceptos inmunológicos relativos a moléculas, células, tejidos y procesos del sistema inmune.- Explicar los mecanismos y procesos de regulación en la respuesta inmune normal y patológica. -Explicar el fundamento, operación y rango de aplicación de los métodos inmunodiagnósticos e inmunoterapéuticos.-Interpretar resultados experimentales de técnicas inmunológicas
Enumera similitudes y diferencias entre …
Analiza las diferencias entre respuestas inmunes primarias y secundarias
¿Qué métodos utilizarías para . . .
Interpreta los resultados experimentales mostrados en esta gráfica
Competencia nº 2:Saber hacer específico Proceso de información en inmunología).
-Buscar bibliografía de información inmunológica con herramientas electrónicas en un entorno on line. -Leer, comprender y analizar la literatura primaria en inmunología (artículos originales y revisiones).-Entender diseños experimentales y diseñar experimentos en inmunología-Comunicar información científica oralmente, por escrito y usando recursos on line.-Aplicar principios, elementos y tecnologías inmunológicas a la investigación biológica.
¿Han sido capaces de resolver autónomamente sus dudas?¿Han entendido el artículo?¿Han localizado los métodos que deben usar en prácticas?¿Han entendido los diseños experimentales del artículo?¿Han diseñado bien sus experimentos de prácticas?Su presentación merece un …Su informe merece un …¿Han elegido métodos apropiados a los fines propuestos?
175
COMPETENCIAS y resultados del aprendizaje Herramientas de evaluación
Competencia nº 3:Transversal instrumental
Resolución de problemasLengua extranjera inglés.- Uso de TICs en biología.-Comunicar información científica oralmente,
por escrito y por canales on line.
Han comprendido el articulo original en ingles y la bibliografia complementaria
Han explotado las posibilidades de Internet, Power Point, y Acrobat Reader
Han realizado una presentación comprensible y amena
Han realizado un buen informe del trabajo estudiado
Competencia nº 4: Trabajo en equipo
Trabajar en grupos cooperativos asumiendo las responsabilidades que se les han asignado
Los productos de su trabajo en equipo merecen un . . .
Evaluación por compañeros
Competencia nº 5: Transversal sistémica Aprendizaje autónomo:
-Desarrollar hábitos para el autoestudio y el aprendizaje activo autodirigido e independiente.
Han encontrado recursos en Internet para la resolución de problemas y ejercicios
Han documentado correctamente sus trabajosHan resuelto los problemas sin necesidad de
ayuda
Competencia nº 6: Transversal sistémica Pensamiento crítico y creativo
Formular hipótesis y diseños experimentales para ponerlas a prueba
Interpretar resultados experimentales Formular conclusiones y argumentos
científicos basados en datos experimentales.
Juzgar trabajos científicos
Han realizado un buen análisis crítico del trabajo estudiado
Son capaces de interpretar datos y deducir conclusiones
Son capaces de argumentar científicamenteSu juicio del artículo es incisivo y
fundamentado
Competencia nº 7: Actitudinal:
- Desarrollar confianza en la capacidad para resolver problemas inmunológicos.
- Desarrollar interés por la investigación clínica como actividad profesional.
Autoevaluación declaran haber desarrollado confianza en sus posibilidades
Han mostrado su interés participando en clase y actividades voluntarias
176
Mitos en evaluación 177
No hay un método mejor (objetivo y estandarizado) para evaluar
todo, depende de lo que queramos evaluar y del contexto
Lo mejor suele ser una combinación de métodos con muestreo suficiente
(fiabilidad)
No sólo son auténticos ciertos métodos. Lo mejor es que las
pruebas evalúen auténticamente lo que queremos evaluar (validez)
La evaluación es un asunto de psicometría en el que todo
esta inventado.
Lo mejor es que la evaluación tenga impacto educativo ayude a aprender
Este integrada en las actividades de enseñanza aprendizaje evaluamos lo que
hacemos
178
Caso clínico179
Varón de 52 años no fumador lleva tres días
con febrícula y tosiendo, produce esputo
verde .
Su presión sanguínea, pulso y ritmo
respiratorio son normales
La exploración de ruidos pulmonares es
normal
Eres su médico de cabecera ¿Qué harías?
180
A. Pedir una radiografía de torax para
descartar la neumonia
B. Prescribir un antibiotico
C. Prescribir un antiinflamtorio corticoide
D. Recomendar Pelargonim sidoides, un
remedio de herbario muy popular.
¿Qué harían la mayoría de los médicos?
181
Que nos dice la evidencia182
La radiofgrafia mno es necesaria pero al
paciente puede hacerle ilucsión
El antibiotico no no ayudará
Antitussivos no están bien estudiados pero se
prescriben