La elaboración de textos y preguntas para evaluar la comprensión oral”. XXI Congreso...

La elaboración de textos y

preguntas para evaluar la

comprensión oral

Susana Martín Leralta

Universidad Nebrija

[email protected]

mailto:[email protected]

Introducción

El texto es la pieza clave en un examen de comprensión oral.

Es más difícil encontrar textos para la comprensión oral que para la comprensión lectora.

(Buck, 2008)

Introducción

El hecho de que el texto vaya a emplearse para la evaluación requiere unas consideraciones añadidas a las habituales para la selección de textos para la didáctica de la destreza.

La validez, la fiabilidad, la viabilidad y la autenticidad situacional.

Esto hace que debamos construir nuestros propios textos.

Lo importante es respetar las características lingüísticas y requerir del candidato los mismos procesos y estrategias de comprensión que se activarían en una situación similar fuera del contexto de aprendizaje formal de la LE/L2

(Buck, 2001; Bordón, 2006; Martín, 2009)

Introducción

Dificultades de la evaluación de la CO

Medición indirecta Intervención de otras destrezas para medir el resultado de comprensión (debido al carácter inobservable de la destreza)

Procesamiento de la información simultáneo a la emisión del input

Relevancia de las preguntas, que se elaboran de manera paralela al texto

Contenidos

Pautas para la elaboración de textos

Consideraciones sobre las instrucciones y preguntas para evaluar la CO a partir de los textos

Origen de la propuesta: Proyecto de certificación lingüística de nivel inicial de español para inmigrantes adultos en contexto laboral

Consejería de Inmigración de la Comunidad de Madrid y Fundación Antonio de Nebrija

Universidad Nebrija, junio 2008 - septiembre 2010

Programa de Formación y Certificación Lingüística para Trabajadores Inmigrantes / Junio 2008 – septiembre 2010

Universidad Nebrija

Marta Baralo

Directora Equipo investigador

Sheila Estaire Susana Martín

Rosario Guerra

Equipo de colaboradores

¿Cómo elaborar los textos?

El lenguaje del input estará determinado por el constructo que hayamos definido.

Tenemos que asegurarnos de que el lenguaje del texto incluye las características lingüísticas a las que se refiere el constructo (aspectos del conocimiento gramatical, discursivo, pragmáticos o sociolingüísticos).

Pero esto no es suficiente, también es importante que las tareas del test requieran que el alumno verdaderamente use esas competencias.

(Buck, 2001)


Autenticidad de los textosTipo de material: auditivo / audiovisualRelevancia para el currículo y las necesidades

del aprendiz Características lingüísticas del textoNaturaleza del género discursivoMicrohabilidades evaluadasDependencia del pasaje


En cuanto a la autenticidad

- El material puede ser auténtico sin necesidad de ser real.

(Pastor, 2009; Yagüe, 2010)

- El material debe favorecer la autenticidad interaccional tomar en consideración si las operaciones que se les exigen a los candidatos se corresponden con los procesos que ocurrirán de forma natural al interactuar con estos textos.

(Bordón, 2006)

¿Cómo elaborar los textos?En cuanto al tipo de material

- No hay ninguna evidencia empírica que demuestre que el material audiovisual es mejor para la evaluación que el material sin apoyo de la imagen.

(Pastor, 2009; Yagüe, 2010)

- Las investigaciones están todavía valorando la idoneidad de incorporar las grabaciones audiovisuales en la evaluación. No obstante, hay sólidos argumentos a favor del vídeo: evaluación coherente con una definición de comprensión oral como proceso integrador de información visual y auditiva, acorde con la práctica en el aula; mayor validez y autenticidad del test.

(Casañ, 2009)

¿Cómo elaborar los textos?En cuanto a la relevancia del texto

¿En qué grado la grabación representa el tipo de input oral que va a encontrarse el aprendiz?

¿Cómo es de relevante la tarea de escucha respecto a los contextos de la vida real?

(Field, 2008)


En cuanto a las características lingüísticas

niveles de conocimiento lingüístico géneros discursivos microhabilidades de comprensión



Cinestésico

Pragmático Semántico

Sintáctico

Fonológico

Tipos de conocimiento

(Flowerdew y Miller, 2005)



Estadios de procesamiento

de la información

Estadios de procesamiento

de la información

Estrategias del aprendizEstrategias

del aprendiz

Niveles de conocimiento

implicados

Niveles de conocimiento

implicados

Nec

esid

ades

,

mot

ivac

ione

s,

actit

udes

, apt

itude

s,

cono

cim

ient

o pr

evio

(Martín, 2009)


Actividades y estrategias de comprensión según el Marco Común Europeo de Referencia para las Lenguas

Los usuarios del Marco de referencia pueden tener presente y, en su caso, determinar:

Qué serie de información de entrada (input) tendrá que aprender a escuchar el alumno, cómo se le capacitará para ello o qué se le exigirá al respecto.

Para qué fines escuchará el alumno la información de entrada (input).

Qué modalidad de comprensión auditiva realizará el alumno.


Actividades de comprensión según el Marco Común Europeo de Referencia para las Lenguas

Comprender conversaciones entre hablantes nativos.Escuchar conferencias y presentacionesEscuchar avisos e instruccionesEscuchar retransmisiones y material grabadoVer televisión y cine

Actividades y estrategias de comprensión según el Marco Común Europeo de Referencia para las Lenguas

COMPRENSIÓN AUDITIVA EN GENERAL

C2 No tiene dificultad en comprender cualquier tipo de habla, incluso a la velocidad rápida propia de los hablantes nativos, tanto en conversaciones cara a cara como en discursos retransmitidos.

C1

Comprende lo suficiente como para seguir un discurso extenso sobre temas extensos y complejos que sobrepasan su especialidad, aunque puede que tenga que confirmar en algún que otro detalle, sobre todo, si no está acostumbrado al acento.

Reconoce una amplia gama de expresiones idiomáticas y coloquiales, y aprecia cambios de registro.

Es capaz de seguir un discurso extenso incluso cuando no está claramente estructurado, y cuando las relaciones son sólo supuestas y no están señaladas explícitamente.

B2

Comprende cualquier tipo de habla, tanto conversaciones cara a cara como discursos retransmitidos, sobre temas, habituales o no, de la vida personal, social, académica o profesional. Sólo inciden en su capacidad de compensión el ruido excesivo de fondo, una estructuración inadecuada del discurso o un uso idiomático de la lengua.

COMPRENSIÓN AUDITIVA EN GENERAL

B2

Comprende las ideas principales de un discurso complejo lingüísticamente que trate tanto temas concretos como abstractos pronunciados en un nivel de lengua estándar, incluyendo debates técnicos dentro de su especialidad. Comprende discursos extensos y líneas complejas de argumentación siempre que el tema sea razonablemente conocido y el desarrollo del discurso se facilite con marcadores específicos.

B1

Comprende información concreta relativa a temas cotidianos o al trabajo e identifica tanto el mensaje general como los detalles específicos siempre que el discurso esté articulado con claridad y con un acento normal.

Comprende las principales ideas de un discurso claro y en lengua estándar que trate temas cotidianos relativos al trabajo, la escuela, el tiempo de ocio, incluyendo breves narraciones.

A2

Comprende lo suficiente como para poder enfrentarse a necesidades concretas siempre que el discurso esté articulado con claridad y con lentitud.

Comprende frases y expresiones relacionadas con áreas de prioridad inmediata (por ejemplo, información personal y familiar muy básica, compras, lugar de residencia, empleo) siempre que el discurso esté articulado con claridad y con lentitud.

A1

Comprende discursos que sean muy lentos, que estén articulados con cuidado y con las suficientes pausas para asimilar el significado.

¿Cómo elaborar los textos?Microhabilidades de comprensión oral

Será el objetivo de la acción didáctica y se tomarán como referencia para elaborar y/o seleccionar el input, al igual que los contenidos lingüísticos.

Partimos del PCIC, de los contenidos que afectan a la comprensión auditiva: así establecemos una nivelación de las actividades de acuerdo con el conocimiento lingüístico declarativo del alumno.

Los contenidos a los que se atiende son:– Géneros discursivos y productos textuales– Funciones– Nociones específicas– Gramática– Saberes y comportamientos socioculturales – Pronunciación y prosodia

Microhabilidades A2• Percibir el ritmo y las pausas.• Identificar los patrones melódicos correspondientes a estructuras sintácticas conocidas.• Identificar los patrones de entonación enunciativa, interrogativa y exclamativa.• Identificar los patrones de entonación correspondientes a los distintos actos de habla: asertivos,

exclamativos, expresivos, interrogativos e imperativos, en sus formas básicas y de cortesía.• Identificar la variedad lingüística.• Mantener la atención durante la escucha.• Identificar el tema de la conversación.• Realizar inferencias acerca del interlocutor a partir de cuestiones socioculturales básicas.• Comprender la idea principal en contextos conocidos.• Comprender preguntas sobre actividades cotidianas, tiempo libre y trabajo.• Identificar palabras clave de léxico específico sobre un tema conocido.• Comprender datos concretos sobre reserva de viajes, y transacciones comerciales en comercios y oficinas.• Comprender instrucciones sencillas y peticiones de ayuda.• Comprender mensajes telefónicos sobe temas conocidos en conversaciones previamente preparadas.• Identificar la intención comunicativa de los interlocutores.• Identificar el estado emocional del interlocutor por la entonación empleada.• Desarrollar actitudes que favorezcan el acercamiento sociocultural.• Emplear imágenes mentales para ayudarse a elaborar el mensaje.• Establecer hipótesis sobre el contenido del mensaje, la relación entre los interlocutores y el léxico.• Comprobar las hipótesis a medida que se escucha.• Centrarse en las palabras conocidas.• Ignorar las palabras desconocidas.• Apoyarse en la estructura del texto que se escucha.


Autenticidad de los textosTipo de material: auditivo / audiovisualRelevancia para el currículo y las necesidades

del aprendiz Características lingüísticas del textoNaturaleza del género discursivoMicrohabilidades evaluadasDependencia del pasaje

¿Cómo elaborar los textos?Los 10 criterios de Wilson (2008): • Interés: ¿Será interesante para mis alumnos?• Accesibilidad cultural: ¿Comprenderán el contexto y las ideas?• Actos de habla/estructuras del discurso: ¿Se discuten conceptos abstractos

o se basa en transacciones cotidianas?• Densidad: ¿La información se da de manera concentrada y rápida o hay

momentos en los que el alumno se puede relajar?• Nivel lingüístico: ¿La mayoría del léxico y de la gramática es apropiada para

mis estudiantes?• Duración: ¿Necesito cortarlo porque es demasiado largo? ¿Es

suficientemente largo?• Calidad de la grabación: ¿Es clara? ¿Los ruidos de fondo afectan a la

comprensión?• Velocidad: ¿Hablan demasiado rápido para mis alumnos?• Número de hablantes: ¿Las numerosas voces son una causa potencial de

confusión?• Acento: ¿Es familiar el acento? ¿Es comprensible?

Las preguntas de COElegir uno o varios tipos de actividades de

evaluación:– Selección múltiple– Ítems dicotómicos (sí/no; V/F)– Respuestas cortas– Respuestas largas– Rellenado de huecos– Transferencia de información– Tomar notas– Transcripción

Cuidar especialmente las instrucciones de las tareas.

(Alderson, Clapman y Wall, 1998; Bordón, 2006; Pastor, 2009)

Prueba de comprensión audiovisual del examen DILE

Prueba de evaluación comunicativa

Evaluación indirecta de la comprensión oral

Comprensión oral sin interlocutor, pero a partir de una situación de comunicación en interacción, que se muestra

en vídeo

articulada en tareas y actividades de uso

de la lengua

lectura de preguntas y respuesta escrita

requiere que el candidato active los mismos procesos y estrategias de comprensión que en una situación

similar en su contexto real

Capacidades evaluadas

• Comprensión general del mensaje.

• Comprensión de detalles concretos.• instrucciones para llegar a un sitio• deletreo de un nombre propio• un número de teléfono• documentación mencionada para realizar una gestión• un dato presente en el enunciado (que variará dependiendo de

la información transmitida en el mensaje)

• Comprensión inferencial a partir del contexto y el comportamiento de los hablantes.


Uso de material audiovisual

• Comprender conversaciones entre nativos aplicar estrategias inferenciales a partir de la imagen

• Evaluación de contenidos pragmáticos y del componente no verbal asociado a la interacción oral

• Coherencia en la evaluación de destrezas integradas interacción oral mediante simulación


Guión del vídeo

• Permitir y facilitar inferencias a partir de las imágenes

• Input ajustado a las características de la lengua en la situación que representa

• Favorecer los procesos naturales de escucha idea principal, datos concretos, inferencias


Características

• Historias secuenciadas en partes relacionadas pero correspondientes a situaciones comunicativas diferentes

activación de esquemas de conocimiento para comprender la siguiente

• Comenzar por el ámbito personal o público

1. Una conversación informal

cara a cara relacionada con el ámbito personal/público

entre un interlocutor extranjero y una o más

personas nativas

2. Una conversación

transaccional cara a cara relacionada con el ámbito

administrativo-laboral (se desarrolla en oficinas/

instituciones a las que acuden normalmente los

trabajadores), entre el mismo interlocutor

extranjero y una o más personas nativas

3.

Una conversación transaccional cara a cara relacionada con el ámbito

laboral/ de empleo y trabajo entre el mismo

interlocutor extranjero y una o más personas nativas


Formato de las tareas Mantener el uso comunicativo de la lengua. Cuidar el diseño de las preguntas:

ítems de respuesta cerrada y elección múltiple con y sin apoyo de imágenes fijas para la respuesta.

Contextualizar la historia del vídeo. Leer las preguntas antes de verlo. Favorecer el transcurso de los procesos de comprensión

naturales. Oportunidad de un segundo visionado. Las instrucciones están grabadas en el DVD y van

dando paso a los vídeos (input de la prueba).


COMPRENSIÓN GENERAL DEL FRAGMENTO

75%

25%

correctas incorrectas

COMPRENSIÓN DE DETALLES CONCRETOS

90%

10%


INFERENCIAS

67%

33%


184 informantes de 18 a 58 años.

30 nacionalidades y 50 lenguas maternas.

En 10 centros (ONGs, CEPIs, asociaciones) de la Comunidad de Madrid, León y Santander.

De diciembre de 2009 a febrero 2010.



Datos generales de la prueba

Resultados validación prueba comprensión audiovisual

Nº de ítems 19,00

Nº de sujetos 184,00

Mínimo 0,00

Máximo 19,00

Nº medio de aciertos 13,89

Error típico de la media 0,36

Varianza 21,76

Desv. típica 4,66

Facilidad media 0,73

Rbp media 0,60

Fiabilidad (Alfa de Cronbach) 0,90

Error típico de medida 1,51

Se trata de una prueba con un rendimiento alto, fácil, muy fiable (0,90) y de validez media alta.

Conclusiones

Los textos deben ajustarse al nivel de dominio lingüístico y a las necesidades de los aprendices en el contexto extraacadémico de uso de la lengua (procesos y estrategias).

La metodología propuesta favorece la medición del desempeño de la destreza de comprensión oral desde un enfoque comunicativo, puesto que permite tener en cuenta tanto los tipos de conocimiento requeridos en las situaciones de comprensión reales a las que se va a tener que enfrentar el aprendiz, como los estadios de procesamiento de la información que se activan y las estrategias que pone en práctica para tener éxito en estas situaciones.

Impacto positivo en la enseñanza de L2.

No sólo hay que enseñar al alumno a responder a las tareas del texto, sino enseñarle a que se desenvuelva en el manejo de textos orales a los que va a tener que enfrentarse fuera del aula, para ampliar su repertorio lingüístico (Field, 2008)

Bibliografía de referencia

ALDERSON, J. C.; C. CLAPMAN y D. WALL (1998): Exámenes de idiomas. Elaboración y evaluación. Madrid: CUP.BARALO OTTONELLO, Marta (2009) (en prensa): ‹‹Implantación de una certificación de nivel A1+1 y diseño curricular específico de español para trabajadores inmigrantes››, Actas del XX Congreso Internacional de ASELE, Comillas, 23-26 de septiembre de 2009.CASAÑ, Juan Carlos (2009): Didáctica de las grabaciones audiovisuales para desarrollar la comprensión oral en el aula de lenguas extranjeras. En Suplementos marcoELE, 9 [en línea]: http://marcoele.com/descargas/9/jc.casan_grabaciones-audiovisuales.pdfBORDÓN, Teresa (2006): La evaluación de la lengua en el marco de E/L2: Bases y procedimientos. Madrid: Arcolibros.BUCK, Gary (2001): Assessing Listening. Cambridge: CUP.CONSEJO DE EUROPA (2002): Marco común europeo de referencia para las lenguas: enseñanza, aprendizaje y evaluación, Madrid: Ministerio de Educación, Cultura y Deporte, y Anaya. Versión en español.FIELD, John (2008): Listening in the language classroom. Cambridge: CUP.FLOWERDEW, John y Lindsay MILLER (2005): Second language listening: theory and practice. Cambridge: CUP.INSTITUTO CERVANTES (2006): Plan curricular del Instituto Cervantes. Niveles de referencia para el español . Madrid: Biblioteca Nueva.MARTÍN LERALTA, Susana (2009) Competencia estratégica para la comprensión auditiva en español como lengua extranjera. Mongrafías ASELE, 12. Madrid: Ministerio de Educación.PASTOR VILLALBA, Carmen (2009): ‹‹La evaluación de la comprensión oral en el aula de ELE››. En marcoELE. Revista de didáctica ELE, nº 9 [en línea]: http://marcoele.com/la-evaluacion-de-la-comprension-oral-en-el-aula-de-ele/WILSON, JJ. (2008): How to teach listening. Harlow: Pearson Education.YAGÜE, Agustín (2010): “Examinando exámenes. Consideraciones acerca de las pruebas de medición en ELE”. En marcoELE. Revista de didáctica ELE, 10 [en línea]: http://marcoele.com/examinando-examenes

http://marcoele.com/descargas/9/jc.casan_grabaciones-audiovisuales.pdf

http://marcoele.com/la-evaluacion-de-la-comprension-oral-en-el-aula-de-ele/








http://marcoele.com/examinando-examenes

Muchas gracias por su atención

[email protected]

http://www.nebrija.com/profesores/SusanaMartin/

mailto:[email protected]

http://www.nebrija.com/profesores/SusanaMartin/

La elaboración de textos y preguntas para evaluar la comprensión oral”. XXI Congreso...

Documents

Transcript of La elaboración de textos y preguntas para evaluar la comprensión oral”. XXI Congreso...