La elaboración de textos y preguntas para evaluar la comprensión oral”. XXI Congreso Internacional de ASELE, 2010

La elaboración de textos y preguntas para evaluar la comprensión oral Susana Martín Leralta Universidad Nebrija [email_address]

Introducción
El texto es la pieza clave en un examen de comprensión oral.
Es más difícil encontrar textos para la comprensión oral que para la comprensión lectora.
(Buck, 2008)

Introducción
El hecho de que el texto vaya a emplearse para la evaluación requiere unas consideraciones añadidas a las habituales para la selección de textos para la didáctica de la destreza.
La validez, la fiabilidad, la viabilidad y la autenticidad situacional.
Esto hace que debamos construir nuestros propios textos.
Lo importante es respetar las características lingüísticas y requerir del candidato los mismos procesos y estrategias de comprensión que se activarían en una situación similar fuera del contexto de aprendizaje formal de la LE/L2
(Buck, 2001; Bordón, 2006; Martín, 2009)

Introducción
Dificultades de la evaluación de la CO
Medición indirecta  Intervención de otras destrezas para medir el resultado de comprensión (debido al carácter inobservable de la destreza)
Procesamiento de la información simultáneo a la emisión del input
 Relevancia de las preguntas, que se elaboran de manera paralela al texto

Contenidos
Pautas para la elaboración de textos
Consideraciones sobre las instrucciones y preguntas para evaluar la CO a partir de los textos
Origen de la propuesta: Proyecto de certificación lingüística de nivel inicial de español para inmigrantes adultos en contexto laboral
Consejería de Inmigración de la Comunidad de Madrid y Fundación Antonio de Nebrija
Universidad Nebrija, junio 2008 - septiembre 2010

Programa de Formación y Certificación Lingüística para Trabajadores Inmigrantes / Junio 2008 – septiembre 2010 Universidad Nebrija Marta Baralo Directora Equipo investigador Sheila Estaire Susana Martín Rosario Guerra Equipo de colaboradores

¿Cómo elaborar los textos?
El lenguaje del input estará determinado por el constructo que hayamos definido.
Tenemos que asegurarnos de que el lenguaje del texto incluye las características lingüísticas a las que se refiere el constructo (aspectos del conocimiento gramatical, discursivo, pragmáticos o sociolingüísticos).
Pero esto no es suficiente, también es importante que las tareas del test requieran que el alumno verdaderamente use esas competencias.
(Buck, 2001)

Autenticidad de los textos
Tipo de material: auditivo / audiovisual
Relevancia para el currículo y las necesidades del aprendiz
Características lingüísticas del texto
Naturaleza del género discursivo
Microhabilidades evaluadas
Dependencia del pasaje

En cuanto a la autenticidad
El material puede ser auténtico sin necesidad de ser real.
(Pastor, 2009; Yagüe, 2010)
El material debe favorecer la autenticidad interaccional  tomar en consideración si las operaciones que se les exigen a los candidatos se corresponden con los procesos que ocurrirán de forma natural al interactuar con estos textos .
(Bordón, 2006)

En cuanto al tipo de material
No hay ninguna evidencia empírica que demuestre que el material audiovisual es mejor para la evaluación que el material sin apoyo de la imagen.
(Pastor, 2009; Yagüe, 2010)
Las investigaciones están todavía valorando la idoneidad de incorporar las grabaciones audiovisuales en la evaluación. No obstante, hay sólidos argumentos a favor del vídeo: evaluación coherente con una definición de comprensión oral como proceso integrador de información visual y auditiva, acorde con la práctica en el aula; mayor validez y autenticidad del test.
(Casañ, 2009)

En cuanto a la relevancia del texto
¿En qué grado la grabación representa el tipo de input oral que va a encontrarse el aprendiz?
¿Cómo es de relevante la tarea de escucha respecto a los contextos de la vida real?
(Field, 2008)

En cuanto a las características lingüísticas
niveles de conocimiento lingüístico
géneros discursivos
microhabilidades de comprensión

(Flowerdew y Miller, 2005) Cinestésico Pragmático Semántico Sintáctico Fonológico Tipos de conocimiento

(Martín, 2009) Estadios de procesamiento de la información Estrategias del aprendiz Niveles de conocimiento implicados Necesidades, motivaciones, actitudes, aptitudes, conocimiento previo

Actividades y estrategias de comprensión según el Marco Común Europeo de Referencia para las Lenguas
Los usuarios del Marco de referencia pueden tener presente y, en su caso, determinar:
Qué serie de información de entrada (input) tendrá que aprender a escuchar el alumno, cómo se le capacitará para ello o qué se le exigirá al respecto.
Para qué fines escuchará el alumno la información de entrada (input).
Qué modalidad de comprensión auditiva realizará el alumno.

Actividades de comprensión según el
Marco Común Europeo de Referencia para las Lenguas
Comprender conversaciones entre hablantes nativos.
Escuchar conferencias y presentaciones
Escuchar avisos e instrucciones
Escuchar retransmisiones y material grabado
Ver televisión y cine

Actividades y estrategias de comprensión según el Marco Común Europeo de Referencia para las Lenguas Comprende cualquier tipo de habla, tanto conversaciones cara a cara como discursos retransmitidos, sobre temas, habituales o no, de la vida personal, social, académica o profesional. Sólo inciden en su capacidad de compensión el ruido excesivo de fondo, una estructuración inadecuada del discurso o un uso idiomático de la lengua. B2 Comprende lo suficiente como para seguir un discurso extenso sobre temas extensos y complejos que sobrepasan su especialidad, aunque puede que tenga que confirmar en algún que otro detalle, sobre todo, si no está acostumbrado al acento. Reconoce una amplia gama de expresiones idiomáticas y coloquiales, y aprecia cambios de registro. Es capaz de seguir un discurso extenso incluso cuando no está claramente estructurado, y cuando las relaciones son sólo supuestas y no están señaladas explícitamente. C1 No tiene dificultad en comprender cualquier tipo de habla, incluso a la velocidad rápida propia de los hablantes nativos, tanto en conversaciones cara a cara como en discursos retransmitidos. C2 COMPRENSIÓN AUDITIVA EN GENERAL

Comprende frases y expresiones relacionadas con áreas de prioridad inmediata (por ejemplo, información personal y familiar muy básica, compras, lugar de residencia, empleo) siempre que el discurso esté articulado con claridad y con lentitud. A2 Comprende lo suficiente como para poder enfrentarse a necesidades concretas siempre que el discurso esté articulado con claridad y con lentitud. Comprende información concreta relativa a temas cotidianos o al trabajo e identifica tanto el mensaje general como los detalles específicos siempre que el discurso esté articulado con claridad y con un acento normal. Comprende discursos que sean muy lentos, que estén articulados con cuidado y con las suficientes pausas para asimilar el significado. A1 Comprende las principales ideas de un discurso claro y en lengua estándar que trate temas cotidianos relativos al trabajo, la escuela, el tiempo de ocio, incluyendo breves narraciones. B1 Comprende las ideas principales de un discurso complejo lingüísticamente que trate tanto temas concretos como abstractos pronunciados en un nivel de lengua estándar, incluyendo debates técnicos dentro de su especialidad. Comprende discursos extensos y líneas complejas de argumentación siempre que el tema sea razonablemente conocido y el desarrollo del discurso se facilite con marcadores específicos. B2 COMPRENSIÓN AUDITIVA EN GENERAL

Microhabilidades de comprensión oral
Será el objetivo de la acción didáctica y se tomarán como referencia para elaborar y/o seleccionar el input, al igual que los contenidos lingüísticos.
Partimos del PCIC, de los contenidos que afectan a la comprensión auditiva: así establecemos una nivelación de las actividades de acuerdo con el conocimiento lingüístico declarativo del alumno.
Los contenidos a los que se atiende son:
Géneros discursivos y productos textuales
Funciones
Nociones específicas
Gramática
Saberes y comportamientos socioculturales
Pronunciación y prosodia

Microhabilidades A2
Percibir el ritmo y las pausas.
Identificar los patrones melódicos correspondientes a estructuras sintácticas conocidas.
Identificar los patrones de entonación enunciativa, interrogativa y exclamativa.
Identificar los patrones de entonación correspondientes a los distintos actos de habla: asertivos, exclamativos, expresivos, interrogativos e imperativos, en sus formas básicas y de cortesía.
Identificar la variedad lingüística.
Mantener la atención durante la escucha.
Identificar el tema de la conversación.
Realizar inferencias acerca del interlocutor a partir de cuestiones socioculturales básicas.
Comprender la idea principal en contextos conocidos.
Comprender preguntas sobre actividades cotidianas, tiempo libre y trabajo.
Identificar palabras clave de léxico específico sobre un tema conocido.
Comprender datos concretos sobre reserva de viajes, y transacciones comerciales en comercios y oficinas.
Comprender instrucciones sencillas y peticiones de ayuda.
Comprender mensajes telefónicos sobe temas conocidos en conversaciones previamente preparadas.
Identificar la intención comunicativa de los interlocutores.
Identificar el estado emocional del interlocutor por la entonación empleada.
Desarrollar actitudes que favorezcan el acercamiento sociocultural.
Emplear imágenes mentales para ayudarse a elaborar el mensaje.
Establecer hipótesis sobre el contenido del mensaje, la relación entre los interlocutores y el léxico.
Comprobar las hipótesis a medida que se escucha.
Centrarse en las palabras conocidas.
Ignorar las palabras desconocidas.
Apoyarse en la estructura del texto que se escucha.

Autenticidad de los textos
Tipo de material: auditivo / audiovisual
Relevancia para el currículo y las necesidades del aprendiz
Características lingüísticas del texto
Naturaleza del género discursivo
Microhabilidades evaluadas
Dependencia del pasaje

Los 10 criterios de Wilson (2008):
Interés: ¿Será interesante para mis alumnos?
Accesibilidad cultural: ¿Comprenderán el contexto y las ideas?
Actos de habla/estructuras del discurso: ¿Se discuten conceptos abstractos o se basa en transacciones cotidianas?
Densidad: ¿La información se da de manera concentrada y rápida o hay momentos en los que el alumno se puede relajar?
Nivel lingüístico: ¿La mayoría del léxico y de la gramática es apropiada para mis estudiantes?
Duración: ¿Necesito cortarlo porque es demasiado largo? ¿Es suficientemente largo?
Calidad de la grabación: ¿Es clara? ¿Los ruidos de fondo afectan a la comprensión?
Velocidad: ¿Hablan demasiado rápido para mis alumnos?
Número de hablantes: ¿Las numerosas voces son una causa potencial de confusión?
Acento: ¿Es familiar el acento? ¿Es comprensible?

Las preguntas de CO
Elegir uno o varios tipos de actividades de evaluación:
Selección múltiple
Ítems dicotómicos (sí/no; V/F)
Respuestas cortas
Respuestas largas
Rellenado de huecos
Transferencia de información
Tomar notas
Transcripción
Cuidar especialmente las instrucciones de las tareas.
(Alderson, Clapman y Wall, 1998; Bordón, 2006; Pastor, 2009)

Prueba de comprensión audiovisual del examen DILE Prueba de evaluación comunicativa Evaluación indirecta de la comprensión oral Comprensión oral sin interlocutor, pero a partir de una situación de comunicación en interacción, que se muestra en vídeo articulada en tareas y actividades de uso de la lengua lectura de preguntas y respuesta escrita requiere que el candidato active los mismos procesos y estrategias de comprensión que en una situación similar en su contexto real

Capacidades evaluadas
Comprensión general del mensaje.
Comprensión de detalles concretos.
instrucciones para llegar a un sitio
deletreo de un nombre propio
un número de teléfono
documentación mencionada para realizar una gestión
un dato presente en el enunciado (que variará dependiendo de la información transmitida en el mensaje)
Comprensión inferencial  a partir del contexto y el comportamiento de los hablantes.
Prueba de comprensión audiovisual del examen DILE

Uso de material audiovisual
Comprender conversaciones entre nativos  aplicar estrategias inferenciales a partir de la imagen
Evaluación de contenidos pragmáticos y del componente no verbal asociado a la interacción oral
Coherencia en la evaluación de destrezas integradas  interacción oral mediante simulación

Guión del vídeo
Permitir y facilitar inferencias a partir de las imágenes
Input ajustado a las características de la lengua en la situación que representa
Favorecer los procesos naturales de escucha  idea principal, datos concretos, inferencias

Características
Historias secuenciadas en partes relacionadas pero correspondientes a situaciones comunicativas diferentes
 activación de esquemas de conocimiento para comprender la siguiente
Comenzar por el ámbito personal o público
Prueba de comprensión audiovisual del examen DILE 1. Una conversación informal cara a cara relacionada con el ámbito personal/público entre un interlocutor extranjero y una o más personas nativas 2. Una conversación transaccional cara a cara relacionada con el ámbito administrativo-laboral (se desarrolla en oficinas/ instituciones a las que acuden normalmente los trabajadores), entre el mismo interlocutor extranjero y una o más personas nativas 3. Una conversación transaccional cara a cara relacionada con el ámbito laboral/ de empleo y trabajo entre el mismo interlocutor extranjero y una o más personas nativas

Formato de las tareas
Mantener el uso comunicativo de la lengua.
Cuidar el diseño de las preguntas: ítems de respuesta cerrada y elección múltiple con y sin apoyo de imágenes fijas para la respuesta.
Contextualizar la historia del vídeo.
Leer las preguntas antes de verlo.
Favorecer el transcurso de los procesos de comprensión naturales.
Oportunidad de un segundo visionado.
Las instrucciones están grabadas en el DVD y van dando paso a los vídeos (input de la prueba).

184 informantes de 18 a 58 años. 30 nacionalidades y 50 lenguas maternas. En 10 centros (ONGs, CEPIs, asociaciones) de la Comunidad de Madrid, León y Santander. De diciembre de 2009 a febrero 2010. Prueba de comprensión audiovisual del examen DILE

Prueba de comprensión audiovisual del examen DILE Datos generales de la prueba Resultados validación prueba comprensión audiovisual Se trata de una prueba con un rendimiento alto, fácil, muy fiable (0,90) y de validez media alta. 1,51 Error típico de medida 0,90 Fiabilidad (Alfa de Cronbach) 0,60 Rbp media 0,73 Facilidad media 4,66 Desv. típica 21,76 Varianza 0,36 Error típico de la media 13,89 Nº medio de aciertos 19,00 Máximo 0,00 Mínimo 184,00 Nº de sujetos 19,00 Nº de ítems

Conclusiones
Los textos deben ajustarse al nivel de dominio lingüístico y a las necesidades de los aprendices en el contexto extraacadémico de uso de la lengua (procesos y estrategias).
La metodología propuesta favorece la medición del desempeño de la destreza de comprensión oral desde un enfoque comunicativo, puesto que permite tener en cuenta tanto los tipos de conocimiento requeridos en las situaciones de comprensión reales a las que se va a tener que enfrentar el aprendiz, como los estadios de procesamiento de la información que se activan y las estrategias que pone en práctica para tener éxito en estas situaciones.
Impacto positivo en la enseñanza de L2.
No sólo hay que enseñar al alumno a responder a las tareas del texto, sino enseñarle a que se desenvuelva en el manejo de textos orales a los que va a tener que enfrentarse fuera del aula, para ampliar su repertorio lingüístico (Field, 2008)

Bibliografía de referencia ALDERSON, J. C.; C. CLAPMAN y D. WALL (1998): Exámenes de idiomas. Elaboración y evaluación . Madrid: CUP. BARALO OTTONELLO, Marta (2009) (en prensa): ‹‹Implantación de una certificación de nivel A1+1 y diseño curricular específico de español para trabajadores inmigrantes ›› , Actas del XX Congreso Internacional de ASELE , Comillas, 23-26 de septiembre de 2009. CASAÑ, Juan Carlos (2009): Didáctica de las grabaciones audiovisuales para desarrollar la comprensión oral en el aula de lenguas extranjeras . En Suplementos marcoELE , 9 [en línea]: http://marcoele.com/descargas/9/jc.casan_grabaciones-audiovisuales.pdf BORDÓN, Teresa (2006): La evaluación de la lengua en el marco de E/L2: Bases y procedimientos . Madrid: Arcolibros. BUCK, Gary (2001): Assessing Listening. Cambridge: CUP. CONSEJO DE EUROPA (2002): Marco común europeo de referencia para las lenguas: enseñanza, aprendizaje y evaluación , Madrid: Ministerio de Educación, Cultura y Deporte, y Anaya. Versión en español. FIELD, John (2008): Listening in the language classroom . Cambridge: CUP. FLOWERDEW, John y Lindsay MILLER (2005): Second language listening: theory and practice . Cambridge: CUP. INSTITUTO CERVANTES (2006): Plan curricular del Instituto Cervantes. Niveles de referencia para el español . Madrid: Biblioteca Nueva. MARTÍN LERALTA, Susana (2009) Competencia estratégica para la comprensión auditiva en español como lengua extranjera . Mongrafías ASELE, 12. Madrid: Ministerio de Educación. PASTOR VILLALBA, Carmen (2009): ‹‹ La evaluación de la comprensión oral en el aula de ELE ›› . En marcoELE. Revista de didáctica ELE , nº 9 [en línea]: http :// marcoele.com /la- evaluacion -de-la- comprension -oral-en-el-aula-de-ele/ WILSON, JJ. (2008): How to teach listening . Harlow: Pearson Education. YAGÜE, Agustín (2010): “Examinando exámenes. Consideraciones acerca de las pruebas de medición en ELE”. En marcoELE. Revista de didáctica ELE , 10 [en línea]: http://marcoele.com/examinando-examenes

Muchas gracias por su atención [email_address] http://www.nebrija.com/profesores/SusanaMartin/

La elaboración de textos y preguntas para evaluar la comprensión oral”. XXI Congreso Internacional de ASELE, 2010

by Grupo Inmigra i+d on Feb 03, 2011

Accessibility

Tags

Upload Details

Usage Rights

Statistics

La elaboración de textos y preguntas para evaluar la comprensión oral”. XXI Congreso Internacional de ASELE, 2010 — Presentation Transcript