La elaboración de textos y preguntas para evaluar la comprensión oral”. XXI Congreso Internacional de ASELE, 2010
Upcoming SlideShare
Loading in...5
×
 

La elaboración de textos y preguntas para evaluar la comprensión oral”. XXI Congreso Internacional de ASELE, 2010

on

  • 7,510 views

 

Statistics

Views

Total Views
7,510
Views on SlideShare
7,510
Embed Views
0

Actions

Likes
1
Downloads
79
Comments
0

0 Embeds 0

No embeds

Accessibility

Categories

Upload Details

Uploaded via as Microsoft PowerPoint

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

La elaboración de textos y preguntas para evaluar la comprensión oral”. XXI Congreso Internacional de ASELE, 2010 La elaboración de textos y preguntas para evaluar la comprensión oral”. XXI Congreso Internacional de ASELE, 2010 Presentation Transcript

  • La elaboración de textos y preguntas para evaluar la comprensión oral Susana Martín Leralta Universidad Nebrija [email_address]
  • Introducción
      • El texto es la pieza clave en un examen de comprensión oral.
      • Es más difícil encontrar textos para la comprensión oral que para la comprensión lectora.
      • (Buck, 2008)
  • Introducción
    • El hecho de que el texto vaya a emplearse para la evaluación requiere unas consideraciones añadidas a las habituales para la selección de textos para la didáctica de la destreza.
      • La validez, la fiabilidad, la viabilidad y la autenticidad situacional.
    • Esto hace que debamos construir nuestros propios textos.
      • Lo importante es respetar las características lingüísticas y requerir del candidato los mismos procesos y estrategias de comprensión que se activarían en una situación similar fuera del contexto de aprendizaje formal de la LE/L2
      • (Buck, 2001; Bordón, 2006; Martín, 2009)
  • Introducción
    • Dificultades de la evaluación de la CO
    • Medición indirecta  Intervención de otras destrezas para medir el resultado de comprensión (debido al carácter inobservable de la destreza)
    • Procesamiento de la información simultáneo a la emisión del input
    •  Relevancia de las preguntas, que se elaboran de manera paralela al texto
  • Contenidos
    • Pautas para la elaboración de textos
    • Consideraciones sobre las instrucciones y preguntas para evaluar la CO a partir de los textos
    • Origen de la propuesta: Proyecto de certificación lingüística de nivel inicial de español para inmigrantes adultos en contexto laboral
    • Consejería de Inmigración de la Comunidad de Madrid y Fundación Antonio de Nebrija
    • Universidad Nebrija, junio 2008 - septiembre 2010
  • Programa de Formación y Certificación Lingüística para Trabajadores Inmigrantes / Junio 2008 – septiembre 2010 Universidad Nebrija Marta Baralo Directora Equipo investigador Sheila Estaire Susana Martín Rosario Guerra Equipo de colaboradores
  • ¿Cómo elaborar los textos?
    • El lenguaje del input estará determinado por el constructo que hayamos definido.
    • Tenemos que asegurarnos de que el lenguaje del texto incluye las características lingüísticas a las que se refiere el constructo (aspectos del conocimiento gramatical, discursivo, pragmáticos o sociolingüísticos).
    • Pero esto no es suficiente, también es importante que las tareas del test requieran que el alumno verdaderamente use esas competencias.
    • (Buck, 2001)
  • ¿Cómo elaborar los textos?
    • Autenticidad de los textos
    • Tipo de material: auditivo / audiovisual
    • Relevancia para el currículo y las necesidades del aprendiz
    • Características lingüísticas del texto
    • Naturaleza del género discursivo
    • Microhabilidades evaluadas
    • Dependencia del pasaje
  • ¿Cómo elaborar los textos?
    • En cuanto a la autenticidad
    • El material puede ser auténtico sin necesidad de ser real.
    • (Pastor, 2009; Yagüe, 2010)
    • El material debe favorecer la autenticidad interaccional  tomar en consideración si las operaciones que se les exigen a los candidatos se corresponden con los procesos que ocurrirán de forma natural al interactuar con estos textos .
    • (Bordón, 2006)
  • ¿Cómo elaborar los textos?
    • En cuanto al tipo de material
    • No hay ninguna evidencia empírica que demuestre que el material audiovisual es mejor para la evaluación que el material sin apoyo de la imagen.
    • (Pastor, 2009; Yagüe, 2010)
    • Las investigaciones están todavía valorando la idoneidad de incorporar las grabaciones audiovisuales en la evaluación. No obstante, hay sólidos argumentos a favor del vídeo: evaluación coherente con una definición de comprensión oral como proceso integrador de información visual y auditiva, acorde con la práctica en el aula; mayor validez y autenticidad del test.
    • (Casañ, 2009)
  • ¿Cómo elaborar los textos?
    • En cuanto a la relevancia del texto
    • ¿En qué grado la grabación representa el tipo de input oral que va a encontrarse el aprendiz?
    • ¿Cómo es de relevante la tarea de escucha respecto a los contextos de la vida real?
    • (Field, 2008)
  • ¿Cómo elaborar los textos?
    • En cuanto a las características lingüísticas
      • niveles de conocimiento lingüístico
      • géneros discursivos
      • microhabilidades de comprensión
  • ¿Cómo elaborar los textos?
    • En cuanto a las características lingüísticas
    (Flowerdew y Miller, 2005) Cinestésico Pragmático Semántico Sintáctico Fonológico Tipos de conocimiento
  • ¿Cómo elaborar los textos?
    • En cuanto a las características lingüísticas
    (Martín, 2009) Estadios de procesamiento de la información Estrategias del aprendiz Niveles de conocimiento implicados Necesidades, motivaciones, actitudes, aptitudes, conocimiento previo
  • ¿Cómo elaborar los textos?
    • Actividades y estrategias de comprensión según el Marco Común Europeo de Referencia para las Lenguas
    • Los usuarios del Marco de referencia pueden tener presente y, en su caso, determinar:
    • Qué serie de información de entrada (input) tendrá que aprender a escuchar el alumno, cómo se le capacitará para ello o qué se le exigirá al respecto.
    • Para qué fines escuchará el alumno la información de entrada (input).
    • Qué modalidad de comprensión auditiva realizará el alumno.
  • ¿Cómo elaborar los textos?
      • Actividades de comprensión según el
      • Marco Común Europeo de Referencia para las Lenguas
      • Comprender conversaciones entre hablantes nativos.
      • Escuchar conferencias y presentaciones
      • Escuchar avisos e instrucciones
      • Escuchar retransmisiones y material grabado
      • Ver televisión y cine
  • Actividades y estrategias de comprensión según el Marco Común Europeo de Referencia para las Lenguas Comprende cualquier tipo de habla, tanto conversaciones cara a cara como discursos retransmitidos, sobre temas, habituales o no, de la vida personal, social, académica o profesional. Sólo inciden en su capacidad de compensión el ruido excesivo de fondo, una estructuración inadecuada del discurso o un uso idiomático de la lengua. B2 Comprende lo suficiente como para seguir un discurso extenso sobre temas extensos y complejos que sobrepasan su especialidad, aunque puede que tenga que confirmar en algún que otro detalle, sobre todo, si no está acostumbrado al acento. Reconoce una amplia gama de expresiones idiomáticas y coloquiales, y aprecia cambios de registro. Es capaz de seguir un discurso extenso incluso cuando no está claramente estructurado, y cuando las relaciones son sólo supuestas y no están señaladas explícitamente. C1 No tiene dificultad en comprender cualquier tipo de habla, incluso a la velocidad rápida propia de los hablantes nativos, tanto en conversaciones cara a cara como en discursos retransmitidos. C2 COMPRENSIÓN AUDITIVA EN GENERAL
  • Comprende frases y expresiones relacionadas con áreas de prioridad inmediata (por ejemplo, información personal y familiar muy básica, compras, lugar de residencia, empleo) siempre que el discurso esté articulado con claridad y con lentitud. A2 Comprende lo suficiente como para poder enfrentarse a necesidades concretas siempre que el discurso esté articulado con claridad y con lentitud. Comprende información concreta relativa a temas cotidianos o al trabajo e identifica tanto el mensaje general como los detalles específicos siempre que el discurso esté articulado con claridad y con un acento normal. Comprende discursos que sean muy lentos, que estén articulados con cuidado y con las suficientes pausas para asimilar el significado. A1 Comprende las principales ideas de un discurso claro y en lengua estándar que trate temas cotidianos relativos al trabajo, la escuela, el tiempo de ocio, incluyendo breves narraciones. B1 Comprende las ideas principales de un discurso complejo lingüísticamente que trate tanto temas concretos como abstractos pronunciados en un nivel de lengua estándar, incluyendo debates técnicos dentro de su especialidad. Comprende discursos extensos y líneas complejas de argumentación siempre que el tema sea razonablemente conocido y el desarrollo del discurso se facilite con marcadores específicos. B2 COMPRENSIÓN AUDITIVA EN GENERAL
  • ¿Cómo elaborar los textos?
    • Microhabilidades de comprensión oral
    • Será el objetivo de la acción didáctica y se tomarán como referencia para elaborar y/o seleccionar el input, al igual que los contenidos lingüísticos.
    • Partimos del PCIC, de los contenidos que afectan a la comprensión auditiva: así establecemos una nivelación de las actividades de acuerdo con el conocimiento lingüístico declarativo del alumno.
    • Los contenidos a los que se atiende son:
      • Géneros discursivos y productos textuales
      • Funciones
      • Nociones específicas
      • Gramática
      • Saberes y comportamientos socioculturales
      • Pronunciación y prosodia
  • Microhabilidades A2
    • Percibir el ritmo y las pausas.
    • Identificar los patrones melódicos correspondientes a estructuras sintácticas conocidas.
    • Identificar los patrones de entonación enunciativa, interrogativa y exclamativa.
    • Identificar los patrones de entonación correspondientes a los distintos actos de habla: asertivos, exclamativos, expresivos, interrogativos e imperativos, en sus formas básicas y de cortesía.
    • Identificar la variedad lingüística.
    • Mantener la atención durante la escucha.
    • Identificar el tema de la conversación.
    • Realizar inferencias acerca del interlocutor a partir de cuestiones socioculturales básicas.
    • Comprender la idea principal en contextos conocidos.
    • Comprender preguntas sobre actividades cotidianas, tiempo libre y trabajo.
    • Identificar palabras clave de léxico específico sobre un tema conocido.
    • Comprender datos concretos sobre reserva de viajes, y transacciones comerciales en comercios y oficinas.
    • Comprender instrucciones sencillas y peticiones de ayuda.
    • Comprender mensajes telefónicos sobe temas conocidos en conversaciones previamente preparadas.
    • Identificar la intención comunicativa de los interlocutores.
    • Identificar el estado emocional del interlocutor por la entonación empleada.
    • Desarrollar actitudes que favorezcan el acercamiento sociocultural.
    • Emplear imágenes mentales para ayudarse a elaborar el mensaje.
    • Establecer hipótesis sobre el contenido del mensaje, la relación entre los interlocutores y el léxico.
    • Comprobar las hipótesis a medida que se escucha.
    • Centrarse en las palabras conocidas.
    • Ignorar las palabras desconocidas.
    • Apoyarse en la estructura del texto que se escucha.
  • ¿Cómo elaborar los textos?
    • Autenticidad de los textos
    • Tipo de material: auditivo / audiovisual
    • Relevancia para el currículo y las necesidades del aprendiz
    • Características lingüísticas del texto
    • Naturaleza del género discursivo
    • Microhabilidades evaluadas
    • Dependencia del pasaje
  • ¿Cómo elaborar los textos?
    • Los 10 criterios de Wilson (2008):
    • Interés: ¿Será interesante para mis alumnos?
    • Accesibilidad cultural: ¿Comprenderán el contexto y las ideas?
    • Actos de habla/estructuras del discurso: ¿Se discuten conceptos abstractos o se basa en transacciones cotidianas?
    • Densidad: ¿La información se da de manera concentrada y rápida o hay momentos en los que el alumno se puede relajar?
    • Nivel lingüístico: ¿La mayoría del léxico y de la gramática es apropiada para mis estudiantes?
    • Duración: ¿Necesito cortarlo porque es demasiado largo? ¿Es suficientemente largo?
    • Calidad de la grabación: ¿Es clara? ¿Los ruidos de fondo afectan a la comprensión?
    • Velocidad: ¿Hablan demasiado rápido para mis alumnos?
    • Número de hablantes: ¿Las numerosas voces son una causa potencial de confusión?
    • Acento: ¿Es familiar el acento? ¿Es comprensible?
  • Las preguntas de CO
    • Elegir uno o varios tipos de actividades de evaluación:
      • Selección múltiple
      • Ítems dicotómicos (sí/no; V/F)
      • Respuestas cortas
      • Respuestas largas
      • Rellenado de huecos
      • Transferencia de información
      • Tomar notas
      • Transcripción
    • Cuidar especialmente las instrucciones de las tareas.
    • (Alderson, Clapman y Wall, 1998; Bordón, 2006; Pastor, 2009)
  • Prueba de comprensión audiovisual del examen DILE Prueba de evaluación comunicativa Evaluación indirecta de la comprensión oral Comprensión oral sin interlocutor, pero a partir de una situación de comunicación en interacción, que se muestra en vídeo articulada en tareas y actividades de uso de la lengua lectura de preguntas y respuesta escrita requiere que el candidato active los mismos procesos y estrategias de comprensión que en una situación similar en su contexto real
    • Capacidades evaluadas
    • Comprensión general del mensaje.
    • Comprensión de detalles concretos.
      • instrucciones para llegar a un sitio
      • deletreo de un nombre propio
      • un número de teléfono
      • documentación mencionada para realizar una gestión
      • un dato presente en el enunciado (que variará dependiendo de la información transmitida en el mensaje)
    • Comprensión inferencial  a partir del contexto y el comportamiento de los hablantes.
    Prueba de comprensión audiovisual del examen DILE
    • Uso de material audiovisual
    • Comprender conversaciones entre nativos  aplicar estrategias inferenciales a partir de la imagen
    • Evaluación de contenidos pragmáticos y del componente no verbal asociado a la interacción oral
    • Coherencia en la evaluación de destrezas integradas  interacción oral mediante simulación
    Prueba de comprensión audiovisual del examen DILE
    • Guión del vídeo
    • Permitir y facilitar inferencias a partir de las imágenes
    • Input ajustado a las características de la lengua en la situación que representa
    • Favorecer los procesos naturales de escucha  idea principal, datos concretos, inferencias
    Prueba de comprensión audiovisual del examen DILE
    • Características
    • Historias secuenciadas en partes relacionadas pero correspondientes a situaciones comunicativas diferentes
      •  activación de esquemas de conocimiento para comprender la siguiente
    • Comenzar por el ámbito personal o público
    Prueba de comprensión audiovisual del examen DILE 1. Una conversación informal cara a cara relacionada con el ámbito personal/público entre un interlocutor extranjero y una o más personas nativas 2. Una conversación transaccional cara a cara relacionada con el ámbito administrativo-laboral (se desarrolla en oficinas/ instituciones a las que acuden normalmente los trabajadores), entre el mismo interlocutor extranjero y una o más personas nativas 3. Una conversación transaccional cara a cara relacionada con el ámbito laboral/ de empleo y trabajo entre el mismo interlocutor extranjero y una o más personas nativas
    • Formato de las tareas
    • Mantener el uso comunicativo de la lengua.
    • Cuidar el diseño de las preguntas: ítems de respuesta cerrada y elección múltiple con y sin apoyo de imágenes fijas para la respuesta.
    • Contextualizar la historia del vídeo.
    • Leer las preguntas antes de verlo.
    • Favorecer el transcurso de los procesos de comprensión naturales.
    • Oportunidad de un segundo visionado.
    • Las instrucciones están grabadas en el DVD y van dando paso a los vídeos (input de la prueba).
    Prueba de comprensión audiovisual del examen DILE
  • Prueba de comprensión audiovisual del examen DILE
  • Prueba de comprensión audiovisual del examen DILE
  • Prueba de comprensión audiovisual del examen DILE
  • Prueba de comprensión audiovisual del examen DILE
  •  
  • Prueba de comprensión audiovisual del examen DILE
  • Prueba de comprensión audiovisual del examen DILE
  •  
  • Prueba de comprensión audiovisual del examen DILE
  • Prueba de comprensión audiovisual del examen DILE
  •  
  • 184 informantes de 18 a 58 años. 30 nacionalidades y 50 lenguas maternas. En 10 centros (ONGs, CEPIs, asociaciones) de la Comunidad de Madrid, León y Santander. De diciembre de 2009 a febrero 2010. Prueba de comprensión audiovisual del examen DILE
  • Prueba de comprensión audiovisual del examen DILE Datos generales de la prueba Resultados validación prueba comprensión audiovisual Se trata de una prueba con un rendimiento alto, fácil, muy fiable (0,90) y de validez media alta. 1,51 Error típico de medida 0,90 Fiabilidad (Alfa de Cronbach) 0,60 Rbp media 0,73 Facilidad media 4,66 Desv. típica 21,76 Varianza 0,36 Error típico de la media 13,89 Nº medio de aciertos 19,00 Máximo 0,00 Mínimo 184,00 Nº de sujetos 19,00 Nº de ítems
  • Conclusiones
    • Los textos deben ajustarse al nivel de dominio lingüístico y a las necesidades de los aprendices en el contexto extraacadémico de uso de la lengua (procesos y estrategias).
    • La metodología propuesta favorece la medición del desempeño de la destreza de comprensión oral desde un enfoque comunicativo, puesto que permite tener en cuenta tanto los tipos de conocimiento requeridos en las situaciones de comprensión reales a las que se va a tener que enfrentar el aprendiz, como los estadios de procesamiento de la información que se activan y las estrategias que pone en práctica para tener éxito en estas situaciones.
    • Impacto positivo en la enseñanza de L2.
    • No sólo hay que enseñar al alumno a responder a las tareas del texto, sino enseñarle a que se desenvuelva en el manejo de textos orales a los que va a tener que enfrentarse fuera del aula, para ampliar su repertorio lingüístico (Field, 2008)
  • Bibliografía de referencia ALDERSON, J. C.; C. CLAPMAN y D. WALL (1998): Exámenes de idiomas. Elaboración y evaluación . Madrid: CUP. BARALO OTTONELLO, Marta (2009) (en prensa): ‹‹Implantación de una certificación de nivel A1+1 y diseño curricular específico de español para trabajadores inmigrantes ›› , Actas del XX Congreso Internacional de ASELE , Comillas, 23-26 de septiembre de 2009. CASAÑ, Juan Carlos (2009): Didáctica de las grabaciones audiovisuales para desarrollar la comprensión oral en el aula de lenguas extranjeras . En Suplementos marcoELE , 9 [en línea]: http://marcoele.com/descargas/9/jc.casan_grabaciones-audiovisuales.pdf BORDÓN, Teresa (2006): La evaluación de la lengua en el marco de E/L2: Bases y procedimientos . Madrid: Arcolibros. BUCK, Gary (2001): Assessing Listening. Cambridge: CUP. CONSEJO DE EUROPA (2002): Marco común europeo de referencia para las lenguas: enseñanza, aprendizaje y evaluación , Madrid: Ministerio de Educación, Cultura y Deporte, y Anaya. Versión en español. FIELD, John (2008): Listening in the language classroom . Cambridge: CUP. FLOWERDEW, John y Lindsay MILLER (2005): Second language listening: theory and practice . Cambridge: CUP. INSTITUTO CERVANTES (2006): Plan curricular del Instituto Cervantes. Niveles de referencia para el español . Madrid: Biblioteca Nueva. MARTÍN LERALTA, Susana (2009) Competencia estratégica para la comprensión auditiva en español como lengua extranjera . Mongrafías ASELE, 12. Madrid: Ministerio de Educación. PASTOR VILLALBA, Carmen (2009): ‹‹ La evaluación de la comprensión oral en el aula de ELE ›› . En marcoELE. Revista de didáctica ELE , nº 9 [en línea]: http :// marcoele.com /la- evaluacion -de-la- comprension -oral-en-el-aula-de-ele/ WILSON, JJ. (2008): How to teach listening . Harlow: Pearson Education. YAGÜE, Agustín (2010): “Examinando exámenes. Consideraciones acerca de las pruebas de medición en ELE”. En marcoELE. Revista de didáctica ELE , 10 [en línea]: http://marcoele.com/examinando-examenes
  • Muchas gracias por su atención [email_address] http://www.nebrija.com/profesores/SusanaMartin/