SlideShare a Scribd company logo
1 of 65
Las pruebas orales
dentro del Marco Europeo Común de
   Referencia para las Lenguas.

          Michael Harris
          16-17/11/12
Contenidos del curso:
A: Introducción
B: Las especificaciones del examen
C: Los instrumentos
D: Taller de estandarización
E: La evaluación de una prueba
F: El futuro
UNA PRUEBA


1 ¿Qué nivel MCER tiene el alumno?

2 ¿Por qué piensas que tiene este nivel?

3 ¿La entrevista es buena o mala? ¿Por
  qué?
Tus experiencias
1 ¿Qué sensaciones has tenido cuando has
  hecho una prueba oral como alumno?
2 ¿Qué sensaciones tienes cuando estás
  evaluando una prueba oral?
3 ¿Cuáles son los principales problemas para
  evaluar las actuaciones de los alumnos de
  forma justa?
Conceptos claves
Validez: nuestra evaluación mide lo que dice que mide
  y no otra cosa

Fiabilidad: nuestra evaluación mide el rendimiento de
   los alumnos en una forma consistente

Viabilidad: Nuestra evaluación es posible con los
  recursos que hay en el centro

Transparencia: tenemos que explicar todos los pasos
  de nuestro proceso de evaluación
¿Qué es el Marco Común de
                    Referencia?
1- Una serie de niveles (A1-C2) de competencia
   lingüística bien definidos y aplicables a distintos
   idiomas en diferentes contextos.

2- Un marco general para informar la enseñanza y
   evaluación de idiomas y en especial su uso
   comunicativo.

3- “Escalas con descriptores de competencia
   comunicativa que se pueden utilizar directamente en
   exámenes de idiomas.”
El Marco Europeo Común de Referencia
“De forma intencionada el MECR es incompleto y
poco especificado.”
“No es aplicable a todos los contextos sin la
intervención de los usuarios para adaptarlo a usos
locales.” Michael Milanovich/Cyril Weir (2010)
1: Especificación         2: Construcción de los
del contenido             instrumentos
Análisis de las           Tareas / Escalas / Guiones
necesidades
Especificaciones          3: Estandarización de
                          juicios:
                          Formación en evaluación

5: Administración:        4: Pilotaje
Resultados / evaluación   Validación interna de la
                          prueba

   EL PROCESO DE EVALUACIÓN
B: LAS ESPECIFICACIONES
LA VALIDEZ EXTERNA DE LA PRUEBA

ACLES: UN EXAMEN PÚBLICO

. EL PAPEL DEL EXAMEN

· LAS PARTES INTERESADAS:

-Los candidatos
-Las empresas
-Las instituciones públicas
- Las universidades

. UN DOCUMENTO PÚBLICO
¿Cuáles son los dominios
comunicativos?
-público
-personal
- ocupacional
-educacional
(cuadro 5/CEF 4.1)
Interacción oral en general                         CEF p. 75
                                                                             ELEGIR NIVEL
C2    Posee un buen dominio de expresiones idiomáticas y coloquiales y es consciente de los niveles connotativos de significado. Transmite con precisión sutiles matices de
            significado utilizando, con razonable precisión, una amplia serie de procedimientos de modificación. Sabe sortear las dificultades con tanta discreción que el
            interlocutor apenas se de cuenta de ello.


C1    Se expresa con fluidez y espontaneidad casi sin esfuerzo. Domina un amplio repertorio léxico que le permite suplir sus deficiencias fácilmente con circunloquios.
            Apenas hay una búsqueda evidente de expresiones o estrategias de evitación; solo un tema conceptualmente difícil puede obstaculizar un discurso fluido y
            natural.


B2    Habla con fluidez, precisión y eficacia sobre una amplia serie de temas generales, académicos, profesionales o de ocio, marcando con
      claridad la relación entre las ideas. Se comunica espontáneamente y posee un buen control gramatical sin dar muchas muestras de
      tener que restringir lo que dice y adoptando un nivel de formalidad adecuado a las circunstancias.

      Participa en conversaciones con un grado de fluidez y espontaneidad que posibilita la interacción habitual con hablantes nativos sin suponer tensión para ninguna de
             las partes. Resalta la importancia personal de ciertos hechos y experiencias, expresa y defiende puntos de vista con claridad, proporcionando explicaciones y
             argumentos adecuados.


B1    Se comunica con cierta seguridad tanto en asuntos que son habituales como en los poco habituales, relacionados con sus intereses
      personales y su especialidad. Intercambia, comprueba y confirma información, se enfrenta a situaciones menos corrientes y explica el
      motivo de un problema. Es capaz de expresarse sobre temas mas abstractos y culturales, como pueden ser películas, libros, música -



      Es capaz de sacar bastante partido a un repertorio lingüístico sencillo para enfrentarse a la mayoría de las situaciones que pueden surgir cuando se viaja. Participa sin
            preparación previa en conversaciones que traten temas cotidianos, expresa opiniones personales e intercambia información sobre temas habituales de interés
            personal o pertinentes en la vida diaria (por ejemplo, familia, aficiones, trabajo, viajes, y hechos de actualidad.



A2    Participa en conversaciones con razonable comodidad en situaciones estructuradas y en conversaciones breves siempre que la otra persona le ayude si es necesario. Se
             desenvuelve en intercambios sencillos y habituales sin mucho esfuerzo, plantea y contesta preguntas e intercambia ideas e información sobre temas cotidianos
             en situaciones predecibles de la vida diaria.


      Se comunica en tareas sencillas y habituales que requieren un intercambio sencillo y directo de información y que traten asuntos cotidianos relativos al trabajo y al
            tiempo libre. Se desenvuelve en intercambios sociales muy breves, pero casi nunca comprende lo suficiente como para mantener una conversación por su
            cuenta.


A1    Participa en conversaciones de forma sencilla, pero la comunicación depende totalmente de que haya repeticiones a ritmo mas lento, reformulaciones y rectificaciones.
             Sabe plantear y contestar preguntas sencillas, realizar afirmaciones sencillas y responder a las afirmaciones que se le hacen en áreas de necesidad inmediata o
             sobre temas muy cotidianos.
B2 vs. B.1
DESCRIPTORES: PRODUCCIÓN ORAL
DESCRIPTORES: PRODUCCIÓN ORAL
DESCRIPTORES: INTERACCIÓN ORAL
DESCRIPTORES: INTERACCIÓN ORAL
DESCRIPTORES: INTERACCIÓN ORAL
ESTRATEGIAS ORALES
NIVEL DE COMPETENCIA
Objetivos comunicativos
Interacción oral (A.2)
Ámbito / Situación (Cuadro 5/CEF 4.1)
Personal Un tren / otra persona / alguien desconocido
Temas de comunicación (CEF 4.2)
Vida cotidiana: aficiones y intereses/ información personal
Actividades comunicativas (CEF 4)
Conversación casual: saludar/despedirse/dar información
personal/hablar de lo que le guste
Estrategias (CEF 4)
Aclarar lo que dice mediante gestos. Pedir aclaración sobre palabras
claves.
Grado de expresión /comprensión
(Interacción oral CEF 4.4.3.1Competencia lingüística general CEF
5.2.1.Competencia fonológica CEF 5.2.1.4)
Se desenvuelve en intercambios sociales breves. Comprende cuando alguien le
habla despacio. Utiliza estructuras sintácticas básicas y se comunica mediante
frases, grupos de palabras y formulas memorizadas al referirse a si mismo
y a otras personas, a lo que hace, a los lugares a las posesiones etc.
Su pronunciación es generalmente bastante clara y comprensible, aunque resulte
evidente su acento extranjero y los interlocutores tengan que solicitar repeticiones de
C: LOS INSTRUMENTOS DE
EVALUACIÓN
Consideraciones prácticas
1 ¿Cuántas pruebas hay cada año?
2 ¿Cuántos candidatos hay? ¿Cuáles son sus
  actitudes?
3 ¿Cuánto tiempo hay para la preparación de las
  pruebas?
4 ¿Cuánto tiempo hay para la formación de los
  profesores?
5 ¿Hay acuerdo entre profesores sobre la
  importancia de las distintas competencias?
6 ¿Qué tipo de aulas hay? ¿Qué equipamiento hay?
7. ¿Qué medidas se toman para asegurar que la
  evaluación oral sea fiable, valida y viable?
Preguntas:
1- entrevista libre (sin estructurar)                         Tareas
2- preguntas preparadas (miembro del tribunal con guion)
3- preguntas grabadas (video/audio)
Material gráfico:
4- descripción/explicación (dibujo/grafico /foto)
5- narración: dibujos
6- discusión - dibujo/grafico/foto (comparar/ordenar etc.)
Situaciones:
7- juego de rol (con 2 papeles definidos)
8- situaciones (respuestas de 1 candidato al examinador)
9- preguntas/respuestas automáticas (audio/video)
10- vacío informativo (información escrita)
Discusiones:
11- discusión (opiniones reales)
12- discusión (vacío de opinión)
13- discusión (sobre un libro)
14- discusión sobre un tema previamente preparado
Textos:
15- preguntas sobre un texto (escrito/audio/video)
16- discusión sobre texto corto (escrito/ audio/video) ej. un tema polémico
Presentación:
17- presentación de un tema (preparado por los alumnos)
18- presentación de un tema (elegido por azar)
19- presentación con preguntas del examinador (sobre apuntes)
Decisiones sobre la entrevista
1 ¿Quién realizará la entrevista oral?
2 ¿Se realizará la entrevista individualmente, en parejas o
en grupos de tres?
3 ¿Cuál va a ser el entorno de la entrevista? ¿Qué materiales
habrá?
4 ¿Cuál va a ser la duración de la entrevista?
5 ¿Habrá un período de preparación para los alumnos?
6 ¿Qué distintas actividades (formatos) habrá en la
entrevista?
7- ¿Cuánto tiempo habrá para analizar la nota de los
alumnos?
8- ¿Cuándo y cómo se informará al alumno de su resultado?
9- ¿Qué mecanismos habrá para la reclamación?
10- ¿Qué medidas pueden optimizar la fiabilidad de la prueba?
La entrevista oral
Tiempo total: …………………
Calentamiento: ………………………………
Tarea 1: ……………………………………….
Tarea 2: ……………………………………….
Tarea 3: ……………………………………….
Materiales: ……………………………………………………
Guión del examinador
Instrucciones:

Preguntas:
UNA ENTREVISTA

Ver otra entrevista oral.

¿Qué son los rasgos más importantes en la
  comunicación?

¿Cuáles son los más fáciles de evaluar?

¿Cómo es la entrevista (formatos/interlocutor etc.?
• Mensaje
coherencia del mensaje (organización discursiva ej.- desarrollo de un
tema en una presentación)
relevancia del contenido del mensaje (para el contexto en una situación
específica)
adecuado del mensaje a nivel sociolingüístico: lenguaje- estilo/registro
contenido elementos de la comunicación no-verbal (gestos / movimientos
expresiones)
cohesión del mensaje (uso de marcadores de discurso)
• Interacción
capacidad de comprensión al interlocutor
capacidad de mantener comunicación (mostrar interés/pedir clarificación)
involucrar a la otra persona (pedir sus opiniones/clarificar/explicar etc.)
capacidad quinésica (movimientos / gestos)
• Fluidez
velocidad (palabras por minuto) / pausas largas / pausas huecas
estrategias de expresión para mantener la comunicación (corregirse/evitar
problemas/ganar tiempo/compensar falta de recursos lingüísticos)
• Lenguaje
corrección léxica / gramatical (gramática oral)
corrección fonológica - sonidos / entonación
complejidad (‘riqueza’) lingüística (sintáctica/léxica)
Las Escalas De Evaluación
Escala holística-

5 habla con fluidez y con muy pocos errores
  importantes
4 habla con bastante fluidez y con pocos errores
  importantes
3 habla con suficiente fluidez y con algunos errores
  importantes que causan problemas de
  comprensión
2 habla con dificultad y hay problemas para
  comprender el mensaje
1 habla con mucha dificultad y es muy difícil
  comprender el mensaje
Interacción oral en general                         MCER p. 75

C2   Posee un buen dominio de expresiones idiomáticas y coloquiales y es consciente de los niveles connotativos de significado. Transmite con
     precisión sutiles matices de significado utilizando, con razonable precisión, una amplia serie de procedimientos de modificación. Sabe sortear las
            dificultades con tanta discreción que el interlocutor apenas se de cuenta de ello.


C1   Se expresa con fluidez y espontaneidad casi sin esfuerzo. Domina un amplio repertorio léxico que le permite suplir sus deficiencias fácilmente con
           circunloquios. Apenas hay una búsqueda evidente de expresiones o estrategias de evitación; solo un tema conceptualmente difícil puede obstaculizar
           un discurso fluido y natural.


B2   Habla con fluidez, precisión y eficacia sobre una amplia serie de temas generales, académicos, profesionales o de ocio, marcando con claridad la relación
           entre las ideas. Se comunica espontáneamente y posee un buen control gramatical sin dar muchas muestras de tener que restringir lo que dice y
           adoptando un nivel de formalidad adecuado a las circunstancias.

     Participa en conversaciones con un grado de fluidez y espontaneidad que posibilita la interacción habitual con hablantes nativos sin suponer tensión para
            ninguna de las partes. Resalta la importancia personal de ciertos hechos y experiencias, expresa y defiende puntos de vista con claridad,
            proporcionando explicaciones y argumentos adecuados.


B1   Se comunica con cierta seguridad tanto en asuntos que son habituales como en los poco habituales, relacionados con sus intereses personales y su
     especialidad. Intercambia, comprueba y confirma información, se enfrenta a situaciones menos corrientes y explica el motivo de un problema. Es capaz de
     expresarse sobre temas mas abstractos y culturales, como pueden ser películas, libros, música etc.

     Es capaz de sacar bastante partido a un repertorio lingüístico sencillo para enfrentarse a la mayoría de las situaciones que pueden surgir cuando se viaja.
           Participa sin preparación previa en conversaciones que traten temas cotidianos, expresa opiniones personales e intercambia información sobre temas
           habituales de interés personal o pertinentes en la vida diaria (por ejemplo, familia, aficiones, trabajo, viajes, y hechos de actualidad.



A2   Participa en conversaciones con razonable comodidad en situaciones estructuradas y en conversaciones breves siempre que la otra persona le ayude si es
            necesario. Se desenvuelve en intercambios sencillos y habituales sin mucho esfuerzo, plantea y contesta preguntas e intercambia ideas e información
            sobre temas cotidianos en situaciones predecibles de la vida diaria.

     Se comunica en tareas sencillas y habituales que requieren un intercambio sencillo y directo de información y que traten asuntos cotidianos relativos al
           trabajo y al tiempo libre. Se desenvuelve en intercambios sociales muy breves, pero casi nunca comprende lo suficiente como para mantener una
           conversación por su cuenta.


A1   Participa en conversaciones de forma sencilla, pero la comunicación depende totalmente de que haya repeticiones a ritmo mas lento, reformulaciones y
            rectificaciones. Sabe plantear y contestar preguntas sencillas, realizar afirmaciones sencillas y responder a las afirmaciones que se le hacen en áreas
            de necesidad inmediata o sobre temas muy cotidianos.
Escala analítica-
1 – mensaje contenido del mensaje / adecuación al
   contexto / organización del mensaje coherencia y
   cohesión
2- fluidez velocidad del mensaje / falta de pausas
   largas / mantenimiento de la comunicación por
   medio de estrategias de comunicación
3- interacción capacidad de interaccionar con otro(s)
   interlocutores (demostrar interés / reaccionar etc.)
4- corrección gramatical / léxica / fonológica
Descriptores-
mensaje
5 una respuesta totalmente adecuada y relevante a la
  tarea en cuestión
4 una respuesta bastante adecuada y relevante a la
  tarea
3 una respuesta con suficiente información para la
  tarea y más o menos adecuada
2 una respuesta sin la información suficiente e
  inadecuada al contexto
1 una respuesta no relevante a la tarea y totalmente
  inadecuada al contexto
ESCALA ANALÍTICA BASADA EN EL MCE

EXPRESION ORAL
5 Puede llevar a cabo descripciones claras y detalladas
  de una variedad de temas.
4 Puede llevar a cabo descripciones claras de una
  variedad de temas que sean de su interés.
3 Puede llevar a cabo una descripción sencilla de
  temas que sean de su interés con una secuencia
  lineal de elementos. B.1.
2 Puede llevar a cabo una descripción muy sencilla en
  una breve lista de frases y oraciones sencillas.
1 Puede expresarse con frases sencillas.
ESCALA ANALITICA BASADA EN EL MCE

INTERACCIÓN
5 Puede iniciar, mantener y terminar una conversación
  cara a cara sin problemas sobre una gran variedad de
  situaciones.
4 Utiliza estrategias y lenguaje adecuado para iniciar,
  mantener y terminar una conversación cara a cara sobre
  una variedad de temas.
3 Puede iniciar, mantener y terminar una conversación
  cara a cara sobre temas cotidianos o de interés
  personal aunque con algunos problemas. B.1.
2 Puede mantener con dificultad una conversación sencilla
  y no puede tomar la iniciativa.
1 Tiene dificultad para mantener una conversación sencilla.
ESCALA ANALITICA BASADA EN EL MCE

FLUIDEZ
5 Se expresa con relativa facilidad y, a pesar de algunas
   pausas, es capaz de seguir adelante con eficacia y sin
   ayuda.
4 Es capaz de mantener su discurso con relativa
   facilidad, aunque sean evidentes las pausas.
3 Es capaz de mantener su discurso, aunque sean muy
   evidentes algunas pausas. (B.1.1.)
2 Mantiene solo intervenciones breves con pausas
   frecuentes y muy evidentes.
1 Produce enunciados muy breves y aislados con
   muchas pausas.
ESCALA ANALITICA BASADA EN EL MCE

CORRECCION LINGÜÍSTICA
5 Comete errores pero siempre queda claro lo que
  intenta expresar.
4 Utiliza con bastante corrección el lenguaje
  relacionado con muchas situaciones.
3 Utiliza con razonable corrección el lenguaje
  relacionado con las situaciones mas predecibles.
  (B.1.1.)
2 Utiliza algunas estructuras sencillas correctamente
  pero comete errores básicos.
1 Comete errores básicos sistemáticamente.
ESCALA ANALITICA BASADA EN EL MCE

PRONUNCIACION
5 Su pronunciación siempre es muy inteligible, y pocas
   veces cometa errores de pronunciación
4 Su pronunciación es claramente inteligible, aunque a
   veces cometa errores de pronunciación
3 Su pronunciación es inteligible, aunque cometa
   errores de pronunciación. (B.1)
2 Su pronunciación es generalmente inteligible, aunque
   bastantes veces cometa errores graves de
   pronunciación
1 Su pronunciación no es muy inteligible y cometa
   muchos errores graves que dificultan su
   comprensión
 http://www.ceftrain.net/
D: TALLER DE ESTANDARIZACIÓN
Fiabilidad
• reunir el seminario de profesores
• entregar los baremos provisionales
• distribuir cintas de expresión oral a cada
  profesor/a
• la evaluación por el/la profesor/a
• comparar las evaluaciones
• modificar el baremo si es preciso
EXPRESION ORAL                                                                         B.1: un baremo provisional
5 Puede llevar a cabo descripciones claras y detalladas de una variedad de temas.
4 Puede llevar a cabo descripciones claras de una variedad de temas que sean de su interés.
3 Puede llevar a cabo una descripción sencilla de temas de su interés con una secuencia lineal de elementos. B.1.
2 Puede llevar a cabo una descripción muy sencilla en una breve lista de frases y oraciones sencillas.
1 Puede expresarse con frases sencillas.
INTERACCIÓN
5 Puede iniciar, mantener y terminar una conversación cara a cara sin problemas sobre una gran variedad de situaciones.
4 Utiliza estrategias y lenguaje adecuado para iniciar, mantener y terminar una conversación cara a cara sobre una variedad
de temas.
3 Puede iniciar, mantener y terminar una conversación cara a cara sobre temas cotidianos o de interés personal aunque
con algunos problemas. B.1.
2 Puede mantener con dificultad una conversación sencilla y no puede tomar la iniciativa.
1 Tiene dificultad para mantener una conversación sencilla.
FLUIDEZ
5 Se expresa con relativa facilidad y, a pesar de algunas pausas, es capaz de seguir adelante con eficacia y sin ayuda.
4 Es capaz de mantener su discurso con relativa facilidad, aunque sean evidentes las pausas.
3 Es capaz de mantener su discurso, aunque sean muy evidentes algunas pausas. (B.1.1.)
2 Mantiene solo intervenciones breves con pausas frecuentes y muy evidentes.
1 Produce enunciados muy breves y aislados con muchas pausas.

CORRECCION LINGÜÍSTICA
5 Comete errores pero siempre queda claro lo que intenta expresar.
4 Utiliza con bastante corrección el lenguaje relacionado con muchas situaciones.
3 Utiliza con razonable corrección el lenguaje relacionado con las situaciones mas predecibles. (B.1.1.)
2 Utiliza algunas estructuras sencillas correctamente pero comete errores básicos.
1 Comete errores básicos sistemáticamente.
PRONUNCIACION
5 Su pronunciación siempre es muy inteligible, y pocas veces cometa errores de pronunciación
4 Su pronunciación es claramente inteligible, aunque a veces cometa errores de pronunciación
3 Su pronunciación es inteligible, aunque cometa errores de pronunciación. (B.1)
2 Su pronunciación es generalmente inteligible, aunque bastantes veces cometa errores graves de pronunciación
1 Su pronunciación no es muy inteligible y cometa muchos errores graves que dificultan su comprensión
E: EVALUACIÓN DE UNA PRUEBA


Válidez de la
prueba
Fiabilidad
Viabilidad
Transparencia
Un marco socio-
cognitivo para la
validación de
pruebas (Weir
2005)




       6
  Galaczi and Ffrench 2009
Los resultados:
¿Qué conclusiones puedo sacar
de los resultados sobre la prueba
oral?
Polígonos de frecuencia
Fiabilidad: entre correctores / entre el
  mismo corrector
Método 2 mitades: Spearman-Brown
Kuder Richardson 20 / Cronbach Alpha
Análisis de ítems: coeficiente de
dificultad / índice de discriminación
1- Válidez
La aceptación de la prueba      Factores para evaluar
(válidez externa)
Las espeficaciones y la realidad de la prueba (válidez de contexto)
¿Una muestra adecuada de los contenidos? (válidez de contenido)
Predicción de rendimiento futuro de los candidatos (válidez predictiva)
2- Fiabilidad
Fiabilidad entre los diferentes asesores en la evaluación.
¿Siguieron los mismos procedimientos en la misma forma?
Análisis de las diferentes tareas (facilidad/discriminación) y items (ej. preguntas) en la
prueba. (¿Una tarea es demasiado fácil o difícil?)
3- Viabilidad
Uso de los recursos humanos (profesores/personal administrativo)
Uso de locales / equipos Coste de la prueba
4- Satisfacción con la prueba
Candidatos: a) información sobre la prueba / objetivos / ejemplos b) administración
de la prueba c) opiniones sobre la prueba (distintas tareas)
Profesores: sus opiniones sobre la prueba Empresarios: valor para el mercado de
trabajo
Una prueba oral
1- ¿Cuándo fue la prueba? ¿Con cuántos alumnos?
2- ¿Qué opinaron los alumnos y los profesores de la
prueba?
3- ¿Qué tipo de comunicación salió de la prueba?
4- ¿Fue fácil evaluar los alumnos? ¿Hubo diferencias
entre los juicios de los examinadores?
5- ¿Cómo fue la administración en términos
prácticos?
F: ¿El futuro?
20 minutos / alumnos con micrófono y cascos
2 tareas – responder a preguntas con propias
  ideas y opiniones
4 tareas – leer y escuchar y responder a
preguntas sobre los textos
3-6 evaluadores entrenados dan una nota 0-4
b) Una plataforma de exámenes (ej. PLEVALEX)
http://www.ordinate.com/versant/business/professional/samples.jsp
1 ¿Qué usos hay para las
  pruebas informatizadas
  en el centro de idiomas
  de la Universidad de A
  Coruña?

2 ¿Qué ventajas y
  desventajas tienen
  estas pruebas?
http://www.dialang.org/spanish/index.htm
CONCLUSIONES
•   el papel del MECR
•   el proceso de evaluación
•   la importancia de los objetivos
•   las escalas de evaluación y los juicios
•   las tareas
•   la administración de una prueba
•   la evaluación de una prueba
Diseño de pruebas orales:
Alderson, J.C., Clapham, C. and Wall, D. (1995) Language Test Construction and
Evaluation. Cambridge: CUP.
Bachman, L.F. (1990) Fundamental Considerations in Language Testing: Oxford: Oxford
University Press
Bachman, L.F. and Palmer, A.S. (1996) Language Testing in Practice Oxford: Oxford
University Press
Bailey, K. (1998) Learning about Language Assessment: Dilemmas, Decisions and
Directions. Boston, MA: Heinle & Heinle
J.D. Brown (1988) Understanding Research in Second Language Learning Cambridge:
Cambridge University Press
J.D. Brown (1992) Statistics as a Foreign Language- Part 2 TESOL Quarterly vol. 26/4
Carroll, B.J. (1980) Testing Communicative Performance Oxford: Pergamon
Carroll, B.J. and P.J. Hall (1985) Make your own language tests: a practical guide to
writing language performance tests. Oxford: Pergamon.
Davies, A. (1990) Principles of Language Testing Oxford:Blackwell.
Galaczi, E. and Ffrench, A. (2009) Investigating the Context Validity of Speaking Tests within a Socio-
cognitive Framework www.cambridgeesol.org/assets/pdf/what-we.../research_update5.pdf
Hill, C. and Parry, K. (1995) From Testing to Assessment London: Longman
Hughes, A. (1989) Testing for Language Teachers Cambridge: Cambridge University
Press
Luoma, S (2004) Assessing Speaking Cambridge: Cambridge University Press
Martínez Baztán, A. (2002) ‘Evaluación Oral de la Competencia Lingüística.’ Actas de las
XI Jornadas de Lingüística Aplicada. Universidad de Granada
Spolsky, B. (1989) Communicative Competence, Language Proficiency and Beyond.
Applied Linguistics Vol 10/2
Underhill, N. (1987) Testing spoken language. Cambridge: Cambridge University Press
Weir, C.J. (1988) Communicative language testing. Exeter: University of Exeter.
Weir, C.J. (2005) Language Testing and Validation Oxford: Palgrave Macmillan
Marco Comun Europeo:

CEF Construct Project (2005) http://www.ling.lancs.ac.uk/groups/ltrg/oldprojects/construct.htm
CEFTrain http://www.ceftrain.net/ (con CD Rom en ingles y actividades de formación)
Figueras, N., North, B., Takala, S., Van Avermaet, P., Verhelst, N. (2003)
Relating Language Examinations to the CEF. Manual Preliminary Pilot Version.DGIV/EDU/LANG +
Figueras, N. (2005) ‘El Marco Común de Referencia, de la teoría a la practica.’ Revista Carabela, n.57
     SGEL
Figueras, N. (2006 ) La Evaluación Dentro y Fuera del aula: retos planteados por el MCER
XIV Encuentro Práctico de Profesores de ELE http://www.encuentro-
practico.com/pdf05/figueras.pdf
Little, D (ed). (2002) European Language Portfolio in Use: Nine examples +
Marco Común Europeo de Referencia para las Lenguas
cvc.cervantes.es/obref/marco/cvc_mer.pdf
Martyniuk, W. (ed) (2010) Aligning Tests with the CEFR Studies in Language Testing 33 Cambridge:
CUP
Milanovitch, M. (2002) Language Examining and Test Development
Strasbourg: Language Policy Division +
Morrow, K. (2004) Insights from the Common European Framework Oxford: Oxford
University Press
http://www.coe.int/t/dg4/linguistic/Publications_EN.asp#P101_3402
Trujillo Sáez, F Marco Común Europeo para las Lenguas y Portfolio Europeo de Lenguas.
http://www.pnte.cfnavarra.es/eibz/portfolio/agenda/tenerife/ponencia_peltene_mat_fer_tru.p
df

DVD (Ingles/Italiano/Francés) – entrevistas con comentarios – información:
http://www.coe.int/T/DG4/Portfolio/?L=E&M=/main_pages/illustrationse.html
Evaluación y Tecnología:
Alderson, J (2000) ‘Technology in Testing: the Present and the Future. System. 28/4 593-603
Alderson J, Clapham, C. and Wall, D. (1995) Language Test Construction and Evaluation
Cambridge: CUP
Blackboard (2008) Blackboard Learning System (www.blackboard.com)
Chapelle, C.A. and Douglas, D. (2006) Assessing Language through Computer
Technology Cambridge: Cambridge University Press
García Laborda, J (2004) HIEO: Investigación y Desarrollo de una Herramienta
Informática de Evaluación
LarcStar (pruebas orales) http://larcohorts.sdsu.edu/LarcStar
Oral Multilingüe Didáctica (Lengua y Literatura) vol. 16 77-88
García Laborda, J. (2006) La Plataforma de exámenes multilingüe PLEVALEX:
Resultados del diseño y perspectivas de investigación futura de la Plataforma
de Exámenes Valenciana de Lenguas Extranjeras Didáctica (Lengua y
Literatura) vol. 18 135-145
Moodle (2008) (en castellano) http://moodle.uptodown.com/
Muñoz, K.D. y Van Duzer, J. (2005) Blackboard vs. Moodle A Comparison of
Satisfaction with Online Teaching and Learning Tools de:
http://www.humboldt.edu/~jdv1/moodle/all.htm
Análisis de herramientas para diseñar pruebas informatizadas:
http://balrog.sdsu.edu/~wstrombe/test_authoring_systems.htm
TOEFL http://www.sp.toefl.eu
Las pruebas orales
dentro del Marco Europeo Común de
   Referencia para las Lenguas.

          Michael Harris
          16-17/11/12

More Related Content

What's hot

La evaluación de las competencias orales con soporte tecnológico
La evaluación de las competencias orales con soporte tecnológicoLa evaluación de las competencias orales con soporte tecnológico
La evaluación de las competencias orales con soporte tecnológicoLourdes Pomposo
 
Curriculo Integrado Lenguas Mª ÁNgeles
Curriculo  Integrado  Lenguas  Mª ÁNgelesCurriculo  Integrado  Lenguas  Mª ÁNgeles
Curriculo Integrado Lenguas Mª ÁNgelesInmaculada González
 
El uso del vídeo para evaluar la comprensión oral en niveles iniciales”. Encu...
El uso del vídeo para evaluar la comprensión oral en niveles iniciales”. Encu...El uso del vídeo para evaluar la comprensión oral en niveles iniciales”. Encu...
El uso del vídeo para evaluar la comprensión oral en niveles iniciales”. Encu...Grupo Inmigra i+d
 
Presentacion unidad 2_gramatica_
Presentacion unidad 2_gramatica_Presentacion unidad 2_gramatica_
Presentacion unidad 2_gramatica_HiramRochaVazquez
 
Carta descriptiva Inglés UNA Puno 2019
Carta descriptiva Inglés UNA Puno 2019Carta descriptiva Inglés UNA Puno 2019
Carta descriptiva Inglés UNA Puno 2019viaBalda
 
2.1. BRIZ, A. (coord.) (2008): Saber hablar, Madrid, Aguilar-Instituto Cervan...
2.1. BRIZ, A. (coord.) (2008): Saber hablar, Madrid, Aguilar-Instituto Cervan...2.1. BRIZ, A. (coord.) (2008): Saber hablar, Madrid, Aguilar-Instituto Cervan...
2.1. BRIZ, A. (coord.) (2008): Saber hablar, Madrid, Aguilar-Instituto Cervan...José-Ramón Carriazo Ruiz
 
La elaboración de textos y preguntas para evaluar la comprensión oral”. XXI C...
La elaboración de textos y preguntas para evaluar la comprensión oral”. XXI C...La elaboración de textos y preguntas para evaluar la comprensión oral”. XXI C...
La elaboración de textos y preguntas para evaluar la comprensión oral”. XXI C...Grupo Inmigra i+d
 
Proyecto del campo 2010 1
Proyecto del campo 2010 1Proyecto del campo 2010 1
Proyecto del campo 2010 1analida22
 
Prueba de Certificación Nivel Básico A2 EOI Baleares
Prueba de Certificación Nivel Básico A2 EOI BalearesPrueba de Certificación Nivel Básico A2 EOI Baleares
Prueba de Certificación Nivel Básico A2 EOI BalearesRaquelZugazaga
 
Presentacion guia de_preguntas_para_el_manual_de_escritura_para_cientificos_s...
Presentacion guia de_preguntas_para_el_manual_de_escritura_para_cientificos_s...Presentacion guia de_preguntas_para_el_manual_de_escritura_para_cientificos_s...
Presentacion guia de_preguntas_para_el_manual_de_escritura_para_cientificos_s...HiramRochaVazquez
 
Campana concienciacion myp fase 4
Campana concienciacion myp fase 4Campana concienciacion myp fase 4
Campana concienciacion myp fase 4Alvaro Chuchona
 
Arnao, Marco. Instrumentos de evaluación de exposiciones de investigación for...
Arnao, Marco. Instrumentos de evaluación de exposiciones de investigación for...Arnao, Marco. Instrumentos de evaluación de exposiciones de investigación for...
Arnao, Marco. Instrumentos de evaluación de exposiciones de investigación for...Marcos Arnao Vasquez
 
Guía de resultados de las pruebas saber pro
Guía de resultados de las pruebas saber proGuía de resultados de las pruebas saber pro
Guía de resultados de las pruebas saber proLorenzo Mahecha Villa
 
Archivo curso ingles objetivos y minimos ni2ingles
Archivo curso ingles objetivos y minimos ni2inglesArchivo curso ingles objetivos y minimos ni2ingles
Archivo curso ingles objetivos y minimos ni2inglesiakimarquesmarques
 

What's hot (20)

La evaluación de las competencias orales con soporte tecnológico
La evaluación de las competencias orales con soporte tecnológicoLa evaluación de las competencias orales con soporte tecnológico
La evaluación de las competencias orales con soporte tecnológico
 
Curriculo Integrado Lenguas Mª ÁNgeles
Curriculo  Integrado  Lenguas  Mª ÁNgelesCurriculo  Integrado  Lenguas  Mª ÁNgeles
Curriculo Integrado Lenguas Mª ÁNgeles
 
El uso del vídeo para evaluar la comprensión oral en niveles iniciales”. Encu...
El uso del vídeo para evaluar la comprensión oral en niveles iniciales”. Encu...El uso del vídeo para evaluar la comprensión oral en niveles iniciales”. Encu...
El uso del vídeo para evaluar la comprensión oral en niveles iniciales”. Encu...
 
Presentacion unidad 2_gramatica_
Presentacion unidad 2_gramatica_Presentacion unidad 2_gramatica_
Presentacion unidad 2_gramatica_
 
Carta descriptiva Inglés UNA Puno 2019
Carta descriptiva Inglés UNA Puno 2019Carta descriptiva Inglés UNA Puno 2019
Carta descriptiva Inglés UNA Puno 2019
 
Or gm frances
Or gm francesOr gm frances
Or gm frances
 
Proyecto 3
Proyecto 3Proyecto 3
Proyecto 3
 
2.1. BRIZ, A. (coord.) (2008): Saber hablar, Madrid, Aguilar-Instituto Cervan...
2.1. BRIZ, A. (coord.) (2008): Saber hablar, Madrid, Aguilar-Instituto Cervan...2.1. BRIZ, A. (coord.) (2008): Saber hablar, Madrid, Aguilar-Instituto Cervan...
2.1. BRIZ, A. (coord.) (2008): Saber hablar, Madrid, Aguilar-Instituto Cervan...
 
Módulo inglés
Módulo inglésMódulo inglés
Módulo inglés
 
Rúbrica de foro
Rúbrica de foroRúbrica de foro
Rúbrica de foro
 
La elaboración de textos y preguntas para evaluar la comprensión oral”. XXI C...
La elaboración de textos y preguntas para evaluar la comprensión oral”. XXI C...La elaboración de textos y preguntas para evaluar la comprensión oral”. XXI C...
La elaboración de textos y preguntas para evaluar la comprensión oral”. XXI C...
 
Proyecto del campo 2010 1
Proyecto del campo 2010 1Proyecto del campo 2010 1
Proyecto del campo 2010 1
 
Prueba de Certificación Nivel Básico A2 EOI Baleares
Prueba de Certificación Nivel Básico A2 EOI BalearesPrueba de Certificación Nivel Básico A2 EOI Baleares
Prueba de Certificación Nivel Básico A2 EOI Baleares
 
Presentacion guia de_preguntas_para_el_manual_de_escritura_para_cientificos_s...
Presentacion guia de_preguntas_para_el_manual_de_escritura_para_cientificos_s...Presentacion guia de_preguntas_para_el_manual_de_escritura_para_cientificos_s...
Presentacion guia de_preguntas_para_el_manual_de_escritura_para_cientificos_s...
 
Campana concienciacion myp fase 4
Campana concienciacion myp fase 4Campana concienciacion myp fase 4
Campana concienciacion myp fase 4
 
Or gm ingles
Or gm inglesOr gm ingles
Or gm ingles
 
Arnao, Marco. Instrumentos de evaluación de exposiciones de investigación for...
Arnao, Marco. Instrumentos de evaluación de exposiciones de investigación for...Arnao, Marco. Instrumentos de evaluación de exposiciones de investigación for...
Arnao, Marco. Instrumentos de evaluación de exposiciones de investigación for...
 
Guía de resultados de las pruebas saber pro
Guía de resultados de las pruebas saber proGuía de resultados de las pruebas saber pro
Guía de resultados de las pruebas saber pro
 
Archivo curso ingles objetivos y minimos ni2ingles
Archivo curso ingles objetivos y minimos ni2inglesArchivo curso ingles objetivos y minimos ni2ingles
Archivo curso ingles objetivos y minimos ni2ingles
 
Niveles CENNI
Niveles CENNINiveles CENNI
Niveles CENNI
 

Similar to Univ a coruña

marcocomneuropeodereferenciaparaelaprendizaje-140915112357-phpapp02.pptx
marcocomneuropeodereferenciaparaelaprendizaje-140915112357-phpapp02.pptxmarcocomneuropeodereferenciaparaelaprendizaje-140915112357-phpapp02.pptx
marcocomneuropeodereferenciaparaelaprendizaje-140915112357-phpapp02.pptxFabiansammet2
 
Marco común europeo de referencia para el aprendizaje
Marco común europeo de referencia para el aprendizajeMarco común europeo de referencia para el aprendizaje
Marco común europeo de referencia para el aprendizajeKENDRIG
 
El portfolio europeo de las lenguas
El portfolio europeo de las lenguasEl portfolio europeo de las lenguas
El portfolio europeo de las lenguasjfhidal
 
Icfes estructura de pruebas saber
Icfes estructura de pruebas saberIcfes estructura de pruebas saber
Icfes estructura de pruebas sabermarlosa75
 
Niveles de desempeno ingles saber pro
Niveles de desempeno ingles saber proNiveles de desempeno ingles saber pro
Niveles de desempeno ingles saber proBrian Bastidas
 
Guia candidato puc
Guia candidato pucGuia candidato puc
Guia candidato pucInma Alvarez
 
Planificación Unidad de Aprendizaje Juego de roles.docx
Planificación Unidad de Aprendizaje Juego de roles.docxPlanificación Unidad de Aprendizaje Juego de roles.docx
Planificación Unidad de Aprendizaje Juego de roles.docxCahaterineHernandez1
 
Guiadelalumnado 2015.compressed
Guiadelalumnado 2015.compressedGuiadelalumnado 2015.compressed
Guiadelalumnado 2015.compressedAna Jiménez
 
Guiadelalumnado 2015.compressed
Guiadelalumnado 2015.compressedGuiadelalumnado 2015.compressed
Guiadelalumnado 2015.compressedAna Jiménez
 
Guía del alumnado C1 Inglés EOI Andalucía
Guía del alumnado C1 Inglés EOI AndalucíaGuía del alumnado C1 Inglés EOI Andalucía
Guía del alumnado C1 Inglés EOI AndalucíaAna Jiménez
 
PROPUESTA DE SILABO A2 25 HORAS.docx
PROPUESTA DE SILABO A2 25 HORAS.docxPROPUESTA DE SILABO A2 25 HORAS.docx
PROPUESTA DE SILABO A2 25 HORAS.docxVaniaBautistaQuispe1
 

Similar to Univ a coruña (20)

marcocomneuropeodereferenciaparaelaprendizaje-140915112357-phpapp02.pptx
marcocomneuropeodereferenciaparaelaprendizaje-140915112357-phpapp02.pptxmarcocomneuropeodereferenciaparaelaprendizaje-140915112357-phpapp02.pptx
marcocomneuropeodereferenciaparaelaprendizaje-140915112357-phpapp02.pptx
 
Marco común europeo de referencia para el aprendizaje
Marco común europeo de referencia para el aprendizajeMarco común europeo de referencia para el aprendizaje
Marco común europeo de referencia para el aprendizaje
 
El portfolio europeo de las lenguas
El portfolio europeo de las lenguasEl portfolio europeo de las lenguas
El portfolio europeo de las lenguas
 
Formative module
Formative moduleFormative module
Formative module
 
Pecole aesla 2012 sml
Pecole aesla 2012 smlPecole aesla 2012 sml
Pecole aesla 2012 sml
 
Ingles a2
Ingles a2Ingles a2
Ingles a2
 
Taller C1 Y C2
Taller C1 Y C2Taller C1 Y C2
Taller C1 Y C2
 
CAMPO FORMATIVO LENGUA EXTRANJERA.pptx
CAMPO FORMATIVO LENGUA EXTRANJERA.pptxCAMPO FORMATIVO LENGUA EXTRANJERA.pptx
CAMPO FORMATIVO LENGUA EXTRANJERA.pptx
 
Icfes estructura de pruebas saber
Icfes estructura de pruebas saberIcfes estructura de pruebas saber
Icfes estructura de pruebas saber
 
Silabus 2012 2013 corregido
Silabus 2012 2013 corregidoSilabus 2012 2013 corregido
Silabus 2012 2013 corregido
 
hoarario pa
hoarario pahoarario pa
hoarario pa
 
Niveles de desempeno ingles saber pro
Niveles de desempeno ingles saber proNiveles de desempeno ingles saber pro
Niveles de desempeno ingles saber pro
 
Guia candidato puc
Guia candidato pucGuia candidato puc
Guia candidato puc
 
Planificación Unidad de Aprendizaje Juego de roles.docx
Planificación Unidad de Aprendizaje Juego de roles.docxPlanificación Unidad de Aprendizaje Juego de roles.docx
Planificación Unidad de Aprendizaje Juego de roles.docx
 
Guiadelalumnado 2015.compressed
Guiadelalumnado 2015.compressedGuiadelalumnado 2015.compressed
Guiadelalumnado 2015.compressed
 
Guiadelalumnado 2015.compressed
Guiadelalumnado 2015.compressedGuiadelalumnado 2015.compressed
Guiadelalumnado 2015.compressed
 
Guía del alumnado C1 Inglés EOI Andalucía
Guía del alumnado C1 Inglés EOI AndalucíaGuía del alumnado C1 Inglés EOI Andalucía
Guía del alumnado C1 Inglés EOI Andalucía
 
PROPUESTA DE SILABO A2 25 HORAS.docx
PROPUESTA DE SILABO A2 25 HORAS.docxPROPUESTA DE SILABO A2 25 HORAS.docx
PROPUESTA DE SILABO A2 25 HORAS.docx
 
Curso cemited agadir
Curso cemited agadirCurso cemited agadir
Curso cemited agadir
 
Ok lengua meta 4 (2)
Ok lengua meta 4 (2)Ok lengua meta 4 (2)
Ok lengua meta 4 (2)
 

More from Michael Harris

Informe sobre el poblado medieval de Navalquejigo (febrero 2021)
Informe sobre el poblado medieval de Navalquejigo (febrero 2021)Informe sobre el poblado medieval de Navalquejigo (febrero 2021)
Informe sobre el poblado medieval de Navalquejigo (febrero 2021)Michael Harris
 
Boletín Entorno Escorial: febrero 2021
Boletín Entorno Escorial: febrero 2021Boletín Entorno Escorial: febrero 2021
Boletín Entorno Escorial: febrero 2021Michael Harris
 
Cómo bajar tu factura de luz (Entorno Escorial)
Cómo bajar tu factura de luz  (Entorno Escorial)Cómo bajar tu factura de luz  (Entorno Escorial)
Cómo bajar tu factura de luz (Entorno Escorial)Michael Harris
 
Dosier sobre ahorro energético (2015) Entorno Escorial
Dosier sobre ahorro energético (2015) Entorno EscorialDosier sobre ahorro energético (2015) Entorno Escorial
Dosier sobre ahorro energético (2015) Entorno EscorialMichael Harris
 
Charla de Palmira Pozuelo: "Pesticidas en los alimentos: riesgos para nuestra...
Charla de Palmira Pozuelo: "Pesticidas en los alimentos: riesgos para nuestra...Charla de Palmira Pozuelo: "Pesticidas en los alimentos: riesgos para nuestra...
Charla de Palmira Pozuelo: "Pesticidas en los alimentos: riesgos para nuestra...Michael Harris
 
¿Qué son los transgénicos? ¿Por qué constituyen un peligro para la salud y el...
¿Qué son los transgénicos? ¿Por qué constituyen un peligro para la salud y el...¿Qué son los transgénicos? ¿Por qué constituyen un peligro para la salud y el...
¿Qué son los transgénicos? ¿Por qué constituyen un peligro para la salud y el...Michael Harris
 
Dosier sobre las bayas silvestres por Palmira Pozuelo y Entorno Escorial
Dosier sobre las bayas silvestres  por Palmira Pozuelo y Entorno EscorialDosier sobre las bayas silvestres  por Palmira Pozuelo y Entorno Escorial
Dosier sobre las bayas silvestres por Palmira Pozuelo y Entorno EscorialMichael Harris
 
Dosier sobre el Monte Abantos: la historia, la gestión forestal y las agresio...
Dosier sobre el Monte Abantos: la historia, la gestión forestal y las agresio...Dosier sobre el Monte Abantos: la historia, la gestión forestal y las agresio...
Dosier sobre el Monte Abantos: la historia, la gestión forestal y las agresio...Michael Harris
 
Urbanismo y medio ambiente en el entorno de Navalquejigo (Mari Carmen Garc...
 Urbanismo y medio ambiente en el entorno de Navalquejigo   (Mari Carmen Garc... Urbanismo y medio ambiente en el entorno de Navalquejigo   (Mari Carmen Garc...
Urbanismo y medio ambiente en el entorno de Navalquejigo (Mari Carmen Garc...Michael Harris
 
Urbanismo en la Comunidad de Madrid: ¿hacia la próxima burbuja inmobiliaria? ...
Urbanismo en la Comunidad de Madrid: ¿hacia la próxima burbuja inmobiliaria? ...Urbanismo en la Comunidad de Madrid: ¿hacia la próxima burbuja inmobiliaria? ...
Urbanismo en la Comunidad de Madrid: ¿hacia la próxima burbuja inmobiliaria? ...Michael Harris
 
La gestión de colonias felinas (Sara Santos)
La gestión de colonias felinas (Sara Santos)La gestión de colonias felinas (Sara Santos)
La gestión de colonias felinas (Sara Santos)Michael Harris
 
Talk on 21st century skills given at LABCI conference in Lima 11/07.
Talk on 21st century skills given at LABCI conference in Lima 11/07.Talk on 21st century skills given at LABCI conference in Lima 11/07.
Talk on 21st century skills given at LABCI conference in Lima 11/07.Michael Harris
 
Defensa jurídica ante el ruido
Defensa jurídica ante el ruidoDefensa jurídica ante el ruido
Defensa jurídica ante el ruidoMichael Harris
 
La Evolución de Entorno Escorial 2002-2013
La Evolución de Entorno Escorial 2002-2013La Evolución de Entorno Escorial 2002-2013
La Evolución de Entorno Escorial 2002-2013Michael Harris
 
Los arroyosdeabantosx1
Los arroyosdeabantosx1Los arroyosdeabantosx1
Los arroyosdeabantosx1Michael Harris
 
21st century skills NCE, Ede, the Netherlands
21st century skills NCE, Ede, the Netherlands21st century skills NCE, Ede, the Netherlands
21st century skills NCE, Ede, the NetherlandsMichael Harris
 
Plantas medicinales huerto
Plantas medicinales huertoPlantas medicinales huerto
Plantas medicinales huertoMichael Harris
 

More from Michael Harris (20)

Informe sobre el poblado medieval de Navalquejigo (febrero 2021)
Informe sobre el poblado medieval de Navalquejigo (febrero 2021)Informe sobre el poblado medieval de Navalquejigo (febrero 2021)
Informe sobre el poblado medieval de Navalquejigo (febrero 2021)
 
Boletín Entorno Escorial: febrero 2021
Boletín Entorno Escorial: febrero 2021Boletín Entorno Escorial: febrero 2021
Boletín Entorno Escorial: febrero 2021
 
Cómo bajar tu factura de luz (Entorno Escorial)
Cómo bajar tu factura de luz  (Entorno Escorial)Cómo bajar tu factura de luz  (Entorno Escorial)
Cómo bajar tu factura de luz (Entorno Escorial)
 
Dosier sobre ahorro energético (2015) Entorno Escorial
Dosier sobre ahorro energético (2015) Entorno EscorialDosier sobre ahorro energético (2015) Entorno Escorial
Dosier sobre ahorro energético (2015) Entorno Escorial
 
Charla de Palmira Pozuelo: "Pesticidas en los alimentos: riesgos para nuestra...
Charla de Palmira Pozuelo: "Pesticidas en los alimentos: riesgos para nuestra...Charla de Palmira Pozuelo: "Pesticidas en los alimentos: riesgos para nuestra...
Charla de Palmira Pozuelo: "Pesticidas en los alimentos: riesgos para nuestra...
 
¿Qué son los transgénicos? ¿Por qué constituyen un peligro para la salud y el...
¿Qué son los transgénicos? ¿Por qué constituyen un peligro para la salud y el...¿Qué son los transgénicos? ¿Por qué constituyen un peligro para la salud y el...
¿Qué son los transgénicos? ¿Por qué constituyen un peligro para la salud y el...
 
Dosier sobre las bayas silvestres por Palmira Pozuelo y Entorno Escorial
Dosier sobre las bayas silvestres  por Palmira Pozuelo y Entorno EscorialDosier sobre las bayas silvestres  por Palmira Pozuelo y Entorno Escorial
Dosier sobre las bayas silvestres por Palmira Pozuelo y Entorno Escorial
 
Dosier sobre el Monte Abantos: la historia, la gestión forestal y las agresio...
Dosier sobre el Monte Abantos: la historia, la gestión forestal y las agresio...Dosier sobre el Monte Abantos: la historia, la gestión forestal y las agresio...
Dosier sobre el Monte Abantos: la historia, la gestión forestal y las agresio...
 
Urbanismo y medio ambiente en el entorno de Navalquejigo (Mari Carmen Garc...
 Urbanismo y medio ambiente en el entorno de Navalquejigo   (Mari Carmen Garc... Urbanismo y medio ambiente en el entorno de Navalquejigo   (Mari Carmen Garc...
Urbanismo y medio ambiente en el entorno de Navalquejigo (Mari Carmen Garc...
 
Urbanismo en la Comunidad de Madrid: ¿hacia la próxima burbuja inmobiliaria? ...
Urbanismo en la Comunidad de Madrid: ¿hacia la próxima burbuja inmobiliaria? ...Urbanismo en la Comunidad de Madrid: ¿hacia la próxima burbuja inmobiliaria? ...
Urbanismo en la Comunidad de Madrid: ¿hacia la próxima burbuja inmobiliaria? ...
 
La gestión de colonias felinas (Sara Santos)
La gestión de colonias felinas (Sara Santos)La gestión de colonias felinas (Sara Santos)
La gestión de colonias felinas (Sara Santos)
 
Talk on 21st century skills given at LABCI conference in Lima 11/07.
Talk on 21st century skills given at LABCI conference in Lima 11/07.Talk on 21st century skills given at LABCI conference in Lima 11/07.
Talk on 21st century skills given at LABCI conference in Lima 11/07.
 
Defensa jurídica ante el ruido
Defensa jurídica ante el ruidoDefensa jurídica ante el ruido
Defensa jurídica ante el ruido
 
La Evolución de Entorno Escorial 2002-2013
La Evolución de Entorno Escorial 2002-2013La Evolución de Entorno Escorial 2002-2013
La Evolución de Entorno Escorial 2002-2013
 
Premiocaminero
PremiocamineroPremiocaminero
Premiocaminero
 
A coruña exprescrita
A coruña exprescritaA coruña exprescrita
A coruña exprescrita
 
Los arroyosdeabantosx1
Los arroyosdeabantosx1Los arroyosdeabantosx1
Los arroyosdeabantosx1
 
21st century skills NCE, Ede, the Netherlands
21st century skills NCE, Ede, the Netherlands21st century skills NCE, Ede, the Netherlands
21st century skills NCE, Ede, the Netherlands
 
Dystopianfilms
DystopianfilmsDystopianfilms
Dystopianfilms
 
Plantas medicinales huerto
Plantas medicinales huertoPlantas medicinales huerto
Plantas medicinales huerto
 

Univ a coruña

  • 1. Las pruebas orales dentro del Marco Europeo Común de Referencia para las Lenguas. Michael Harris 16-17/11/12
  • 2. Contenidos del curso: A: Introducción B: Las especificaciones del examen C: Los instrumentos D: Taller de estandarización E: La evaluación de una prueba F: El futuro
  • 3. UNA PRUEBA 1 ¿Qué nivel MCER tiene el alumno? 2 ¿Por qué piensas que tiene este nivel? 3 ¿La entrevista es buena o mala? ¿Por qué?
  • 4. Tus experiencias 1 ¿Qué sensaciones has tenido cuando has hecho una prueba oral como alumno? 2 ¿Qué sensaciones tienes cuando estás evaluando una prueba oral? 3 ¿Cuáles son los principales problemas para evaluar las actuaciones de los alumnos de forma justa?
  • 5. Conceptos claves Validez: nuestra evaluación mide lo que dice que mide y no otra cosa Fiabilidad: nuestra evaluación mide el rendimiento de los alumnos en una forma consistente Viabilidad: Nuestra evaluación es posible con los recursos que hay en el centro Transparencia: tenemos que explicar todos los pasos de nuestro proceso de evaluación
  • 6. ¿Qué es el Marco Común de Referencia? 1- Una serie de niveles (A1-C2) de competencia lingüística bien definidos y aplicables a distintos idiomas en diferentes contextos. 2- Un marco general para informar la enseñanza y evaluación de idiomas y en especial su uso comunicativo. 3- “Escalas con descriptores de competencia comunicativa que se pueden utilizar directamente en exámenes de idiomas.”
  • 7. El Marco Europeo Común de Referencia “De forma intencionada el MECR es incompleto y poco especificado.” “No es aplicable a todos los contextos sin la intervención de los usuarios para adaptarlo a usos locales.” Michael Milanovich/Cyril Weir (2010)
  • 8. 1: Especificación 2: Construcción de los del contenido instrumentos Análisis de las Tareas / Escalas / Guiones necesidades Especificaciones 3: Estandarización de juicios: Formación en evaluación 5: Administración: 4: Pilotaje Resultados / evaluación Validación interna de la prueba EL PROCESO DE EVALUACIÓN
  • 10. LA VALIDEZ EXTERNA DE LA PRUEBA ACLES: UN EXAMEN PÚBLICO . EL PAPEL DEL EXAMEN · LAS PARTES INTERESADAS: -Los candidatos -Las empresas -Las instituciones públicas - Las universidades . UN DOCUMENTO PÚBLICO
  • 11. ¿Cuáles son los dominios comunicativos? -público -personal - ocupacional -educacional
  • 13.
  • 14. Interacción oral en general CEF p. 75 ELEGIR NIVEL C2 Posee un buen dominio de expresiones idiomáticas y coloquiales y es consciente de los niveles connotativos de significado. Transmite con precisión sutiles matices de significado utilizando, con razonable precisión, una amplia serie de procedimientos de modificación. Sabe sortear las dificultades con tanta discreción que el interlocutor apenas se de cuenta de ello. C1 Se expresa con fluidez y espontaneidad casi sin esfuerzo. Domina un amplio repertorio léxico que le permite suplir sus deficiencias fácilmente con circunloquios. Apenas hay una búsqueda evidente de expresiones o estrategias de evitación; solo un tema conceptualmente difícil puede obstaculizar un discurso fluido y natural. B2 Habla con fluidez, precisión y eficacia sobre una amplia serie de temas generales, académicos, profesionales o de ocio, marcando con claridad la relación entre las ideas. Se comunica espontáneamente y posee un buen control gramatical sin dar muchas muestras de tener que restringir lo que dice y adoptando un nivel de formalidad adecuado a las circunstancias. Participa en conversaciones con un grado de fluidez y espontaneidad que posibilita la interacción habitual con hablantes nativos sin suponer tensión para ninguna de las partes. Resalta la importancia personal de ciertos hechos y experiencias, expresa y defiende puntos de vista con claridad, proporcionando explicaciones y argumentos adecuados. B1 Se comunica con cierta seguridad tanto en asuntos que son habituales como en los poco habituales, relacionados con sus intereses personales y su especialidad. Intercambia, comprueba y confirma información, se enfrenta a situaciones menos corrientes y explica el motivo de un problema. Es capaz de expresarse sobre temas mas abstractos y culturales, como pueden ser películas, libros, música - Es capaz de sacar bastante partido a un repertorio lingüístico sencillo para enfrentarse a la mayoría de las situaciones que pueden surgir cuando se viaja. Participa sin preparación previa en conversaciones que traten temas cotidianos, expresa opiniones personales e intercambia información sobre temas habituales de interés personal o pertinentes en la vida diaria (por ejemplo, familia, aficiones, trabajo, viajes, y hechos de actualidad. A2 Participa en conversaciones con razonable comodidad en situaciones estructuradas y en conversaciones breves siempre que la otra persona le ayude si es necesario. Se desenvuelve en intercambios sencillos y habituales sin mucho esfuerzo, plantea y contesta preguntas e intercambia ideas e información sobre temas cotidianos en situaciones predecibles de la vida diaria. Se comunica en tareas sencillas y habituales que requieren un intercambio sencillo y directo de información y que traten asuntos cotidianos relativos al trabajo y al tiempo libre. Se desenvuelve en intercambios sociales muy breves, pero casi nunca comprende lo suficiente como para mantener una conversación por su cuenta. A1 Participa en conversaciones de forma sencilla, pero la comunicación depende totalmente de que haya repeticiones a ritmo mas lento, reformulaciones y rectificaciones. Sabe plantear y contestar preguntas sencillas, realizar afirmaciones sencillas y responder a las afirmaciones que se le hacen en áreas de necesidad inmediata o sobre temas muy cotidianos.
  • 23. Objetivos comunicativos Interacción oral (A.2) Ámbito / Situación (Cuadro 5/CEF 4.1) Personal Un tren / otra persona / alguien desconocido Temas de comunicación (CEF 4.2) Vida cotidiana: aficiones y intereses/ información personal Actividades comunicativas (CEF 4) Conversación casual: saludar/despedirse/dar información personal/hablar de lo que le guste Estrategias (CEF 4) Aclarar lo que dice mediante gestos. Pedir aclaración sobre palabras claves. Grado de expresión /comprensión (Interacción oral CEF 4.4.3.1Competencia lingüística general CEF 5.2.1.Competencia fonológica CEF 5.2.1.4) Se desenvuelve en intercambios sociales breves. Comprende cuando alguien le habla despacio. Utiliza estructuras sintácticas básicas y se comunica mediante frases, grupos de palabras y formulas memorizadas al referirse a si mismo y a otras personas, a lo que hace, a los lugares a las posesiones etc. Su pronunciación es generalmente bastante clara y comprensible, aunque resulte evidente su acento extranjero y los interlocutores tengan que solicitar repeticiones de
  • 24. C: LOS INSTRUMENTOS DE EVALUACIÓN
  • 25. Consideraciones prácticas 1 ¿Cuántas pruebas hay cada año? 2 ¿Cuántos candidatos hay? ¿Cuáles son sus actitudes? 3 ¿Cuánto tiempo hay para la preparación de las pruebas? 4 ¿Cuánto tiempo hay para la formación de los profesores? 5 ¿Hay acuerdo entre profesores sobre la importancia de las distintas competencias? 6 ¿Qué tipo de aulas hay? ¿Qué equipamiento hay? 7. ¿Qué medidas se toman para asegurar que la evaluación oral sea fiable, valida y viable?
  • 26. Preguntas: 1- entrevista libre (sin estructurar) Tareas 2- preguntas preparadas (miembro del tribunal con guion) 3- preguntas grabadas (video/audio) Material gráfico: 4- descripción/explicación (dibujo/grafico /foto) 5- narración: dibujos 6- discusión - dibujo/grafico/foto (comparar/ordenar etc.) Situaciones: 7- juego de rol (con 2 papeles definidos) 8- situaciones (respuestas de 1 candidato al examinador) 9- preguntas/respuestas automáticas (audio/video) 10- vacío informativo (información escrita) Discusiones: 11- discusión (opiniones reales) 12- discusión (vacío de opinión) 13- discusión (sobre un libro) 14- discusión sobre un tema previamente preparado Textos: 15- preguntas sobre un texto (escrito/audio/video) 16- discusión sobre texto corto (escrito/ audio/video) ej. un tema polémico Presentación: 17- presentación de un tema (preparado por los alumnos) 18- presentación de un tema (elegido por azar) 19- presentación con preguntas del examinador (sobre apuntes)
  • 27. Decisiones sobre la entrevista 1 ¿Quién realizará la entrevista oral? 2 ¿Se realizará la entrevista individualmente, en parejas o en grupos de tres? 3 ¿Cuál va a ser el entorno de la entrevista? ¿Qué materiales habrá? 4 ¿Cuál va a ser la duración de la entrevista? 5 ¿Habrá un período de preparación para los alumnos? 6 ¿Qué distintas actividades (formatos) habrá en la entrevista? 7- ¿Cuánto tiempo habrá para analizar la nota de los alumnos? 8- ¿Cuándo y cómo se informará al alumno de su resultado? 9- ¿Qué mecanismos habrá para la reclamación? 10- ¿Qué medidas pueden optimizar la fiabilidad de la prueba?
  • 28. La entrevista oral Tiempo total: ………………… Calentamiento: ……………………………… Tarea 1: ………………………………………. Tarea 2: ………………………………………. Tarea 3: ………………………………………. Materiales: …………………………………………………… Guión del examinador Instrucciones: Preguntas:
  • 29. UNA ENTREVISTA Ver otra entrevista oral. ¿Qué son los rasgos más importantes en la comunicación? ¿Cuáles son los más fáciles de evaluar? ¿Cómo es la entrevista (formatos/interlocutor etc.?
  • 30. • Mensaje coherencia del mensaje (organización discursiva ej.- desarrollo de un tema en una presentación) relevancia del contenido del mensaje (para el contexto en una situación específica) adecuado del mensaje a nivel sociolingüístico: lenguaje- estilo/registro contenido elementos de la comunicación no-verbal (gestos / movimientos expresiones) cohesión del mensaje (uso de marcadores de discurso) • Interacción capacidad de comprensión al interlocutor capacidad de mantener comunicación (mostrar interés/pedir clarificación) involucrar a la otra persona (pedir sus opiniones/clarificar/explicar etc.) capacidad quinésica (movimientos / gestos) • Fluidez velocidad (palabras por minuto) / pausas largas / pausas huecas estrategias de expresión para mantener la comunicación (corregirse/evitar problemas/ganar tiempo/compensar falta de recursos lingüísticos) • Lenguaje corrección léxica / gramatical (gramática oral) corrección fonológica - sonidos / entonación complejidad (‘riqueza’) lingüística (sintáctica/léxica)
  • 31. Las Escalas De Evaluación
  • 32. Escala holística- 5 habla con fluidez y con muy pocos errores importantes 4 habla con bastante fluidez y con pocos errores importantes 3 habla con suficiente fluidez y con algunos errores importantes que causan problemas de comprensión 2 habla con dificultad y hay problemas para comprender el mensaje 1 habla con mucha dificultad y es muy difícil comprender el mensaje
  • 33. Interacción oral en general MCER p. 75 C2 Posee un buen dominio de expresiones idiomáticas y coloquiales y es consciente de los niveles connotativos de significado. Transmite con precisión sutiles matices de significado utilizando, con razonable precisión, una amplia serie de procedimientos de modificación. Sabe sortear las dificultades con tanta discreción que el interlocutor apenas se de cuenta de ello. C1 Se expresa con fluidez y espontaneidad casi sin esfuerzo. Domina un amplio repertorio léxico que le permite suplir sus deficiencias fácilmente con circunloquios. Apenas hay una búsqueda evidente de expresiones o estrategias de evitación; solo un tema conceptualmente difícil puede obstaculizar un discurso fluido y natural. B2 Habla con fluidez, precisión y eficacia sobre una amplia serie de temas generales, académicos, profesionales o de ocio, marcando con claridad la relación entre las ideas. Se comunica espontáneamente y posee un buen control gramatical sin dar muchas muestras de tener que restringir lo que dice y adoptando un nivel de formalidad adecuado a las circunstancias. Participa en conversaciones con un grado de fluidez y espontaneidad que posibilita la interacción habitual con hablantes nativos sin suponer tensión para ninguna de las partes. Resalta la importancia personal de ciertos hechos y experiencias, expresa y defiende puntos de vista con claridad, proporcionando explicaciones y argumentos adecuados. B1 Se comunica con cierta seguridad tanto en asuntos que son habituales como en los poco habituales, relacionados con sus intereses personales y su especialidad. Intercambia, comprueba y confirma información, se enfrenta a situaciones menos corrientes y explica el motivo de un problema. Es capaz de expresarse sobre temas mas abstractos y culturales, como pueden ser películas, libros, música etc. Es capaz de sacar bastante partido a un repertorio lingüístico sencillo para enfrentarse a la mayoría de las situaciones que pueden surgir cuando se viaja. Participa sin preparación previa en conversaciones que traten temas cotidianos, expresa opiniones personales e intercambia información sobre temas habituales de interés personal o pertinentes en la vida diaria (por ejemplo, familia, aficiones, trabajo, viajes, y hechos de actualidad. A2 Participa en conversaciones con razonable comodidad en situaciones estructuradas y en conversaciones breves siempre que la otra persona le ayude si es necesario. Se desenvuelve en intercambios sencillos y habituales sin mucho esfuerzo, plantea y contesta preguntas e intercambia ideas e información sobre temas cotidianos en situaciones predecibles de la vida diaria. Se comunica en tareas sencillas y habituales que requieren un intercambio sencillo y directo de información y que traten asuntos cotidianos relativos al trabajo y al tiempo libre. Se desenvuelve en intercambios sociales muy breves, pero casi nunca comprende lo suficiente como para mantener una conversación por su cuenta. A1 Participa en conversaciones de forma sencilla, pero la comunicación depende totalmente de que haya repeticiones a ritmo mas lento, reformulaciones y rectificaciones. Sabe plantear y contestar preguntas sencillas, realizar afirmaciones sencillas y responder a las afirmaciones que se le hacen en áreas de necesidad inmediata o sobre temas muy cotidianos.
  • 34. Escala analítica- 1 – mensaje contenido del mensaje / adecuación al contexto / organización del mensaje coherencia y cohesión 2- fluidez velocidad del mensaje / falta de pausas largas / mantenimiento de la comunicación por medio de estrategias de comunicación 3- interacción capacidad de interaccionar con otro(s) interlocutores (demostrar interés / reaccionar etc.) 4- corrección gramatical / léxica / fonológica
  • 35. Descriptores- mensaje 5 una respuesta totalmente adecuada y relevante a la tarea en cuestión 4 una respuesta bastante adecuada y relevante a la tarea 3 una respuesta con suficiente información para la tarea y más o menos adecuada 2 una respuesta sin la información suficiente e inadecuada al contexto 1 una respuesta no relevante a la tarea y totalmente inadecuada al contexto
  • 36. ESCALA ANALÍTICA BASADA EN EL MCE EXPRESION ORAL 5 Puede llevar a cabo descripciones claras y detalladas de una variedad de temas. 4 Puede llevar a cabo descripciones claras de una variedad de temas que sean de su interés. 3 Puede llevar a cabo una descripción sencilla de temas que sean de su interés con una secuencia lineal de elementos. B.1. 2 Puede llevar a cabo una descripción muy sencilla en una breve lista de frases y oraciones sencillas. 1 Puede expresarse con frases sencillas.
  • 37. ESCALA ANALITICA BASADA EN EL MCE INTERACCIÓN 5 Puede iniciar, mantener y terminar una conversación cara a cara sin problemas sobre una gran variedad de situaciones. 4 Utiliza estrategias y lenguaje adecuado para iniciar, mantener y terminar una conversación cara a cara sobre una variedad de temas. 3 Puede iniciar, mantener y terminar una conversación cara a cara sobre temas cotidianos o de interés personal aunque con algunos problemas. B.1. 2 Puede mantener con dificultad una conversación sencilla y no puede tomar la iniciativa. 1 Tiene dificultad para mantener una conversación sencilla.
  • 38. ESCALA ANALITICA BASADA EN EL MCE FLUIDEZ 5 Se expresa con relativa facilidad y, a pesar de algunas pausas, es capaz de seguir adelante con eficacia y sin ayuda. 4 Es capaz de mantener su discurso con relativa facilidad, aunque sean evidentes las pausas. 3 Es capaz de mantener su discurso, aunque sean muy evidentes algunas pausas. (B.1.1.) 2 Mantiene solo intervenciones breves con pausas frecuentes y muy evidentes. 1 Produce enunciados muy breves y aislados con muchas pausas.
  • 39. ESCALA ANALITICA BASADA EN EL MCE CORRECCION LINGÜÍSTICA 5 Comete errores pero siempre queda claro lo que intenta expresar. 4 Utiliza con bastante corrección el lenguaje relacionado con muchas situaciones. 3 Utiliza con razonable corrección el lenguaje relacionado con las situaciones mas predecibles. (B.1.1.) 2 Utiliza algunas estructuras sencillas correctamente pero comete errores básicos. 1 Comete errores básicos sistemáticamente.
  • 40. ESCALA ANALITICA BASADA EN EL MCE PRONUNCIACION 5 Su pronunciación siempre es muy inteligible, y pocas veces cometa errores de pronunciación 4 Su pronunciación es claramente inteligible, aunque a veces cometa errores de pronunciación 3 Su pronunciación es inteligible, aunque cometa errores de pronunciación. (B.1) 2 Su pronunciación es generalmente inteligible, aunque bastantes veces cometa errores graves de pronunciación 1 Su pronunciación no es muy inteligible y cometa muchos errores graves que dificultan su comprensión http://www.ceftrain.net/
  • 41. D: TALLER DE ESTANDARIZACIÓN
  • 42. Fiabilidad • reunir el seminario de profesores • entregar los baremos provisionales • distribuir cintas de expresión oral a cada profesor/a • la evaluación por el/la profesor/a • comparar las evaluaciones • modificar el baremo si es preciso
  • 43. EXPRESION ORAL B.1: un baremo provisional 5 Puede llevar a cabo descripciones claras y detalladas de una variedad de temas. 4 Puede llevar a cabo descripciones claras de una variedad de temas que sean de su interés. 3 Puede llevar a cabo una descripción sencilla de temas de su interés con una secuencia lineal de elementos. B.1. 2 Puede llevar a cabo una descripción muy sencilla en una breve lista de frases y oraciones sencillas. 1 Puede expresarse con frases sencillas. INTERACCIÓN 5 Puede iniciar, mantener y terminar una conversación cara a cara sin problemas sobre una gran variedad de situaciones. 4 Utiliza estrategias y lenguaje adecuado para iniciar, mantener y terminar una conversación cara a cara sobre una variedad de temas. 3 Puede iniciar, mantener y terminar una conversación cara a cara sobre temas cotidianos o de interés personal aunque con algunos problemas. B.1. 2 Puede mantener con dificultad una conversación sencilla y no puede tomar la iniciativa. 1 Tiene dificultad para mantener una conversación sencilla. FLUIDEZ 5 Se expresa con relativa facilidad y, a pesar de algunas pausas, es capaz de seguir adelante con eficacia y sin ayuda. 4 Es capaz de mantener su discurso con relativa facilidad, aunque sean evidentes las pausas. 3 Es capaz de mantener su discurso, aunque sean muy evidentes algunas pausas. (B.1.1.) 2 Mantiene solo intervenciones breves con pausas frecuentes y muy evidentes. 1 Produce enunciados muy breves y aislados con muchas pausas. CORRECCION LINGÜÍSTICA 5 Comete errores pero siempre queda claro lo que intenta expresar. 4 Utiliza con bastante corrección el lenguaje relacionado con muchas situaciones. 3 Utiliza con razonable corrección el lenguaje relacionado con las situaciones mas predecibles. (B.1.1.) 2 Utiliza algunas estructuras sencillas correctamente pero comete errores básicos. 1 Comete errores básicos sistemáticamente. PRONUNCIACION 5 Su pronunciación siempre es muy inteligible, y pocas veces cometa errores de pronunciación 4 Su pronunciación es claramente inteligible, aunque a veces cometa errores de pronunciación 3 Su pronunciación es inteligible, aunque cometa errores de pronunciación. (B.1) 2 Su pronunciación es generalmente inteligible, aunque bastantes veces cometa errores graves de pronunciación 1 Su pronunciación no es muy inteligible y cometa muchos errores graves que dificultan su comprensión
  • 44. E: EVALUACIÓN DE UNA PRUEBA Válidez de la prueba Fiabilidad Viabilidad Transparencia
  • 45. Un marco socio- cognitivo para la validación de pruebas (Weir 2005) 6 Galaczi and Ffrench 2009
  • 46. Los resultados: ¿Qué conclusiones puedo sacar de los resultados sobre la prueba oral?
  • 48. Fiabilidad: entre correctores / entre el mismo corrector Método 2 mitades: Spearman-Brown Kuder Richardson 20 / Cronbach Alpha
  • 49. Análisis de ítems: coeficiente de dificultad / índice de discriminación
  • 50. 1- Válidez La aceptación de la prueba Factores para evaluar (válidez externa) Las espeficaciones y la realidad de la prueba (válidez de contexto) ¿Una muestra adecuada de los contenidos? (válidez de contenido) Predicción de rendimiento futuro de los candidatos (válidez predictiva) 2- Fiabilidad Fiabilidad entre los diferentes asesores en la evaluación. ¿Siguieron los mismos procedimientos en la misma forma? Análisis de las diferentes tareas (facilidad/discriminación) y items (ej. preguntas) en la prueba. (¿Una tarea es demasiado fácil o difícil?) 3- Viabilidad Uso de los recursos humanos (profesores/personal administrativo) Uso de locales / equipos Coste de la prueba 4- Satisfacción con la prueba Candidatos: a) información sobre la prueba / objetivos / ejemplos b) administración de la prueba c) opiniones sobre la prueba (distintas tareas) Profesores: sus opiniones sobre la prueba Empresarios: valor para el mercado de trabajo
  • 51. Una prueba oral 1- ¿Cuándo fue la prueba? ¿Con cuántos alumnos? 2- ¿Qué opinaron los alumnos y los profesores de la prueba? 3- ¿Qué tipo de comunicación salió de la prueba? 4- ¿Fue fácil evaluar los alumnos? ¿Hubo diferencias entre los juicios de los examinadores? 5- ¿Cómo fue la administración en términos prácticos?
  • 53.
  • 54. 20 minutos / alumnos con micrófono y cascos 2 tareas – responder a preguntas con propias ideas y opiniones 4 tareas – leer y escuchar y responder a preguntas sobre los textos 3-6 evaluadores entrenados dan una nota 0-4
  • 55. b) Una plataforma de exámenes (ej. PLEVALEX)
  • 57.
  • 58. 1 ¿Qué usos hay para las pruebas informatizadas en el centro de idiomas de la Universidad de A Coruña? 2 ¿Qué ventajas y desventajas tienen estas pruebas?
  • 59.
  • 61. CONCLUSIONES • el papel del MECR • el proceso de evaluación • la importancia de los objetivos • las escalas de evaluación y los juicios • las tareas • la administración de una prueba • la evaluación de una prueba
  • 62. Diseño de pruebas orales: Alderson, J.C., Clapham, C. and Wall, D. (1995) Language Test Construction and Evaluation. Cambridge: CUP. Bachman, L.F. (1990) Fundamental Considerations in Language Testing: Oxford: Oxford University Press Bachman, L.F. and Palmer, A.S. (1996) Language Testing in Practice Oxford: Oxford University Press Bailey, K. (1998) Learning about Language Assessment: Dilemmas, Decisions and Directions. Boston, MA: Heinle & Heinle J.D. Brown (1988) Understanding Research in Second Language Learning Cambridge: Cambridge University Press J.D. Brown (1992) Statistics as a Foreign Language- Part 2 TESOL Quarterly vol. 26/4 Carroll, B.J. (1980) Testing Communicative Performance Oxford: Pergamon Carroll, B.J. and P.J. Hall (1985) Make your own language tests: a practical guide to writing language performance tests. Oxford: Pergamon. Davies, A. (1990) Principles of Language Testing Oxford:Blackwell. Galaczi, E. and Ffrench, A. (2009) Investigating the Context Validity of Speaking Tests within a Socio- cognitive Framework www.cambridgeesol.org/assets/pdf/what-we.../research_update5.pdf Hill, C. and Parry, K. (1995) From Testing to Assessment London: Longman Hughes, A. (1989) Testing for Language Teachers Cambridge: Cambridge University Press Luoma, S (2004) Assessing Speaking Cambridge: Cambridge University Press Martínez Baztán, A. (2002) ‘Evaluación Oral de la Competencia Lingüística.’ Actas de las XI Jornadas de Lingüística Aplicada. Universidad de Granada Spolsky, B. (1989) Communicative Competence, Language Proficiency and Beyond. Applied Linguistics Vol 10/2 Underhill, N. (1987) Testing spoken language. Cambridge: Cambridge University Press Weir, C.J. (1988) Communicative language testing. Exeter: University of Exeter. Weir, C.J. (2005) Language Testing and Validation Oxford: Palgrave Macmillan
  • 63. Marco Comun Europeo: CEF Construct Project (2005) http://www.ling.lancs.ac.uk/groups/ltrg/oldprojects/construct.htm CEFTrain http://www.ceftrain.net/ (con CD Rom en ingles y actividades de formación) Figueras, N., North, B., Takala, S., Van Avermaet, P., Verhelst, N. (2003) Relating Language Examinations to the CEF. Manual Preliminary Pilot Version.DGIV/EDU/LANG + Figueras, N. (2005) ‘El Marco Común de Referencia, de la teoría a la practica.’ Revista Carabela, n.57 SGEL Figueras, N. (2006 ) La Evaluación Dentro y Fuera del aula: retos planteados por el MCER XIV Encuentro Práctico de Profesores de ELE http://www.encuentro- practico.com/pdf05/figueras.pdf Little, D (ed). (2002) European Language Portfolio in Use: Nine examples + Marco Común Europeo de Referencia para las Lenguas cvc.cervantes.es/obref/marco/cvc_mer.pdf Martyniuk, W. (ed) (2010) Aligning Tests with the CEFR Studies in Language Testing 33 Cambridge: CUP Milanovitch, M. (2002) Language Examining and Test Development Strasbourg: Language Policy Division + Morrow, K. (2004) Insights from the Common European Framework Oxford: Oxford University Press http://www.coe.int/t/dg4/linguistic/Publications_EN.asp#P101_3402 Trujillo Sáez, F Marco Común Europeo para las Lenguas y Portfolio Europeo de Lenguas. http://www.pnte.cfnavarra.es/eibz/portfolio/agenda/tenerife/ponencia_peltene_mat_fer_tru.p df DVD (Ingles/Italiano/Francés) – entrevistas con comentarios – información: http://www.coe.int/T/DG4/Portfolio/?L=E&M=/main_pages/illustrationse.html
  • 64. Evaluación y Tecnología: Alderson, J (2000) ‘Technology in Testing: the Present and the Future. System. 28/4 593-603 Alderson J, Clapham, C. and Wall, D. (1995) Language Test Construction and Evaluation Cambridge: CUP Blackboard (2008) Blackboard Learning System (www.blackboard.com) Chapelle, C.A. and Douglas, D. (2006) Assessing Language through Computer Technology Cambridge: Cambridge University Press García Laborda, J (2004) HIEO: Investigación y Desarrollo de una Herramienta Informática de Evaluación LarcStar (pruebas orales) http://larcohorts.sdsu.edu/LarcStar Oral Multilingüe Didáctica (Lengua y Literatura) vol. 16 77-88 García Laborda, J. (2006) La Plataforma de exámenes multilingüe PLEVALEX: Resultados del diseño y perspectivas de investigación futura de la Plataforma de Exámenes Valenciana de Lenguas Extranjeras Didáctica (Lengua y Literatura) vol. 18 135-145 Moodle (2008) (en castellano) http://moodle.uptodown.com/ Muñoz, K.D. y Van Duzer, J. (2005) Blackboard vs. Moodle A Comparison of Satisfaction with Online Teaching and Learning Tools de: http://www.humboldt.edu/~jdv1/moodle/all.htm Análisis de herramientas para diseñar pruebas informatizadas: http://balrog.sdsu.edu/~wstrombe/test_authoring_systems.htm TOEFL http://www.sp.toefl.eu
  • 65. Las pruebas orales dentro del Marco Europeo Común de Referencia para las Lenguas. Michael Harris 16-17/11/12

Editor's Notes

  1. Las tareas; Válidez de contexto- las espeficaciones - ¿hace que dice que hace? – ej. Producción lingüística: Funciones (dar consejos) / dominio Válidez cognitivo: operaciones que hace falta realizar Fiablilidad (scoring validity) Válidez de los efectos (consequence validity) – los efectos de la prueba Válidez de criterios (relaccionado con otras pruebas)