Evaluación de lenguas y computadoras

1,939 views
1,837 views

Published on

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
1,939
On SlideShare
0
From Embeds
0
Number of Embeds
5
Actions
Shares
0
Downloads
3
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Evaluación de lenguas y computadoras

  1. 1. LA TECNOLOGÍA Y LA EVALUACIÓN DE LENGUAS (CARR, 2006)
  2. 2. VENTAJAS DE LA EVALUACIÓN CON COMPUTADORAS <ul><li>Pruebas más atractivas, </li></ul><ul><li>Uso de tareas auténticas e interactivas, </li></ul><ul><li>Fáciles de administrar (a distancia) y corregir, </li></ul><ul><li>Más eficiencia (bajos costos) en el proceso de evaluación. </li></ul><ul><li>Estudio: </li></ul><ul><li>Blake, R., Wilson, D., Cetto, S., & Pardo-Ballester, D. (2008). Measuring oral proficiency in distance, face-to-face, and blended classrooms. Language Learning and Technology , 12 (3). </li></ul>
  3. 3. MEASURING ORAL PROFICIENCY IN DISTANCE, FACE-TO-FACE, AND BLENDED CLASSROOMS <ul><li>¿Pueden los cursos híbridos y los en línea proveer a los aprendices un nivel de suficiencia oral igual como lo de los cursos cara a cara? </li></ul><ul><li>Más específico, ¿Pueden los estudiantes mantener el ritmo con los estudiantes tradicionales? </li></ul>
  4. 4. EL ESTUDIO <ul><li>Spanish Without Walls: CD-ROM, DVD, CMC </li></ul><ul><li>Formato de los cursos en línea y los cursos híbridos </li></ul><ul><li>Los estudiantes tuvieron exámenes sobre los materiales en el CD-ROM y el programa de DVD. </li></ul><ul><li>Tuvieron que completar los chats en línea usando el texto y la voz con el instructor en grupos y con un compañero. </li></ul><ul><li>Curso híbrido – 2 días/semana por 3 horas </li></ul><ul><li>Curso tradicional – Dos Mundos, 5 días/semana </li></ul>
  5. 5. LOS RESULTADOS <ul><li>Versant for Spanish - prueba por teléfono calificada automáticamente hacia el final del curso. </li></ul><ul><li>Según los resultados, ambos cursos, el híbrido y el curso en línea, les permitieron a los aprendices lograr un nivel de suficiencia oral comparable con el nivel de los aprendices tradicionales. </li></ul>
  6. 6. LIMITACIONES DE LA EVALUACIÓN CON COMPUTADORAS <ul><li>Costosa en términos de desarrollo de las pruebas y el equipo que se requiere para administrarla. </li></ul><ul><li>Problemática para estudiantes que no están familiarizados o sienten anxiedad al usar las computadoras. </li></ul><ul><li>Rango limitado de formatos que se pueden usar para evaluar (MCHQ vs. tareas de producción). </li></ul><ul><li>Estudio: </li></ul><ul><li>Dooey, P. (2008). Language testing and technology: problems of transition to a new era. ReCALL , 20 (1), 21-34. </li></ul>
  7. 7. EN TRANSICIÓN: LOS EXÁMENES DEL LENGUAJE Y LA TECNOLOGÍA - DOOEY <ul><li>Los exámenes son importantes porque además de tener mucho valor para el aprendiz y proveer información sobre el estudiante: </li></ul><ul><ul><li>promueven y aumentan el aprendizaje </li></ul></ul><ul><ul><li>ayudan en asignar recursos a nivel institucional. </li></ul></ul>
  8. 8. LOS DISEÑADORES DE LOS EXÁMENES TIENEN UNA RESPONSABILIDAD Y UN PODER GRANDE. <ul><li>La tecnología puede ayudar en mejorar los exámenes tradicionales: </li></ul><ul><ul><li>para medir destrezas más complicadas y técnicas </li></ul></ul><ul><ul><li>para adaptar a la habilidad del aprendiz </li></ul></ul><ul><li>Los diseñadores tienen que estar al corriente con la tecnología y las diferencias entre un examen en computador vs. lo tradicional. </li></ul><ul><ul><ul><li>En computadora un examen es más rápido, y exacto. </li></ul></ul></ul><ul><ul><ul><li>Falta la comunicación abierta. </li></ul></ul></ul><ul><ul><ul><li>Los exámenes no deben medir familiaridad con el uso de la tecnología. </li></ul></ul></ul>
  9. 9. ¿CUÁL ES EL FUTURO DEL EXAMEN? <ul><li>Todavía falta evidencia para el uso del computador en los exámenes de lectura. </li></ul><ul><li>Hasta que todo el mundo tenga acceso igual a la tecnología, los aprendices deben tener la opción de tomar un examen tradicional. </li></ul><ul><li>Podemos esperar exámenes más flexibles, accesible, y confiables que provean mayor retroalimentación, aunque todavía falta correspondencia entre los exámenes tradicionales y en computadora. </li></ul>
  10. 10. EVALUACIÓN ADAPTABLE POR COMPUTADORAS <ul><li>Requiere la corrección de las preguntas de manera inmediata para determinar la próxima pregunta a responder. </li></ul><ul><li>Los examinados responden a un grupo diferente de preguntas de acuerdo a su habilidad. </li></ul><ul><li>Limitada a preguntas de selección. </li></ul><ul><li>Problemática para medir lectura y comprensión oral porque asumen que los ítemes miden conocimientos independientes. </li></ul>
  11. 11. EVALUACIÓN ADAPTABLE POR COMPUTADORAS <ul><li>Se le presenta a los examinados material con un nivel de dificultad apropiado. </li></ul><ul><li>Los examinados pueden trabajar a su propio ritmo. </li></ul><ul><li>Se puede determinar el nivel del examinado con mayor facilidad. </li></ul><ul><li>Costosa y requiere de mucho apoyo técnico (tecnológico, estadístico). </li></ul>
  12. 12. EVALUACIÓN DE LENGUAS EN LA WEB <ul><li>Administración de pruebas a través de la internet. </li></ul><ul><li>Requiere de conocimiento del diseño de páginas, el establecimiento de formas para enviar los resultados y el manejo de una base de datos. </li></ul><ul><li>Proceso de evaluación centralizado en un servidor. </li></ul><ul><li>Amplia adminstración de las pruebas sin importar la ubicación geográfica de los estudiantes. </li></ul>
  13. 13. EVALUACIÓN DE LENGUAS EN LA WEB <ul><li>Uso de formato familiar para los examinados. </li></ul><ul><li>Facilita la inclusión de contenido multimedia. </li></ul><ul><li>No es costosa. </li></ul><ul><li>Permite la inclusión de respuestas cortas (e.g., cloze, filling the gaps) </li></ul><ul><li>Estudio: </li></ul><ul><li>Larson, J., & Hendricks, H. (2009). A context-based online diagnostic test of Spanish. CALICO Journal , 26 (2). </li></ul><ul><li>Zabaleta, F. (2007). Developing a multimedia, computer-based Spanish placement test. CALICO Journal , 24 (3). </li></ul>
  14. 14. EXAMEN DIAGNÓSTICO DE ESPAÑOL EN LÍNEA – LARSON & HENDRICKS <ul><li>Áreas de énfasis: Evaluación, Contextualización y Tecnología </li></ul><ul><li>Se busca: Evaluar la competencia comunicativa. </li></ul><ul><li>Crear un examen contextualizado- diagnóstico en línea que: Identifique áreas deficientes y ofrezca ayuda para mejorar la comunicación. </li></ul><ul><li>Propósitos de los exámenes: proporcionar a los administradores, maestros y estudiantes ciertos tipos de información valiosa </li></ul><ul><li>Tipos de pruebas: de aptitud, de colocación, competencia, de rendimiento y de diagnóstico </li></ul>
  15. 15. EXAMEN DIAGNÓSTICO DE ESPAÑOL EN LÍNEA – LARSON & HENDRICKS <ul><li>Aspectos relacionados con el desarrollo y aplicación de la prueba: contextualización, autenticidad, interacción, validez y aplicación </li></ul><ul><li>Examen en-línea contextualizado y diagnóstico. </li></ul><ul><li>Más cercano a la realidad y a situaciones comunicativas genuinas. </li></ul><ul><li>Objetivo: evaluar la capacidad de los estudiantes de utilizar los conceptos gramaticales para comunicarse en el mundo universitario. </li></ul><ul><li>Tareas, editar un párrafo, ayudar a un compañero de cuarto y crear un póster para la comunidad. </li></ul><ul><li>Actividades: selección simple, respuestas cortas, corrección de un párrafo </li></ul>
  16. 16. EXAMEN DIAGNÓSTICO DE ESPAÑOL EN LÍNEA – LARSON & HENDRICKS <ul><li>Aplicación: en-línea </li></ul><ul><li>Diagnóstico: </li></ul><ul><li>Cuando los estudiantes han completado la prueba, un informe de ejecución se genera para informarles sobre su desempeño y les notifica que conceptos gramaticales manejan bien y cuáles no. </li></ul><ul><li>Conclusión: los resultados no varían entre el examen contextualizado y el discrete point diagnostic test. </li></ul><ul><li>Ambos detectan las debilidades y fortalezas de los estudiantes pero el examen en línea toma 4 veces más tiempo para completar. </li></ul>
  17. 17. USO DE MULTIMEDIA EN LA APLICACIÓN DE EXÁMENES DE CONOCIMIENTO DEL ESPAÑOL. POR: FRANCISCO ZABALETA <ul><li>La aplicación de examen de conocimiento del español ha sido un problema (primer nivel o para estudiantes transferidos). </li></ul><ul><li>El autor ha diseñado un programa piloto en la universidad de San Diego (SDSU) o IF( item facitity) preguntas fáciles. </li></ul><ul><li>Este programa es aplicable en cualquier institución que ofrezca multiniveles de español. </li></ul><ul><li>El objetivo es facilitar la aplicación y obtención los resultados al momento de terminar el examen. </li></ul><ul><li>En el proyecto piloto él vio que seguían siendo un problema las habilidades orales y escritas, ya que se necesita un laboratorio m á s sofisticado para evaluarlas. </li></ul><ul><li>El IF busca evaluar los miles de estudiantes que ingresan cada a ñ o en la universidad de San Diego; minorizando los costos financieros y laborales; usando un laboratorio y un programa de computadoras adecuado para tal fin. </li></ul>
  18. 18. 6 PASOS PARA LA CONSTRUCCIÓN DE UN EXAMEN DE CONOCIMIENTO DEL ESPAÑOL. <ul><li>1ero: Consulta de las investigación teoría y práctica anteriores. </li></ul><ul><li>2do: Hacer una lista de los conceptos teóricos por niveles y habilidades lingüísticas. </li></ul><ul><li>3ero: Usar preguntas de múltiple escogencia para cada uno de las aspectos a evaluar. </li></ul><ul><li>4to: Construcción y uso de un programa que ofrezca un banco de preguntas particulares y generales . </li></ul><ul><li>5to: Escoger un programa para el examen, que garantice la facilidad de uso. </li></ul><ul><li>6to: Análisis del examen. </li></ul>
  19. 19. APLICACIÓN DEL PROYECTO PILOTO. <ul><li>Comienzo con evaluación en (SDSU) o IF de 200 preguntas, luego fue reducida a 150 preguntas y finalmente comienza la prueba con 120 preguntas. </li></ul><ul><li>Aplicado a171 estudiantes de 10 secciones de español de 102-103 entre 2001-2002 al iniciar los cursos cada semestre. </li></ul><ul><li>Divide las preguntas en 4 categorías: </li></ul><ul><li>Solo texto= 76 preguntas. </li></ul><ul><li>Fotografía y texto = 24 preguntas. </li></ul><ul><li>Audio= 12 preguntas. </li></ul><ul><li>Audio y video= 8 preguntas. </li></ul><ul><li>Resultados: </li></ul><ul><li>75 preguntas fueron del banco de preguntas de la institución y el resto del programa general de preguntas. </li></ul><ul><li>Se contestó en 35 minutos. </li></ul><ul><li>El estudiante recibió el resultado en tiempo real. </li></ul><ul><li>Lo más difícil fue contestar las preguntas con sólo texto. </li></ul><ul><li>Los mejores resultados se obtuvieron con la combinación audiovisual, con 76%. </li></ul><ul><li>130 estudiantes de 171 prefirieron la prueba con video o audiovisuales, también manifestaron que la evaluación fue interesante y divertida. </li></ul><ul><li>Recomendaciones: </li></ul><ul><li>El diseño debe ser un trabajo colaborativo. </li></ul><ul><li>No debe ser un producto terminado. </li></ul><ul><li>No es recomendable comercializar el diseño. </li></ul><ul><li>La evaluación no debe ser por crédito, sino un instrumento de diagnostico, para el estudiante y para la institución educativa. </li></ul>
  20. 20. CORRECCIÓN AUTOMATIZADA <ul><li>Podría incrementar la consistencia en la corrección. </li></ul><ul><li>Resulta práctica con un número grande de examinados. </li></ul><ul><li>Requiere una precisión alta en la especificación de la clave de corrección. </li></ul><ul><li>Resulta difícil corregir la variedad de los aprendices (no estandard si se compara con la de los NHs). </li></ul>
  21. 21. CORRECCIÓN AUTOMATIZADA <ul><li>Requiere una clasificación de la seriedad de los errores para poder dar una calificación. </li></ul><ul><li>Requiere tomar en cuenta varios aspectos de la producción (e.g., complejidad de las estructuras utilizadas, extensión, etc.) </li></ul>
  22. 22. ¿QUÉ TOMAR EN CUENTA AL DISEÑAR UNA EVALUACIÓN USANDO COMPUTADORAS? <ul><li>Validez, autenticidad, confiabilidad y practicalidad. </li></ul><ul><li>Los examinados y sus características </li></ul><ul><li>El significado de los puntajes y las consecuencias que traen los mismos. </li></ul><ul><li>Propósito, estructura y tareas de la prueba. </li></ul><ul><li>Lenguaje de las instrucciones, preguntas de lectura y comprensión oral. </li></ul><ul><li>Presentación del insumo (video, audio, imágenes). </li></ul><ul><li>Horario de desarrollo e implementación de la prueba (prueba piloto). </li></ul>
  23. 23. ¿QUÉ TOMAR EN CUENTA AL DISEÑAR UNA EVALUACIÓN USANDO COMPUTADORAS? <ul><li>Aspectos técnicos: servidor, conexión, navegador </li></ul><ul><li>Seguridad: plagio, trampa, puntajes, quién toma la prueba </li></ul><ul><li>Programa o herramienta para desarrollar el programa (e.g., Vista, Hot potatoes) </li></ul><ul><li>Conclusión: </li></ul><ul><li>Douglas, D., & Hegelheimer, V. (2007). Assessing language using computer technology. Annual Review of Applied Linguistics , 27 , 115-132. </li></ul>
  24. 24. EVALUACIÓN DE LENGUAS USANDO LA COMPUTADORA- DOUGLAS & HEGELHEIMER <ul><li>Papel y lápiz  Mismas preguntas pero en la computadora, eran prácticos. </li></ul><ul><li>Escoger la herramienta más apropiada (correo electrónico, cara a cara, teléfono) </li></ul><ul><li>¿Audio + video? </li></ul><ul><li>Futuro: software que califique ensayos, simulaciones autenticas, software que mida el progreso del estudiante a través del examen </li></ul>
  25. 25. PROBLEMAS CON LA VALIDEZ <ul><li>Puede que los resultados de un examen computarizado no reflejen lo que se mediría en otro tipo de exámenes. </li></ul><ul><li>El tipo de preguntas que se pueden desarrollar en CBTs son diferentes a las que se pueden desarrollar con otro tipo de herramientas. </li></ul><ul><li>La selección de ítemes incluidos en los exámenes de colocación pueden resultar inapropiados en su contenido causando ansiedad. </li></ul><ul><li>La puntuación puede no dar crédito a respuestas que puedan estar bien. </li></ul><ul><li>CALT puede poner en riesgo la seguridad del examen. </li></ul><ul><li>CALT puede tener consecuencias negativas para los estudiantes, las clases, la enseñanza y la sociedad. </li></ul>
  26. 26. HERRAMIENTAS/SOFTWARES & VENTAJAS/DESVENTAJAS <ul><li>Course management systems CMS -- Moodle, WebCT, Desire2Learn. </li></ul><ul><li>Stand-Alone – Hot Potatoes, Flashform Rapid eLearning Studio, Discovery School’s Quiz Center, Questionmark, LidgetGreen. </li></ul><ul><li>Automated Essay Evaluators AWE --Intelligent Essay Assesor, Intellimetric, MyAccess, DIALANG </li></ul>
  27. 27. RECURSOS Y PRÁCTICA: <ul><li>Libro de notas: </li></ul><ul><ul><li>Engrade: http://www.engrade.com/ </li></ul></ul><ul><li>Rúbricas: </li></ul><ul><ul><li>Rubistar: http://rubistar.4teachers.org/ </li></ul></ul><ul><ul><li>Rubric generator: http://www.teach-nology.com/web_tools/rubrics/ </li></ul></ul><ul><li>Evaluación de proyectos que involucran multimedia o tecnología y otras rúbricas: </li></ul><ul><ul><li>http://www.uwstout.edu/soe/profdev/rubrics.shtml </li></ul></ul><ul><li>Práctica </li></ul><ul><ul><li>En parejas, usando su shell de VISTA, hacer un quiz (assessment) de 5 tipos de preguntas diferentes / crear una rúbrica usando Rubistar o el generador de rúbricas. </li></ul></ul>

×