Sistemas de evaluaciónen línea Elvira Navas P Evaluación yRecursos Digitales CEPR08
Auge de las evaluaciones “en-línea” Una de las áreas con mayor desarrollo en el campo del “eLearning” se refiere a las evaluaciones “en-línea”. Este desarrollo responde fundamentalmente a: Facilidad de desarrollo En el mundo tecnológico es relativamente sencillo el desarrollo de herramientas que faciliten la producción de pruebas de evaluación. De hecho existe una variada oferta, colocando estas herramientas al alcance de cualquier docente interesado. Amplitud de uso El uso de las evaluaciones se ha expandido más allá de evaluar conocimientos. Se están usando para exponer a las personas a experiencias de aprendizaje, reducir curvas de aprendizaje, afianzar habilidades, conocimientos y destrezas adquiridas, y para motivar proporcionando un sentido de logro.
Actores Entre los actores que intervienen en el sistema de evaluación “en-línea” encontramos: El diseñador Encargado de elaborar las preguntas de evaluación. El instructor/docente Encargado de diseñar y realizar las pruebas. Puede ser el mismo diseñador. El usuario La persona que toma las pruebas de evaluaciones.
Beneficios Diversidad de pruebas Reutilización de elementos Evaluaciones adaptativas Retroalimentación oportuna Facilita el desarrollo
Desventajas Dudas sobre la identidad del usuario Corrección de respuestas abiertas Corrección de preguntas con respuestas cortas. Dificultades de tipo técnico.
Características de las evaluaciones “en-línea” Registro automático de resultados Uso de banco de preguntas Orden aleatorio de las preguntas Retroalimentación Puntaje Almacenar resultados Tiempo Esquemas de navegación por las pruebas
Recomendaciones al diseñar pruebas Incorpore instrucciones claras Cuando coloque al usuario frente a una pregunta de completación o selección múltiple, asegúrese de incluir instrucciones claras y completas. Por ejemplo, aclare si errores de tipeo bajarán puntos o si hay más de una respuesta correcta. Al utilizar un puntaje variable, asegúrese de proveer instrucciones precisas al usuario sobre cómo serán corregidas sus respuestas.
Recomendaciones al diseñar pruebas Tome previsiones de diseño tales como: Numero de preguntas Tiempo estimado de la prueba Tipo de preguntas Puntuación estimada para cada pregunta. Criterios de corrección de cada pregunta.
Peligros de los programas para generar evaluaciones Las herramientas para crear evaluaciones en-línea enfrentan los mismos problemas que tiene el método tradicional de papel y lápiz, más otros retos asociados a la tecnología … Las preguntas NO están relacionadas a los objetivos del curso.(debe estar de acuerdo además al nivel del objetivo) Número inadecuado de preguntas. No debe ser ni muy bajo que resulte insuficiente ni muy alto que resulte en cansancio que desmejore el resultado real. Evaluación desproporcionada de la memorización.
Diseño de ítems de evaluación
Componentes del Ítem de evaluación Enunciado de la pregunta que presenta un problema. Puede ser un campo estático de texto, que permanece visible mientras el usuario responde y suplementado por una ilustración. También puede ser un gráfico, clip de video o sonido. Opciones de respuesta Navegación Evaluación de la respuesta
Componentes del Item de evaluación Retroalimentación. Según la estrategia: No ofrece información alguna. Ofrece la respuesta correcta e información complementaria. Ante un error, explica porque no es correcta la respuesta. Ante un error, ofrece asistencia (“coaching”). Ofrece una pista para facilitar un nuevo intento. Ofrece oportunidad de desplazarse a otro lugar (hipervínculo). Ofrece mensajes de motivación. Según medios utilizados: Muestra un texto. Muestra clip de sonido o animado. Mezcla de los anteriores. Según el alcance: Genérica. Para buenas y para malas. Específica a cada opción. Según el momento: Inmediata. Al finalizar prueba. Bajo solicitud del usuario.
Tipos de ítems de evaluación
Arrastrar y soltarDrag and Drop En este tipo de ítem se evalúa que el usuario sea capaz de seleccionar y arrastrar un objeto para dejarlo caer (soltarlo) en la posición correcta. Exige que el usuario tenga la habilidad para arrastrar y soltar objetos en la pantalla. Por su contenido visual y por exigir cierta interactividad, es un item de evaluación atractivo para los usuarios.
Respuesta larga - Ensayo En este tipo de ítem el usuario debe responder a preguntas abiertas. Para la evaluación de este tipo de ítems, existen al menos dos opciones: Evaluación automática Se se localizan palabras claves (su presencia o ausencia) predefinidas por el diseñador. Es previsible cierto margen de error en esta identificación automática. Con la ayuda de un experto en contenidos Las respuestas son enviadas electrónicamente a un especialista para que verifique su correctitud y las comente. Obviamente habrá retardo para conocer los resultados.
Área activa -- Hot Spot En este tipo de ítem se le exige al usuario que seleccione una posición sobre una imagen. Requiere utilizar un ratón o una pantalla sensible al toque.
Pareo (entre dos listas) Se presentan dos categorías de elementos para que el usuario relacione un elemento de una categoría con uno de la otra categoría. La representación visual del pareo puede diferir desde una línea de conexión hasta un conjunto de cajas de selección. Las preguntas de pareo evalúan a nivel de memorización y son consideradas una variación de preguntas de selección. Para desarrollar este tipo de preguntas: Verifique el diseño de interfase para que los elementos ocupen la pantalla sin la necesidad de desplazarse (scroolling). Considere el efecto de distintas resoluciones de pantalla sobre su diseño. Evite utilizar herramientas que dibujan una línea entre los elementos conectados. Provea algunos distractores y evite que las columnas contengan la misma cantidad de elementos, ya que esto facilita la respuesta a medida que quedan eliminados los elementos.
Selección – Verdadero y Falso Las preguntas de verdadero y falso son apropiadas para evaluar memorización de información factual. Son preguntas generalmente sencillas de escribir. Si memorizar no es acorde al objetivo, re-evalúe su uso. Para desarrollar preguntas de verdadero y falso: Escriba una pregunta de verdadero y falso para cada hecho que deba memorizarse. Evalúe hechos significativos, en lugar de trivialidades. Escriba enunciados que inequívocamente sean verdadero o falso. Escriba oraciones cortas. Elimine detalle innecesario que pueda confundir al usuario. Evite oraciones negativas y doble negaciones que pueden añadir una sobrecarga cognitiva innecesaria.
Selección simple Se le presenta al usuario un conjunto de opciones para que seleccione aquella que es correcta. Dentro de esta categoría también se encuentran los ítems de “verdadero y falso”. Para que tengan una buena efectividad es necesario un buen diseño del ítem (redacción de la pregunta y de las opciones). Existe el peligro de redactar opciones muy sencillas de responder.
Selección múltiple Similar a la de selección simple, se le presenta un conjunto de opciones al usuario para que seleccione todas aquellas que son ciertas o verdaderas. Este tipo de ítem exige al usuario reflexionar sobre cada una de las opciones, por tanto ofrece una buena oportunidad de aprendizaje. Las preguntas de selección múltiple evalúan hechos y la aplicación de conocimientos. Son preguntas más difíciles de escribir pero son la base para bifurcaciones, análisis de ítems, aprendizaje adaptativo y personalización.
Selección múltiple Para desarrollar preguntas de selección múltiple: Evalúe una sola pieza de información por pregunta. Utilice sólo distractores creíbles. Utilice 4 ó 5 distractores. Evite utilizar respuestas que sean fácilmente descartadas. Revise la pregunta para identificar pistas que haya colocado inadvertidamente. Chequee que la herramienta permita dar crédito a respuestas parcialmente correctas. Evite utilizar “ninguna de las anteriores” o “todas las anteriores” como distractores. En caso de utilizarlas, verifique que pueden pasar como respuestas posibles. Coloque las respuestas en un orden lógico. Por ejemplo cuando aparecen fechas o números, colóquelos en orden.
Completación En los ítems de evaluación de “completación” el usuario debe colocar las palabras faltantes a un texto dado. El diseñador debe tener en cuenta (prever) cómo debe reaccionar la prueba ante errores tipográficos del usuario y asegurarse de incorporar múltiples opciones correctas. Las preguntas de completación (fill in the blanks) evalúan hechos o aplicación de conocimientos. Son preguntas retadoras al escribirlas debido a limitaciones existentes en algunas herramientas para aceptar sólo palabras o frases exactas.
Completación Para escribir preguntas de completación: Escriba preguntas que tengan una respuesta sencilla. Mantenga presente las limitaciones de la herramienta. Utilice un solo espacio vacío por pregunta. Utilice este tipo de pregunta cuando desee que el usuario recuerde información en lugar de seleccionar o identificar información. Considere el riesgo de errores de tipeo y de respuestas debatibles. Si la herramienta no puede aceptar un conjunto de respuestas posibles, prepárese para una revisión manual para ser justo.
Recomendaciones al diseñar items de evaluación Minimice el “adivinar” y evite preguntar información trivial. Evite que se necesite scrolling. En cuanto al diseño de las opciones redáctelas de manera que….
Recomendaciones al diseñar items de evaluación Sean comparables en contenidos, longitud y lógica. Facilita la validez de los distractores. Además, estadísticas demuestran que el 65% de las veces la opción correcta es la más extensa. Se debe a que suele ser la más detallada y completa. Asegúrese que la correcta no sea la opción más larga. No se repitan. Evite que aparezcan palabras repetidas en cada opción. Hace más difícil su entendimiento. Las palabras repetidas deben formar parte del enunciado. Sean semejantes en su lenguaje . Evite que por la sintaxis pueda inferirse cual es la opción correcta.
Recomendaciones al diseñar items de evaluación Ordenadas lógicamente. Si son números, colóquelos ordenadamente. Distractores reales (creíbles). Esto puede ser lo más difícil. Un distractor luce razonable, pero no es técnicamente correcto. Deben utilizarse para separar a los usuarios en dos grupos: aquellos que entienden el material y aquellos que no tienen el suficiente conocimiento. Errores que comúnmente cometen los usuarios, son excelentes distractores. No incluyan “ninguna de las anteriores” o “todas las anteriores”.
Bibliografía consultada QuestionMark. Learningaboutassesment. http://www.questionmark.com/us/learningcafe/index.htm#learning_about_assessments Creating Effective Assessments- Presentación en Power Point How to Write Good Test Questions – presentación en PowerPoint
Clase2