2022_06_30 «Mejorando la evaluación de juegos serios aplicando analíticas de aprendizaje y técnicas de minería de datos».

1. XII Jornadas eMadrid: «Educación 4.0» 30 de junio de 2022 Mejorando la evaluación de juegos serios aplicando analíticas de aprendizaje y técnicas de minería de datos Cristina Alonso Fernández Tesis doctoral dirigida por Baltasar Fernández Manjón, Manuel Freire Morán e Iván Martínez Ortiz

2. Índice 01 03 04 02 Introducción Proceso de evaluación Casos de estudio Conclusiones 2

3. Introducción 01 Juegos Serios Evaluación Analíticas de Aprendizaje

4. Juegos que no tienen como objetivo principal entretener ➔ Enseñar ➔ Crear concienciación ➔ Cambiar actitud Juegos Serios exploración libre y segura feedback y adaptación interactivo e interesante progreso y terminación motivación, aprendizaje activo 4

5. Experimentos pre-post ➔ Validación formal del juego ➔ Evaluación de los jugadores Inconvenientes: ➔ Cuestionarios previamente validados ➔ Aumento esfuerzo y tiempo ➔ Evaluación realizada fuera del entorno de aprendizaje Alternativa: stealth assessment Evaluación de juegos serios y jugadores 5

6. Analíticas de Aprendizaje para Juegos Game Learning Analytics: combinación de los objetivos de Learning Analytics con las técnicas de Game Analytics en el contexto de Juegos Serios 6

7. Recolección de datos de juegos: xAPI-SG El Perfil de Experience API para Juegos Serios (xAPI-SG) define verbos, tipos de actividad y extensiones usados en juegos serios. ➔ Completables ➔ Accessibles ➔ Alternatives ➔ GameObjects Simplifica recolección, análisis, integración con otros sistemas... 7 xAPI estándar IEEE https://adlnet.gov/news/2021/10/20/IEEE-to-Stan dardize-xAPI-v2.0-as-an-International-Standard/

8. Proceso de evaluación 02 Validación del juego Recolección interacciones Análisis de los datos Modelos predictivos Despliegue del juego

9. Proceso de evaluación: validación del juego 9 1. Recogida de datos GLA en xAPI-SG

10. 10 Proceso de evaluación: validación del juego 2. Análisis de los datos Variables GLA por defecto con xAPI-SG

11. Análisis y visualizaciones por defecto (independientes de juego) Ayudar en la selección de variables GLA T-MON: monitor de trazas xAPI-SG 11 https://github.com/e-ucm/t-mon

12. 12 Proceso de evaluación: validación del juego 3. Modelos de predicción Variable objetivo aprendizaje (post-pre) Modelos xAI

13. 13 Proceso de evaluación: despliegue del juego

14. Casos de estudio 03 First Aid Game Conectado

15. Simulación para enseñar maniobras de reanimación cardiopulmonar en 3 casos: 1. Dolor torácico 2. Inconsciencia 3. Atragantamiento Juego previamente validado en colegios y con grupo de control (2012) Objetivo: predecir conocimiento ﬁnal (post-test) ➔ Comparando modelos con y sin pre-test (pre+game vs game-only) First Aid Game: el juego 15

16. 227 estudiantes de 12-17 años de un colegio de Madrid ➔ Pre-post validados ➔ Datos de interacción (xAPI-SG) First Aid Game: datos recogidos 16 ➔ Variables GLA

17. ➔ Alta precisión en los modelos predictivos ● Juegos similares con estructura narrativa ➔ Interacciones son suficientes para predecir aprendizaje ➔ Recogida de interacciones guiada por diseño educativo del juego ● Beneficios del uso de xAPI-SG First Aid Game: predicciones y resultados 17 Mejores resultados con pre-test, pero solo con interacciones modelos suficientemente precisos

18. Juego para aumentar concienciación de acoso y ciberacoso. 1era persona como nuevo estudiante en un colegio durante 5 días de juego: ➔ acoso en colegio ➔ ciberacoso en casa 3 ﬁnales posibles según las decisiones tomadas Juego validado en colegios (2020) Objetivo: predecir aumento de concienciación (diferencia entre pre y post) Conectado: el juego 18

19. 1109 estudiantes de 12-17 años de 11 colegios de España ➔ Pre-post validados ➔ Datos de interacción (xAPI-SG) Conectado: datos recogidos 19 ➔ Variables GLA

20. Conectado: predicciones y resultados 20 Mayoría de modelos con precisión similar Más impacto en aprendizaje: final del juego e interacciones con otros personajes ➔ Alta precisión en distinto contexto ● Predicción de aumento de concienciación ● Mayor conjunto de datos y distintos modelos ➔ Beneficios de uso de xAPI-SG ● Simplificar recogida, procesamiento y análisis ● Apoyo selección de variables de GLA

21. Conclusiones 04

22. ➔ Proceso de evaluación basado en evidencias ○ Utilizando estándar xAPI-SG ○ Herramienta de apoyo T-MON visualizaciones por defecto ➔ Casos de estudio ejempliﬁcando proceso completo: Limitaciones ➔ Estructura casi lineal de los juegos ➔ Modelos predictivos creados ad-hoc y xAI ➔ xAPI-SG puede omitir información dependiente de juego Conclusiones 22 diseño educativo y diseño de juego recogida de datos de interacción definición de variables GLA modelos predictivos

23. ➔ Juegos para educar en igualdad de género ○ Estudio de las propuestas actuales ○ Nuevos juegos para combatir estereotipos ● Juego “La entrevista” desarrollado ➔ Juegos geolocalizados utilizando uAdventure ○ Analíticas integradas ○ Extensión del perﬁl xAPI-SG ○ Nuevos análisis y visualizaciones en T-MON ➔ Integración con SIMVA ○ Simpliﬁcar experimentos ○ Datos recogidos: pre-post e interacciones Trabajo futuro 23

24. ● Proceso de evaluación: ● Caso de estudio First Aid Game: ● Caso de estudio Conectado: ● T-MON: Referencias 24 Cristina Alonso-Fernández, Manuel Freire, Iván Martínez-Ortiz, Baltasar Fernández-Manjón: Improving evidence-based assessment of players using serious games. Telematics and Informatics (2021). DOI: 10.1016/j.tele.2021.101583. Cristina Alonso-Fernández, Iván Martínez-Ortiz, Rafael Caballero, Manuel Freire, Baltasar Fernández-Manjón: Predicting students’ knowledge after playing a serious game based on learning analytics data: A case study. Journal of Computer Assisted Learning (2020). DOI: 10.1111/jcal.12405. Cristina Alonso-Fernández, Antonio Calvo-Morata, Manuel Freire, Iván Martínez-Ortiz, Baltasar Fernández-Manjón: Evidence-based evaluation of a serious game to increase bullying awareness. Interactive Learning Environments (2020). DOI: 10.1080/10494820.2020.1799031. Cristina Alonso-Fernández, Antonio Calvo-Morata, Manuel Freire, Iván Martínez-Ortiz, Baltasar Fernández-Manjón: Data science meets standardized game learning analytics. IEEE Global Engineering Education Conference (EDUCON), 2021.

25. ¡Gracias! Cristina Alonso Fernández cristina.alonsof@uam.es @calonsofdez

2022_06_30 «Mejorando la evaluación de juegos serios aplicando analíticas de aprendizaje y técnicas de minería de datos».

2022_06_30 «Mejorando la evaluación de juegos serios aplicando analíticas de aprendizaje y técnicas de minería de datos».

Recommended

More Related Content

Similar to 2022_06_30 «Mejorando la evaluación de juegos serios aplicando analíticas de aprendizaje y técnicas de minería de datos».

Similar to 2022_06_30 «Mejorando la evaluación de juegos serios aplicando analíticas de aprendizaje y técnicas de minería de datos».(12)

More from eMadrid network

More from eMadrid network(20)

Recently uploaded

Recently uploaded(10)

2022_06_30 «Mejorando la evaluación de juegos serios aplicando analíticas de aprendizaje y técnicas de minería de datos».