Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

«Applying data mining techniques to Game Learning Analytics», by Cristina Alonso, UCM

53 views

Published on

02_07_2018 VIII Jornadas eMadrid sobre «Cyberlearning»
Premio eMadrid al mejor trabajo fin de Máster (TFM)

  • Be the first to comment

  • Be the first to like this

«Applying data mining techniques to Game Learning Analytics», by Cristina Alonso, UCM

  1. 1. Applying data mining techniques to Game Learning Analytics Cristina Alonso Fernández Jornadas eMadrid, 2 Julio 2018 Trabajo de Fin de Máster
  2. 2. Juegos Serios Juegos cuyo objetivo principal es: ● enseñar ● cambiar una actitud o comportamiento ● crear conciencia sobre algún asunto Pero manteniendo las ventajas de los juegos de entretenimiento: orientados a objetivos, cautivador. Aplicados con éxito en múltiples dominios: medicina, ciencia, arte, educación.
  3. 3. Normalmente realizada en experimentos pre-post: Juegos Serios: evaluación ¿La mejora entre el pre y el post es estadísticamente significativa? ¿Cumple el juego sus objetivos?
  4. 4. El juego First aid game enseña maniobras de primeros auxilios a estudiantes de instituto. Tres situaciones iniciales: - dolor torácico - inconsciencia - atragantamiento Juego previamente validado con experimentos pre-post. Experimentos original de validación con grupo de control vs grupo experimental: Video-game instruction in basic life support maneuvers. Marchiori EJ, Ferrer G, Fernandez-Manjon B, Povar Marco J, Suberviola Gonźalez JF, Gimenez Valverde A. (2012)
  5. 5. Captura de datos: experimentos 227 estudiantes de 12 a 17 años de 1º, 2º, 3º y 4º curso de ESO y 1º de BACHILLERATO Cada estudiante completó: 1. Pre-test 2. Partida del juego (trazas xAPI-SG) 3. Post-test
  6. 6. Captura de datos GLA: perfil xAPI-SG Los datos de interacción se capturan en trazas siguiendo el perfil estándar xAPI-S. El estándar xAPI-SG fue desarrollado e implementado en Experience API (xAPI) en colaboración con ADL (Ángel Serrano et al, 2017). El modelo define un conjunto de interacciones comunes de juegos serios y simplifica la compartición de datos.
  7. 7. Aprendizaje con el juego El aprendizaje en el juego se mide comparando las puntuaciones entre el pre-test y el post-test. ● Media de puntuación pre-test: 8/15 ● Media de puntuación post-test: 9.8/15 El aumento en el conocimiento es estadísticamente significativo (Wilcoxon Signed Rank Test, p < 0.05)
  8. 8. Aprendizaje con el juego ● Experimento original (juego) ● Experimento original (grupo de control) ● Experimento actual Menor aprendizaje que en el experimento original pero todavía significativo.
  9. 9. Mejorando la evaluación de los juegos serios Idealmente, querríamos encontrar un método mejor de evaluación para juegos serios, evitando los experimentos pre-post, que tienen un alto coste en tiempo y esfuerzo. Nuestra aproximación: utilizar técnicas de minería de datos para predecir las puntuaciones en el pre-test y el post-test utilizando los datos recogidos de las interacciones con el juego. - Para medir conocimiento adquirido. - Pero también podría utilizarse para medir cambio de actitud o aumento de conciencia.
  10. 10. Mejorando la evaluación de los juegos serios Utilizar técnicas de minería de datos para predecir las puntuaciones en el pre-test y el post-test utilizando los datos recogidos de las interacciones con el juego. 1. Para evitar el pre-test: - Determinar la influencia del conocimiento previo en los resultados del juego. 2. Para evitar post-test: - Determinar la capacidad de las interacciones con el juego junto con la información del pre-test para predecir los resultados del post-test. - Comparar esta capacidad con las de las interacciones en solitario para predecir los resultados del post-test.
  11. 11. Mejorando la evaluación de los juegos serios Para evitar pre-test: Para evitar post-test: - Modelos de predicción de la puntuación en post-test utilizando pre-test + datos de interacciones con el juego. - Modelos de predicción de la puntuación en post-test utilizando sólo datos de interacciones con el juego. Predicción de los resultados: - Como valor numérico (de 1 a 15) - Como categoría binaria (aprobado / suspenso) Utilizando modelos de predicción: árboles, regresión, Naïve Bayes. Method Precision Recall Naive Bayes 0.69 0.84
  12. 12. Predicciones de resultados en el post-test Para evitar post-test: resumen de los resultados obtenidos. -Predicción de puntuación (1 a 15) -Predicción de aprobado/suspenso Predicciones ligeramente peores sin datos del pre-test pero predicciones aceptables en ambos casos. Method Pre-test ASE Regression trees Yes 4.92 No 5.68 Linear regression Yes 5.81 No 5.71 Method Pre-test Precision Recall Decision trees Yes 0.81 0.94 No 0.88 0.92 Logistic regression Yes 0.89 0.98 No 0.87 0.98 Naive Bayes Yes 0.92 0.89 No 0.89 0.90
  13. 13. Juegos sin pre-post - Eliminando el pre-test: Juegos como método de evaluación - Eliminando el post-test: Juegos para enseñar y medir el aprendizaje Con o sin pre-test.
  14. 14. ● Resultados de alta precisión para predecir puntuaciones en el post-test ○ Resultados ligeramente mejor con información del pre-test, pero las diferencias no son significativas ○ Mejor resultados prediciendo aprobado / suspenso que puede ser suficiente en algunas situaciones ● Eliminando los pre-post: ○ Se puede aumentar el tiempo de juego en una clase ○ Simplificando el despliegue de juegos Trabajo futuro: ● Probar esta aproximación con más experimentos / grupos ● Probar nuevas técnicas de minería de datos (e.g. support vector machines for regression (SVR) for score predictions) Conclusiones
  15. 15. GLA: ● Manuel Freire, Ángel Serrano-Laguna, Borja Manero, Iván Martínez-Ortiz, Pablo Moreno-Ger, Baltasar Fernández-Manjón (2016): Game Learning Analytics: Learning Analytics for Serious Games. In Learning, Design, and Technology (pp. 1–29). Cham: Springer International Publishing. http://doi.org/10.1007/978-3-319-17727-4_21-1. Perfil xAPI-SG: ● Ángel Serrano-Laguna, Iván Martínez-Ortiz, Jason Haag, Damon Regan, Andy Johnson, Baltasar Fernández-Manjón (2017): Applying standards to systematize learning analytics in serious games. Computer Standards & Interfaces 50 (2017) 116–123, http://dx.doi.org/10.1016/j.csi.2016.09.014 [IF, 1,633, Q2 in COMPUTER SCIENCE, SOFTWARE ENGINEERING]. Referencias principales
  16. 16. ● Email: crisal03@ucm.es ● Google Scholar: https://scholar.google.es/citations?user=h2f9YIgAAAAJ&hl=es ● ResearchGate: https://www.researchgate.net/profile/Cristina_Alonso-Fernandez ● SlideShare: https://www.slideshare.net/CristinaAlonso58 ¡Gracias!

×