Educational Data Mining: cerrando el círculo del proceso de aprendizaje en entornos virtuales

1,261 views

Published on

Published in: Education, Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
1,261
On SlideShare
0
From Embeds
0
Number of Embeds
8
Actions
Shares
0
Downloads
15
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Educational Data Mining: cerrando el círculo del proceso de aprendizaje en entornos virtuales

  1. 1. Educational Data Mining: cerrando el círculo del proceso de aprendizaje en entornos virtuales<br />Julià Minguillón<br />Universitat Oberta de Catalunya<br />
  2. 2. Tabla de contenidos<br /><ul><li>Entornos Virtuales de Aprendizaje
  3. 3. Educational Data Mining
  4. 4. La UOC como laboratorio
  5. 5. Niveles de análisis
  6. 6. El proyecto MAVSEL
  7. 7. Ejemplo: repositorio institucional
  8. 8. Conclusiones
  9. 9. Trabajo futuro</li></ul>2<br />SPDECE 2011, 15-17 de Junio, Ciudad Real<br />
  10. 10. Entornos Virtuales de Aprendizaje<br />Proceso de<br />aprendizaje<br />3<br />SPDECE 2011, 15-17 de Junio, Ciudad Real<br />
  11. 11. Entornos Virtuales de Aprendizaje<br />Analizar<br />Actuar<br />Capturar<br />UI<br />EVA<br />Interacción<br />4<br />SPDECE 2011, 15-17 de Junio, Ciudad Real<br />
  12. 12. Educational Data Mining<br /><ul><li>Desarrollo de métodos para explorar datos de escenarios educativos, para entender mejor el proceso de aprendizaje
  13. 13. Área reciente de interés creciente:
  14. 14. Learning Analytics and Knowledge (LAK, 1st Ed.)
  15. 15. 4th International Conference on EDM
  16. 16. Journal of EDM
  17. 17. SpecialissueJournal of Educ., Tech. & Soc.
  18. 18. Conjuntos de datos abiertos</li></ul>5<br />SPDECE 2011, 15-17 de Junio, Ciudad Real<br />
  19. 19. Objetivos del EDM<br /><ul><li>Análisis y visualización de datos
  20. 20. Proporcionar feedback a docentes
  21. 21. Recomendaciones para estudiantes
  22. 22. Predicción del rendimiento de los estudiantes
  23. 23. Modelado de estudiantes
  24. 24. Detección de comportamientos indeseados
  25. 25. Agrupación de estudiantes
  26. 26. Análisis de redes sociales
  27. 27. Desarrollo de mapas conceptuales
  28. 28. Construcción de courseware
  29. 29. Planificación y organización</li></ul>C. Romero, S. Ventura. Educational Data Mining: A Review of the State-of-the-Art. IEEE Transaction on Systems, Man, and Cybernetics, Part C: Applications and Reviews. 40(6), 601-618, 2010.<br />6<br />SPDECE 2011, 15-17 de Junio, Ciudad Real<br />
  30. 30. Análisis de la interacción<br />N-tuplas: el usuario U accede al servicio S mediante el dispositivo D sobre el objeto O en el momento T con resultado R<br />Paradata: datos sobre un recurso generados durante su uso<br />Análisis realizado mayoritariamente off-line pero toma de decisiones on-line<br />7<br />SPDECE 2011, 15-17 de Junio, Ciudad Real<br />
  31. 31. Construcción del modelo<br />8<br />SPDECE 2011, 15-17 de Junio, Ciudad Real<br />EVA<br />dispositivo<br />usuario<br />UI<br />paradata<br />modelo<br />
  32. 32. Técnicas de minería de datos<br />Supervisadas:<br />Clasificación / Predicción<br />Regresión<br />No supervisadas:<br />Clustering<br />Reglas de asociación<br />Reducción de dimensionalidad<br />9<br />SPDECE 2011, 15-17 de Junio, Ciudad Real<br />
  33. 33. Selección de un modelo<br />No existe un “clasificador universal”<br />Aspectos importantes:<br />Número de parámetros (fine-tuning)<br />Coste computacional<br />Actualización on-line / off-line<br />Interpretación<br />Robustez<br />Combinación de modelos -> soluciones ad-hoc<br />SPDECE 2011, 15-17 de Junio, Ciudad Real<br />10<br />
  34. 34. Datos educativos<br />Características:<br />Múltiples fuentes<br />Datos no estructurados (p.e. itinerarios)<br />Mayoritariamente categóricos<br />Valores perdidos<br />Imposible asumir independencia / normalidad<br />Distribuciones “longtail”<br />Es necesario adaptar los algoritmos clásicos<br />11<br />SPDECE 2011, 15-17 de Junio, Ciudad Real<br />
  35. 35. Privacidad y seguridad<br />Privacidad:<br />Los usuarios conocen que se recogen datos<br />Anonimización de los datos<br />No identificación de perfiles individuales<br />Atención a colectivos con necesidades especiales<br />El sistema recomienda, no obliga (poco intrusivo)<br />Seguridad:<br />Manipulación del perfil de usuario<br />“Gaming the system”<br />12<br />SPDECE 2011, 15-17 de Junio, Ciudad Real<br />
  36. 36. La UOC como laboratorio<br />1994 -> 200 estudiantes; 2011 -> > 40000<br />Completamente online / digital<br />Gestión de datos:<br />Servicios informáticos<br />Marketing<br />Área de planificación y evaluación<br />Extracción de datos semi-automatizada<br />Falta de un modelo de datos completo<br />13<br />SPDECE 2011, 15-17 de Junio, Ciudad Real<br />
  37. 37. Fuentes de datos<br />Logs del sistema:<br />Múltiples servicios / servidores<br />Análisis del contenido:<br />Manual / semi-automático<br />Perfil socio-demográfico<br />Proceso de captación<br />Historial de matrícula<br />Rendimiento académico<br />Encuestas<br />14<br />SPDECE 2011, 15-17 de Junio, Ciudad Real<br />
  38. 38. Niveles de análisis<br /><ul><li>Nivel de sesión:
  39. 39. ¿Qué hace el usuario cuando se conecta?
  40. 40. Nivel de actividad / curso / semestre:
  41. 41. ¿Qué hace el usuario en una serie de conexiones?
  42. 42. Nivel de grado / lifelonglearning:
  43. 43. ¿Cómo avanza el usuario en su carrera académica?</li></ul>15<br />SPDECE 2011, 15-17 de Junio, Ciudad Real<br />
  44. 44. Nivel de sesión<br /><ul><li>¿Qué hace el usuario cuando se conecta?
  45. 45. Datos y duración de la conexión
  46. 46. Dispositivo de acceso
  47. 47. Espacios visitados
  48. 48. Servicios utilizados
  49. 49. Patrón de navegación
  50. 50. Análisis de la carga del sistema
  51. 51. Detección de fraude
  52. 52. Adaptación del formato de los contenidos</li></ul>16<br />SPDECE 2011, 15-17 de Junio, Ciudad Real<br />
  53. 53. Ejemplo: nivel de sesión<br /><ul><li>Página de inicio de la UOC:
  54. 54. Acceso a diferentes partes del Campus Virtual
  55. 55. Información / accesos duplicados
  56. 56. Plataforma como gestor de correo (25 %)
  57. 57. Espacios nunca accedidos (nada bajo scrolling)
  58. 58. Rediseño basado en widgets personalizables</li></ul>“Captura y análisis del comportamiento de los usuarios en entornos virtuales de aprendizaje: el Campus Virtual de la UOC”, Tesis presentada por Enric Mor, 16/6/2008<br />17<br />SPDECE 2011, 15-17 de Junio, Ciudad Real<br />
  59. 59. Nivel de actividad<br /><ul><li>¿Qué hace el usuario en una serie de conexiones?
  60. 60. Itinerario formativo
  61. 61. Seguimiento de la evaluación continuada
  62. 62. Visualización del grupo / individuo
  63. 63. Avisos y recordatorios
  64. 64. Detección de situaciones de riesgo</li></ul>18<br />SPDECE 2011, 15-17 de Junio, Ciudad Real<br />
  65. 65. Ejemplo: nivel de actividad<br /><ul><li>Itinerarios formativos adaptativos:
  66. 66. Basados en IMS Learning Design
  67. 67. Sistema de recomendación de itinerarios
  68. 68. Perfiles de usuario: test inicial + intereses
  69. 69. Datos de seguimiento + rendimiento académico
  70. 70. Relación entre itinerario y rendimiento</li></ul>“La especificación IMS-LD para la descripción formal de itinerarios formativos adaptativos”, Tesis presentada por Ana-Elena Guerrero, 5/4/2011<br />19<br />SPDECE 2011, 15-17 de Junio, Ciudad Real<br />
  71. 71. Nivel de grado<br /><ul><li>¿Cómo avanza el usuario en su carrera académica?</li></ul>Historial de matrícula<br />Rendimiento académico<br />Abandono<br />Recomendación de matrícula<br />Detección de cuellos de botella<br />20<br />SPDECE 2011, 15-17 de Junio, Ciudad Real<br />
  72. 72. Ejemplo: nivel de grado<br />Definición de abandono (educación on-line):<br />Pre-requisitos y co-requisitos sólo cómo recomendaciones<br />Normativa de permanencia muy laxa<br />Los estudiantes toman “descansos” de uno o más semestres consecutivos<br />Definición de abandono oficial no compatible<br />Diferencias por programa / estudios<br />Perfil del estudiante que abandona<br />21<br />SPDECE 2011, 15-17 de Junio, Ciudad Real<br />
  73. 73. El proyecto MAVSEL<br />MAVSEL: Minería, Análisis y Visualización de datos basada en modelos Sociales en E-Learning<br /><ul><li>Referencia: TIN2010-21715-C02-01 / 02
  74. 74. Proyecto conjunto UAH / UOC
  75. 75. Desde 1/1/2011 hasta 31/12/2013
  76. 76. Actualmente:
  77. 77. Identificación de escenarios educativos relevantes
  78. 78. Literature review sobre Data Mining in E-Learning</li></ul>22<br />SPDECE 2011, 15-17 de Junio, Ciudad Real<br />
  79. 79. MAVSEL<br />Objetivos:<br />Identificación de la interacción en escenarios educativos:<br />Modelo conceptual de datos generados (paradata)<br />Estándares y especificaciones<br />Una nueva variable: dispositivos móviles<br />Selección de técnicas de minería de datos<br />Integración en herramientas de software libre<br />Piloto: mejora del repositorio institucional<br />23<br />SPDECE 2011, 15-17 de Junio, Ciudad Real<br />
  80. 80. Escenarios Educativos<br />Definición: espacio (virtual / blended) donde confluyen usuarios, servicios y contenidos<br />Se recogen datos de la interacción generada durante el proceso de aprendizaje<br />¿Cómo “actúan” los usuarios en el escenario?<br />¿Cuáles son los puntos débiles del escenario?<br />24<br />SPDECE 2011, 15-17 de Junio, Ciudad Real<br />
  81. 81. Planteamiento<br />Conocer mejor a los usuarios:<br />“Tú no eres el usuario”<br />Conocer mejor el propio escenario educativo<br />Mejora de un escenario educativo mediante:<br />Perfiles de usuario -> Personalización<br />Sistemas de recomendación<br />Esquemas de reputación<br />Visualización de la interacción<br />25<br />SPDECE 2011, 15-17 de Junio, Ciudad Real<br />
  82. 82. Ejemplos de escenarios<br />Curso en Moodle<br />Aula virtual UOC<br />Grupo en Facebook<br />Seguimiento de un evento en twitter<br />Compartir recursos mediante delicious<br />Repositorio institucional<br />Sistema de recomendación de matrícula<br />…<br />26<br />SPDECE 2011, 15-17 de Junio, Ciudad Real<br />
  83. 83. El modelo SIOC<br />27<br />SPDECE 2011, 15-17 de Junio, Ciudad Real<br />SemanticallyInterlinked Online Communities<br />
  84. 84. Ejemplo: repositorio institucional<br />Basado en tecnología DSpace<br />Modelo de metadatos: Dublin Core (q)<br />Tres áreas:<br />Docencia<br />Investigación<br />Institucional<br />Gestionado por la Biblioteca pero los usuarios pueden “auto-archivar”, la Biblioteca valida<br />28<br />SPDECE 2011, 15-17 de Junio, Ciudad Real<br />
  85. 85. O2 http://openaccess.uoc.edu<br />Creado en Marzo de 2010<br />Más de 2100 documentos en abierto (↑↑↑)<br />Mandato institucional desde Noviembre 2010<br />Pero… (curso a personal docente colaborador):<br />40 personas, ninguna conocía / usaba el repositorio<br />Algunas de ellas incluso tenían documentos (p.e. TFC)<br />… aunque gran interés por utilizarlo<br />SPDECE 2011, 15-17 de Junio, Ciudad Real<br />29<br />
  86. 86. Servicios disponibles<br /><ul><li>Búsqueda por:
  87. 87. Fecha de publicación
  88. 88. Título
  89. 89. Autor
  90. 90. Materias (palabras clave)
  91. 91. Resultados en orden ascendente / descendente
  92. 92. Listado de recursos recientemente subidos
  93. 93. Descarga del contenido seleccionado</li></ul>30<br />SPDECE 2011, 15-17 de Junio, Ciudad Real<br />
  94. 94. Problemas conocidos<br /><ul><li>Dos objetivos contradictorios:
  95. 95. Preservación (conservar la momia)
  96. 96. Diseminación (compartir la momia)
  97. 97. Realidad:
  98. 98. Poco uso por parte de usuarios finales (profesores / estudiantes / público en general)
  99. 99. Falta de integración en el proceso de aprendizaje
  100. 100. Interfaz de usuario poco amigable
  101. 101. Materiales docentes que no acaban de encajar</li></ul>31<br />SPDECE 2011, 15-17 de Junio, Ciudad Real<br />
  102. 102. Perspectiva docente<br />El repositorio institucional es un mero sistema de gestión de documentos, no es parte del proceso de aprendizaje<br />Ningún estudiante buscará por fecha o autor<br />No todos los recursos tienen un título claro<br />Recursos de granularidad y tipología diversas<br />Las palabras clave no están estructuradas<br />El rol del estudiante es completamente pasivo<br />SPDECE 2011, 15-17 de Junio, Ciudad Real<br />32<br />
  103. 103. Nuevos servicios<br />Añadir comentarios<br />Valorar<br />Marcar como favorito<br />Compartir / “re-publicar” un recurso<br />Etiquetar un recurso<br />Subscripción a un recurso<br />Recursos interesantes / relacionados<br />Búsqueda facetada<br />Promover navegación sobre búsqueda<br />33<br />SPDECE 2011, 15-17 de Junio, Ciudad Real<br />
  104. 104. Esquemas de reputación<br />Respecto a los recursos:<br />Recurso más accedido / con más actividad<br />Recurso mejor valorado<br />Respecto a los usuarios:<br />Usuario más activo<br />Usuarios “expertos” (aprendizaje P2P)<br />34<br />SPDECE 2011, 15-17 de Junio, Ciudad Real<br />
  105. 105. Sistemas de recomendación<br />Respecto a los recursos:<br />Recursos más “cercanos”:<br />Implícitamente: dc.relation<br />Explícitamente: descripción similar<br />Otros recursos visitados (p.e. Amazon)<br />Respecto a los usuarios:<br />“Colegas”<br />Expertos<br />35<br />SPDECE 2011, 15-17 de Junio, Ciudad Real<br />
  106. 106. Búsqueda facetada<br />Huir de búsquedas tipo Google<br />Búsqueda por diferentes parámetros al mismo tiempo (filtrado)<br />Contextualizada:<br />Perfil del usuario<br />Dispositivo de acceso / uso previsto<br />Calendario académico<br />Mejor 5 recursos realmente útiles que 50<br />36<br />SPDECE 2011, 15-17 de Junio, Ciudad Real<br />
  107. 107. Interfaz de usuario<br />Adaptada al perfil del usuario<br />Uso de taxonomías y vocabularios<br />Vínculo entre recursos y competencias<br />Resultados ordenados por interés <br />Recursos relacionados<br />Potenciar la navegación<br />Incluir los nuevos servicios <br />Recordar el historial de búsquedas<br />SPDECE 2011, 15-17 de Junio, Ciudad Real<br />37<br />
  108. 108. Conclusiones<br />Evaluar el proceso de aprendizaje, no tan solo el resultado final<br />Proceso de mejora continua del escenario educativo<br />Incrementar el conocimiento sobre los estudiantes<br />Es necesario recoger y preparar los datos<br />Faltan herramientas de propósito general<br />38<br />SPDECE 2011, 15-17 de Junio, Ciudad Real<br />
  109. 109. Trabajo futuro<br />Calendario del proyecto MAVSEL:<br />Añadir servicios al repositorio institucional<br />Recoger datos durante un semestre<br />Construir esquemas de reputación / sistemas de recomendación<br />Evaluar y repetir<br />Extender el modelo SIOC<br />Mejorar la construcción de modelos para EDM<br />39<br />SPDECE 2011, 15-17 de Junio, Ciudad Real<br />
  110. 110. Muchas gracias!<br />Contacto: jminguillona@uoc.edu<br />twitter/@jminguillona<br />http://mavsel.blastgroups.com<br />http://personal.uoc.edu/MAVSEL<br /> CC-BY-NC-SA<br />40<br />SPDECE 2011, 15-17 de Junio, Ciudad Real<br />

×