Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

10_05_2019 Seminario eMadrid sobre «Tecnologías de la educación dentro y fuera del aula» / UAM

84 views

Published on

Presentación de Rosa M. Carro Salas, profesora titular en el Departamento de Ingeniería Informática de la UAM: «Análisis de datos, modelado de usuario y adaptación en contextos de aprendizaje»

Published in: Technology
  • Be the first to comment

  • Be the first to like this

10_05_2019 Seminario eMadrid sobre «Tecnologías de la educación dentro y fuera del aula» / UAM

  1. 1. Análisis de Datos, Modelado de Usuario y Adaptación en Contextos de Aprendizaje Rosa Mª Carro Salas Departamento de Ingeniería Informática Universidad Autónoma de Madrid
  2. 2. Nuevas posibilidades Fuentes para el aprendizaje Información sobre el usuario
  3. 3. Análisis de datos Modelado de usuario (UM) Analíticas del aprendizaje (LA) Análisis de datos
  4. 4. Análisis de datos Modelado de usuario (UM) Analíticas del aprendizaje (LA) Análisis de datos
  5. 5. Modelado de usuario • Aplicación o sistema adaptativo: Motor de adaptación Usuario Recursos adaptados Funcionalidad adaptada Herramientas Recursos Actividades Estrategias enseñanza & aprendizaje Recursos y herramientas adaptados Estrategias
  6. 6. Modelado de usuario Motor de adaptación Usuario Recursos adaptados Funcionalidad adaptada Herramientas Recursos Actividades Estrategias enseñanza & aprendizaje Recursos y herramientas adaptados Estrategias • Aplicación o sistema adaptativo:
  7. 7. Modelado de usuario ADAPTACIÓN AGRUPACIÓN RESULTADOSINFLUYE?(UM) Habilidades Personalidad Emociones Estilo de aprendizaje Contexto Intereses Preferencias Objetivos etc.
  8. 8. Modelado de usuario ADAPTACIÓN AGRUPACIÓN RESULTADOSINFLUYE(UM) Habilidades Personalidad Emociones Estilo de aprendizaje Contexto Intereses Preferencias Objetivos etc.
  9. 9. Modelado de usuario • Extraversion • Neuroticism • Conscientiousness • Openness to experience • Agreeableness Personalidad: NEO Five Factor Inventory (60) • Verbal (50) • Espacial (22) • Razonamiento general (30) Inteligencia: Primary Mental Abilities (102) • Percepción (sensing/intuitive) • Procesamiento (active/reflective) • Input (visual/verbal) • Comprensión (sequential/global) Estilos de aprendizaje: Felder-Solomon (44) Cuestionarios
  10. 10. Modelado de usuario ¿Forma alternativa de obtener la información? Objetivo: forma menos intrusiva posible (UM) Habilidades Personalidad Emociones Estilo de aprendizaje Contexto Intereses Preferencias Objetivos etc.
  11. 11. Adquisición de UM Estilos de aprendizaje Emociones & estados emocionales Personalidad Towards Inferring Sequential-Global Dimension of Learning Styles from Mouse Movement Patterns. D Spada, M Sanchez, P Paredes, RM Carro AH’2008, LNCS 5149, 337-340, 2008 Movimientos del ratón Cuestionarios (acortados) adaptativos Texto trabajo Mensajes de estado en Facebook: SentBuk Interacciones en Facebook: TP2010 Mensajes en Twitter
  12. 12. Adquisición de UM Mouse movements Learning styles (ILS) Offline processing 0 5 10 15 -11 -9 -7 -5 -3 -1 1 3 5 7 9 11 maximum vertical speed (pixels / ms) sequential/globaldimensionscore 0 5 10 15 -1 1 maximum vertical speed (pixels / ms) sign(sequential/globaldim.score) sequentialglobal seq global maximum vertical speed (pixels/ms) maximum vertical speed (pixels/ms) r = -0.8accuracy = 94.4%
  13. 13. Adquisición de UM AH-questionnaire: An adaptive hierarchical questionnaire for learning styles A Ortigosa, P Paredes, P Rodriguez Computers & Education 54 (4), 999-1005, 2010 Estilos de aprendizaje Emociones & estados emocionales Personalidad Movimientos del ratón Cuestionarios (acortados) adaptativos Texto trabajo Mensajes de estado en Facebook: SentBuk Interacciones en Facebook: TP2010 Mensajes en Twitter
  14. 14. Adquisición de UM Versión adaptativa cuestionario Silver-Solomon: Dimensión sensorial-intuitivo: 6 preguntas máximo (vs. 11) Modelos de clasificación Árboles de decisión
  15. 15. Adquisición de UM Detecting and making use of emotions to enhance student motivation in e–learning environments. P Rodriguez, A Ortigosa, RM Carro. IJCEELL 24 (2), pp. 168-183, 2014 Estilos de aprendizaje Emociones & estados emocionales Personalidad Movimientos del ratón Cuestionarios (acortados) adaptativos Texto trabajo Mensajes de estado en Facebook: SentBuk Interacciones en Facebook: TP2010 Mensajes en Twitter
  16. 16. Adquisición de UM • Análisis de texto escrito (trabajos) • Diccionarios de emociones 12 trabajos mismo estudiante: Joy AngerDisgust Fear Surprise SadnessIntellectualy Empathy Spirituality Neutral Happiness Negative Positive Zinck & Newen (2008)
  17. 17. Adquisición de UM Sentiment analysis in Facebook and its application to e-learning A Ortigosa, JM Martín, RM Carro. Computers in Human Behavior 31, 527-541. 2014 Estilos de aprendizaje Emociones & estados emocionales Personalidad Movimientos del ratón Cuestionarios (acortados) adaptativos Texto trabajo Mensajes estado Facebook: SentBuk Interacciones en Facebook: TP2010 Mensajes en Twitter
  18. 18. Adquisición de UM Análisis de Sentimientos en SentBuk: • Mensajes positivos, neutros y negativos • Compañeros positivos, neutros y negativos • Evolución a lo largo del tiempo Técnicas de PLN y aprendizaje automático Solución híbrida lexical-based + machine-learning precision = 83,27%
  19. 19. Adquisición de UM Predicting user personality by mining social interactions in Facebook A Ortigosa, RM Carro, JI Quiroga Journal of Computer and System Sciences 80 (1), 57-71, 2014 Estilos de aprendizaje Emociones & estados emocionales Personalidad Movimientos del ratón Cuestionarios (acortados) adaptativos Texto trabajo Mensajes estado Facebook: SentBuk Interacciones en Facebook: TP2010 Mensajes en Twitter
  20. 20. TP-2010 • Infiere personalidad a partir de acciones en Facebook: Datos de > 11.000 usuarios Cuestionario ZKPQ-50-cc Aprendizaje automático Personalidad Recomendación basada en personalidad Comparación perfiles Adquisición de UM Árboles de clasificación. Precisión con 5 clases: entre 79.87% para Activity y 82.82% para Aggression-Hostility
  21. 21. Adquisición de UM Inferring User Personality from Twitter. J. Llanos, A Ortigosa, RM Carro Trabajo Fin de Máster de Julia Llanos Estilos de aprendizaje Emociones & estados emocionales Personalidad Movimientos del ratón Cuestionarios (acortados) adaptativos Texto trabajo Mensajes estado Facebook: SentBuk Interacciones en Facebook: TP2010 Mensajes en Twitter
  22. 22. Sistemas y Apps adaptadas •Facilitar aprendizaje •Ayudarles a desarrollar habilidades E-LEARNING, E-TRAINING •Ayudarles a sobreponerse a las dificultades mientras tanto ASISTENCIA
  23. 23. Sistemas y Apps adaptativas Y muchas gracias por vuestra participación Emotions and inclusion in e-learning: student modelling and adaptive e-training. R.M. Carro, Keynote speaker, e-Learning 2018
  24. 24. Análisis de datos Modelado de usuario (UM) Analíticas del aprendizaje (LA) Análisis de datos
  25. 25. SPA: Sistema de Predición de Abandono A. Ortigosa, R.M. Carro, J. Bravo-Agapito, D. Lizcano, J.J. Alcolea and O. Blanco From Lab to Production: Lessons Learnt and Real-Life Challenges of an Early Student-Dropout Prevention System. IEEE Transactions on Learning Technologies UAM, UDIMA y DIMETRICAL:The Analytics Lab • Contexto: – universidades online (UDIMA) • Objetivos: – evitar abandono – maximizar la efectividad de esfuerzos institucionales • ¿Cómo? – predecir riesgo de abandono – intervenir para tratar de evitarlo
  26. 26. SPA: Sistema de Predicción de Abandono • Fuentes información: – UNIVERSITAS-XXI o Datos administrativos y académicos o Datos sociodemográficos – Moodle o Interacciones • Predicciones: – Tempranas: tras matrícula – Dinámicas: periódicamente • Estudiantes nuevos vs. Estudiantes “antiguos”
  27. 27. SPA: Modelos predictivos Generación de modelos: • Distintos algoritmos: Random Forest, C5.0,… • Entrenamiento con datos de: – 11.000 usuarios, más de 120 atributos para cada uno – Últimos 5 años, cientos de millones de registros, varias BBDD ≈ 50 GB Estudiantes nuevos • 1 predicción inicial (modelo estático) • Predicciones periódicas (modelos dinámicos) Estudiantes antiguos • 1 predicción inicial (modelo estático) • Predicciones periódicas (modelos dinámicos)
  28. 28. SPA: El sistema Implementación de SPA (DIMETRICAL). Módulos: - Extraction/transformation/load engine (ETL) - Model generation framework - Scoring engine - Web application
  29. 29. SPA: El sistema Vista general de grado: nº estudiantes por nivel de riesgo.
  30. 30. SPA: El sistema Inf. de estudiante: nivel de riesgo, acciones de retención, etc.
  31. 31. SPA: Intervenciones • SPA permite registro e inspección de intervenciones. • ¡Intervenir lo antes posible! – E-mails – Llamadas telefónicas • Percepción sobre el impacto: – Positivo/negativo/neutro • Beneficios de retención: – Incrementa satisfacción de los estudiantes – Mejora índices y reputación de la universidad – Económico: cuesta menos retener que atraer
  32. 32. SPA: Uso del sistema • 3 semestres: 2016/17 – 2017/18 (pronto disponible inf. sobre persistencia en 2018/19) • 5.700 estudiantes de grado • 117.000 valores de riesgo calculados • 13.000 acciones de retención registradas: – 81% e-mails, 19% llamadas – 77% neutras, 22% positivas, 1% “negativas” • Departamento de Atención y Orientación al Estudiante (UDIMA)
  33. 33. SPA: Uso del sistema Resultados: • Actuar si riesgo > 25% ha supuesto atender: - 60% casos de abandonos reales - 20% estudiantes que persisten (¿habrían persistido sin intervención? ¿éxito: retención?) • Fijando falso positivo = 20%, sensitivity = 65,5%. • Estudiantes con alto riesgo (>50%): – quienes han persistido han recibido más acciones de retención que quienes han abandonado (0,89 vs. 0,69) • Llamadas parecen más efectivas que e-mails
  34. 34. SPA: Uso del sistema Comunicando resultados:
  35. 35. SPA: Experiencia producción Retos afrontados y lecciones aprendidas: • Efectividad del coste y viabilidad • Cambios de contexto (organizativos y operacionales) • Explicabilidad de los modelos • Integración con sistemas en continua evolución • Validez de los modelos de predicción • Mantenimiento y evolución • Cumplimiento legal
  36. 36. Análisis de Datos, Modelado de Usuario y Adaptación en Contextos de Aprendizaje Rosa Mª Carro Salas Departamento de Ingeniería Informática Universidad Autónoma de Madrid?

×