Le projet Hubble et les Learning analytics, introduction

1. Learning analytics et Hubble
Vanda.luengo@upmc.fr
Laboratoire LIP6, équipe MOCAH
Université Pierre et Marie Curie
1
http://hubblelearn.imag.fr

2. Educational
Data Mining
Learning Analytics
Teaching Analytics
Academic Analytics
2

3. Learning Analytic, définitions
• Analytic
Techniques informatiques, mathématiques et statistiques pour révéler une
information pertinente à partir de larges ensembles de données.
• Marketing
• Biologie
• …
• Collecte, analyse, évaluation et communication des données relatives aux
apprenants, leur contexte d’apprentissage, dans la perspective d’une
compréhension et d’une optimisation de l’apprentissage et de son
environnement
Traduction à partir de SIEMENS, 2011

4. EDM et LA
EDM LA
International Educational Data Mining Society Society for Learning Analytics Research
http://www.educationaldatamining.org/ http://www.solaresearch.org/
2007 2011
“discipline, concerned with developing methods for
exploring the unique types of data that come from
educational settings, and using those methods to better
understand students, and the settings which they learn in”.
[Baker, Yacef 2007]
“the measurement, collection, analysis and reporting of
data about learners and their contexts, for purposes of
understanding and optimizing learning and the
environments in which it occurs” [Siemens 2011]
Fouille de données automatisées : méthode de
découverte automatisée en vue d’établir les meilleures
prédictions possibles.
Outils d’aide à la décision : méthode de découverte des
données par les acteurs de l’apprentissage, via des
modules d’Analytics et de visualisation.
procède en réduisant le système d'apprentissage à ses
composantes principales, en modélisant séparément les
apprenants, les tuteurs, le domaine enseigné etc.
privilégie une approche systémique, appréhendant la
situation d'apprentissage comme un ensemble.
Journal of Educational Data Mining
Journal of Learning Analytics
URL : http://learning-analytics.info/
International Educational Data Mining Conferences Conference on Learning Analytics and Knowledge (LAK)
4

5. Academic et Learning analytics
Academic Analytics Learning Analytics
A process for providing education
institutions with the data necessary to
support operational and financial
decision making*
The use of analytic techniques to help
target instructional, curricular, and
support resources to support the
achievement of specific learning goals*
Focused on the
business of the institution
Focused on the student and
their learning behaviors
Management/executives are
the primary audience
Learners and instructors are
the primary audience
* - Analytics in Higher Education: Establishing a Common Language
Présentation Josh Baron, Apereo 2015 5

6. Learning Analytics, Objectifs
• Monitoring et analyse
• Prédiction et intervention
• Tutorat et mentorat (coaching)
• Suivi et feedback
• Adaptation
• Personnalisation et recommandation
• Réflexion
Traduction à partir de Chatti et al. (2012)
6

7. Learning Analytics, pour qui ?
• Apprenants
• Enseignants
• tuteurs
• responsables pédagogiques
• Institutions

8. Learning Analytics, quoi?
• données collectées à partir des actions explicites ou implicites des
étudiants et eu enseignants
d'après A. Boyer, 12/2015

9. Learning Analytics, quand ?
Passé Présent Future
Information
Que s’est-il
passé ?
(reporting)
Que se passe-t-il
actuellement ?
(Alertes)
Qu'est-ce qui va se
passer?
(Extrapolation)
Idée
Comment et
pourquoi est-ce
arrivé ?
(modélisation,
conception
expérimentale)
Quelle est la
meilleure prochaine
action ?
(Recommandation)
Qu'est-ce qui peut se
passer de pire/mieux ?
(Prédiction,
optimisation,
simulation)
Adapté et traduit de Van Hamelen & Workman 2012 et Danvenport et al. 2010
http://www.gartner.com/

10. Learning Analytics, comment ?
Prédictives
Classification
Régressions
Latent
Knowledge
estimation
Découverte de
structures
Clustering
Analyse
Factorielle
Outler
detection
Découverte
structure
domaine
Social
network
analysis
Analyse de relations
Règles
d’association
Corrélations
Patterns
séquentiels
Causalité
Autres méthodes
Process
minning
Analyse du
discours
Approches
multimodaux
Traduction libre à partir du projet européen FP7 LEA’sBOX
Types d’algorithmes

11. Learning Analytics, comment ?
• Visualisation
• facilitant la compréhension des analyses
=> Essentielle pour l’intervention Humaine
• Différentes usages
• Outil réflectifs, Pour la prise de décisions
• Associations de plusieurs visualisations
• Dashboard.
11

12. LA, en résume
Utilisateurs ciblés par
l’analyse
Motivation ou objectifs de
l’analyse
Greller & Drachsler, 2012
12

13. LA, en résume
Utilisateurs ciblés par
l’analyse
Motivation ou objectifs de
l’analyse
Greller & Drachsler, 2012
Types de données
collectées,
managées et
utilisées pour
l’analyse
techniques et outils pour
produire l’analyse des
données collectées
13

14. LA, en résume
Utilisateurs ciblés par
l’analyse
Motivation ou objectifs de
l’analyse
Greller & Drachsler, 2012
Types de données
collectées,
managées et
utilisées pour
l’analyse
techniques et outils pour
produire l’analyse des
données collectées
14
Limitations internes :
relatives aux facteurs humains, comme la compétence (interprétation,
pensée critique) et l’acceptation des conflits et complications avec les LA.
Limitations externes : Conventions (éthiques, personnels, ..) et les normes
(légales et contraintes organisationnels)

15. Un équilibre entre application et recherche
15
Tinan B., LAK 2015

16. Applications, quelques questions
• Comment rendre les étudiants conscients des
efforts qu’ils doivent fournir pour réussir leurs
études ?
• Comment aider les enseignants à personnaliser
leur enseignement ?
• Comment les universités peuvent aider les
étudiants à profiter des ressources mises à leur
disposition ?
Exemples repris de de présentation d’Anne Boyer, décembre 2015
http://education-enseignement.over-blog.com/
https://didapro.me
http://upmc.fr
16

17. Recherche EIAH, quelques thématiques
• Modèles d’apprenant à partir des données
• Typologies d’apprenant
• Méthodes et algorithmes d’adaptation
• Méthodes et modèles d’orchestration
• Modèles d’interactions entre apprenants
• …
17

18. 18
http://hubblelearn.imag.fr

19. • LIP6 (UPMC)
• LIG (UJF)
+ Associés : TICE-UJF, ThEMAS (TIMC), SUP
• IFE (ENS LYON)
• STEF (ENS Cachan)
• LIRIS (UCL)
• LabSTICC (Télécom Bretagne)
• LIUM (Université du Maine)
• OpenClassrooms
• LINA (U Nantes)
19
Hubble : réunir des acteurs EIAH
Pour créer une dynamique
nationale

20. Une vision du projet Hubble
20

21. Quelques concepts clés initiaux
• Cas d’étude : sont les matériaux de production et de tests des
scénarios d’analyse.
• Situation d’apprentissage, pédagogie, plateforme informatique, utilisateurs,..
• Scénarios d’analyse : description des analyses qui seront mises en
œuvre sur les plateformes de traitements
• Scénarios chercheurs => avec l’objectif d’accompagner la production de
connaissances
• Scénarios décideur => avec l’objectif d’accompagner la décision
• Utilisation d’un scénario : mise en ouvre dans un cas d’étude pour un
type d’utilisateur
21

22. 22
Cas
d’étude
• Données
• Scénarios
• Modèles
pédagogiques
Collecte
•Outils :
plateformes,
algorithmes
•Traces
Analyse
•Processus
•Langages
•Patterns
Exploitat
ion
•Tableaux de
bord pluri-
acteurs
•Publications
3 itérations
Méthode DBR
Ethique et Déontologie

23. Projet HUBBLE
travail sur des cas pratiques
Cas d’étude
• MOOCs
• Jeux sérieux
• Plateformes
d’exercice
• Formalisation
des cas et
scénarios
Collecte
• Test d’outils
Analyse
• Qualité QCM
• Types
d’apprenants
• Évolution
activité
• Parcours
d’apprenants
Exploitation
Ethique et Déontologie
23
Une première année exploratoire
• Quelques
visualisations
• Début de
publications

24. Première itération : scénarios
d’analyses
• Scénario 1 : qualité des questions de
type QCM
• Scénario 2 : identifier des types
d’apprenants
• Scénario 3 : évolution des apprenants
au cours du temps
• Scénario 4 : découvrir le parcours des
apprenants sous forme de pattern
Qualité
Personnalisat
ion
Discriminatio
n
Evaluation
24

25. La suite
• Exemples
• Learning Analytics, vision of the future
25

26. Exemples
• Cas d’étude Superviseur
• Cas d’étude PACES, Grenoble
26

27. Exemple, Superviseur
27
Philippe Dessus, Olivier Cosnefroy, Vanda Luengo, EC-TEL 2016
http://superviseur.lip6.fr/

28. Exemple, Superviseur
• Questions de recherche :
• Problématique : analyse de la gestion de l’interaction par les enseignants
• Hypothèse : Les enseignants utilisent un groupe de référence pour gérer les
interactions
• Mais dans le contexte applicatifs
Problème : surcharge cognitive pour la gestion d’une classe hétérogène
• Question : Comment aider l’apprenant à améliorer la qualité de l’interaction
dans une classe ?
• Type d’intervention : Formation des enseignants
• Considérations éthiques: données apprenants, type d’analyse (formatif et
non évaluatif)
28

29. Exemple, Superviseur,
données et analyses
29
https://undertracks.imag.fr/
Philippe Dessus, Olivier Cosnefroy, Vanda Luengo, EC-TEL 2016

30. Semaine1 Semaine2 Semaine3 Semaine4 Semaine5 Semaine6 Semaine7 …
CoursDVD FLQ SEPI Tutorat
Etude des cours sur DVD
Formulation en Ligne des Questions (FLQ)
Séances d'Enseignement Présentiel Interactif (SEPI)
Séances de Tutorat
CoursDVD FLQ SEPI Tutorat
CoursDVD FLQ SEPI Tutorat
CoursDVD FLQ SEPI Tutorat
CoursDVD FLQ
CoursDVD FLQ SEPI
1 séquence
d’apprentissage=
PACES, Grenoble
30

31. PACES Grenoble
• Problème : Nombre d’apprenants trop important.
• Type d’intervention : humaine
• Considérations éthique: situation de concours.
Question : comment rattraper certains étudiants qui risquent de
raccrocher ?
=> Evolution apprenant
Question : comment aider l’enseignant à améliorer les QCM ?
=> Qualité du QCM
Crédit : PIERRE ANDRIEU / AFP
31

32. Données PACES, distribuées, extensives
2 Semestres – 6 Cycles par semestre– 3 à 4 Disciplines par cycle
Année universitaire
Inscription en
PACES
Concours
Septembre Janvier Mai
Semestre 1 Semestre 2
Résultats de chaque séance de tutorat
Concours
Résultats
finaux
Inscriptions.xls Données QCM par discipline
Concordance.xls
ResFinaux.xls
Numéro anonyme
N lignes par étudiantNuméro UJF
1 ligne par étudiant
Numéro UJF
1 ligne par
étudiantNuméro
anonyme
Numéro
UJF
1 ligne par étudiant Travail Laura Dupuis, 2014
32

33. Analyses, PACES, découverte de structures
• Étudier les évolutions des apprenants
• Comprendre les résultats concours en fonction des résultats obtenus aux
QCM
• Outils : Statistiques Descriptives & Visualisations
• Création de typologies
• Outils :
• ACM : Structurer les données en fonction des variables initiales : 3 axes
• CAH : Représentation simplifiée des données en formant des classes : 4
classes
1) notes TB/B, très présents, Bac S (Mention TB/B), ADMIS, Nb Insc. : 2-3
2) notes variantes, assez présents, Bac S (Mention AB), EXCLUS, Nb Insc. : 2-3
3) notes mauvaises, peu présents, Bac ≠ S, EXCLUS, Nb Insc. : 4
4) notes mauvaises, assez présents, Bac S (Mention AB), AJOURNÉS, Nb Insc. : 1
33
Travail Laura Dupuis, 2014

34. Visualisations, PACES
34
Travail Laura Dupuis, 2014

35. Visualisations PACES
Année universitaire
S1 –C1 S2-C6
35
Visualisation plateforme Undertracks

36. Paces, qualité des QCM
• Data
• 10 years (2006-2015) with 16.731 MCQs and 15.915.916 answers to both
tutorials and final examination
• Analysis
• Descriptive statistics
• Classical Test Theory (CTT),
• Cronbach's alpha, are used to evaluate tests and Item Response Theory (IRT) to analyze
MCQs.
• Scripts R
36Marie Fourcot, 2016

37. PACES, qualité des QCM, visualisations pour
les enseignants
37Marie Fourcot, 2016

38. PACES, qualité des QCM, visualisations pour
les apprenants
38Marie Fourcot, 2016

39. Learning Analytics 2025
39

40. Learning analytics, en 2025
=> “Visions of the Future “, Horizon Report D3.2 40

41. Learning analytics, en 2025
• Method Delphi
• Experts
• Écoles, apprentissage au travail, enseignement supérieur
• 103 avis à propos d’une ou plusieurs visions proposés (8 visions).
41
“Marty, you are going to fail Introduction to Physics during your sophomore year, make sure
you see a tutor after the first week of class and you’ll ace the final exam!”

42. Learning analytics, en 2025
• Vision 1: In 2025, classrooms monitor the physical environment to
support learning and teaching
• Vision 2: In 2025, personal data tracking supports learning
• Vision 3: In 2025, analytics are rarely used in education
• Vision 4: In 2025, individuals control their own data
• Vision 5: In 2025, open systems for learning analytics are widely adopted
• Vision 6: In 2025, learning analytics systems are essential tools of
educational management
• Vision 7: In 2025, most teaching is delegated to computers
• Vision 8: In 2025, analytics support self-directed autonomous learning
http://www.laceproject.eu/ 42

43. Vision 1: In 2025, classrooms monitor the physical
environment to support learning and teaching
• Cahiers, crayons, tablettes,…. auront des capteurs.
• Cameras à reconnaissance facial traceront
l’apprenant.
• Ces informations seront utilisés pour suivre le progrès
de l’apprenant.
• Prise en charge de l'apprentissage d'un large éventail
de compétences physiques.
• Les enseignants seront alertés des signes d’ennui,
confusion ou éloignement de la tâche attendue.
• Les enseignants suivront les interactions sociales
numériques et pourront identifier où ils devront
favoriser la socialisation et le comportement
collaboratif.
Copyright © 2016 Nicolas-Denis.net
http://www.laceproject.eu/

44. Vision 2: In 2025, personal data tracking
supports learning
• Des capteurs sophistiqués livreront des informations
personnels tels que la posture, le stress, l’attention, le niveau
de sucre dans le sang…
• Les personnes collectent leurs informations et l’utilisent dans
leurs programmes pour avoir des recommandations sur leurs
apprentissages.
• Les apprenants récupèrent les statistiques et les données
associées aux facteurs de réussite des apprentissages dans un
domaine particulier.
• Des institutions d’enseignement connues vendent des
programmes, à partir de ces informations, pour optimiser
l’apprentissage en fonction des âges et des cours.
• Des entreprises font la même chose pour certains domaines.
• Certains étudiants partagent leur savoir faire.
• La plus part des institutions d’apprentissage suivent les
programme d’auto-supervision.
http://soocurious.com/fr/intelligence-artificielle-homme/
http://www.laceproject.eu/

45. Vision 3: In 2025, analytics are rarely used in
education
• Les cours que sont automatisés, utilisant
les LA, sont méprisés.
• Les apprenants ont compris qu’ils
peuvent « jouer » avec le système.
• Il y aura un grand vide sur la gestion des
données sensibles et des usages abusifs.
• L’usage des données d’apprentissage
devra être approuvé par l’apprenant et
par des nouveaux inspecteurs.
• Un consensus a émergé dans la politique
éducative: l'abandon des LA
Source : présentation de David Griffiths,
Lyon, mars 2016
http://www.laceproject.eu/

46. Vision 4: In 2025, individuals control their
own data
• Les apprenant contrôlent
• le type et la quantité des données qu’ils
souhaitent partager.
• Avec qui ces données sont partagées (personnes,
institutions, entreprises,…)
• La durée de la disponibilité de ces données.
• Des outils pour permettre ces contrôles
sont clairement énoncés et facile
d’usage
• Les institutions sont engagés dans la
prise de conscience et reconnaissent les
problèmes
https://lejournal.cnrs.fr/billets/reprenons-le-
controle-de-nos-donnees
http://www.laceproject.eu/

47. Vision 5: In 2025, open systems for learning
analytics are widely adopted
• Les institutions éducatives demandent le
contrôle des outils des LA
• Comment les outils fonctionnent ?
• Pourquoi sont-ils utilisés ?
=> Conçoivent avec des fournisseurs des outils
accompagnant leurs visions stratégique.
• Plusieurs fournisseurs. Tous utilisent des
algorithmes ouverts et partagent les
données suivant des standards qui facilitent
la transparence et une validation
indépendante.
• Des visualisations, largement testées et
accessibles, sont utilisées.
• Les apprenants et enseignants peuvent
utiliser en toute confiance une gamme
d’outils.
Image http://www.resourcespace.org/
http://w utilisés ww.laceproject.eu/

48. Vision 6: In 2025, learning analytics systems are
essential tools of educational management
• Les systèmes de recommandation des ressources
sont largement utilisés.
• Un grand nombre de données d’apprenant est
utilisé pour générer des prédictions, de qualité
et en temps réel, sur la probabilité de réussite.
• Les apprenants et les enseignants planifient leur
travail sur la base d'outils fiables qui
recommandent et personnalisent sur ce qui doit
être fait pour obtenir le meilleur résultat
d'apprentissage.
• Une industrie croissante offre de services
institutionnels et individuels pour accompagner
cette activité.
• L’information prédictive est précise et permet
aux gestionnaires et aux décideurs d’agrandir ou
réduire leur offre de formation
http://www.laceproject.eu/

49. Vision 7: In 2025, learning is guided by
technology
• Développement d’un énorme corpus des
données contenant l’information des
millions d’apprenants.
• Recommandations automatique fiables,
basées sur l’expérience de ces corpus,
sur le meilleur chemin à prendre pour
réussir l’apprentissage.
• Les recommandations sont mieux
informées et plus fiables que celles des
meilleurs formateurs humains.
Source : présentation de David Griffiths,
Lyon, mars 2016
http://www.laceproject.eu/

50. Vision 8: In 2025, analytics support self-
directed autonomous learning
• Disparition des curriculum.
• Les étudiants créent leurs groupes et
décident leurs objectifs d’apprentissage
et les moyens pour les attendre.
• Les analytiques accompagnent les
échanges d’information et la
collaboration entre les groupes.
• Les enseignants deviennent des
mentors.
• Le suivi formatif est utilisé pour guider
les progrès vers les objectifs fixés .
Source : présentation de David Griffiths, Lyon, mars
2016http://www.laceproject.eu/

51. Vision 2025, quelques résultats
http://www.laceproject.eu/

52. Vision 2025, quelques résultats, souhaitable
http://www.laceproject.eu/

53. Vision 2025, quelques résultats, faisable
http://www.laceproject.eu/

54. Vision 2025, quelques résultats
http://www.laceproject.eu/
Thèmes émergeants dans les réponses textuelles

55. Quelques points de réflexion, à consulter
• Finding 1: A question mark over the prospects for learning analytics
achieving its potential
• Finding 2: Policies and infrastructure
• Finding 3: A consensus on pedagogy
• Finding 4: Power, ethics, and data ownership
• Finding 5: Disagreement between sectors, and between different
groups of respondents
• Finding 6: Technology
http://www.laceproject.eu/

56. Rapport sur l’analytiques des
apprentissages numériques,
décembre 2016
http://eduscol.education.fr/cid93919/la-mission-incubation-dne.html
56