Presentatie gegeven tijdens https://www.surf.nl/agenda/2018/05/seminar-aan-de-slag-met-learning-analytics/index.html. Ervaringen met learning dashboard opgedaan binnen KU Leuven in kader van twee Erasmus+ projecten ABLE en STELA.

1. Learning analytics tussen droom en daad
eerlijke ervaringen uit concrete implementaties
Tinne De Laet
Tinne.DeLaet@kuleuven.be
@TinneDeLaet

2. https://mfeldstein.com/purdue-course-signals-data-issue-explainer/

3. “Learning analytics is about
collecting traces that learners
leave behind and using those
traces to improve learning.”
- Erik Duval
Learning Analytics and Educational Data Mining, Erik Duval’s Weblog, 30 January 2012, https://erikduval.wordpress.com/2012/01/30/learning-analytics-and-educational-data-mining/ 3
Learning Analytics?

4. Learning Analytics?
4Greller, W. and Drachsler, H., 2012. Translating learning into numbers: A generic framework for learning analytics. Journal of Educational Technology & Society, 15(3), p.42.

5. Learning Dashboards?
5Dashboard Confusion, Stephen Few, Intelligent Enterprise, March 20, 2004
“A dashboard is a visual display of the
most important information needed to
achieve one or more objectives;
consolidated and arranged on a single
screen so the information can be monitored
at a glance.”
- Stephen Few

6. Successful Transition from secondary to higher
Education using Learning Analytics
enhance a successful transition from
secondary to higher education by means of
learning analytics
 design and build analytics dashboards,
 dashboards that go beyond identifying at-risk
students, allowing actionable feedback for all
students on a large scale.
Achieving Benefits from Learning Analytics
research strategies and practices for using
learning analytics to support students during
their first year at university
 developing the technological aspects of
learning analytics,
 focuses on how learning analytics can be used
to support students.
6
www.stela-project.eu
@STELA_project
2015-1-UK01-KA203-013767
www.ableproject.eu
@ABLE_project_eu
562167-EPP-1-2015-1-BE-EPPKA3-PI-FORWARD

7. STELA ♥ ABLE
7
actionable feedback
focus op studenten
& studieloopbaanbegeleiders
opleidingsniveau
inclusief
eerstejaarsstudenten
instellingsbreed
Learning Analytics
échte implementatie

8. Probleemstelling
overgang van secundair naar hoger onderwijs
 uitdagend vanuit academisch en sociaal perspectief
 studenten moeten zich aanpassen, maar hoe?
social-comparison
theory
 mensen evalueren hun
capaciteiten door
vergelijking met
anderen als objectieve
maatstaven ontbreken
 voor nieuwe studenten
ontbreekt vergelijkend
kader
self-efficacy
 “verwachting om
succesvol te zijn in
specifieke taak” ≈
situatiespecifiek
zelfvertrouwen
 academische self-
efficacy beïnvloedt
academische resultaten
feedback
 belangrijk voor
verhogen van
studiesucces
actionable feedback!
8

9. [!] Feedback moet “actionable” zijn.
9
Opgelet!
Mannen hebben 10%
minder kans om
succesvol te zijn.
Jij bent een man.
Opgelet!
Jouw online activeit
is lager dan gewenst!
actie?
?
actie?
?


10. 10
awareness
(self-)reflection
sensemaking
impact
data
questions
answers
behavior change
new meaning
Verbert K, Duval E, Klerkx J; Govaerts S, Santos JL (2013) Learning analytics dashboard applications. American Behavioural Scientist, 10 pages. Published online February 2013.
[!] Feedback moet “actionable” zijn.

11. probleemstelling
Wat we studenten vroegen …
★ hoeveel vertrouwen heb je dat je
succesvol zal zijn in het eerste jaar
★ studiegerelateerd gedrag dat
belangrijk is om succesvol te zijn
Learning dashboards
met
actionable feedback
die
eerste jaar
studiesucces
ondersteunen
Hoeveel vertrouwen heb je?
Wat is belangrijk om
succesvol te zijn?
Welke feedback wil
je ontvangen?
Confidence in and beliefs about first-year engineering student success, Tinne De Laet et al., Proceedings of the SEFI 2017 conference, Azores Islands Portugal
11

12. probleemstelling
★ ★ ★
★ ★ ★
★ ★ ★
Komt dit overeen met eigenlijke eerste jaar studiesucces?
drop-out
60%
24%
42%
Hebben nieuwe studenten vertrouwen?
Hoelezen?
12
Confidence in and beliefs about first-year engineering student success, Tinne De Laet et al., Proceedings of the SEFI 2017 conference, Azores Islands Portugal

13. probleemstelling
Welke studiegerelateerde activiteiten zullen belangrijk zijn om succesvol te zijn?
alles is belangrijk …. alleen twijfels over communicatie
13
De Laet T., Broos T., Van Staalduinen J., Ebner M., Langie G., Van Soom C., Schepers W. (2017). Confidence in and beliefs about first-
year engineering student success: case study from KU Leuven, TU Delft, and TU Graz. Proceedings of the 45th SEFI Conference. SEFI
Conference. Azores, Portugal, 18-21 September 2017 (pp. 1-9).

14. probleemstelling
14
Overgang van secundair naar hoger onderwijs is uitdagend.
Studenten willen “actionable” feedback.
Learning Analytics?
Learning Dashboards?

15. 15
interactie
zelfreflectie
LISSA
REX - scores
STUDIELOOPBAAN
BEGELEIDER
STUDENT
Erasmus+ project ABLE
LASSI - leervaardigheden
de dashboards

16. [!] Begin met gegevens die al
beschikbaar zijn.
veel data zou eventueel beschikbaar
kunnen komen …
… maar start met wat er vandaag is.
16
(*)
(*) Zarraonandia, T., Aedo, I., Díaz, P., & Montero, A. (2013). An augmented lecture feedback system to support learner and teacher communication.
British Journal of Educational Technology, 44(4), 616-628.

17. Case study
dashboard interactie student – studieloopbaanbegeleider

18. studieloopbaanbegeleider– student
18
Moet ik een andere
studie overwegen?
Kan ik de bachelor nog
op 3 jaar afmaken?
Kan je me helpen bij
het opstellen van mijn
programma?
Wat zijn je
persoonlijke
omstandigheden?
Hoe kan ik helpen?
Wat is de
volgende stap?

19. [!] Gebruik alle beschikbare expertise
in iteratief ontwerpproces.
19
visualisatie-
experten
onderzoekers
Learning
Analytics
Charleer S., Vande Moere A., Klerkx J., Verbert K., De Laet T. (2017). Learning Analytics Dashboards to Support Adviser-Student Dialogue.
In IEEE Transactions on Learning Technology (http://ieeexplore.ieee.org/document/7959628/).
studieloopbaanbegeleiders
eindgebruikers
onderzoekers eerste
jaar studiesucces

20. 20
LISSA dashboard

21. [!] Wording matters.
21
73% kans op succes
73% van studenten uit
eerdere cohortes met
zelfde studie-efficiëntie
behaalde bachelordiploma
http://blog.associatie.kuleuven.be/tinnedelaet/the-nonsense-of-chances-of-success-and-predictive-models/

22. LISSA dashboard
22
drie examenperiodes
observaties, interviews, enquête
piloot bij 2 ingenieursopleidingen
Charleer S., Vande Moere A., Klerkx J., Verbert K., De Laet T. (2017). Learning Analytics Dashboards to Support Adviser-Student Dialogue. In IEEE Transactions on Learning Technology

23. LISSA: evaluatie – observaties
23
15 observaties
insights
(-) factual
(+) interpretative
(!) reflective
Charleer S., Vande Moere A., Klerkx J., Verbert K., De Laet T. (2017). Learning Analytics Dashboards to Support Adviser-Student Dialogue. In IEEE Transactions on Learning Technology

24. LISSA: interviews studieloopbaanbegeleiders
“Als studenten de cijfers zien zijn ze verbaasd,
maar nu geloven ze me.
Vroeger gebruikte ik intuïtie en ervaring, nu voel
ik me ook meer zeker.”
“Het is als een
leidraad door het
gesprek.”
“Ik kan praten over wat te doen na de
resultaten, in plaats van elke keer de data
te zoeken en bij elkaar te puzzelen.”
“Studenten weten soms niet waar te kijken
tijdens het gesprek en vermijden oogcontact. Het
dashboard geeft hen een mogelijke focus.”
“Een student veranderde zijn
studiemethode in juni en kan
nu zien dat het opbracht.”
LISSA ondersteunt het persoonlijk gesprek.
 de mate van gebruik hangt af van de
ervaring en stijl van de
studieloopbaanbegeleider
 datagebaseerde informatie ter ondersteuning
verhaal
 helpt pad van de student in beeld te brengen
“Ik kan focussen op het
individueel pad van de
student, eerder dan op
de pure feiten.”
“Nu kan ik het
dashboard de schuld
geven en me richten
op het samen zoeken
naar de volgende stap
die we kunnen
nemen.”
24

25. LISSA: stand van zaken
25
26 opleidingen >4500 studenten
114 studieloopbaanbegeleiders
training voor
studieloopbaanbegeleiders door
Studieadvies op 3 campussen
http://blog.associatie.kuleuven.be/tinnedelaet/lissa-learning-dashboard-supporting-student-advisers-in-traditional-higher-education/
Millecamp M., Gutiérrez F., Charleer S., Verbert K., De Laet T.# (2018). A qualitative evaluation of a learning dashboard to support advisor-student
dialogues. Proceedings of the 8th International Learning Analytics & Knowledge Conference. LAK. Sydney, 5-9 March 2018 (pp. 1-5) ACM.
dashboards voor 3 examenperiodes
uitbreiding naar Universiteit Leiden

26. LISSA: evaluatie - studentenbevraging
26
26 programs @KU Leuven
291 ingevulde enquêtes
eerste examenperiode
“Confronterend maar
uiteindelijk ook wel
handig”
“Dashboard zelf thuis
kunnen raadplegen.”
“Aparte resultaten voor
oefeningen, theorie en labo
ook tonen in plaats van enkel
het totaalresultaat”
“Hoe weet ik of het
betrouwbaar is?”
“Is het mogelijk de grafieken
naar de student door te
sturen?”
“Zeer bondig en duidelijk.”

27. 27
0
0
1
1
1
4
2
1
4
4
29
21
36
37
49
176
112
156
132
141
80
155
93
116
92
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
1. Het dashboard is overzichtelijk.
2. De getoonde gegevens over mijn studiesituatie
zijn correct.
3. De getoonde positionering ten opzichte van mijn
medestudenten (histogrammen per vak en globale
evolutie) is betrouwbaar.
4. Een gesprek met mijn studieloopbaanbegeleider
helpt me om inzicht te krijgen in mijn studietraject.
5. De visualisaties in het dashboard gaven een
meerwaarde aan het gesprek.
Studentendashboard januari 2018
helemaal niet niet enigszins sterk zeer sterk

28. [!] Oversimplificeer niet, geef
onzekerheid weer.
28
• realiteit is complex
• meting is beperkt
• individuele factoren!
• nuance nodig
• lok reflectie uit
http://blog.associatie.kuleuven.be/tinnedelaet/the-nonsense-of-chances-of-success-and-predictive-models/

29. [!] Let op met predictieve algoritmes.
29
• realiteit is complex
• meting is beperkt
• individuele factoren!
• interpreteerbaarheid
noodzaak voor
acceptatie
http://blog.associatie.kuleuven.be/tinnedelaet/the-nonsense-of-chances-of-success-and-predictive-models/

30. Case study
studentgerichte dashboards

31. [!] Begin met gegevens die
beschikbaar zijn.
31
data already available?
administrative (examples)
student records course grades
systems (examples)
LMS access logs advisor meetings
)
Broos T., Verbert K., Van Soom C., Langie G., De Laet T.# (2018). Small data as a conversation starter for learning analytics: exam results dashboard for first-year students in higher
education. Journal of Research in Innovative Teaching & Learning, , 1-14.

32. [!] Zoek de data verder dan je
neus lang is.
32
• denk niet te traditioneel.
• veel instellingen verzamelen
gegevens in kader van onderzoek

33. [!] Niet alle gegevens zijn bruikbaar.
33
online activiteit van een “traditioneel eerstejaarsvak” (Toledo/VLE)
examenscore
activiteit/week (#dagen)
week van het jaar

34. [!] Niet alle gegevens zijn bruikbaar.
34
online activiteit van een “flipped teaching” eerstejaarsvak (Sofia)
examenscore
activiteit
(# gebruikte modules)
Geen enkele student die
minder dan 10 modules
gebruikte slaagde.
De meeste geslaagde
studenten gebruikten
≥15 modules.

35. [!] Hou rekening met learning
analytics bij leerontwerp.
35
Als LA bijdraagt tot leerproces en
potentieel beter leerontwerp …
maak LA dan geen nabeschouwing
Learning
Analytics
Learning Design
INFORM
ENABLE

36. 36
Is mijn concentratie
van belang?
Is mijn tijdbeheer
goed genoeg?
Ik voel me onzeker.
Is dat normaal?
Hoe kan ik mijn
concentratie
verbeteren?

37. data already available?
administrative (examples)
student records course grades
[!] Zoek de data verder dan je
neus lang is.
37
systems (examples)
LMS access logs advisor meetings
surveys (examples)
quality insurance LASSI

38. ~ 30 LASSI vragen
(verkorte versie)
LASSI: Leer- en studeervaardigheden
vb: Ik studeer alleen als er druk
is van een toets of test.
vb: Ik stel hoge eisen aan mezelf
voor mijn studies.
vb: Zelfs als ik goed voorbereid ben
voor een toets, voel ik me erg
ongerust.
ruwe scores
(5 van de 10)
CONCENTRATIE
MOTIVATIE
FAALANGST
TESTSTRATEGIËN
TIJDBEHEER
normscores
(start Vlaams Hoger Onderwijs)
vb: goed
vb: gemiddeld
vb: goed
vb: zeer goed
vb: zeer zwak
Pinxten, M., Van Soom, C., Peeters, C., De Laet, T., Langie, G., At-risk at the gate: prediction of study success of first-year science and engineering students in an
open-admission university in Flanders—any incremental validity of study strategies? Eur J Psychol Educ (2017).
readySTEMgo Erasmus+ project https://iiw.kuleuven.be/english/readystemgo
38
 Metacognitieve vaardigheden

39. Dashboard leer- en studeervaardigheden
39
studenten vullen LASSI in
studenten krijgen gepersonaliseerde
mail met uitnodiging naar feedback
4367 studenten in 26 opleidingen
in 9 faculteiten @KU Leuven
demo:
https://learninganalytics.set.kuleuven.be/lassi-1718/ (KU Leuven login)
2 opleidingen @TU Delft

40. Feedback model
1. Waarover gaat dit?
2. Hoe doe ik het?
3. Hoe zit het met mijn peers?
4. Waarom is dit relevant?
5. Wat kan ik er aan doen?
40

41. 3. Hoe zit het met mijn peers?
41
2. Hoe doe ik het?
1. Waarover gaat dit?
@studyProgram@
@yourScore@

42. 4. Waarom is dit relevant?
5. Wat kan ik er aan doen?
42

43. 43
5. Wat kan ik er aan doen?

44. Respons
44
3868 (89%) gebruikte
dashboard

45. Studenten feedback?
45
http://blog.associatie.kuleuven.be/tinnedelaet/learning-dashboard-for-actionable-feedback-on-learning-and-studying-skills/
sterren sterren

46. Doorklikkers
Broos, T., Peeters, L., Verbert, K., Van Soom, C., Langie, G., & De Laet, T. (2017, July). Dashboard for Actionable Feedback on Learning Skills: Scalability and Usefulness.
In International Conference on Learning and Collaboration Technologies (pp. 229-241). Springer, Cham.
46
 betere leer- en studeervaardigheden

47. Intensieve gebruikers
Broos, T., Peeters, L., Verbert, K., Van Soom, C., Langie, G., & De Laet, T. (2017, July). Dashboard for Actionable Feedback on Learning Skills: Scalability and Usefulness.
In International Conference on Learning and Collaboration Technologies (pp. 229-241). Springer, Cham.
47
 slechtere leer- en studeervaardigheden

48. [!] Geef studenten sleutel in handen.
48
• Student heeft sleutel tot eigen
gegevens in handen.
• Student neemt zelf intiatief voor
bespreken van de gegevens.
• GDPR als opportuniteit!

49. [!] Voor impact komt acceptatie.
49
• Betrek belanghebbenden van bij de start en
schat hun input naar waarde!
COmmunicatie
COöperatie
• Toon nut aan.
• Zorg voor ethiek & privacy.
• Goed scenario:
studenten & studieloopbaanbegeleiders
als ambassadeurs
COCO

50. Is er impact?
bevraging voor interventie
 2e jaarsstudenten 2016-2017
 gedrag dat belangrijk was voor studiesucces
 ervaring over eerstejaarsfeedback
 41 vragen, 5-point Likert scale
 pen & papier
programma’s met interventie
 Ingenieurswetenschappen
 Chemie, Biologie, Biochemie & Biotechnologie, Geologie, Geografie
 Wiskunde & fysica
 Informatica
programma zonder interventie = reference
 Industriële ingenieurswetenschappen (Gent)
dashboards
 LISSA
 LASSI (feedback leer- en studeervaardigheden)
 3 x REX (feedback examenresultaten)
bevraging na interventie
 2e jaarsstudenten 2017-2018
 gedrag dat belangrijk was voor studiesucces
 ervaring over eerstejaarsfeedback
 41 vragen, 5-point Likert scale
 pen & papier

51. Is er impact?
Tijdens het eerste jaar ontving ik voldoende informatie over mijn academische prestaties.
51
Ingenieurswetenschappen (p<0.001)

52. Is er impact?
De informatie die ik ontving hielp om me te positioneren tov mijn medestudenten.
52
Ingenieurswetenschappen (p<0.001)

53. Is er impact?
53
De informatie die ik ontving deed me reflecteren.
De informatie die ik ontving deed me mijn gedrag aanpassen.

54. [!] Context is belangrijk!
• beschikbare gegevens
• nationale en institutionele regelgeving
en cultuur
• onderwijsvisie
• onderwijssysteem, grootte van groepen
• …
niet zo meer bestaande LA oplossing
kopiëren!
54

55. Project team @
55
Sven Charleer
AugmentHCI, Computer Science department
PhD researcher ABLE
Katrien Verbert
AugmentHCI, Computer Science department
Copromotor of STELA & ABLE
Carolien Van Soom
Leuven Engineering and Science Education Center
Head of Tutorial Services of Science
Copromotor of STELA & ABLE
Greet Langie
Leuven Engineering and Science Education Center
Vicedean (education) faculty of Engineering Technology
Copromotor of STELA & ABLE
Tinne De Laet
Leuven Engineering and Science Education Center
Head of Tutorial Services of Engineering Science
Coordinator of STELA
KU Leuven coordinator of ABLE
Francisco Gutiérrez
AugmentHCI, Computer Science department
PhD researcher ABLE
Tom Broos
Leuven Engineering and Science Education Center
AugmentHCI, Computer Science department
PhD researcher STELA
Martijn Millecamp
AugmentHCI, Computer Science department
PhD researcher ABLE
Speciale dank aan de studieloopbaanbegeleiders voor hun medewerking, samenwerking, feedback en ondersteuning!
Jasper, Bart, Riet, Hilde, An, …
♥

56. Samenvatting
56
case studies 11 bevindingen/aanbevelingen
[!] Feedback moet actionable zijn
[!] Begin met gegevens die beschikbaar zijn.
[!] Zoek de data verder dan je neus lang is.
[!] Niet alle gegevens zijn bruikbaar.
[!] Wording matters.
[!] Oversimplificeer niet, geef onzekerheid weer.
[!] Let op met predictieve algoritmes.
[!] Hou rekening met learning analytics bij leerontwerp.
[!] Geef studenten sleutel in handen.
[!] Voor impact komt acceptatie.
[!] Context is belangrijk!
 traditionele universitaire setting
 bescheiden aanpak
 “small data”
 betrokkenheid van studieloopbaanbegeleiders
 actionable feedback
 schaalbaarheid
Is dit Learning Analytics?

57. Toekomst?
57
voortzetten dashboard @KU Leuven?
transfer naar andere instellingen
uitbreiding?

58. Bedankt voor jullie aandacht!
58
Sven Charleer
AugmentHCI, Computer Science department
PhD researcher ABLE
Katrien Verbert
AugmentHCI, Computer Science department
Copromotor of STELA & ABLE
Carolien Van Soom
Leuven Engineering and Science Education Center
Head of Tutorial Services of Science
Copromotor of STELA & ABLE
Greet Langie
Leuven Engineering and Science Education Center
Vicedean (education) faculty of Engineering Technology
Copromotor of STELA & ABLE
Tinne De Laet
Leuven Engineering and Science Education Center
Head of Tutorial Services of Engineering Science
Coordinator of STELA
KU Leuven coordinator of ABLE
Francisco Gutiérrez
AugmentHCI, Computer Science department
PhD researcher ABLE
Tom Broos
Leuven Engineering and Science Education Center
AugmentHCI, Computer Science department
PhD researcher STELA
Martijn Millecamp
AugmentHCI, Computer Science department
PhD researcher ABLE
Speciale dank aan de studieloopbaanbegeleiders voor hun medewerking, samenwerking, feedback en ondersteuning!
Jasper, Bart, Riet, Hilde, An, …
♥

59. Hoe de CSE grenzen
bepalen?
LISSA dashboard
59
 Bovenste en onderste groep duidelijke boodschap
 Middengroep zo klein mogelijk
 Overfit niet (nuance)

60. 60
2
3
1
7
2
1
10
44
23
36
3
11
64
97
81
74
36
29
150
115
126
110
119
91
61
30
56
59
128
157
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
7. Het dashboard helpt me om me meer bewust te
maken van mijn huidige studiesituatie.
8. Het dashboard helpt me om zicht te krijgen op
verschillende mogelijkheden in mijn toekomstig
studietraject.
9. Het dashboard doet me reflecteren over mijn
studiegedrag en/of studietraject.
10. Het dashboard stimuleert me om mijn studies anders
aan te pakken in de toekomst (studiegedrag of
studietraject).
11. Als ik na een volgende examenperiode op gesprek
kom, hoop ik dat de visualisatie opnieuw gebruikt wordt.
12. Ik zou de getoonde informatie ook zelf willen kunnen
raadplegen.
Studentendashboard januari 2018
helemaal niet niet enigszins sterk zeer sterk

61. 61
Learning and test strategies Study program
N
0/1
Intercept con anx mot test time Eng. Sc. Eng. Sc. Arch. CBBGG Eng. Tech. MIP
Gender
(female)
Clicked
271/1135 -0.806 - - - 0.0363 0.0501** 0.570* 0.724 -0.942*** -0.238 0.194 -
Tab
con 36/1099 3.00* - - 0.0762 - -0.0700 - - - - - -
anx 54/1081 3.00*** - - - - - - - - - - -
mot 66/1069 2.12*** - - - - - 0.827* 0.126 -0.105 0.714 1.61* 0.460
test 66/1069 2.78*** - - - - - - - - - - -
time 72/1063 2.07*** - - - - - 0.879* 0.259 0.240 0.740* 1.75* -
Return to tab
con 792/307 0.909* -0.0633*** - - - - - - - - - -0.387*
anx 804/277 0.801 - -0.0363** -0.0447* - - 0.625* 0.0515 0.124 0.390 0.697* -
mot 804/265 1.08 - -0.0351* -0.0512** - - 0.596* 0.396 -0.109 0.264 0.570 -0.458*
test 796/273 0.937 - - 0.0322 -0.0693*** -0.0308 - - - - - -0.365*
time 890/173 -0.746 -0.0563** - - - - 1.06** 0.656 0.560 0.516 1.10** -0.340
Tips
con 700/399 -0.438 -0.0629*** - 0.0563** - - - - - - - -
anx 881/200 0.251 - -0.120*** 0.0525* - - 0.217 -0.286 -0.162 -0.646* -0.690* 0.378*
mot 897/172 0.607 - - -0.0627** - - -0.378 -0.226 -0.504 -0.939*** -0.552 -
test 896/173 -0.233 - - 0.0850*** -0.135*** - - - - - - 0.394*
time 834/229 -2.47** - - 0.0598* 0.0828*** -0.119*** 0.0598 -0.529 -0.707* -0.477 -0.477 0.324
Feedback
968/167 -3.84*** - -0.0292 - 0.0948*** - - - - - - -

62. Dashboard ijkingstoets
62https://feedback.ijkingstoets.be/ijkingstoets-10-ir/index.html (10ir0demo)