Presentatie gegeven tijdens https://www.surf.nl/agenda/2018/05/seminar-aan-de-slag-met-learning-analytics/index.html.
Ervaringen met learning dashboard opgedaan binnen KU Leuven in kader van twee Erasmus+ projecten ABLE en STELA.
Learning dashboards voor feedback op leer- en studeervaardigheden en academis...Tinne De Laet
Keynote presentatie van LESEC annual event 2018 (https://set.kuleuven.be/LESEC/news-events/annual-event-2018) over learning dashboards. Concreet bevat de presentatie bevindingen en aanbevelingen van grootschalige piloten binnen KU Leuven in kader van twee Europese Erasmus+ projecten: ABLE en STELA.
Improving education by learning analtyicsTinne De Laet
These are the slides of the invited talk "improving education by learning analytics" for the LAW studiedag 2017 https://www.maastrichtuniversity.nl/nl/events/studiedag-2017.
Blended learning: Van inspiratie naar concreet aan de slagSURF Events
Dinsdag 8 november
Sessieronde 1
Titel: Blended learning: Van inspiratie naar concreet aan de slag
Spreker(s): Jan Roggeven (Cisco), Henno Kleijwegt (VisionsConnected)
Zaal: Penn II
Mogelijkheden van de digitale leeromgeving presentaties meten met self-servic...SURF Events
Maandag 7 november
Sessieronde 1
Titel: Mogelijkheden van de digitale leeromgeving presentaties meten met self-service tools en een veilige infrastructuur onderhouden deel 2
Spreker(s): Niels van der Kam (VCD)
Zaal:Penn II
Learning dashboards voor feedback op leer- en studeervaardigheden en academis...Tinne De Laet
Keynote presentatie van LESEC annual event 2018 (https://set.kuleuven.be/LESEC/news-events/annual-event-2018) over learning dashboards. Concreet bevat de presentatie bevindingen en aanbevelingen van grootschalige piloten binnen KU Leuven in kader van twee Europese Erasmus+ projecten: ABLE en STELA.
Improving education by learning analtyicsTinne De Laet
These are the slides of the invited talk "improving education by learning analytics" for the LAW studiedag 2017 https://www.maastrichtuniversity.nl/nl/events/studiedag-2017.
Blended learning: Van inspiratie naar concreet aan de slagSURF Events
Dinsdag 8 november
Sessieronde 1
Titel: Blended learning: Van inspiratie naar concreet aan de slag
Spreker(s): Jan Roggeven (Cisco), Henno Kleijwegt (VisionsConnected)
Zaal: Penn II
Mogelijkheden van de digitale leeromgeving presentaties meten met self-servic...SURF Events
Maandag 7 november
Sessieronde 1
Titel: Mogelijkheden van de digitale leeromgeving presentaties meten met self-service tools en een veilige infrastructuur onderhouden deel 2
Spreker(s): Niels van der Kam (VCD)
Zaal:Penn II
'Onderwijs verbeteren met learning analytics: resultaten van het STELA-projec...SURF Events
Het STELA-project (Successful Transition from secondary to higher Education using Learning Analytics) is een Europees project, gestart in 2015, en heeft als doel de overgang van secundair naar hoger onderwijs te verbeteren door middel van learning analytics. Hiertoe heeft het project een learning-analyticsbenadering ontwikkeld, getest en geëvalueerd, die zich richt op het bieden van formatieve en summatieve feedback aan studenten in de overgang naar het hoger onderwijs. Naast een studentendashboard heeft het project dashboards ontwikkeld voor studieadviseurs en docenten, die gebruikt kunnen worden om counseling en onderwijspraktijken te verbeteren. In deze sessie presenteren we de resultaten, uitkomsten, en geleerde lessen van het project.
Masterclass verbeter het onderwijs met Learning AnalyticsSURF Events
Dinsdag 10 november
Sessieronde 2 & 3
Titel: Verbeter het onderwijs met Learning Analytics
Spreker(s): Hendrik Drachsler (Open Universiteit), Alan Berg (Universiteit van Amsterdam), Justian Knobbout (Hogeschool Utrecht), Maartje van den Boogaard (Universiteit Leiden), Hanneke Duisterwinkel (Technische Universiteit Eindhoven), Gabor Kismihok (Universiteit van Amsterdam), Marieke de Wit (SURFnet), Jocelyn Manderveld (SURFnet)
Zaal: Leeuwen I
Studenten begeleiden door inzet van data - Alan Berg, Erwin van Vliet (UvA), ...SURF Events
We nemen je mee in een aantal casussen waarin gebruik wordt gemaakt van data analyse bij de begeleiding van studenten. Aan de hand van voorbeelden wordt geschetst hoe analyse van data tijdens de coronacrisis is ingezet voor studentenwelzijn.
Ontwerpen en duurzaam implementeren van blended learning Jeroen Bottema
Het lectoraat Teaching, Learning & Technology van Hogeschool Inholland heeft in de afgelopen jaren uitgebreid onderzoek gedaan naar het herontwerpen van leerpraktijken op basis van blended learning. Daarnaast heeft het lectoraat bijgedragen aan het (door middel van blended learning vormgegeven) ontwerp van de Masteropleiding Leren & Innoveren. In de workshop worden aan de hand van voorbeelden van (ontwerp en implementatie) van 'blends' alle aspecten besproken die een rol spelen bij de totstandkoming van een 'optimale blend' in een gegeven context.
Deze presentatie is verzorgd op 16 en 23 maart 2011 door Tim Remmers tijdens de ‘Themabijeenkomst ELO’ in het kader van het Kennisnet ambassadeursprogramma vo.
Op uitnodiging van Leren & Werken, een gezamenlijk initiatief van de ministeries van OCW en SZW, heeft FORMEDIA als expert op het terrein van alumnirelaties, een presentatie verzorgd op de conferentie "Leven Lang Leren" op 26 juni op de jaarbeurs in Utrecht.
Op uitnodiging van Leren & Werken, een gezamenlijk initiatief van de ministeries van OCW en SZW, heeft FORMEDIA als expert op het terrein van alumnirelaties, een workshop verzorgd op de conferentie "Leven Lang Leren" op 26 juni op de jaarbeurs in Utrecht.
Learning Dashboards for Feedback at ScaleTinne De Laet
Learning analytics is hot. But are learning dashboards scalable and sustainable solutions for providing actionable feedback to students? Can learning dashboard be applied for feedback at scale? Is learning analytics applicable in more traditional higher education settings? This talk will share experiences and lessons learned from three European projects (STELA, ABLE, and LALA ) that focuses on scalable applications of learning dashboards and their integration within actual educational practices. Can learning dashboards deployed at scale, create new learning traces? This talk shares experiences of a large scale deployment of learning dashboards with more than 12.000 students. Presented at laffas.eu.
More Related Content
Similar to Learning analytics tussen droom en daad: eerlijke ervaringen uit concrete implementaties
'Onderwijs verbeteren met learning analytics: resultaten van het STELA-projec...SURF Events
Het STELA-project (Successful Transition from secondary to higher Education using Learning Analytics) is een Europees project, gestart in 2015, en heeft als doel de overgang van secundair naar hoger onderwijs te verbeteren door middel van learning analytics. Hiertoe heeft het project een learning-analyticsbenadering ontwikkeld, getest en geëvalueerd, die zich richt op het bieden van formatieve en summatieve feedback aan studenten in de overgang naar het hoger onderwijs. Naast een studentendashboard heeft het project dashboards ontwikkeld voor studieadviseurs en docenten, die gebruikt kunnen worden om counseling en onderwijspraktijken te verbeteren. In deze sessie presenteren we de resultaten, uitkomsten, en geleerde lessen van het project.
Masterclass verbeter het onderwijs met Learning AnalyticsSURF Events
Dinsdag 10 november
Sessieronde 2 & 3
Titel: Verbeter het onderwijs met Learning Analytics
Spreker(s): Hendrik Drachsler (Open Universiteit), Alan Berg (Universiteit van Amsterdam), Justian Knobbout (Hogeschool Utrecht), Maartje van den Boogaard (Universiteit Leiden), Hanneke Duisterwinkel (Technische Universiteit Eindhoven), Gabor Kismihok (Universiteit van Amsterdam), Marieke de Wit (SURFnet), Jocelyn Manderveld (SURFnet)
Zaal: Leeuwen I
Studenten begeleiden door inzet van data - Alan Berg, Erwin van Vliet (UvA), ...SURF Events
We nemen je mee in een aantal casussen waarin gebruik wordt gemaakt van data analyse bij de begeleiding van studenten. Aan de hand van voorbeelden wordt geschetst hoe analyse van data tijdens de coronacrisis is ingezet voor studentenwelzijn.
Ontwerpen en duurzaam implementeren van blended learning Jeroen Bottema
Het lectoraat Teaching, Learning & Technology van Hogeschool Inholland heeft in de afgelopen jaren uitgebreid onderzoek gedaan naar het herontwerpen van leerpraktijken op basis van blended learning. Daarnaast heeft het lectoraat bijgedragen aan het (door middel van blended learning vormgegeven) ontwerp van de Masteropleiding Leren & Innoveren. In de workshop worden aan de hand van voorbeelden van (ontwerp en implementatie) van 'blends' alle aspecten besproken die een rol spelen bij de totstandkoming van een 'optimale blend' in een gegeven context.
Deze presentatie is verzorgd op 16 en 23 maart 2011 door Tim Remmers tijdens de ‘Themabijeenkomst ELO’ in het kader van het Kennisnet ambassadeursprogramma vo.
Op uitnodiging van Leren & Werken, een gezamenlijk initiatief van de ministeries van OCW en SZW, heeft FORMEDIA als expert op het terrein van alumnirelaties, een presentatie verzorgd op de conferentie "Leven Lang Leren" op 26 juni op de jaarbeurs in Utrecht.
Op uitnodiging van Leren & Werken, een gezamenlijk initiatief van de ministeries van OCW en SZW, heeft FORMEDIA als expert op het terrein van alumnirelaties, een workshop verzorgd op de conferentie "Leven Lang Leren" op 26 juni op de jaarbeurs in Utrecht.
Learning Dashboards for Feedback at ScaleTinne De Laet
Learning analytics is hot. But are learning dashboards scalable and sustainable solutions for providing actionable feedback to students? Can learning dashboard be applied for feedback at scale? Is learning analytics applicable in more traditional higher education settings? This talk will share experiences and lessons learned from three European projects (STELA, ABLE, and LALA ) that focuses on scalable applications of learning dashboards and their integration within actual educational practices. Can learning dashboards deployed at scale, create new learning traces? This talk shares experiences of a large scale deployment of learning dashboards with more than 12.000 students. Presented at laffas.eu.
Using learning analytics to improve student transition into and support throu...Tinne De Laet
Presentation supporting the ABLE and STELA workshop titled "Using learning analytics to improve student transition into and support throughout the 1st year" delivered at the EFYE 2016 conference in Gent, Belgium
Data-based feedback through learning dashboards: does it support the first-ye...Tinne De Laet
Presentation supporting the EFYE 2018 pre-conference workshop "Data-based feedback through learning dashboards: does it support the first-year experience" - https://efye2018.nl/programme/parallel-sessions/
Learning dashboards for actionable feedback: the (non)sense of chances of suc...Tinne De Laet
Presentation at Leuven Learning Lab’s first annual Educational Technology conference day on Learning Analytics
(https://www.kuleuven.be/english/education/learning-lab).
Learning analytics is hot. But are learning dashboards scalable and sustainable solutions for providing actionable feedback to students? Is learning analytics applicable in more traditional higher education settings? This talk will share experiences and lessons learned from two European projects (ABLE and STELA) that aimed at developing learning dashboards for more traditional higher education institutions and integrating it within actual educational practices. The talk will challenge your beliefs regarding “chances of success” and predictive models in higher education.
Scalable, Actionable, and Ethical Learning Dashboards: a reality checkTinne De Laet
Keynote presentation at Edmedia 2018 conference: https://www.aace.org/conf/edmedia/speakers/.
Results of Erasmus+ projects ABLE (www.ableproject.eu) and STELA (www.stela-project.eu) on learning dashboards for supporting first-year students.
Learning dashboards for actionable feedback: the (non)sense of chances of suc...Tinne De Laet
Presentation at humane event on digital transformation in higher education (http://www.humane.eu/events/seminars-and-conferences/2018/aveiro-042018/).
Learning analytics is hot. But are learning dashboards scalable and sustainable solutions for providing actionable feedback to students? Is learning analytics applicable in more traditional higher education settings? This talk will share experiences and lessons learned from two European projects (ABLE and STELA) that aimed at developing learning dashboards for more traditional higher education institutions and integrating it within actual educational practices. The talk will challenge your beliefs regarding “chances of success” and predictive models in higher education.
Learning Analytics for online and on-campus education: experience and researchTinne De Laet
This presentation was used Tinne De Laet, KU Leuven, for a keynote presentation during the event: http://www.educationandlearning.nl/agenda/2017-10-13-cel-innovation-room-10-learning-and-academic-analytics organised by Leiden University, Erasmus University Rotterdam, and Delft University of Technology.
The presentations presents the results of two case studies from the Erasmus+ project ABLE and STELA, and provides 9 recommendations regarding learning analytics.
Confidence in and beliefs about first year engineering student successTinne De Laet
This paper explores the confidence freshman engineering students have in being successful in the first study year and which study-related behaviour they believe to be important to this end. Additionally, this paper studies which feedback these students would like to receive and compares it with the experiences of second-year students regarding feedback. To this end, two questionnaires were administered: one with freshman engineering students to measure their expectations regarding study success and expected feedback and one with second-year engineering students to evaluate their first year feedback experience.
The results show that starting first-year engineering students are confident regarding their study success. This confidence is however higher than the observed first-year students success. Not surprisingly, first-year students have good intentions and believe that most academic activities are important for student success. When second-year students look back on their first year, their beliefs in the importance of these activities have strongly decreased, especially regarding the importance of preparing classes and following communication through email and the virtual learning environment. First-year students expect feedback regarding their academic performance and engagement. They expect that this feedback primarily focuses on the impact on their future study pathway rather than on comparison to peer students. Second-year students indicate that the amount of feedback they receive could be improved, but agree with the first-year students that comparative feedback is less important.
Conference Key Areas: Engineering Education Research, Attractiveness of Engineering Education, Gender and Diversity
Keywords: academic self-confidence, feedback, reasons for students success, student beliefs
Learning and study strategies: a learning analytics approach for feedbackTinne De Laet
Presentation of a learning dashboard developed by KU Leuven within the STELA project (http://stela-project.eu//).
Learning dashboard supported by learning analytics, showing off the use of technology for learning in higher education, for the transition of secondary to higher education in particular. The dashboard provides feedback on the learning and study strategies, as measured by the LASSI questionnaire.
Presentation of the learning dashboard developed by KU Leuven within the ABLE project (http://www.ableproject.eu/).
Learning dashboard supported by learning analytics, showing off the use of technology for learning in higher education, for the transition of secondary to higher education in particular. The dashboard is developed for the interaction between study advisor and student. More information in our journal paper http://ieeexplore.ieee.org/document/7959628/
3. “Learning analytics is about
collecting traces that learners
leave behind and using those
traces to improve learning.”
- Erik Duval
Learning Analytics and Educational Data Mining, Erik Duval’s Weblog, 30 January 2012, https://erikduval.wordpress.com/2012/01/30/learning-analytics-and-educational-data-mining/ 3
Learning Analytics?
4. Learning Analytics?
4Greller, W. and Drachsler, H., 2012. Translating learning into numbers: A generic framework for learning analytics. Journal of Educational Technology & Society, 15(3), p.42.
5. Learning Dashboards?
5Dashboard Confusion, Stephen Few, Intelligent Enterprise, March 20, 2004
“A dashboard is a visual display of the
most important information needed to
achieve one or more objectives;
consolidated and arranged on a single
screen so the information can be monitored
at a glance.”
- Stephen Few
6. Successful Transition from secondary to higher
Education using Learning Analytics
enhance a successful transition from
secondary to higher education by means of
learning analytics
design and build analytics dashboards,
dashboards that go beyond identifying at-risk
students, allowing actionable feedback for all
students on a large scale.
Achieving Benefits from Learning Analytics
research strategies and practices for using
learning analytics to support students during
their first year at university
developing the technological aspects of
learning analytics,
focuses on how learning analytics can be used
to support students.
6
www.stela-project.eu
@STELA_project
2015-1-UK01-KA203-013767
www.ableproject.eu
@ABLE_project_eu
562167-EPP-1-2015-1-BE-EPPKA3-PI-FORWARD
7. STELA ♥ ABLE
7
actionable feedback
focus op studenten
& studieloopbaanbegeleiders
opleidingsniveau
inclusief
eerstejaarsstudenten
instellingsbreed
Learning Analytics
échte implementatie
8. Probleemstelling
overgang van secundair naar hoger onderwijs
uitdagend vanuit academisch en sociaal perspectief
studenten moeten zich aanpassen, maar hoe?
social-comparison
theory
mensen evalueren hun
capaciteiten door
vergelijking met
anderen als objectieve
maatstaven ontbreken
voor nieuwe studenten
ontbreekt vergelijkend
kader
self-efficacy
“verwachting om
succesvol te zijn in
specifieke taak” ≈
situatiespecifiek
zelfvertrouwen
academische self-
efficacy beïnvloedt
academische resultaten
feedback
belangrijk voor
verhogen van
studiesucces
actionable feedback!
8
9. [!] Feedback moet “actionable” zijn.
9
Opgelet!
Mannen hebben 10%
minder kans om
succesvol te zijn.
Jij bent een man.
Opgelet!
Jouw online activeit
is lager dan gewenst!
actie?
?
actie?
?
11. probleemstelling
Wat we studenten vroegen …
★ hoeveel vertrouwen heb je dat je
succesvol zal zijn in het eerste jaar
★ studiegerelateerd gedrag dat
belangrijk is om succesvol te zijn
Learning dashboards
met
actionable feedback
die
eerste jaar
studiesucces
ondersteunen
Hoeveel vertrouwen heb je?
Wat is belangrijk om
succesvol te zijn?
Welke feedback wil
je ontvangen?
Confidence in and beliefs about first-year engineering student success, Tinne De Laet et al., Proceedings of the SEFI 2017 conference, Azores Islands Portugal
11
12. probleemstelling
★ ★ ★
★ ★ ★
★ ★ ★
Komt dit overeen met eigenlijke eerste jaar studiesucces?
drop-out
60%
24%
42%
Hebben nieuwe studenten vertrouwen?
Hoelezen?
12
Confidence in and beliefs about first-year engineering student success, Tinne De Laet et al., Proceedings of the SEFI 2017 conference, Azores Islands Portugal
13. probleemstelling
Welke studiegerelateerde activiteiten zullen belangrijk zijn om succesvol te zijn?
alles is belangrijk …. alleen twijfels over communicatie
13
De Laet T., Broos T., Van Staalduinen J., Ebner M., Langie G., Van Soom C., Schepers W. (2017). Confidence in and beliefs about first-
year engineering student success: case study from KU Leuven, TU Delft, and TU Graz. Proceedings of the 45th SEFI Conference. SEFI
Conference. Azores, Portugal, 18-21 September 2017 (pp. 1-9).
16. [!] Begin met gegevens die al
beschikbaar zijn.
veel data zou eventueel beschikbaar
kunnen komen …
… maar start met wat er vandaag is.
16
(*)
(*) Zarraonandia, T., Aedo, I., Díaz, P., & Montero, A. (2013). An augmented lecture feedback system to support learner and teacher communication.
British Journal of Educational Technology, 44(4), 616-628.
18. studieloopbaanbegeleider– student
18
Moet ik een andere
studie overwegen?
Kan ik de bachelor nog
op 3 jaar afmaken?
Kan je me helpen bij
het opstellen van mijn
programma?
Wat zijn je
persoonlijke
omstandigheden?
Hoe kan ik helpen?
Wat is de
volgende stap?
19. [!] Gebruik alle beschikbare expertise
in iteratief ontwerpproces.
19
visualisatie-
experten
onderzoekers
Learning
Analytics
Charleer S., Vande Moere A., Klerkx J., Verbert K., De Laet T. (2017). Learning Analytics Dashboards to Support Adviser-Student Dialogue.
In IEEE Transactions on Learning Technology (http://ieeexplore.ieee.org/document/7959628/).
studieloopbaanbegeleiders
eindgebruikers
onderzoekers eerste
jaar studiesucces
21. [!] Wording matters.
21
73% kans op succes
73% van studenten uit
eerdere cohortes met
zelfde studie-efficiëntie
behaalde bachelordiploma
http://blog.associatie.kuleuven.be/tinnedelaet/the-nonsense-of-chances-of-success-and-predictive-models/
22. LISSA dashboard
22
drie examenperiodes
observaties, interviews, enquête
piloot bij 2 ingenieursopleidingen
Charleer S., Vande Moere A., Klerkx J., Verbert K., De Laet T. (2017). Learning Analytics Dashboards to Support Adviser-Student Dialogue. In IEEE Transactions on Learning Technology
23. LISSA: evaluatie – observaties
23
15 observaties
insights
(-) factual
(+) interpretative
(!) reflective
Charleer S., Vande Moere A., Klerkx J., Verbert K., De Laet T. (2017). Learning Analytics Dashboards to Support Adviser-Student Dialogue. In IEEE Transactions on Learning Technology
24. LISSA: interviews studieloopbaanbegeleiders
“Als studenten de cijfers zien zijn ze verbaasd,
maar nu geloven ze me.
Vroeger gebruikte ik intuïtie en ervaring, nu voel
ik me ook meer zeker.”
“Het is als een
leidraad door het
gesprek.”
“Ik kan praten over wat te doen na de
resultaten, in plaats van elke keer de data
te zoeken en bij elkaar te puzzelen.”
“Studenten weten soms niet waar te kijken
tijdens het gesprek en vermijden oogcontact. Het
dashboard geeft hen een mogelijke focus.”
“Een student veranderde zijn
studiemethode in juni en kan
nu zien dat het opbracht.”
LISSA ondersteunt het persoonlijk gesprek.
de mate van gebruik hangt af van de
ervaring en stijl van de
studieloopbaanbegeleider
datagebaseerde informatie ter ondersteuning
verhaal
helpt pad van de student in beeld te brengen
“Ik kan focussen op het
individueel pad van de
student, eerder dan op
de pure feiten.”
“Nu kan ik het
dashboard de schuld
geven en me richten
op het samen zoeken
naar de volgende stap
die we kunnen
nemen.”
24
25. LISSA: stand van zaken
25
26 opleidingen >4500 studenten
114 studieloopbaanbegeleiders
training voor
studieloopbaanbegeleiders door
Studieadvies op 3 campussen
http://blog.associatie.kuleuven.be/tinnedelaet/lissa-learning-dashboard-supporting-student-advisers-in-traditional-higher-education/
Millecamp M., Gutiérrez F., Charleer S., Verbert K., De Laet T.# (2018). A qualitative evaluation of a learning dashboard to support advisor-student
dialogues. Proceedings of the 8th International Learning Analytics & Knowledge Conference. LAK. Sydney, 5-9 March 2018 (pp. 1-5) ACM.
dashboards voor 3 examenperiodes
uitbreiding naar Universiteit Leiden
26. LISSA: evaluatie - studentenbevraging
26
26 programs @KU Leuven
291 ingevulde enquêtes
eerste examenperiode
“Confronterend maar
uiteindelijk ook wel
handig”
“Dashboard zelf thuis
kunnen raadplegen.”
“Aparte resultaten voor
oefeningen, theorie en labo
ook tonen in plaats van enkel
het totaalresultaat”
“Hoe weet ik of het
betrouwbaar is?”
“Is het mogelijk de grafieken
naar de student door te
sturen?”
“Zeer bondig en duidelijk.”
27. 27
0
0
1
1
1
4
2
1
4
4
29
21
36
37
49
176
112
156
132
141
80
155
93
116
92
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
1. Het dashboard is overzichtelijk.
2. De getoonde gegevens over mijn studiesituatie
zijn correct.
3. De getoonde positionering ten opzichte van mijn
medestudenten (histogrammen per vak en globale
evolutie) is betrouwbaar.
4. Een gesprek met mijn studieloopbaanbegeleider
helpt me om inzicht te krijgen in mijn studietraject.
5. De visualisaties in het dashboard gaven een
meerwaarde aan het gesprek.
Studentendashboard januari 2018
helemaal niet niet enigszins sterk zeer sterk
28. [!] Oversimplificeer niet, geef
onzekerheid weer.
28
• realiteit is complex
• meting is beperkt
• individuele factoren!
• nuance nodig
• lok reflectie uit
http://blog.associatie.kuleuven.be/tinnedelaet/the-nonsense-of-chances-of-success-and-predictive-models/
29. [!] Let op met predictieve algoritmes.
29
• realiteit is complex
• meting is beperkt
• individuele factoren!
• interpreteerbaarheid
noodzaak voor
acceptatie
http://blog.associatie.kuleuven.be/tinnedelaet/the-nonsense-of-chances-of-success-and-predictive-models/
31. [!] Begin met gegevens die
beschikbaar zijn.
31
data already available?
administrative (examples)
student records course grades
systems (examples)
LMS access logs advisor meetings
)
Broos T., Verbert K., Van Soom C., Langie G., De Laet T.# (2018). Small data as a conversation starter for learning analytics: exam results dashboard for first-year students in higher
education. Journal of Research in Innovative Teaching & Learning, , 1-14.
32. [!] Zoek de data verder dan je
neus lang is.
32
• denk niet te traditioneel.
• veel instellingen verzamelen
gegevens in kader van onderzoek
33. [!] Niet alle gegevens zijn bruikbaar.
33
online activiteit van een “traditioneel eerstejaarsvak” (Toledo/VLE)
examenscore
activiteit/week (#dagen)
week van het jaar
34. [!] Niet alle gegevens zijn bruikbaar.
34
online activiteit van een “flipped teaching” eerstejaarsvak (Sofia)
examenscore
activiteit
(# gebruikte modules)
Geen enkele student die
minder dan 10 modules
gebruikte slaagde.
De meeste geslaagde
studenten gebruikten
≥15 modules.
35. [!] Hou rekening met learning
analytics bij leerontwerp.
35
Als LA bijdraagt tot leerproces en
potentieel beter leerontwerp …
maak LA dan geen nabeschouwing
Learning
Analytics
Learning Design
INFORM
ENABLE
36. 36
Is mijn concentratie
van belang?
Is mijn tijdbeheer
goed genoeg?
Ik voel me onzeker.
Is dat normaal?
Hoe kan ik mijn
concentratie
verbeteren?
37. data already available?
administrative (examples)
student records course grades
[!] Zoek de data verder dan je
neus lang is.
37
systems (examples)
LMS access logs advisor meetings
surveys (examples)
quality insurance LASSI
38. ~ 30 LASSI vragen
(verkorte versie)
LASSI: Leer- en studeervaardigheden
vb: Ik studeer alleen als er druk
is van een toets of test.
vb: Ik stel hoge eisen aan mezelf
voor mijn studies.
vb: Zelfs als ik goed voorbereid ben
voor een toets, voel ik me erg
ongerust.
ruwe scores
(5 van de 10)
CONCENTRATIE
MOTIVATIE
FAALANGST
TESTSTRATEGIËN
TIJDBEHEER
normscores
(start Vlaams Hoger Onderwijs)
vb: goed
vb: gemiddeld
vb: goed
vb: zeer goed
vb: zeer zwak
Pinxten, M., Van Soom, C., Peeters, C., De Laet, T., Langie, G., At-risk at the gate: prediction of study success of first-year science and engineering students in an
open-admission university in Flanders—any incremental validity of study strategies? Eur J Psychol Educ (2017).
readySTEMgo Erasmus+ project https://iiw.kuleuven.be/english/readystemgo
38
Metacognitieve vaardigheden
39. Dashboard leer- en studeervaardigheden
39
studenten vullen LASSI in
studenten krijgen gepersonaliseerde
mail met uitnodiging naar feedback
4367 studenten in 26 opleidingen
in 9 faculteiten @KU Leuven
demo:
https://learninganalytics.set.kuleuven.be/lassi-1718/ (KU Leuven login)
2 opleidingen @TU Delft
40. Feedback model
1. Waarover gaat dit?
2. Hoe doe ik het?
3. Hoe zit het met mijn peers?
4. Waarom is dit relevant?
5. Wat kan ik er aan doen?
40
41. 3. Hoe zit het met mijn peers?
41
2. Hoe doe ik het?
1. Waarover gaat dit?
@studyProgram@
@yourScore@
42. 4. Waarom is dit relevant?
5. Wat kan ik er aan doen?
42
46. Doorklikkers
Broos, T., Peeters, L., Verbert, K., Van Soom, C., Langie, G., & De Laet, T. (2017, July). Dashboard for Actionable Feedback on Learning Skills: Scalability and Usefulness.
In International Conference on Learning and Collaboration Technologies (pp. 229-241). Springer, Cham.
46
betere leer- en studeervaardigheden
47. Intensieve gebruikers
Broos, T., Peeters, L., Verbert, K., Van Soom, C., Langie, G., & De Laet, T. (2017, July). Dashboard for Actionable Feedback on Learning Skills: Scalability and Usefulness.
In International Conference on Learning and Collaboration Technologies (pp. 229-241). Springer, Cham.
47
slechtere leer- en studeervaardigheden
48. [!] Geef studenten sleutel in handen.
48
• Student heeft sleutel tot eigen
gegevens in handen.
• Student neemt zelf intiatief voor
bespreken van de gegevens.
• GDPR als opportuniteit!
49. [!] Voor impact komt acceptatie.
49
• Betrek belanghebbenden van bij de start en
schat hun input naar waarde!
COmmunicatie
COöperatie
• Toon nut aan.
• Zorg voor ethiek & privacy.
• Goed scenario:
studenten & studieloopbaanbegeleiders
als ambassadeurs
COCO
50. Is er impact?
bevraging voor interventie
2e jaarsstudenten 2016-2017
gedrag dat belangrijk was voor studiesucces
ervaring over eerstejaarsfeedback
41 vragen, 5-point Likert scale
pen & papier
programma’s met interventie
Ingenieurswetenschappen
Chemie, Biologie, Biochemie & Biotechnologie, Geologie, Geografie
Wiskunde & fysica
Informatica
programma zonder interventie = reference
Industriële ingenieurswetenschappen (Gent)
dashboards
LISSA
LASSI (feedback leer- en studeervaardigheden)
3 x REX (feedback examenresultaten)
bevraging na interventie
2e jaarsstudenten 2017-2018
gedrag dat belangrijk was voor studiesucces
ervaring over eerstejaarsfeedback
41 vragen, 5-point Likert scale
pen & papier
51. Is er impact?
Tijdens het eerste jaar ontving ik voldoende informatie over mijn academische prestaties.
51
Ingenieurswetenschappen (p<0.001)
52. Is er impact?
De informatie die ik ontving hielp om me te positioneren tov mijn medestudenten.
52
Ingenieurswetenschappen (p<0.001)
53. Is er impact?
53
De informatie die ik ontving deed me reflecteren.
De informatie die ik ontving deed me mijn gedrag aanpassen.
54. [!] Context is belangrijk!
• beschikbare gegevens
• nationale en institutionele regelgeving
en cultuur
• onderwijsvisie
• onderwijssysteem, grootte van groepen
• …
niet zo meer bestaande LA oplossing
kopiëren!
54
55. Project team @
55
Sven Charleer
AugmentHCI, Computer Science department
PhD researcher ABLE
Katrien Verbert
AugmentHCI, Computer Science department
Copromotor of STELA & ABLE
Carolien Van Soom
Leuven Engineering and Science Education Center
Head of Tutorial Services of Science
Copromotor of STELA & ABLE
Greet Langie
Leuven Engineering and Science Education Center
Vicedean (education) faculty of Engineering Technology
Copromotor of STELA & ABLE
Tinne De Laet
Leuven Engineering and Science Education Center
Head of Tutorial Services of Engineering Science
Coordinator of STELA
KU Leuven coordinator of ABLE
Francisco Gutiérrez
AugmentHCI, Computer Science department
PhD researcher ABLE
Tom Broos
Leuven Engineering and Science Education Center
AugmentHCI, Computer Science department
PhD researcher STELA
Martijn Millecamp
AugmentHCI, Computer Science department
PhD researcher ABLE
Speciale dank aan de studieloopbaanbegeleiders voor hun medewerking, samenwerking, feedback en ondersteuning!
Jasper, Bart, Riet, Hilde, An, …
♥
56. Samenvatting
56
case studies 11 bevindingen/aanbevelingen
[!] Feedback moet actionable zijn
[!] Begin met gegevens die beschikbaar zijn.
[!] Zoek de data verder dan je neus lang is.
[!] Niet alle gegevens zijn bruikbaar.
[!] Wording matters.
[!] Oversimplificeer niet, geef onzekerheid weer.
[!] Let op met predictieve algoritmes.
[!] Hou rekening met learning analytics bij leerontwerp.
[!] Geef studenten sleutel in handen.
[!] Voor impact komt acceptatie.
[!] Context is belangrijk!
traditionele universitaire setting
bescheiden aanpak
“small data”
betrokkenheid van studieloopbaanbegeleiders
actionable feedback
schaalbaarheid
Is dit Learning Analytics?
58. Bedankt voor jullie aandacht!
58
Sven Charleer
AugmentHCI, Computer Science department
PhD researcher ABLE
Katrien Verbert
AugmentHCI, Computer Science department
Copromotor of STELA & ABLE
Carolien Van Soom
Leuven Engineering and Science Education Center
Head of Tutorial Services of Science
Copromotor of STELA & ABLE
Greet Langie
Leuven Engineering and Science Education Center
Vicedean (education) faculty of Engineering Technology
Copromotor of STELA & ABLE
Tinne De Laet
Leuven Engineering and Science Education Center
Head of Tutorial Services of Engineering Science
Coordinator of STELA
KU Leuven coordinator of ABLE
Francisco Gutiérrez
AugmentHCI, Computer Science department
PhD researcher ABLE
Tom Broos
Leuven Engineering and Science Education Center
AugmentHCI, Computer Science department
PhD researcher STELA
Martijn Millecamp
AugmentHCI, Computer Science department
PhD researcher ABLE
Speciale dank aan de studieloopbaanbegeleiders voor hun medewerking, samenwerking, feedback en ondersteuning!
Jasper, Bart, Riet, Hilde, An, …
♥
59. Hoe de CSE grenzen
bepalen?
LISSA dashboard
59
Bovenste en onderste groep duidelijke boodschap
Middengroep zo klein mogelijk
Overfit niet (nuance)
60. 60
2
3
1
7
2
1
10
44
23
36
3
11
64
97
81
74
36
29
150
115
126
110
119
91
61
30
56
59
128
157
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
7. Het dashboard helpt me om me meer bewust te
maken van mijn huidige studiesituatie.
8. Het dashboard helpt me om zicht te krijgen op
verschillende mogelijkheden in mijn toekomstig
studietraject.
9. Het dashboard doet me reflecteren over mijn
studiegedrag en/of studietraject.
10. Het dashboard stimuleert me om mijn studies anders
aan te pakken in de toekomst (studiegedrag of
studietraject).
11. Als ik na een volgende examenperiode op gesprek
kom, hoop ik dat de visualisatie opnieuw gebruikt wordt.
12. Ik zou de getoonde informatie ook zelf willen kunnen
raadplegen.
Studentendashboard januari 2018
helemaal niet niet enigszins sterk zeer sterk