Dinsdag 8 november Sessieronde 1 Titel: Aan de slag met learning analytics Spreker(s): Jocelyn Manderveld (SURFnet), Herman van Dompseler (SURFnet) Zaal: Leeuwen I & II

1. DE ONDERWIJSDAGEN
Aan de slag met Learning Analytics
Jocelyn Manderveld
Herman van Dompseler
8 november 2016

2. Learning analytics
Learning analytics is het
verzamelen, analyseren en
rapporteren van data van studenten
en hun omgeving om zo het
onderwijs en de omgeving waarin
dit onderwijs plaatsvindt te
begrijpen en verbeteren.
http://www.laceproject.eu/faqs/learn
ing-analytics/

3. Learning analytics: Wie profiteert?
Greller, W., & Drachsler, H. (2012). Turning Learning into Numbers. Journal of Educational
Technology & Society. http://ifets.info/journals/15_3/4.pdf
Management:
Zij kunnen op basis van de gegevens
beslissingen nemen over positionering
van een opleiding.
Docenten:
Op basis van de gegevens
educatieve interventies
plegen
Studenten:
Reflecteren op hun
resultaten

4. Verschillende niveaus

5. • Is learning analytics echt complex?
• Hoe past learning analytics in de
onderwijsinfrastructuur?
• Hoe verzamel je data?
• Hoe visualiseer je de data?
• Hoe regel je toestemming van
studenten?
Aan de slag!

6. Toestemming

7. Learning analytics experiment

8. Voor wie en wat levert het op?
Voor wie?
• De studenten
• De docenten en onderwijsmanagers
• De ICT-ers
• De informatiemanagers/ICTO-medewerker & overig
management in de organisatie
Resultaat
• Een learning analytics architectuur
• Een learning analytics testopstelling
• Dataverzameling op basis van vijf onderwijsvragen
• De Xapi recipe(s) gekoppeld aan de onderwijsvragen
• Algoritmes & visualisatie
• Toestemmingsverklaring voor studenten
• Learning analytics kookboek: Aan de slag met learning
analytics.

9. Inzicht in studievoortgang
Thema 1: Gebruik lesmateriaal
• Welk materiaal wordt vaak gebruikt?
• Op welk moment voert de student de leeractiviteiten uit?
Thema 2: Inleveren opdrachten
• Heeft de student de opdracht(en) ingeleverd en wanneer?
Thema 3: Formatieve toetsing
• Hoe vaak doet de student een tussentijdse toets?
Thema 4: Monitoring studievoortgang
• Volgt de student de eigen voortgang?

10. Wie doet er mee?

11. Hoe werkt het experiment?

13. Opzet van het experiment
5 stappen in Learning Analytics
1. capture: het verzamelen van data
2. report: het rapporteren over deze data
3. predict: voorspellingen doen op basis van
de rapportage
4. act: acteren en interveniëren op basis van
de voorspelling
5. refine: verfijnen van dit proces en
overnieuw beginnen bij stap 1.
* https://net.educause.edu/ir/library/pdf/PUB6101.pdf
capture
predict
report
act
refine

14. Capture
1. Track studenten
2. Verzamel activiteiten volgens recept
3. Sla ze als xAPI statements op

15. 1. Student Tracking
Waarom?
• Activiteiten van studenten zijn verspreid over verschillende bronnen
• Studenten moeten op een eenduidige manier te identificeren zijn op iedere bron
Hoe?
• Het makkelijkste is om als identifier het emailadres van de student te gebruiken
- omdat in xAPI het emailadres één van de manieren is om gebruikers uniek te
identificeren
• Hoe komen we achter het emailadres?
- Studenten melden zich aan met SURFconext bij het experiment
- Wij gebruiken een cookie waarmee de activiteiten worden bijgehouden

16. 2. Verzamel activiteiten volgens recept
Waarom?
•Voor de docent moet het makkelijk zijn om activiteiten van de
student te verzamelen
Hoe?
•Eenvoudige recepten, zoals ‘accessed – video – introductie’,
worden omgezet in code
•Door knippen en plakken van deze code op de cursus
pagina’s worden activiteiten gemeten

17. 3. xAPI statements

18. Report
1. Data aggregeren
2. Datasets verbeteren
3. Data visualiseren

19. 1. Data aggregeren
•Datasets bevatten statements met alle activiteiten van alle
studenten
-die een bepaalde cursus volgen
-die relevant zijn voor het beantwoorden van de vraag

20. 2. Datasets verbeteren
We verbeteren datasets om een zo rijk mogelijke visualisatie te geven:
• zorg voor een vorm van studentaanmelding
- zodat het aantal studenten dat in de matrix staat maximaal is.
• koppel een start- en eindtijd aan de cursus
- zodat visualisaties waarin tijd verwerkt is een start en eind hebben.
• zorg ervoor dat 'lege' velden ingevuld worden met een default waarde.
- als student A een bepaald object 3x heeft bekeken, maar van student B is geen informatie
in relatie tot dit object, vul dan in dat student B dit object 0x heeft bekeken.
• zorg voor een manier dat alle objecten in de matrix worden genoemd.
- als 1 student een bepaald object 'gebruikt', dan geldt voor alle andere studenten dat dit
object ook wordt geactiveerd
• zorg voor een referentie kader bij de visualisatie
- benoem dus altijd het aantal studenten en het aantal activiteiten waarop de visualisatie is
gebaseerd.

21. 3. Visualiseren
•Een visualisatie wordt gekenmerkt door
-een docent
-die voor een bepaalde cursus
-een bepaalde vraag beantwoord wil zien
•De vraag kan voor een individuele student beantwoord
worden OF voor de groep studenten die aan deze cursus
deelnemen

22. Demo

23. Bronnen
• Whitepaper Hoe data de kwaliteit van
het hoger onderwijs kunnen verbeteren
• Handreiking Learning analytics onder
de Wet bescherming
persoonsgegevens
• Learning analytics in het onderwijs: Een
onderwijskundig perspectief
• Learning analytics 2016
• Blogs LA experiment

24. Bedankt voor uw aandacht!
Jocelyn.manderveld @surfnet.nl
Herman.vandompseler@surfnet.nl
www.surf.nl
www.surfnet.nl

25. • Learning analytics adoptie
• Whitepaper
• Privacy
• Toestemmingsverklaring
• ICT-voorzieningen
• LA-experiment
• OOAI met Xapi
• Personal data lockers
• Onderzoek
• Rapport LA in Onderwijsontwerpproces
• Samen met NRO
• Deelname Expertgroep Big Data OCW
Learning Analytics bij SURFnet - 2016