Woensdag 12 november Sessieronde 2 Titel: Onderzoek Learning Analytics Sprekers: Gerard Veldhuis (TNO) Zaal: Penn I

1. Onderzoek Learning analytics:
leerstrategieën in een
onderwijsleerprogramma
Esther Oprins
Gerard Veldhuis
Rianne Kaptein
Egon v.d. Broek
Roelie Kruis
Rob Sudmeijer
Dana Bezuijen
Min OCW

2. Agenda
1. Focus
• Aanleiding doel
• Leeromgeving Schooltas
• Learning analytics
2. Onderzoek
• Aanpak
• Resultaten
3. Conclusies en uitdagingen

3. Aanleiding en doel
1. Effectiviteit en efficiency van traditionele leermiddelen (folio) worden
geacht te zijn aangetoond. Digitale leermiddelen worden in
toenemende mate vervangend t.o.v. folio.
Nagaan hoe effectiviteit en efficiency van een digitaal leermiddel (in dit
geval Schooltas) zich verhouden tot bestaande leerprocessen die
m.b.v. folio worden ingericht.
2. Leerstrategieën en leerstijlen hebben invloed op effectiviteit en
efficiency van het leerproces.
Nagaan of analyses van gelogde data in staat zijn om strategieën van
individuele leerlingen te herkennen, te koppelen aan hun leerstijl om
vervolgens aanbevelingen te (laten) doen voor vervolgstappen in het
leerproces: adaptiviteit, gepersonaliseerd leren.

4. De leeromgeving Schooltas

7. Learning analytics
Learning analytics is the measurement, collection, analysis and
reporting of data about learners and their contexts, for purposes of
understanding and optimizing learning and the environments in which it
occurs (LAK 2011)
Ofwel…
Het verzamelen, verwerken en presenteren van (geanalyseerde)
data over de lerende en de leercontext om het leerproces te
ondersteunen.

8. Voorbeeld: SNAPP

9. Focus
Vanuit de techniek en data: welke patronen zijn er te vinden?
• Educational data mining: meer gericht op hypotheses genereren
• Generieke uitkomsten
Vanuit de lerende en voorkeur herkennen van patronen in de data?
• Learning analytics: meer gericht op hypothese toetsen
• Individu versterken

10. Elementen van learning analytics

11. Elementen van learning analytics

12. Voormeting Nameting
Algemene (persoons)kenmerken (controlevariabelen)
Vragenlijst persoonskenmerken:
 Leeftijd
 Geslacht
Vragenlijst motivatie (IMI):
 Intrinsieke motivatie
 Self-efficacy
Extra gegevens (indeling in groepen):
 Vak: aardrijkskunde of Frans
 Klas: 1e of 2e klas
 Richting: VMBO-KTG, MAVO-HAVO, of HAVO-VWO
 School (8 verschillende scholen)
Leerkenmerken
Leerstijlentest (De Koning, vgl. Kolb)
 Dromer
 Denker
 Beslisser
 Doener
Vragenlijst leerstrategieën MSLQ
 Herhalen
 Metacognitieve zelfregulatie
 Tijd
 Samenwerkend leren
 Hulp zoeken
Vragenlijst Schooltas-specifiek:
 Volgorde van leren
 Prikkers / aantekeningen
 Mediagebruik
Learning analytics
 Op basis van vastgestelde
features
Leeruitkomst (prestaties)
Schoolcijfers:
 Krokusvakantie: cijfer voor vak
 Meivakantie: cijfer voor vak
Methodetoetsen (in 2 condities)
 Cijfer toets (1x of 2x)
Self-assessment:
 Eigen totaaloordeel (1 – 10)
Self-assessment:
 Eigen totaaloordeel (1 – 10)

13. Deelnemers (verdeeld over 6 scholen)
Vak Leerjaar Niveau Experimentele
groep
Controle-
groep
Aardijkskunde
1
VMBO-KGT 1 klas 3 klassen
VMBO-T-HAVO 2 klassen 1 klas
HAVO-VWO 6 klassen 1 klas
2 VMBO-KGT 1 klas 1 klas
Frans 1 VMBO-T-HAVO 2 klassen (geen)
Per schooltype: dezelfde vakinhoud, dezelfde methodetoetsen

14. Aantal leerlingen (in dataset), 1e en 2e leerjaar
Conditie
Totalcontrolegroep experimentele groep
Schooltype Vmbo-kgt 78 94 172
Vmbo-t-havo 22 46 68
Havo/vwo 25 149 174
Total 121 266 387

15. Resultaten

16. Leerstrategieën
OV1. Welke leerstrategieën kunnen worden onderscheiden en
herkend bij zowel de controle als de experimentele groep?
Data:
1) Logdata (alleen experimentele groep)
2) Vragenlijst leerstrategieën (MSLQ)
3) Vragenlijst leerstrategieën gerelateerd aan Schooltas
Analyses:
1) Verschillen tussen scholen/schooltypen/vakken
2) Relaties leerstrategieën vs. logdata

17. Logdata (learning analytics)
Stappen:
Selectie van mogelijk relevante logdata (bv activiteit, tijd, volgorde) op
basis van onderwijskundige theorie t.a.v. leerstrategieën
Berekenen van relevante (composiet) variabelen
Uitdraaien van overzichten (verschillen per school/klas, ranges etc)
Analyses met combinaties van relevante (composiet) variabelen en
de vragenlijst data: zoeken naar patronen en betekenisvolle relaties
Naar voorspellingen op basis van patronen in de dataset

18. Totaal logdata
Periode: 48 dagen met activiteit
Totaal aantal schooltas pagina’s bekeken: 448,970
Totaal aantal edits: 800,640
Gemiddeld aantal secondes per pagina: 130 s
Gemiddelde lengte van een content item: 28 karakters
Gemiddeld aantal switches tussen boeken op een dag: 3,1

19. Alleen aardrijkskunde (alles sign verschillend ANOVA)
Verschillen per schooltype in logdata
(geclusterd)

20. Verschillen schooltype in leerstrategieën (1)
Alles sign verschillend tussen schooltype (ANOVA) behalve
voor afgeleid.

21. Correlaties (multiple canonical):
logdata Schooltas – leerstrategieën

22. Voorbeelden samenhang logdata (scatterplots)

23. Conclusies leerstrategieën
De hoeveelheid activiteit in Schooltas op basis van logdata verschilt per
(type) school: dit is relatief meer bij havo-vwo dan vmbo.
Dit zien we terug voor het gebruik van leerstrategieën in data vragenlijst:
havo-vwo hanteert meer leerstrategieën dan vmbo.
Hoeveelheid activiteit en extra informatie hangt (zoals verwacht) samen
met leerstrategieën. Dit geldt niet voor bestede tijd.
De samenhang tussen logdata en vragenlijst data en logica in gevonden
resultaten suggereert dat deze logdata over het algemeen betekenisvol zijn
voor het in kaart brengen van leerstrategieën..

24. Leerstijlen
OV2. Welke leerstijlen van individuele leerlingen leiden tot de
leerstrategieën zoals geïdentificeerd in OV1?
Data:
1) Vragenlijst leerstijlen (Kolb)
Analyses:
1) Verdeling van leerstijlen over schooltype
2) Relaties leerstrategieën met leerstijlen
(vragenlijst + logdata)

25. Geen (sign) verschillen (ANOVA)
Verschillen schooltype in leerstijlen

26. Correlaties (Pearson) leerstijlen – leerstrategieën

27. Conclusies leerstijlen
In de onderzoeksgroep zitten vooral ‘doeners’, met name op het
vmbo. Dit is conform verwachting.
De leerstijlen hangen niet samen met leerstrategieën (op diverse
manieren gemeten), kennelijk is dit toch iets anders.
De doeners vertonen relatief meer activiteit in Schooltas conform
verwachting maar verder weinig relatie.
Leren door te doen ipv lezen komt niet duidelijk terug bij de doeners
bij detail analyse over volgorde van leren. Dit komt wellicht ook omdat
volgorde niet goed kon worden achterhaald op basis van logdata.

28. Effectiviteit
OV3. Zijn er leerstrategieën te onderscheiden die effectiever
(betere leerprestaties) en/of motiverender blijken te zijn dan
andere bij gebruik van Schooltas en bij de controle conditie?
Data:
1) Cijfers (gemiddelde rapportcijfer + methodetoets)
2) Leerstrategieën (vragenlijsten + logdata)
3) Self-efficacy + motivatie (vragenlijst)
Analyses:
1) Relaties leerstrategieën (vragenlijsten + logdata) met cijfers
2) Verschillen experimentele en controlegroep op cijfers en leer
strategieën (vragenlijsten + logdata)
3) Relaties self-efficacy + motivatie: controlevariabelen

29. Effectiviteit (rapportcijfer):
hiërarchische (lineair) multiple regressie

30. Correlaties (Pearson): cijfers – logdata, cijfers –
self-efficacy & motivatie
rapportcijfer toetscijfer
Pearson
Correlation
,621**
,404**
Sig. (2-tailed) ,000 ,000
N 369 366
Pearson
Correlation
,240**
,135**
Sig. (2-tailed) ,000 ,010
N 369 366
*. Correlation is significant at the 0.05 level (2-tailed).
Self-
efficacy
Motivatie
**. Correlation is significant at the 0.01 level (2-tailed).

36. Overall conclusies & vervolgonderzoek

37. Overall conclusies
Learning analytics: de gelogde data zijn betekenisvol want hangen
samen met leerstrategieën. Echter niet alles kon (nu nog) goed
worden berekend bv. volgorde in leren.
Leerstrategieën: de manier waarop leerlingen leren, al dan niet met
een digitaal leermiddel, is sterk afhankelijk van schooltype (hoe
hoger, hoe meer leerstrategieën) en van de didactiek (docentgedrag)
Leerstijlen: er is weinig relatie gevonden met leerstijlen. Er zitten
relatief veel ‘doeners’ op het vmbo, zij vertonen meeste (leer)activiteit.
Effectiviteit: leren wordt niet per definitie effectiever bij gebruik van
het digitaal leermiddel, mede omdat het gebruik hiervan sterk afhangt
van het leerproces (leerstrategieën) en de didactiek (docenten).

38. Beperkingen van het onderzoek
Logdata: het onderzoek heeft gebruik gemaakt van bestaande
logdata waardoor niet alle relevante info kon worden gemeten
Effectiviteit: het is in de praktijk lastig gebleken om op een goede
manier leerlingprestaties te meten: dezelfde inhoud, cijfers. Dit
onderzoek was vooral gericht op het leerproces ipv leeruitkomst.
Efficiency: de efficiency in termen van ‘tijd’ (even veel leren in kortere
tijd mbt een digitaal leermiddel) is in dit onderzoek niet gemeten.
Didactiek / rol docent: er is beperkt (kwalitatief) onderzoek gedaan
naar de invloed van didactiek of rol van de docent.
Leermiddelen: slechts 1 specifiek leermiddel is gebruikt; conclusies
kunnen niet gegeneraliseerd worden naar digitaal leren algemeen.

39. Vervolgonderzoek / uitdagingen
Learning analytics: in meer detail moet worden onderzocht welke
data voldoende betekenisvol zijn om systematisch te loggen, niet
alleen in Schooltas maar ook in andere digitale leermiddelen, op
basis van onderwijskundige theorieën over leerprocessen.
Hoe omgaan met omvang? Bouw database leermiddel?
Didactiek / rol docent: meer systematisch (kwantitatief) moet
worden onderzocht welke didactiek het meest effectief is bij digitale
leermiddelen en wat dit betekent voor de (andere) rol van de docent.
Effectiviteit/efficiency: de effecten zouden in combinatie met tijd
moeten worden onderzocht, met betrouwbare prestatiemetingen.
Vervolgvragen: welke aanpak draagt bij aan effectiviteit
Leermiddelen: het onderzoek zou moeten worden verbreed naar
ander type leermiddelen (bv. meer adaptief/maatwerk).

40. Think big, start small

41. Learning analytics
Grootste waarde zit niet een efficienter van onderwijs-van-nu…
…maar in de disucssies over hoe we onderwijs in willen richten:
-Persoonlijk
-Zelfsturend
-Nieuwe vaardigheden (21st C)
Learning Analytics stelt ons in staat om deze mogelijkheden te
onderzoeken en te ondersteunen ook i.v.m. folio.
Dit vraagt om de samenwerking:
-Tussen verschillende disciplines
-Verschillende stakeholders Onderwijsketenpartners

42. Dank voor uw aandacht
Gerard.veldhuis@tno.nl