1. Learning analytics en
formatieve toetsing
UM-ervaringen uit het ONBETWIST-project
SURF-programma ‘Toetsing en Toetsgestuurd Leren’
Dirk Tempelaar
Maastricht University
School of Business & Economics

2. Wiskunde SURF projecten in tijd
• Webspijkeren I: dec 2004 – dec 2006
• Webspijkeren II: sept 2006 – sept 2008
Verbeteren aansluiting, verlagen dropout, aanbieden
bijspijkercursussen, vooral individueel oefen/toets
materiaal. Onderzoek instructie scenario’s.
• NKBW I: sept 2008 – sept 2009
• NKBW II: sept 2009 – dec 2010
Opvolger Webspijkeren. Meer partners, en HO.
Sterker toetsgericht. Wiskunde monitor: ingangstoets.
• ONBETWIST: maart 2010 -: Toetsgestuurd leren is
centrale focus; onderdeel SURF ‘Toetsen en
Toetsgestuurd leren’. Wiskunde & statistiek.

3. ONBETWIST database
• Bevat grote collectie toetsen & toetsvragen:
• Wiskunde
• Statistiek
• Ingangs-
niveau &
• 1e jaars
• Beta &
Gamma

4. Casus: UM economie & bedrijfskunde
Kenmerken:
• Grote studies (950 studenten/jaar)
• Sterke internationalisering (35% NL; 42% Duitstalig
Europa; 7% IntBac; …)
• Extreem grote diversiteit in voorkennis &
vooropleiding: A vs B, nationale verschillen
• Blended learning: PGO (verplicht) en aanvullend
digitaal, toetsgericht leren (optioneel, vooral voor
studenten ‘op achterstand’.
• Veel data: (concern)systemen & studentensurveys

5. Referentie
• Praktisch artikel in September 2012
nummer van OnderwijsInnovatie:
• Toetsgestuurd leren en learning
analytics, pp. 17-26.
• Dirk Tempelaar, Hans Cuypers, Evert
van de Vrie, Henk van der
Kooij, André Heck.
• http://www.ou.nl/web/onderzoek/ti
jdschrift-onderwijsinnovatie

6. MyStatLab
• Digitale
leeromgeving
statistiek:
MSL, Pearson.
Toetsgestuurd
leren plus
extra functies
(‘Help me
solve
this’, ‘View an
example’).

7. ONBETWIST
• Digitale leerom-
geving wiskunde:
ONBETWIST
database van
oefen- en toets-
vragen. In lokale
BB opgenomen
om gebruik en
resultaten te
kunnen koppelen
aan andere data.

8. Voorspellers van wiskunde & statistiek prestaties
• Voorkennis, op 2 manieren gemeten:
– ONBETWIST diagnostische toets Algebraische Rekenvaardigheden
– Niveau vooropleiding (A vs B)
• Intensiteit oefenen
– Uren (MSL) of
aantal toetsen (BB)
– Oefenscore
16 0.7
StatsExamen
14 0.6
WiskExamen
12 0.5
10 0.4
Stats#Uren
8 0.3
StatsToetsScore
6 0.2
Wisk#Toetsen
4 0.1 WiskToetsScore
2 0.0
0
InstaptoetsLaag & InstaptoetsHoog & InstaptoetsLaag & InstaptoetsHoog &
OefenenWiskLaag OefenenWiskLaag OefenenWiskHoog OefenenWiskHoog

9. Vroegtijdig signaleren: week 0 en week 2
Formatieve toetsen en het signaleren van academische prestaties:
• Bij binnenkomst (week 0) twee voorspellers: vooropleiding (A vs B) en
score diagnostische ingangstoets. Voorspellen samen 21% van
variatie in eindscore.
• Na eerste Quiz, eind week 2: 57% van variatie in eindscore te
verklaren uit formatieve toetsen, en het oefenen ervoor.
• Dus naast leerfunctie belangrijke informatiefunctie.
Qmscore: correlaties 0 week Qmscore: correlaties 2 week
0.5 0.7
0.6
0.4
0.5
0.3 0.4
0.2 0.3
0.2
0.1
0.1
0 0
B-opleiding Ingangstoets B-opleiding Ingangstoets Quiz1Wisk Quiz1Stats Statscore Wiskscore

10. Learning analytics & demografische factoren
Doel: opstellen van profiel van de intensief digitaal oefenen met systeemdata/surveys
• Studenten met B-opleiding behalen hogere score wiskunde zonder extra te oefenen
• Maar niet voor statistiek;
• VWOers hebben betere aansluiting, maar vertrouwen daar te veel op;
• Instaptoetsscore voorspellend voor score oefentoetsomgeving;
• Bescheiden gender-effect: vrouwelijke studenten actiever.
0.4
0.3
0.2
0.1
Stats#Uren
0.0 StatsScore
Wisk#Toetsen
-0.1
WiskScore
-0.2
-0.3
-0.4
B-opleiding VWO Ingangstoets Vrouw/Man

11. Learning analytics & culturele verschillen
• Nationaliteitsdata omgezet in
nationale cultuur dimensies
(Hofstede): 0.4
Machtsafstand, Individualisme/Collecti 0.3
visme, Masculiniteit/Femininiteit, Onz
ekerheidsvermijding, Lange-Korte 0.2
Termijn Denken en Hedonisme 0.1
(uitbundigheid) versus Soberheid.
0.0
• Flinke effecten voor Masculiniteit Stats#Uren
(onderwijs = competitie), LangeTermijn -0.1
StatsScore
Oriëntatie, en Onthouding (Soberheid) -0.2
Wisk#Toetsen
WiskScore
• Kleine effecten -0.3
Machtsafstand, Collectivisme, Onzeker
heidsvermijding -0.4
• Verschil tussen effect op primair
tijd, of tijd & score.

12. Learning analytics & leerstijlen
Leerstijldata gebaseerd op leerstijlmodel Jan Vermunt
• Leerstrategieën: diepe, stapsgewijze, en concrete verwerking
• Regulatiestrategieën: zelfsturing, externe sturing, en stuurloos of gebrek aan
regulering
‘Model-student’: zelfsturend & gericht op diepe verwerking: heeft het toetsgerichte
leren maar beperkt nodig.
‘Afhankelijke student’: benodigd externe sturing, gericht op stapsgewijze verwerking:
sterke samenhang met toetsgericht leren.
0.2
Stuurloos: oefent intensief, maar
profiteert daar helemaal niet van
0.1
Stats#Uren
0.0 StatsScore
Wisk#Toetsen
WiskScore
-0.1

13. Learning analytics & Martin’s ‘Motivation &
Engagement Wheel’
4 kwadranten gebaseerd op:
• Gedachten versus Gedragingen
• Adaptief versus MalAdaptief of
Belemmerend

14. Learning analytics & Martin’s ‘Motivation & 0.2
Engagement Wheel’
• Alle adaptieve gedachten en alle 0.1 Stats#Uren
adaptieve gedragingen een gunstig StatsScore
Wisk#Toetsen
effect hebben op toetsgericht WiskScore
0.0
leren, waarbij gedragingen meer effect
hebben dan gedachten
• MalAdaptieve kwadranten: verschil 0.3
tussen gedachten, vooral Angst: positief
effect, en gedragingen: negatief effect. 0.2
• Verklaart deels gender-effect in 0.1
Stats#Uren
toetsgericht leren: maladaptiviteit heeft StatsScore
0.0
bij vrouwelijke studenten eerder de Wisk#Toetsen
vorm van gedachten: angst en -0.1
WiskScore
Vrouw/Man
onzekerheid, bij manlijke studenten
-0.2
eerder de vorm van gedragingen: uitval
en zelf-handicap

15. Learning analytics & Pekrun’s Control-Waarde
theorie van Leeremoties
• Leeremoties worden beïnvloed door het gevoel ‘in controle’ te zijn en iets
waardevols te doen.
• Keuze voor leeremoties die verondersteld worden sterk bij te dragen aan
studiesucces of uitval: de negatieve emoties angst, verveling en hopeloosheid, de
positieve emotie plezier.
• In het midden van de cursus gemeten
0.3
• Positieve emoties: positief effect,
0.2
• Negatieve emoties: negatief effect.
0.1
• Effect op score veel sterker dan op
Stats#Uren
tijd/aantal toetsen 0.0
StatsScore
-0.1 Wisk#Toetsen
WiskScore
-0.2
-0.3
-0.4
Control Angst Verveling Hopeloos Plezier

16. Samenvattend
• Formatieve toetsing heeft uiterst belangrijke informatie functie, zelfs al voordat het
vak begint: diagnostische ingangstoetsing
• Informatie functie geldt ook de inzet die studenten laten zien in het toetsgerichte
leren, zelfs al in eerste weken, naast een leerfunctie
• Beide zijn onderdeel van ‘student modeling’
• Learning Analytics heeft tot taak relevante informatie zo snel mogelijk ter
beschikking van studenten en docenten te krijgen
• Learning Analytics van historische data (als in deze studie) maakt mogelijk (risico)
groepen te identificeren die gebaat zijn bij intensief digitaal oefenen
• Dit is voorbeeld van gebruik ‘student profiling’
• Bijzondere opdracht voor studentgericht onderwijs, zoals PGO, waarin de student
de beslisser is: hoe de informatievoorziening zo adequaat mogelijk op individuele
student afstemmen