Toetsen en evalueren in het onderwijs

1. Theo Eggen & Anton Béguin
Toetsen en evalueren in het
onderwijs

2. Waarom toetsen we eigenlijk?
Classificeren
Selecteren
Certificeren
Motiveren
Bijsturen
Feedback geven
Evalueren
Benchmarken
Extra instructie
Summatief toetsen Formatief toetsen

3. Formatief versus summatief?

4. Voor wie? en welk doel?
• Leerling
• Docent
• School
• Systeem
• Afsluitend
• Evaluatie
• (terugkijkend)
• (vooruitkijkend)
• Vervolg bepalen
• Nieuwe doelen stellen
• Leren ondersteunen
• Onderdeel van leren

7. Trends
Kwaliteit
Flexibiliteit
Betrokkenheid docenten
Digitalisering
• Efficiency
• Rijkere opgaven / andere opdrachten
• Hulpmiddel bij differentiatie / Mogelijkheden tot zelfsturing
• Eenvoudiger administratie
• Uitgebreider datagebruik
• Betere rapportagemogelijkheden

8. Uitwerking trends
• Toetsen als leermiddel
• Toetsen op maat
• Eenvoudiger inzet korte toetsen

10. Computergestuurd Adaptief Toetsen?

11. Wat is een CAT?
• Toetsconstructie en toetsafname zijn computergestuurd en
geïndividualiseerd
• Toetssamenstelling vindt plaats tijdens de afname op basis van de
gegeven antwoorden
• Toetsen worden optimaal samengesteld voor elke persoon en voor
het doel van de toets
• Hoofddoel: zo efficiënt mogelijk meten, gegeven het gebruiksdoel en
praktische randvoorwaarden

12. Positie lat resultaat
120 cm ruim erover
140 cm ruim erover
160 cm erover
170 cm eraf
165 cm eraf
163 cm erover
Hoogspringen

13. Wat heeft een basis CAT?
• Goed gedefinieerd domein; items van hoge kwaliteit
• Met meetmodel gekalibreerde itembank: Itemresponstheorie (IRT)
• Algoritme: regels voor afname
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
-3 -2 -1 0 1 2 3
vaardigheid

14. Algoritme: basis
aselect
Maximum informatie bij
vaardigheidsschatting
Schatting van de
vaardigheid
Schattingsfout;
aantal opgaven

15. Voordelen CAT
• Optimale afstemming op individu
- prettig ervaren (motivatie, op niveau)
- vergroting meetefficiëntie
• Beter meten met de toets
- meetmodel
- bekende nauwkeurigheid
- voldoen aan specificaties
• CBT-voordelen (directe scoring en feedback, nieuwe vraagtypen (rijkere stimuli),
flexibeler testmoment en testlocatie, objectieve (foutloze) scoring, sneller dan op
papier, betere motivatie kandidaten, betere beveiliging, betere itemselectie mogelijk,
ongemerkt inzaaien van nieuwe items, testtheorie gemakkelijk toe te passen)

16. CAT: belangrijkste ontwikkelingen
• Rijkere inhoud; Betere technologie
• Betere uitgebreidere psychometrische (IRT)
modellen
– modellen voor meerpunten items; modellen met item tijd
parameters; cognitieve diagnose modellen;
multidimensionale modellen;…
• Betere itemselectie en schattings methoden
– Afgestemd op praktische wensen: inhoud, afname,
moeilijkheidscontrole
– Afgestemd op het doel van toetsen
• Multi segment adaptief toetsen

17. MuIti segment adaptief toetsen
Een multi segment CAT bestaat uit een aantal segmenten
- Elk segment is a duidelijk geïdentificeerd deel van de toetsprocedure
- Elk segment is een (mini) CAT met zijn eigen algoritme.
- De doorloop (flow) tussen segmenten wordt bepaald door
vertakkingsregels

18. Rationale voor verschillende segmenten
• Inhoud: Item type
• Inhoud: item inhoud; deeldomeinen
• Psychometrische structuur van de item bank
• Delen van de populatie die getoetst worden
• Doel van toetsen

19. MuIti segment CAT
• Verschillend algoritme per segment
• Verschillend algoritme voor subgroepen
• Doorloop tussen segmenten:
(volgorde en vertakken)
- gebruikt de psychometrische (multidimensionale) structuur
- overwegingen over inhoud en item type
- overwegingen toets doel
- praktische randvoorwaarden

20. Voorbeelden Multi segment CATs
Wiscat-pabo
Adaptieve centrale eindtoets
Spelling uit Lovs Cito

21. Voorbeeld van multi segment CAT: Spelling
• Doelgroepen : M4 E4 M5 E5 M6 E6 M7 E7 M8 E8
• Item bank: 426 items (oplm) (onderzoek: multidim)
luisterwoorden 68
Regelwoorden 131
Analogiewoorden 125
weet woorden 102
• Algoritme binnen elk segment:
- start aselect fonetisch woord
- selectie: maximale informatie
- afname controle tegen overbenutting (S&H)
- Stoppen bij vaste toets lengte
- Inhoudscontrole in analogie/regelwoorden segment (1:1)
- verschillende instructie en item type per segment

23. Flow spelling

24. Resultaten spelling CAT
populatie Gem (sd) Betrouw
baarheid
4M -0.70 (0.34) 0,87
4E -0.53 (0,31) 0,88
5M -0.24 (0,33) 0,93
5E -0.03 (0,38) 0,95
6M -0.00 (0,38) 0,95
6E 0.23 (0,37) 0,95
7M 0.37 (0,40) 0,94
7E 0.45 (0,39) 0,93
8M 0.59 (0,35) 0,90
8E 0.65 (0,36) 0,90


25. Resultaten spelling CAT
populatie Gem (sd) Betrouw
baarheid
Gem (sd)
toetslengte
% met
tl=30
% met
tl=35
% met
tl=45
4M -0.70 (0.34) 0,87 34,4 (2,1) 15 84 1
4E -0.53 (0,31) 0,88 35,0 (2,0) 5 92 3
5M -0.24 (0,33) 0,93 36,4 (3,6) 1 84 15
5E -0.03 (0,38) 0,95 38,2 (4,7) 1 67 32
6M -0.00 (0,38) 0,95 39,7 (5,0) 0 53 47
6E 0.23 (0,37) 0,95 41,0 (4,9) 0 40 60
7M 0.37 (0,40) 0,94 41,8 (4,7) 0 31 69
7E 0.45 (0,39) 0,93 43,1 (3,9) 0 19 81
8M 0.59 (0,35) 0,90 44,1 (2,9) 0 9 91
8E 0.65 (0,36) 0,90 44,3 (2,5) 0 7 93


26. Conclusie
• Voor het onderwijs hebben de mogelijkheden van CAT zich
ontwikkeld van een basis psychometrisch toetsmodel naar een
professionele toetsvorm
• Multi segment CAT is a een flexibele benadering met veel
mogelijkheden
• Voor alle toetsdoelen kunnen CAT toepassingen bijdragen aan
flexibele en efficiënte toetsen van hoge kwaliteit

27. .

28. • Adaptief
• Online
• Methode‐onafhankelijk
• Spelenderwijs
• Veel oefenstof
• Eenvoudig in gebruik
• Inzicht in prestaties
• Flexibel abonnementssysteem
6/27/201728
Online
leeromgevingen

29. Evidence informed
Wat weten we uit eerder onderzoek?
• Rekenen en taal zijn een vorm van
cognitieve expertise
– Vereist ‘Deliberate Practice’
• Intensieve op individu afgestemde
oefeningen met feedback
• Het positieve effect van een‐op‐een
onderwijs is zeer groot!
– Bloom’s 2 sigma probleem
6/27/2017 29
DOEL: meer oefenen op je eigen niveau!

30. Web based computer adaptieve
oefenvolgsystemen
• Basisidee: Digitale schriftjes
• Keuze oefening automatisch afgestemd op kind, differentiatie
• Combinatie spelenderwijs oefenen en toetsen (volgen)
• Geen aparte toetsen meer nodig
• Geen nakijkwerk, wel scoreprofielen
• Meten dagelijkse ontwikkeling
• Web‐based (cloud)
• ICT moet leven leerkracht eenvoudiger maken,
niet ingewikkelder!
• Hoe? Nieuwe vorm van adaptief toetsen met tijdsdruk (psychometrie)
6/27/2017 30

31. De oplossing?
• Adaptief systeem gebaseerd op Elo ratingsysteem
uit de sport (schaken)
Rating van een speler verandert afhankelijk
van de uitkomst van de partij en de rating
van de tegenstander.
• Kinderen spelen tegen items
Als een kind een fout antwoord geeft,
wint de opgave, afhankelijk van de rating
van het kind.
316/27/2017

32. • Snelheid en accuratesse geïntegreerd
• Snel gokken wordt gestraft
• Visueel spelelement
6/27/2017 32
High Speed High Stakes scoringsregel

33. Spelmotivaties Rekentuin
Groei planten =
vaardigheid
Basis‐ & bonustuin
= belang vaardigheden
Aantal munten = inzet
/ speelfrequentie
Verdorring / gieters =
onderhouden van
vaardigheden
6/27/2017 33

35. Leerling
• … voert zelf (mede) regie over het leerproces.
• … krijgt inzicht in wat er geleerd is
en wat de volgende stap in de leerlijn is.
• … kan leren op zijn of haar eigen tempo
en op een manier die bij de leerling past.

36. Leerkracht
• … krijgt inzicht in de ontwikkeling van leerlingen op een
leerlijn.
• … kan leerlingen ondersteunen bij het leren in hun eigen
tempo en op hun eigen niveau.
• … kan, indien nodig, geschikte materialen of werkvormen
kiezen om een leerdoel aan te leren.

41. Wat ziet de leerling?

47. Tenslotte
• Digitalisering leidt tot nieuwe mogelijkheden op het vlak van
toetsing en examinering
• Flexibiliteit
• Adaptiviteit
• Meer gericht op het leerproces
• Organistorisch beter in te plannen
• Vervolgonderzoek
• Meer betrokkenheid docenten
• Andere vaardigheden
• Effectiviteit van procedures en methoden

48. Literatuur
• Keuning, J. & Verhoeven, L. (2008). Spelling development throughout the elementary grades:
The Dutch case. Learning and Individual Differences, doi:10.1016/ j.lindif.2007.12.001
• Newton, P.E. (2007). Clarifying the purposes of educational assessment. Assessment in
Education, 14, 149-170.
• Straetmans, Gerard & Eggen, Theo (2005). Afrekenen op rekenen: over de rekenvaardigheid
van pabo-studenten en de toetsing daarvan. Tijdschrift voor Hoger Onderwijs, 03-2005,123-
139
• Straatemeijer, M. (2014). Math Garden: A new educational and scientific instrument. Doctoral
Dissertation University of Amsterdam
• Theo Eggen (2016). Multi-segment Computerized Adaptive Testing Serving Educational
Testing Purposes
• Van der Kleij, F. M., Vermeulen, J. A., Schildkamp, K., & Eggen, T. J. H. M. (2015). Integrating
data-based decision making, assessment for learning and diagnostic testing in formative
assessment. Assessment in Education: Principles, Policy & Practice, 22, 324–343.
doi:10.1080/0969594X.2014.999024

49. Bedankt voor uw aandacht
t.j.h.m.eggen@utwente.nl
anton.beguin@cito.nl