1
Toetsen en Rendement
HANovatie themadag 3 november 2010.
Silvester Draaijer
Onderwijscentrum VU
s.draaijer@ond.vu.nl
Wor...
2
Typen toetskoppelingen
Conjunctief: alle toetsen moeten met een voldoende worden
afgesloten
Complementair: niet op alle ...
3
Casus -1
Welke van onderstaande examenregelingen is het ‘beste’
• In ons curriculum worden herkansingen afgeschaft. Als ...
4
Casus 0
Welke van onderstaande examenregelingen is het ‘beste’
• Een eerstejaarsprogramma bestaat uit 10 cursussen. Een
...
5
Casus A
Welke van onderstaande toetsen is de ‘beste’.
U geeft een toets aan studenten. In de toets zitten 20
vierkeuzevr...
6
Casus B
Welke van onderstaande cursussen is de ‘beste’.
• U geeft een cursus aan studenten. De toetsing bestaat uit 4
op...
7
Waarom compensatorisch?
• Om foute examenbeslissingen te verminderen (misclassificaties)
• Stimuleert om hard te studere...
8
Wat kan er wettelijk?
De wetgever schrijft voor dat de faculteit vastlegt hoeveel malen per
studiejaar de gelegenheid wo...
9
En wat zegt de ethiek2?
Bespreking van casus Universiteit Utrecht
• Gelijkheidsbeginsel
• Gokkans
• Knowledge of results...
10
Effecten compensatorisch toetsen
• Snellere doorstroming, minder deelname aan herkansingen.
• Geen aantoonbare negatiev...
11
Mogelijke nadelen van compensatorisch toetsen
• Laag cijfer op een belangrijk vak gecompenseerd kan worden
door een hoo...
12
Toetsen en Rendement
Workshop 2 13.00 – 14.10 uur: Cesuurstelling en Misclassificaties.
13
Cesuurstelling - Zak/slaaggrens
Onderbelicht fenomeen in het onderwijs
Algemeen model voor toetsen en scoreverdeling
Be...
14
Basisprincipes voor cesuurstelling
Absoluut Bij de absolute methode bepaalt u vooraf de
voldoende/onvoldoende grens (ce...
15
Meer uitgewerkte methoden
Absoluut
Angoff (kans dat een 6-jes student de vraag goed beantwoord)
Nedelsky (meerkeuzevrag...
16
correct zal beantwoorden (item B) en het makkelijkste item dat een
zesjesstudent fout zal beantwoorden (item A)).
JBF (...
17
Contrast-groep (vergelijk verdeling van 2 groepen waarvan op
voorhand bekend is dat ze tot een mindere cq. betere groep...
18
Hofstee (bepaald
Meer lezen:
Kloppenbur, M. (2003). Hoofdstuk 9: Normeren Ontwikkeling van
een psychometrische kwalitei...
19
R. K. Hambleton and M. J. Pitoniak (2006). Setting performance
standards. In R. L. Brennan: Educational measurement 4th...
20
Score en betrouwbaarheid van de uitslag
• Betrouwbaarheid neemt toe bij toename van aantal vragen (of
opdrachten, crite...
21
Misclassificaties
Dousma et al. (1997) Tentamineren.
In percentage: 22/200=11% onterecht gezakten
22
In combinatie conjunctief en
compensatorisch toetsen
Enig eenvoudig rekenwerk omtrent kansen van
onterecht zakken
(op b...
23
Enig eenvoudig rekenwerk omtrent
studievertraging
Conjunctief
Stel, een student is in principe redelijk bekwaam en in s...
24
Compensatorisch
Stel dat er sprake is van een student die gemiddeld een 6,75 kan
scoren. In principe kan hij voor de 12...
25
Andere kijkwijze
Toets 1 Toets 2 Toets 3 Totaal
onter
echt
gezakt
conju
nctief
Totaal
ontere
cht
gezakt
compe
nsatori
s...
Upcoming SlideShare
Loading in …5
×

Presentatie compensatorisch toetsen of niet

1,425 views

Published on

Silvester Draaijer, Vrije Universiteit Amsterdam

Published in: Education
1 Comment
3 Likes
Statistics
Notes
No Downloads
Views
Total views
1,425
On SlideShare
0
From Embeds
0
Number of Embeds
18
Actions
Shares
0
Downloads
13
Comments
1
Likes
3
Embeds 0
No embeds

No notes for slide

Presentatie compensatorisch toetsen of niet

  1. 1. 1 Toetsen en Rendement HANovatie themadag 3 november 2010. Silvester Draaijer Onderwijscentrum VU s.draaijer@ond.vu.nl Workshop 1 10.45-11.55 uur: Compensatorisch Toetsen
  2. 2. 2 Typen toetskoppelingen Conjunctief: alle toetsen moeten met een voldoende worden afgesloten Complementair: niet op alle toetsen hoeft een voldoende cijfer te worden gehaald Compensatorisch: een deel van de toetsen mag met een onvoldoende worden afgesloten MITS er één of meer hogere score in het curriculum tegenover staan.
  3. 3. 3 Casus -1 Welke van onderstaande examenregelingen is het ‘beste’ • In ons curriculum worden herkansingen afgeschaft. Als een cursus niet met een voldoende wordt afgesloten dient het volgend academisch jaar te worden overgedaan • In ons curriculum mogen maar maximaal 3 eindtoetsen herkanst te worden per student per jaar. • In ons curriculum mag de eindtoets van elke cursus maar éénmaal per jaar herkanst worden. • In ons curriculum mag de eindtoets van elke cursus éénmaal twee weken na afloop van de 1e kans worden herhaald, mits de score op de 1e kans hoger was dan een 5,0 en daarna direct na de zomervakantie. • In ons curriculum mag de eindtoets van elke cursus éénmaal twee weken na afloop van de 1e kans worden herhaald en daarna direct na de zomervakantie.
  4. 4. 4 Casus 0 Welke van onderstaande examenregelingen is het ‘beste’ • Een eerstejaarsprogramma bestaat uit 10 cursussen. Een student slaagt voor het eerstejaarsprogramma indien: • hij alle cursussen met een voldoende afsluit. • hij alle vakken met een voldoende afsluit waarbij er één 5 is toegestaan. • hij alle vakken met een voldoende afsluit waarbij er één 5 is toegestaan, mits gecompenseerd met een 8 op een ander willekeurig vak. • hij alle vakken met een voldoende afsluit waarbij er één 5 is toegestaan, mits gecompenseerd met een 8 op vak in hetzelfde thema (bijv. methoden en technieken, communicatie, project e.d.).
  5. 5. 5 Casus A Welke van onderstaande toetsen is de ‘beste’. U geeft een toets aan studenten. In de toets zitten 20 vierkeuzevragen. • Als een student 1 of meer vragen fout heeft zakt hij voor de toets. • Als een student 10 of meer vragen fouten heeft is hij gezakt voor de toets. • Als een student 7 of meer vragen fouten heeft is hij gezakt voor de toets. • een student 3 of meer vragen fout heeft zakt hij voor de toets.
  6. 6. 6 Casus B Welke van onderstaande cursussen is de ‘beste’. • U geeft een cursus aan studenten. De toetsing bestaat uit 4 opdrachten die elk 10% van het eindcijfer bepalen en 1 eindtoets die 60% van het eindcijfer bepaalt. • De student slaagt voor de cursus als alle onderdelen met een voldoende zijn afgerond. Bij niet slagen moet de gehele cursus worden over gedaan. • De student slaagt voor de cursus als het gemiddelde van de opdrachten voldoende is gescoord en hij slaagt voor de eindtoets. Bij niet slagen moet de gehele cursus worden over gedaan. • De student slaagt voor de cursus als het gemiddelde van de opdrachten voldoende is gescoord en hij een voldoende scoort voor de eindtoets. Bij niet slagen moet de gehele cursus worden over gedaan. • De student slaagt voor de cursus als het gemiddelde van alle opdrachten en de eindtoets tot een voldoende leidt. Bij niet slagen moet de gehele cursus worden over gedaan. • De student slaagt voor de cursus als het gemiddelde van alle opdrachten en de eindtoets tot een voldoende leidt. Bij niet slagen kan de student zelf bepalen welk onderdeel hij herkanst om alsnog gemiddeld op een voldoende uit te komen.
  7. 7. 7 Waarom compensatorisch? • Om foute examenbeslissingen te verminderen (misclassificaties) • Stimuleert om hard te studeren en niet uit te stellen. Wilbrink1 Zie: heeft e.e.a. theoretisch benaderd en komt op basis van nutsfuncties tot de conclusie dat studenten simpelweg harder gaan studeren bij compensatorisch toetsen, mits de toetsen ‘doorzichtig’ zijn. http://www.benwilbrink.nl/publicaties/77CesuurbepalingCOWO.htm . Dit betreft een ‘oud’ artikel van Ben Wilbrink uit 1977! Hoe veel geldigheid heeft die informatie op dit moment dan nog steeds! 1 http://www.benwilbrink.nl/publicaties/95StudiestrategieORD.htm
  8. 8. 8 Wat kan er wettelijk? De wetgever schrijft voor dat de faculteit vastlegt hoeveel malen per studiejaar de gelegenheid wordt geboden tot het afleggen van de tentamens (art. 7.13 WHW). Ten aanzien van het Bindend Studieadvies stelt de wetgever als eis dat 'de desbetreffende opleiding zorgt voor zodanige voorzieningen dat de mogelijkheden voor goede studievoortgang zijn gewaarborgd' (art. 7.8b WHW).
  9. 9. 9 En wat zegt de ethiek2? Bespreking van casus Universiteit Utrecht • Gelijkheidsbeginsel • Gokkans • Knowledge of results. • Geen cum-laude. • Bestrijding van gokgedrag en zesjescultuur. • Optimaal gebruik van voorzieningen. • Verhoogde slaagkans voor vele studenten. • Bestrijding van gokgedrag. • Schade voor minder vlotte studeerders. • A-normale studenten worden gedupeerd. • Inconsistente prikkels. • Beheersing van de regeldruk. Maar wat zou je moeten concluderen? 2 Wes Holleman, weblog onderwijs 7-6-2010, http://www.onderwijsethiek.nl
  10. 10. 10 Effecten compensatorisch toetsen • Snellere doorstroming, minder deelname aan herkansingen. • Geen aantoonbare negatieve gevolgen. • Het voordeel van conjunctief toetsen is ook niet aangetoond. • Meer positieve BSA adviezen (dus minder voorwaardelijke gevallen) • Gelijkblijvend aantal negatieve BSA adviezen • Minder discussie over bijvoorbeeld de 5,4’s etc. De eisen kunnen gewoon wat zwaarder worden. Dat is positief. Zie bijvoorbeeld: http://www.dub.uu.nl/content/strengere- herkansingseisen-zijn-bedoeld-als-straf of http://www.onderwijsethiek.nl/?p=1762 • Maken docenten dan vakken moeilijker? Misschien. Interessant.
  11. 11. 11 Mogelijke nadelen van compensatorisch toetsen • Laag cijfer op een belangrijk vak gecompenseerd kan worden door een hoog cijfer op een minder belangrijk vak. Maar wat is belangrijk? --> het vak waarop laag wordt gescoord. • Laatste vak verwaarlozen – geen docent wil zijn/haar vak meer in juni hoeven afronden? Dus heel erg moeilijk vak in het begin van het curriculum plaatsen • Beschuldiging moeten pareren dat compensatorisch toetsen een NEP-onderwijsverbetering is. • Oplossen dmv toepassing van gedeeltelijke compensatie o Alleen 5-en compenseren o Alleen 1 vak onvoldoende o Alleen 1 vak binnen cluster van ‘vergelijkbare’ vakken o Compensatie alleen laten gelden voor beperkte periode o Zorg dat het eindbeeld van een opleiding helder is!
  12. 12. 12 Toetsen en Rendement Workshop 2 13.00 – 14.10 uur: Cesuurstelling en Misclassificaties.
  13. 13. 13 Cesuurstelling - Zak/slaaggrens Onderbelicht fenomeen in het onderwijs Algemeen model voor toetsen en scoreverdeling Betrouwbaarheid • Betrouwbaarheid neemt toe bij toename van aantal vragen (of opdrachten, criteria, beoordelingen etc.) • Betrouwbaarheid neemt toe bij grotere spreiding van kennis in de te toetsen populatie.
  14. 14. 14 Basisprincipes voor cesuurstelling Absoluut Bij de absolute methode bepaalt u vooraf de voldoende/onvoldoende grens (cesuurscore). Die grens wordt ingegeven door het uitgangspunt dat gecontroleerd moet worden of studenten voldoen aan de eisen die kunnen worden afgeleid uit de doelstellingen van het onderwijs. Relatief De relatieve methode gaat uit van het idee dat de toets afgestemd moet zijn op studenten die gerechtigd zijn tot het volgen van onderwijs. Op basis van dat principe moet de meerderheid van hen in staat geacht worden om te slagen voor een toets. Omdat vooraf niet bekend is waartoe studenten bij het gegeven onderwijs en de gegeven toets in staat zijn, kan de norm niet vooraf worden vastgesteld. Het resultaat op de toets moet worden afgewacht om de grens te kunnen vaststellen. Compromis De compromismethode probeert de principiële verschillen tussen absoluut en relatief cesuurstellen te overbruggen en heeft in de onderwijspraktijk de voorkeur. Bij de compromismethode wordt in het algemeen uitgegaan van een absolute norm en wordt aangegeven onder welke omstandigheden van deze absolute norm zal worden afgeweken. Een van de compromismethoden staat hieronder beschreven.
  15. 15. 15 Meer uitgewerkte methoden Absoluut Angoff (kans dat een 6-jes student de vraag goed beantwoord) Nedelsky (meerkeuzevragen – elimineren van alternatieven – rest wordt kans) Ebel (matrix met kans hoeveel items 6-jes student per cel goed heeft) Kernitem Neem ongeveer 25% van de vragen die echt de kern van de stof bevatten en die elk goed onderscheid maken tussen de studenten die de stof beheersen en die deze niet beheersen. Bepaal op basis daarvan de cesuur. Bookmark (orden de items van gemakkelijk naar moeilijk en kies midden tussen tussen het moeilijkste item dat een zesjesstudent
  16. 16. 16 correct zal beantwoorden (item B) en het makkelijkste item dat een zesjesstudent fout zal beantwoorden (item A)). JBF (Janboerefluitjes) 60% van de helft Relatief Grading on the curve (bij veronderstelde normaalverdeling: werken met gebruik van gemiddelde score + constante * de Standaard Afwijking om vooraf bepaald percentage gezakten te bereiken)
  17. 17. 17 Contrast-groep (vergelijk verdeling van 2 groepen waarvan op voorhand bekend is dat ze tot een mindere cq. betere groep behoren) Grens-groep (selecteer groep van 6-jes studenten, maak de verdeling en bepaal op basis daarvan de cesuur = mediaan) Compromis Beuk (bepaal eerst absolute cesuurscore, vergelijk met behaald slagingspercentage: middel deze twee)
  18. 18. 18 Hofstee (bepaald Meer lezen: Kloppenbur, M. (2003). Hoofdstuk 9: Normeren Ontwikkeling van een psychometrische kwaliteitsanalyse voor de toetsenbank van de Examenbank EbA, te downloaden o.a. via https://www.surfgroepen.nl/sites/qmpvu/Diverse%20manuals%20va n%20Questionmark/Normeren.pdf of http://www.examenbank.nl/media/items2/110.pdf Gregory J. Cizek and Michael B. Bunch (2007). Standard setting. A guide to establishing and evaluating performance standerds on tests. Sage.
  19. 19. 19 R. K. Hambleton and M. J. Pitoniak (2006). Setting performance standards. In R. L. Brennan: Educational measurement 4th edition pp. 433-470.
  20. 20. 20 Score en betrouwbaarheid van de uitslag • Betrouwbaarheid neemt toe bij toename van aantal vragen (of opdrachten, criteria, beoordeingen etc.) • Betrouwbaarheid neemt toe bij grotere spreiding van kennis in de de toetsen populatie. Stel op toets is max score =100, Standaard afwijking = 4,5 punten Stel score 67 punten: 90% interval tussen 67+/- 4,5*1,65= 59,6 - 74,4 punten (range van 14,8 punten!). Zakslaaggrens toets 67 punten 90% betrouwbaar terecht gezakt 52,1 punten 90% betrouwbaar terecht geslaagd 81,9 punten
  21. 21. 21 Misclassificaties Dousma et al. (1997) Tentamineren. In percentage: 22/200=11% onterecht gezakten
  22. 22. 22 In combinatie conjunctief en compensatorisch toetsen Enig eenvoudig rekenwerk omtrent kansen van onterecht zakken (op basis van Wilbrink, 1977!) Stel, een student is in principe redelijk bekwaam en in staat om te slagen. Stel nu dat hij voor elke afzonderlijke toets een kans van 10% heeft om onterecht te zakken. En stel de propedeuse bestaat uit 5 vakken. Wat is de kans dat hij in één keer slaagt bij conjunctief toetsbeleid? (1-0,1)5 =0,590 En de kans om niet in één keer te slagen? 1-kans om wel te slagen = 0,406 Wat is nu de kans om in 1 keer te slagen als er ook nog één herkansingsmogelijkheid is? (0,9+0,09)5 =0,95 is een kans van 1 op 20 dat hij het onterecht niet haalt. En wat als de kans om onterecht te zakken 0,5 is. Wat is de kans dan om in één keer te slagen inclusief herkansing? (0,5+0,5*0,5)5 =0,240
  23. 23. 23 Enig eenvoudig rekenwerk omtrent studievertraging Conjunctief Stel, een student is in principe redelijk bekwaam en in staat om te slagen. Stel dat een studiefase bestaat uit 12 toetsen. Stel nu dat hij voor elke afzonderlijke toets een kans van 10% heeft om te zakken. Stel dat het tijdverlies voor een herhaling van de toets 1,5 maand bedraagt. Wat is de verwachte vertraging van de student per onderdeel bij conjunctief toetsen? 0,1 *1,5+(0,1)2 *1,5+(0,1)3 *1,5=0,166 maand Wat is de totale studievertraging? 12*(0,166) =2 maanden Wat is de totale studievertraging als de kans 20% is om te zakken? 12(0,2*1,5+(0,2)2 *1,5+(0,2)3 *1,5 = 4,5 maanden
  24. 24. 24 Compensatorisch Stel dat er sprake is van een student die gemiddeld een 6,75 kan scoren. In principe kan hij voor de 12 vakken totaal 6,75*12=81 punten halen. Om te slagen wordt de regel gehanteerd dat er gemiddeld een 6,5 gescoord moet worden over de 12 vakken. De cesuurscore is derhalve 6,5*12=78 punten Stel dat over alle vakken gemiddeld de standaardmeetfout 1 punt bedraagt. Wat is nu de kans dat hij minder dan 78 punten behaald? We rekenen met de standaardmeetfout. De standaardmeetfout op de totale score is namelijk 12*1*1/12 = 1 punt Verwaarloosbaar klein derhalve.
  25. 25. 25 Andere kijkwijze Toets 1 Toets 2 Toets 3 Totaal onter echt gezakt conju nctief Totaal ontere cht gezakt compe nsatori sch Conjunctief Casus A1: 100% nieuw zakt 10% van totaal zakt onterecht 10% extra van totaal zakt onterecht 10% extra van totaal zakt onterecht 30% Compensat orisch Casus A2: 100% nieuw zakt, maar daarvan compenseer t 50% 5% van totaal maar onterecht gezakten compenseert met toets 2 of 3 5% van totaal maar onterecht gezakten compenseert met toets 1 of 3 5% van totaal maar onterecht gezakten compenseert met toets 1 of 2 0% Conjunctief Casus B1: 50% nieuw zakt 10% van totaal zakt onterecht 5% extra van totaal zakt onterecht 5% extra van totaal zakt onterecht 20% Compensat orisch Casus B2: 5% van totaal maar onterecht gezakten compenseert met toets 2 of 3 5% van totaal maar onterecht gezakten compenseert met toets 1 of 3 5% van totaal maar onterecht gezakten compenseert met toets 1 of 2 5%

×