• Like

Loading…

Flash Player 9 (or above) is needed to view presentations.
We have detected that you do not have it on your computer. To install it, go here.

Presentatie compensatorisch toetsen of niet

  • 1,122 views
Uploaded on

Silvester Draaijer, Vrije Universiteit Amsterdam

Silvester Draaijer, Vrije Universiteit Amsterdam

More in: Education
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
No Downloads

Views

Total Views
1,122
On Slideshare
0
From Embeds
0
Number of Embeds
0

Actions

Shares
Downloads
9
Comments
1
Likes
3

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. Toetsen en Rendement HANovatie themadag 3 november 2010. Silvester Draaijer Onderwijscentrum VU s.draaijer@ond.vu.nl Workshop 1 10.45-11.55 uur: Compensatorisch Toetsen 1
  • 2. Typen toetskoppelingen Conjunctief: alle toetsen moeten met een voldoende worden afgesloten Complementair: niet op alle toetsen hoeft een voldoende cijfer te worden gehaald Compensatorisch: een deel van de toetsen mag met een onvoldoende worden afgesloten MITS er één of meer hogere score in het curriculum tegenover staan. 2
  • 3. Casus -1 Welke van onderstaande examenregelingen is het ‘beste’ • In ons curriculum worden herkansingen afgeschaft. Als een cursus niet met een voldoende wordt afgesloten dient het volgend academisch jaar te worden overgedaan • In ons curriculum mogen maar maximaal 3 eindtoetsen herkanst te worden per student per jaar. • In ons curriculum mag de eindtoets van elke cursus maar éénmaal per jaar herkanst worden. • In ons curriculum mag de eindtoets van elke cursus éénmaal twee weken na afloop van de 1e kans worden herhaald, mits de score op de 1e kans hoger was dan een 5,0 en daarna direct na de zomervakantie. • In ons curriculum mag de eindtoets van elke cursus éénmaal twee weken na afloop van de 1e kans worden herhaald en daarna direct na de zomervakantie. 3
  • 4. Casus 0 Welke van onderstaande examenregelingen is het ‘beste’ • Een eerstejaarsprogramma bestaat uit 10 cursussen. Een student slaagt voor het eerstejaarsprogramma indien: • hij alle cursussen met een voldoende afsluit. • hij alle vakken met een voldoende afsluit waarbij er één 5 is toegestaan. • hij alle vakken met een voldoende afsluit waarbij er één 5 is toegestaan, mits gecompenseerd met een 8 op een ander willekeurig vak. • hij alle vakken met een voldoende afsluit waarbij er één 5 is toegestaan, mits gecompenseerd met een 8 op vak in hetzelfde thema (bijv. methoden en technieken, communicatie, project e.d.). 4
  • 5. Casus A Welke van onderstaande toetsen is de ‘beste’. U geeft een toets aan studenten. In de toets zitten 20 vierkeuzevragen. • Als een student 1 of meer vragen fout heeft zakt hij voor de toets. • Als een student 10 of meer vragen fouten heeft is hij gezakt voor de toets. • Als een student 7 of meer vragen fouten heeft is hij gezakt voor de toets. • een student 3 of meer vragen fout heeft zakt hij voor de toets. 5
  • 6. Casus B Welke van onderstaande cursussen is de ‘beste’. • U geeft een cursus aan studenten. De toetsing bestaat uit 4 opdrachten die elk 10% van het eindcijfer bepalen en 1 eindtoets die 60% van het eindcijfer bepaalt. • De student slaagt voor de cursus als alle onderdelen met een voldoende zijn afgerond. Bij niet slagen moet de gehele cursus worden over gedaan. • De student slaagt voor de cursus als het gemiddelde van de opdrachten voldoende is gescoord en hij slaagt voor de eindtoets. Bij niet slagen moet de gehele cursus worden over gedaan. • De student slaagt voor de cursus als het gemiddelde van de opdrachten voldoende is gescoord en hij een voldoende scoort voor de eindtoets. Bij niet slagen moet de gehele cursus worden over gedaan. • De student slaagt voor de cursus als het gemiddelde van alle opdrachten en de eindtoets tot een voldoende leidt. Bij niet slagen moet de gehele cursus worden over gedaan. • De student slaagt voor de cursus als het gemiddelde van alle opdrachten en de eindtoets tot een voldoende leidt. Bij niet slagen kan de student zelf bepalen welk onderdeel hij herkanst om alsnog gemiddeld op een voldoende uit te komen. 6
  • 7. Waarom compensatorisch? • Om foute examenbeslissingen te verminderen (misclassificaties) • Stimuleert om hard te studeren en niet uit te stellen. Wilbrink 1 heeft e.e.a. theoretisch benaderd en komt op basis van nutsfuncties tot de conclusie dat studenten simpelweg harder gaan studeren bij compensatorisch toetsen, mits de toetsen ‘doorzichtig’ zijn. Zie: http://www.benwilbrink.nl/publicaties/77CesuurbepalingCOWO.htm . Dit betreft een ‘oud’ artikel van Ben Wilbrink uit 1977! Hoe veel geldigheid heeft die informatie op dit moment dan nog steeds! 1 http://www.benwilbrink.nl/publicaties/95StudiestrategieORD.htm 7
  • 8. Wat kan er wettelijk? De wetgever schrijft voor dat de faculteit vastlegt hoeveel malen per studiejaar de gelegenheid wordt geboden tot het afleggen van de tentamens (art. 7.13 WHW). Ten aanzien van het Bindend Studieadvies stelt de wetgever als eis dat 'de desbetreffende opleiding zorgt voor zodanige voorzieningen dat de mogelijkheden voor goede studievoortgang zijn gewaarborgd' (art. 7.8b WHW). 8
  • 9. En wat zegt de ethiek2? Bespreking van casus Universiteit Utrecht • Gelijkheidsbeginsel • Gokkans • Knowledge of results. • Geen cum-laude. • Bestrijding van gokgedrag en zesjescultuur. • Optimaal gebruik van voorzieningen. • Verhoogde slaagkans voor vele studenten. • Bestrijding van gokgedrag. • Schade voor minder vlotte studeerders. • A-normale studenten worden gedupeerd. • Inconsistente prikkels. • Beheersing van de regeldruk. Maar wat zou je moeten concluderen? 2 Wes Holleman, weblog onderwijs 7-6-2010, http://www.onderwijsethiek.nl 9
  • 10. Effecten compensatorisch toetsen • Snellere doorstroming, minder deelname aan herkansingen. • Geen aantoonbare negatieve gevolgen. • Het voordeel van conjunctief toetsen is ook niet aangetoond. • Meer positieve BSA adviezen (dus minder voorwaardelijke gevallen) • Gelijkblijvend aantal negatieve BSA adviezen • Minder discussie over bijvoorbeeld de 5,4’s etc. De eisen kunnen gewoon wat zwaarder worden. Dat is positief. Zie bijvoorbeeld: http://www.dub.uu.nl/content/strengere- herkansingseisen-zijn-bedoeld-als-straf of http://www.onderwijsethiek.nl/?p=1762 • Maken docenten dan vakken moeilijker? Misschien. Interessant. 10
  • 11. Mogelijke nadelen van compensatorisch toetsen • Laag cijfer op een belangrijk vak gecompenseerd kan worden door een hoog cijfer op een minder belangrijk vak. Maar wat is belangrijk? --> het vak waarop laag wordt gescoord. • Laatste vak verwaarlozen – geen docent wil zijn/haar vak meer in juni hoeven afronden? Dus heel erg moeilijk vak in het begin van het curriculum plaatsen • Beschuldiging moeten pareren dat compensatorisch toetsen een NEP-onderwijsverbetering is. • Oplossen dmv toepassing van gedeeltelijke compensatie o Alleen 5-en compenseren o Alleen 1 vak onvoldoende o Alleen 1 vak binnen cluster van ‘vergelijkbare’ vakken o Compensatie alleen laten gelden voor beperkte periode o Zorg dat het eindbeeld van een opleiding helder is! 11
  • 12. Toetsen en Rendement Workshop 2 13.00 – 14.10 uur: Cesuurstelling en Misclassificaties. 12
  • 13. Cesuurstelling - Zak/slaaggrens Onderbelicht fenomeen in het onderwijs Algemeen model voor toetsen en scoreverdeling Betrouwbaarheid • Betrouwbaarheid neemt toe bij toename van aantal vragen (of opdrachten, criteria, beoordelingen etc.) • Betrouwbaarheid neemt toe bij grotere spreiding van kennis in de te toetsen populatie. 13
  • 14. Basisprincipes voor cesuurstelling Absoluut Bij de absolute methode bepaalt u vooraf de voldoende/onvoldoende grens (cesuurscore). Die grens wordt ingegeven door het uitgangspunt dat gecontroleerd moet worden of studenten voldoen aan de eisen die kunnen worden afgeleid uit de doelstellingen van het onderwijs. Relatief De relatieve methode gaat uit van het idee dat de toets afgestemd moet zijn op studenten die gerechtigd zijn tot het volgen van onderwijs. Op basis van dat principe moet de meerderheid van hen in staat geacht worden om te slagen voor een toets. Omdat vooraf niet bekend is waartoe studenten bij het gegeven onderwijs en de gegeven toets in staat zijn, kan de norm niet vooraf worden vastgesteld. Het resultaat op de toets moet worden afgewacht om de grens te kunnen vaststellen. Compromis De compromismethode probeert de principiële verschillen tussen absoluut en relatief cesuurstellen te overbruggen en heeft in de onderwijspraktijk de voorkeur. Bij de compromismethode wordt in het algemeen uitgegaan van een absolute norm en wordt aangegeven onder welke omstandigheden van deze absolute norm zal worden afgeweken. Een van de compromismethoden staat hieronder beschreven. 14
  • 15. Meer uitgewerkte methoden Absoluut Angoff (kans dat een 6-jes student de vraag goed beantwoord) Nedelsky (meerkeuzevragen – elimineren van alternatieven – rest wordt kans) Ebel (matrix met kans hoeveel items 6-jes student per cel goed heeft) Kernitem Neem ongeveer 25% van de vragen die echt de kern van de stof bevatten en die elk goed onderscheid maken tussen de studenten die de stof beheersen en die deze niet beheersen. Bepaal op basis daarvan de cesuur. Bookmark (orden de items van gemakkelijk naar moeilijk en kies midden tussen tussen het moeilijkste item dat een zesjesstudent 15
  • 16. correct zal beantwoorden (item B) en het makkelijkste item dat een zesjesstudent fout zal beantwoorden (item A)). JBF (Janboerefluitjes) 60% van de helft Relatief Grading on the curve (bij veronderstelde normaalverdeling: werken met gebruik van gemiddelde score + constante * de Standaard Afwijking om vooraf bepaald percentage gezakten te bereiken) 16
  • 17. Contrast-groep (vergelijk verdeling van 2 groepen waarvan op voorhand bekend is dat ze tot een mindere cq. betere groep behoren) Grens-groep (selecteer groep van 6-jes studenten, maak de verdeling en bepaal op basis daarvan de cesuur = mediaan) Compromis Beuk (bepaal eerst absolute cesuurscore, vergelijk met behaald slagingspercentage: middel deze twee) 17
  • 18. Hofstee (bepaald Meer lezen: Kloppenbur, M. (2003). Hoofdstuk 9: Normeren Ontwikkeling van een psychometrische kwaliteitsanalyse voor de toetsenbank van de Examenbank EbA, te downloaden o.a. via https://www.surfgroepen.nl/sites/qmpvu/Diverse%20manuals%20va n%20Questionmark/Normeren.pdf of http://www.examenbank.nl/media/items2/110.pdf Gregory J. Cizek and Michael B. Bunch (2007). Standard setting. A guide to establishing and evaluating performance standerds on tests. Sage. 18
  • 19. R. K. Hambleton and M. J. Pitoniak (2006). Setting performance standards. In R. L. Brennan: Educational measurement 4th edition pp. 433-470. 19
  • 20. Score en betrouwbaarheid van de uitslag • Betrouwbaarheid neemt toe bij toename van aantal vragen (of opdrachten, criteria, beoordeingen etc.) • Betrouwbaarheid neemt toe bij grotere spreiding van kennis in de de toetsen populatie. Stel op toets is max score =100, Standaard afwijking = 4,5 punten Stel score 67 punten: 90% interval tussen 67+/- 4,5*1,65= 59,6 - 74,4 punten (range van 14,8 punten!). Zakslaaggrens toets 67 punten 90% betrouwbaar terecht gezakt 52,1 punten 90% betrouwbaar terecht geslaagd 81,9 punten 20
  • 21. Misclassificaties Dousma et al. (1997) Tentamineren. In percentage: 22/200=11% onterecht gezakten 21
  • 22. In combinatie conjunctief en compensatorisch toetsen Enig eenvoudig rekenwerk omtrent kansen van onterecht zakken (op basis van Wilbrink, 1977!) Stel, een student is in principe redelijk bekwaam en in staat om te slagen. Stel nu dat hij voor elke afzonderlijke toets een kans van 10% heeft om onterecht te zakken. En stel de propedeuse bestaat uit 5 vakken. Wat is de kans dat hij in één keer slaagt bij conjunctief toetsbeleid? (1-0,1)5=0,590 En de kans om niet in één keer te slagen? 1-kans om wel te slagen = 0,406 Wat is nu de kans om in 1 keer te slagen als er ook nog één herkansingsmogelijkheid is? (0,9+0,09)5=0,95 is een kans van 1 op 20 dat hij het onterecht niet haalt. En wat als de kans om onterecht te zakken 0,5 is. Wat is de kans dan om in één keer te slagen inclusief herkansing? (0,5+0,5*0,5)5=0,240 22
  • 23. Enig eenvoudig rekenwerk omtrent studievertraging Conjunctief Stel, een student is in principe redelijk bekwaam en in staat om te slagen. Stel dat een studiefase bestaat uit 12 toetsen. Stel nu dat hij voor elke afzonderlijke toets een kans van 10% heeft om te zakken. Stel dat het tijdverlies voor een herhaling van de toets 1,5 maand bedraagt. Wat is de verwachte vertraging van de student per onderdeel bij conjunctief toetsen? 0,1 *1,5+(0,1)2*1,5+(0,1)3*1,5=0,166 maand Wat is de totale studievertraging? 12*(0,166) =2 maanden Wat is de totale studievertraging als de kans 20% is om te zakken? 12(0,2*1,5+(0,2)2*1,5+(0,2)3*1,5 = 4,5 maanden 23
  • 24. Compensatorisch Stel dat er sprake is van een student die gemiddeld een 6,75 kan scoren. In principe kan hij voor de 12 vakken totaal 6,75*12=81 punten halen. Om te slagen wordt de regel gehanteerd dat er gemiddeld een 6,5 gescoord moet worden over de 12 vakken. De cesuurscore is derhalve 6,5*12=78 punten Stel dat over alle vakken gemiddeld de standaardmeetfout 1 punt bedraagt. Wat is nu de kans dat hij minder dan 78 punten behaald? We rekenen met de standaardmeetfout. De standaardmeetfout op de totale score is namelijk 12*1*1/12 = 1 punt Verwaarloosbaar klein derhalve. 24
  • 25. Andere kijkwijze Toets 1 Toets 2 Toets 3 Totaal Totaal onter ontere echt cht gezakt gezakt conju compe nctief nsatori sch Conjunctief Casus A1: 10% van 10% extra van 10% extra 30% 100% nieuw totaal zakt totaal zakt van totaal zakt onterecht onterecht zakt onterecht Compensat Casus A2: 5% van totaal 5% van totaal 5% van totaal 0% orisch 100% nieuw maar maar onterecht maar zakt, maar onterecht gezakten onterecht daarvan gezakten compenseert gezakten compenseer compenseert met toets 1 of 3 compenseert t 50% met toets 2 of met toets 1 3 of 2 Conjunctief Casus B1: 10% van 5% extra van 5% extra van 20% totaal zakt totaal zakt totaal zakt 50% nieuw onterecht onterecht onterecht zakt Compensat Casus B2: 5% van totaal 5% van totaal 5% van totaal 5% orisch maar maar onterecht maar onterecht gezakten onterecht gezakten compenseert gezakten compenseert met toets 1 of 3 compenseert met toets 2 of met toets 1 3 of 2 25