Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

110203 toetsanalyse surf workshop summatief toetsen

4,758 views

Published on

Presentatie voor Surfacademy Summatief toetsen onderwerp toetsanalyse

Published in: Education
  • Be the first to comment

110203 toetsanalyse surf workshop summatief toetsen

  1. 1. Toetsanalyse<br />Surf Academy Workshop Summatief Digitaal Toetsen<br />3 februari 2010, AMC Amsterdam<br />Marcel Penners, Hogeschool van Arnhem en Nijmegen<br />Michel Kao, Hogeschool van Arnhem en Nijmegen<br />
  2. 2. Wist je dat………………..<br />Veel studenten toetsstrategieën hebben?<br />Toetsanalyse geen exacte wetenschap is?<br />Toetsanalyse vaak het sluitstuk is van het toetsproces !!!<br />
  3. 3. Doelstellingen sessie<br />Na deze bijeenkomst kun je:<br />Toetscesuur bepalen van een toets<br />Toetsanalyse uitvoeren en uitspraak doen over kwaliteit van de toetsvragen<br />
  4. 4. Toetsproces (Berkel / De Groot)<br />Toetsvragen<br />Toetsvorm<br />Toets <br />samenstellen<br />Toets<br />doelen<br />Afname en<br />nakijken<br />Rapporteren<br />Cesuur<br />en cijfers<br />Toetskwaliteit<br />Achtergrondafbeelding: Bollekensschool<br />
  5. 5. Toetscesuur<br />
  6. 6. Toetscesuur<br />Wat is het?<br />zak/slaaggrens<br />afspiegeling van werken in beroepenveld<br />bepaling voor score > cijfer<br />gokkans<br />cijfer 5,5<br />Bepaling cesuur<br />Absoluut: vooraf<br />Relatief: achteraf<br />
  7. 7. Absolute cesuur<br />Kenmerk: tevoren vastgesteld percentage goede antwoorden<br />Reden: harde eisen zijn vooraf bekend<br />Eis: kwalitatief goede toets <br />Methode: vereist percentage goede antwoorden, hypothetische grensstudent <br />
  8. 8. Relatieve cesuur<br />Kenmerk: cesuur is afhankelijk van toetsprestatie groep <br />Reden: eisen afstemmen op mogelijkheden deelnemers<br />Eis: serieuze inspanning studenten<br />Methoden: wet van Posthumus, methode Wijnen<br />
  9. 9. Gokkans<br />Essayvraag: 0%<br />Vier antwoordalternatieven: 25%<br />Drie antwoordalternatieven: 33%<br />Twee antwoordalternatieven: 50%<br />
  10. 10. Rekenvoorbeeld cesuur Essay toets<br />Gegeven:<br />toets: 10 essayvragen<br />scoring: 3 punten per vraag<br />voldoende: 55 % vd score goed<br /><ul><li>Vraag: wat is cesuurscore bij deze toets?
  11. 11. gokkans = 0%
  12. 12. dus 55 % vd. score = cesuurscore
  13. 13. max. score = 30
  14. 14. cesuurscore = 55% van 30 = 17,5</li></li></ul><li>Meerkeuzetoetsen en cesuurscore<br />Uitgangspunt 4 keuzevragen<br />voldoende mc-toets (5,5) = student weet 55% en gokt de rest<br />gokkans bij 4 antwoorden: 25%<br />Uitrekenen percentage goedgegokte vragen<br />berekening uitvoeren op overgebleven vragen (45%)<br />25% van 45% = 11,3%<br />Voldoende 4 meerkeuzetoets bij:<br />cesuurpercentage = 55% + 11,3% = 66,3% (=0,663)<br />cesuurscore = 0,663 * max. behalen score<br />bv. 50 vragen met score 1; cesuurscore: 0,663 X 50 = 33,15 (= minimaal 34 vragen correct voor een 5,5)<br />
  15. 15.
  16. 16. Cijferbepaling <br />
  17. 17. Cijferbepaling<br />Omzetting score cijfer<br />lineair<br />Mogelijkheden cijferschalen<br />3 punt (min = 1; cesuur = 5,5; max = 10)<br />3 punt (min = 0; cesuur = 5,5; max = 10)<br />10 punt<br />
  18. 18. Toetskwaliteit meten met item- en toetsanalyse<br />
  19. 19. Psychometrische analyse<br />Waarom?<br />inzicht in / bevorderen van toetskwaliteit<br />signalen geven<br />Geen exacte wetenschap… <br />Je niet blind staren!<br />
  20. 20. MC Sonate-analyse<br />
  21. 21. Item-analyse: moeilijkheid<br />P- en P’-waarde: moeilijkheidvraag<br />P- en P’-waarde: tussen 0 en 1 <br />0 = te moeilijk; 1 = te makkelijk<br />P’-waarde: P gecorrigeerdvoorgokkans<br />Advies<br />als P’ < gokkans: verwijderen<br />als P’ > gokkansmaar < P ideaal: nakijkenafh. van Rit<br />
  22. 22. Item-analyse (2): correlatie<br />Rit- en Rir-waarde (correlatie) <br />onderscheidend vermogen vraag<br />verband vraagscore en toetsscore van student<br />waarde ligt tussen -1 en 1<br />Rir = gecorrigeerde Rit: eigen score telt niet mee<br />Advies<br />bij lager dan 0,15: sleutel nakijken / verwijderen<br />
  23. 23. Toetsanalyse: betrouwbaarheid<br />KR20/Cronbachα: betrouwbaarheid toets<br />interne consistentie (homogeniteit) toetsvragen<br />meten vragen even goed hetzelfde?<br />hoe meer items hoe beter<br />waarde ligt tussen 0 en 1<br />QMP: onderwerp-betrouwbaarheid<br />Advies:<br />bij KR20 of α < 0,70: loop de toets na op homogeniteit<br />
  24. 24. QMP Analyse<br />
  25. 25. Opdracht: toetsanalyse <br />Bekijk de analyse van de 5 vragenaardrijkskunde<br />Bepaal de problematische vragen. Gebruik hiervoor Moeilijkheid ( P waarde ) en correlatie ( Rit waarde )<br />Welke vragen moeten aangepast worden? Kijk hiervoor inhoudelijk de vragen na .<br />Maakverbetervoorstellen<br />Documentenvooropdracht:<br /><ul><li>Vragentoetsaardrijkskunde
  26. 26. Analysetoetsaardrijkskunde
  27. 27. Checklist Toetssamenstellen</li></li></ul><li>Opmerkingen/kanttekeningen<br />Moeilijkheid (P’) en Correlatie (Rir)<br />als een vraag slecht gemaakt wordt<br />studenten slecht voorbereid<br />vraag inhoudelijk niet correct<br />Betrouwbaarheid (KR20 / α)<br />interne homogeniteit: bij veel onderwerpen?<br />Belangrijk<br />voldoende afnames (hoe meer hoe beter)<br />statistieken zijn een hulpmiddel<br />houd je gezond verstand!<br />
  28. 28.
  29. 29.
  30. 30. Presentatie<br />www.slideshare.net/mpenners<br />Literatuur<br />Berkel, H & Bax, A. (2006). Toetsen in het Hoger Onderwijs.<br />Dousma, T…(1997). Tentamineren.<br />Molkenboer, H & Soeting, J. (2005). Toetsontwikkeling in de praktijk: hoe maak ik goede vragen en toetsen? Teelen B.V<br />Toetswijzer cito/ kennisnet: http://toetswijzer.kennisnet.nl<br />Aanvullende literatuur<br />www.diigo.com/list/marcelpenners/digital-assessment<br />Documentenvooropdrachten<br />Bronnen / documentatie<br />

×