Presentatie voor Surfacademy Summatief toetsen onderwerp toetsanalyse

1. Toetsanalyse Surf Academy Workshop Summatief Digitaal Toetsen 3 februari 2010, AMC Amsterdam Marcel Penners, Hogeschool van Arnhem en Nijmegen Michel Kao, Hogeschool van Arnhem en Nijmegen

2. Wist je dat……………….. Veel studenten toetsstrategieën hebben? Toetsanalyse geen exacte wetenschap is? Toetsanalyse vaak het sluitstuk is van het toetsproces !!!

3. Doelstellingen sessie Na deze bijeenkomst kun je: Toetscesuur bepalen van een toets Toetsanalyse uitvoeren en uitspraak doen over kwaliteit van de toetsvragen

4. Toetsproces (Berkel / De Groot) Toetsvragen Toetsvorm Toets samenstellen Toets doelen Afname en nakijken Rapporteren Cesuur en cijfers Toetskwaliteit Achtergrondafbeelding: Bollekensschool

5. Toetscesuur

6. Toetscesuur Wat is het? zak/slaaggrens afspiegeling van werken in beroepenveld bepaling voor score > cijfer gokkans cijfer 5,5 Bepaling cesuur Absoluut: vooraf Relatief: achteraf

7. Absolute cesuur Kenmerk: tevoren vastgesteld percentage goede antwoorden Reden: harde eisen zijn vooraf bekend Eis: kwalitatief goede toets Methode: vereist percentage goede antwoorden, hypothetische grensstudent

8. Relatieve cesuur Kenmerk: cesuur is afhankelijk van toetsprestatie groep Reden: eisen afstemmen op mogelijkheden deelnemers Eis: serieuze inspanning studenten Methoden: wet van Posthumus, methode Wijnen

9. Gokkans Essayvraag: 0% Vier antwoordalternatieven: 25% Drie antwoordalternatieven: 33% Twee antwoordalternatieven: 50%

11. gokkans = 0%

12. dus 55 % vd. score = cesuurscore

13. max. score = 30

16. Cijferbepaling

17. Cijferbepaling Omzetting score cijfer lineair Mogelijkheden cijferschalen 3 punt (min = 1; cesuur = 5,5; max = 10) 3 punt (min = 0; cesuur = 5,5; max = 10) 10 punt

18. Toetskwaliteit meten met item- en toetsanalyse

19. Psychometrische analyse Waarom? inzicht in / bevorderen van toetskwaliteit signalen geven Geen exacte wetenschap… Je niet blind staren!

20. MC Sonate-analyse

21. Item-analyse: moeilijkheid P- en P’-waarde: moeilijkheidvraag P- en P’-waarde: tussen 0 en 1 0 = te moeilijk; 1 = te makkelijk P’-waarde: P gecorrigeerdvoorgokkans Advies als P’ < gokkans: verwijderen als P’ > gokkansmaar < P ideaal: nakijkenafh. van Rit

22. Item-analyse (2): correlatie Rit- en Rir-waarde (correlatie) onderscheidend vermogen vraag verband vraagscore en toetsscore van student waarde ligt tussen -1 en 1 Rir = gecorrigeerde Rit: eigen score telt niet mee Advies bij lager dan 0,15: sleutel nakijken / verwijderen

23. Toetsanalyse: betrouwbaarheid KR20/Cronbachα: betrouwbaarheid toets interne consistentie (homogeniteit) toetsvragen meten vragen even goed hetzelfde? hoe meer items hoe beter waarde ligt tussen 0 en 1 QMP: onderwerp-betrouwbaarheid Advies: bij KR20 of α < 0,70: loop de toets na op homogeniteit

24. QMP Analyse

26. Analysetoetsaardrijkskunde

30. Presentatie www.slideshare.net/mpenners Literatuur Berkel, H & Bax, A. (2006). Toetsen in het Hoger Onderwijs. Dousma, T…(1997). Tentamineren. Molkenboer, H & Soeting, J. (2005). Toetsontwikkeling in de praktijk: hoe maak ik goede vragen en toetsen? Teelen B.V Toetswijzer cito/ kennisnet: http://toetswijzer.kennisnet.nl Aanvullende literatuur www.diigo.com/list/marcelpenners/digital-assessment Documentenvooropdrachten Bronnen / documentatie