Summatief digitaal toetsen van grote groepen studenten

790 views
728 views

Published on

Deze presentatie geeft een overzicht hoe er in het AMC grote groepen studenten (n=360) getoetst worden op de PC.

Masterclass Digitaal Toetsen SURF, Saxxion Hogescholen, Deventer. 2009.

Published in: Education
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
790
On SlideShare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
7
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Summatief digitaal toetsen van grote groepen studenten

  1. 1. Summatief toetsenvan grote groepen<br />Drs. Nynke Bos<br />Drs. Roel Sijstermans<br />Onderwijs & Studentenzaken – ICT & Onderwijs<br />Academisch Medisch Centrum – Universiteit van Amsterdam<br />
  2. 2. Opbouw<br />Meerwaarde digitaal toetsen<br />Situatie in het AMC<br />- Organisatie<br />- Voorbeelden<br />Digitaal toetsen vs. papieren toetsen<br />Conclusies<br />
  3. 3. Waarom digitaal toetsen?<br />Waarom niet digitaal toetsen?<br />“Ik ga digitaal toetsen omdat ik niet achter wil blijven”<br />“Snel klaar met nakijken”<br />“Geen papier”<br />“Ik hoef alleen maar vragen te maken, de rest wordt voor me geregeld”<br />“Ik hoef geen handschriften meer te ontcijferen”<br />“Ik wil studenten de toetsresultaten kunnen mailen”<br />“Verbetering logistiek”<br />Kwaliteit toetsing staat centraal<br />
  4. 4. Hoe wil je toetsen?<br />SUMMATIEF:<br />Gericht op de som van het geleerde<br />Selecteren<br />Certificeren <br />Beveiligde omgeving<br />Beperkt aantal kansen<br />FORMATIEF:<br />Gericht op de ontwikkeling van het leren<br />Zelfstudie<br />Plaats & tijdonafhankelijk<br />Directe feedback<br />Inzicht in niveau<br />Ingangstoetsen<br />Eindtoets<br />Bonuspuntentoets<br />Zelftoets<br />(E-learning)<br />
  5. 5. Wat levert digitaal toetsen op?<br />Flexibele toetsing (plaats, tijd & vorm)<br />Gebruik van multimedia<br />Gebruik van verschillende vraagtypen<br />(Directe) feedback<br />Gestructureerde vragenbank<br />Automatische analyse & verwerking<br />
  6. 6. Randvoorwaarden digitale toetsing<br />Toetssysteem<br />Docenten opleiden<br />Ondersteuning (logistiek & techniek) !<br />Studenten voorbereiden<br />
  7. 7. Keuze toetssysteem in 2005/2006<br />Vergelijking toetssystemen, CITO-groep 2004<br />
  8. 8. Trainen<br /> secretariaat<br />Vragen<br />maken<br />Advisering<br />docenten<br />Vragen <br />invoeren<br />Inroosteren<br />toets<br />Toets<br />analyse<br />Samenstellen<br />toets<br />Toets afname<br />ICTO ondersteuning<br />Feedback<br />student<br />Einduitslag<br />docent<br />secretariaat<br />Organisatie digitale toetsing AMC<br />
  9. 9. Organisatie rondom digitale toetsing<br />2 ICT & Onderwijs adviseurs (medewerker digitale toetsing):<br />Adviseren docent over gebruik vraagtypen & opbouw toets<br />Trainen secretariaten voor vraaginvoer<br />Samenstellen toets<br />Roosteren toets & beschikbaar stellen via ELO<br />Standby tijdens toets voor vragen/problemen<br />Analyse toetsresultaten & einduitslag<br />1 systeembeheerder:<br />Standby tijdens toets voor technische problemen<br />Docent:<br />Vragen bedenken<br />Aanwezig tijdens afname voor inhoudelijke vragen<br />Besluitvorming cesuur op basis van toetsanalyse & uitslag<br />Secretariaat docent:<br />Vragen invoeren<br />
  10. 10. Summatieve toetsen @ AMC<br />10 eindtoetsen (max n=200)<br />30 bonuspuntentoetsen (n=350)<br />50 toetsen in co-schappen (n=12)<br />1 communicatietoets (n=350)<br />25 ingangtoetsen (n=350)<br />
  11. 11. Half cohort - eindtoets<br />Blok 3D Mens<br />200 studenten in 1 zaal<br />Multimediaal<br />Ook essay vragen<br />Item- en toetsanalyse<br />Uitslag binnen 3 weken<br />
  12. 12.
  13. 13. Shifts - bonuspuntentoets<br />2x per blok<br />0,5 punt extra<br />350 studenten in 6 shifts<br />15 MC vragen in 15 minuten<br />Gevalideerde vragenbank<br />Uitslag binnen 24 uur<br />Feedback op onderwerp<br />Nabespreking tijdens WC<br />
  14. 14.
  15. 15. Score per onderwerp<br />Collegekaartnummer: 9705538<br />Diabetes Type 1 100%<br />Glycolyse 100%<br />Regulatie enzymen 0%<br />CZS 50%<br />Aminozuurmetabolisme 100%<br />Einduitslag 80%<br />
  16. 16. Ingangstoetsen<br />Minimale score van 80% <br />Zo vaak maken als nodig<br />Student bepaalt waar en wanneer<br />Geen feedback, alleen eindscore<br />Docent heeft live inzicht in scores studenten<br /><ul><li>Studenten beter voorbereid op practica met blended learning
  17. 17. Maar... schools systeem, gevaar voor toetsmoeheid</li></li></ul><li>
  18. 18.
  19. 19.
  20. 20. Toetsen van grote groepen<br />TOETSAFNAME: <br />Voldoende servercapaciteit (testen!)<br />Toets starten in groepen (piekbelasting)<br />5% meer PC’s dan deelnemers<br />5% papieren tentamens als reserve<br />Duidelijke afspraken bij problemen<br />Pas op met multimedia<br />
  21. 21. Meerwaarde in het AMC<br />Multimediale toetsing<br />Korte nakijk termijn<br />Betere feedback naar studenten en docent<br />-> Grote zaal niet per se noodzakelijk!(maar wel heel makkelijk)<br />
  22. 22. Problemen digitaal toetsen AMC<br />Gebrek centrale toetsruimte<br />Toetsen in shifts is tijdrovend <br />Verplicht gebruik van open vragen<br />OER<br />Geen beleid<br />Dyslexie/RSI?<br />Computervaardigheden student?<br />
  23. 23. Problemen digitaal toetsen AMC<br />Gebrek centrale toetsruimte<br />Toetsen in shifts is tijdrovend <br />Verplicht gebruik van open vragen<br />OER<br />Geen beleid<br />Dyslexie/RSI?<br />Computervaardigheden student?<br />
  24. 24. Toetsen met stemkastjes?<br />Formatief zeker!<br />Responsiecollege<br />Voor- en nameting<br />Grootschalig adaptief toetsen<br />Summatief is gevaarlijk…<br />Wie bedient welk kastje?<br />Ik ben mijn stemkastje kwijt/vergeten!<br />Ik heb echt gedrukt!<br />Handhaven van orde in de zaal<br />Lekker gluren bij de buren<br />
  25. 25. Proeve: KlETs<br />Effect toetsing computer<br />Scoren studenten beter/ slechter?<br />Gebruiken studenten meer/ minder woorden?<br />Zijn er andere effecten meetbaar?<br />
  26. 26. KlETs – de uitvoering<br />Helft digitaal – helft op papier (n=360)<br />Digitale toets: deel A papier, deel B digitaal en v.v.<br />Conclusies:<br />Meer woorden bij een digitale toets (36.2±15.5 vs 22.3±4.9)<br />Geen significante verschillen m.b.t. moeilijkheidsgraad<br />Studenten willen vaker digitale toetsen<br />Getik is irritant<br />
  27. 27. Meer onderzoek<br />In 2004: behoorlijke verschillen (Bennett, 2004)<br />Maar in 2002: onderzoek bij 13 jarigen: geen verschil (NAEP, 2004)<br />Presentatie lijkt leeftijdsgebonden en variaties in schrijfvaardigheden zullen verdwijnen<br />Frequent computergebruik heeft positieve invloed op toetsprestatie<br />Online scoring heeft geen invloed op de beoordeling (zhang, powers, wright & morgan, 2003)<br />
  28. 28. Conclusies<br />Meerwaarde vaststellen <br />Beleid over inzet digitaal toetsen<br />Grote groepen heeft impact op afname<br />Opschaling: ruimte<br />Toetsen in shifts bewerkelijk<br />Goede ICTO ondersteuning<br />
  29. 29. Nabije toekomst<br />Structurele feedback na tentamen<br />Score per vraag<br />Score per onderwerp<br />Totale score t.o.v. groep<br />Resultaten per email<br /><ul><li> Dienstverlening aan studenten
  30. 30. Docenten ontlasten met inzage</li></li></ul><li>Vragen?<br />Meer informatie: icto@amc.uva.nl<br />

×