Digitaal toetsen in het AMC: stand van zaken

1,228 views

Published on

Presentatie geeft een overzicht van de stand van zaken (begin januari 2009) over digitaal toetsen bij de faculteit Geneeskunde bij het AMC-UvA. Er wordt ingegaan op praktische toepassingen en problemen alsmede onderzoek dat is uitgevoerd naar de efficiëntie van digitaal toetsen in het onderwijsproces.

Proeve aan proeve congres. 2009.

Published in: Education
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
1,228
On SlideShare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
14
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide
  • Nynke
  • Nynke
  • Nynke
  • Als eerste vast stellen wat wil je weten van je student? Of wil je de student een tool bieden om zichzelf te testen? Summatief of Formatief. N
  • Nynke
  • Roel
  • Roel
  • Roel
  • Roel
  • Roel
  • Roel
  • Roel
  • Roel
  • Roel
  • Roel
  • Nynke
  • Nynke
  • Nynke
  • Nynke
  • Roel
  • Nynke
  • Geen beleid houdt in dat het gebruik afhankelijk is van de keuze van de docent. Het wordt niet verplicht gesteld of docenten worden niet goed geinformeerd over de extra mogelijkheden die digitale toetsing voor hun kan bieden. N
  • Nynke
  • Nynke
  • Nynke
  • Nynke
  • Nynke
  • Nynke/ Sijstermans
  • Digitaal toetsen in het AMC: stand van zaken

    1. 1. Digitaal toetsen in het AMC Nynke Bos Roel Sijstermans Onderwijs & Studentenzaken – ICT & Onderwijs Academisch Medisch Centrum – Universiteit van Amsterdam
    2. 2. Wensen in het AMC Interesse, maar afwachtende houding Divisies Nu nog papier IC zelf ontwikkeld Bij- & Nascholing verpleegkunde Vanuit beroepsverenigingen OMSO Ontwikkeling toetsbeleid Graduate school Aanvullend toetspakket noodzakelijk Medische Informatiekunde Casusgerichte toetsing co-schappen Bredere toepassing in curriculum Geneeskunde
    3. 3. Eisen in het AMC <ul><li>Duidelijke organisatie </li></ul><ul><li>Lead bij ICT en Onderwijs </li></ul><ul><li>Digitaal toetsen alleen bij evidente meerwaarde </li></ul><ul><li>Functioneel beheer toestsysteem </li></ul>
    4. 4. Probleem in het AMC <ul><li>Essay vragen </li></ul><ul><li>Niet automatisch na te kijken </li></ul><ul><li>Inzet op grote schaal is alleen zinvol als er sprake is van gestandaardiseerde toetsvormen en procedures. </li></ul>
    5. 5. Tijd! <ul><li>Maken van interactieve toetsvragen kost tijd. </li></ul><ul><li>Dus alleen de moeite waard bij: </li></ul><ul><ul><li>Stabiel vakgebied </li></ul></ul><ul><ul><li>Groot aantal studenten </li></ul></ul><ul><ul><li>Duidelijke noodzaak voor kwaliteitsverbetering van de het onderwijs of toetsen </li></ul></ul>
    6. 6. Opbouw <ul><li>Waarom digitaal toetsen? </li></ul><ul><li>Situatie in het AMC </li></ul><ul><li>- Organisatie </li></ul><ul><li>- Voorbeelden </li></ul><ul><li>Digitaal toetsen vs. papieren toetsen </li></ul><ul><li>Conclusies </li></ul>
    7. 7. <ul><li>Casus Bachelor student (er zijn 18.000 bachelor studenten) Summatief 10 tentamens per jaar; 1 tentamen is digitaal (10 %) </li></ul><ul><ul><li>UvA breed zijn dit 18.000 tentamens (volledig digitaal) tijdwinst voor het verwerkingsproces is 30 min besparing in uren : 9000 ( +/- 6 fte) </li></ul></ul><ul><ul><li>Formatief </li></ul></ul><ul><ul><li>20 tussen toetsen per jaar ; 10 digitaal ( 50%) </li></ul></ul><ul><ul><li>UvA breed zijn dit 180.000 tussentoetsen (volledig digitaal) tijdwinst voor het verwerkingsproces is 10 min besparing in uren : 30.000 (+/- 20 fte) </li></ul></ul>
    8. 8. AMC open vragen
    9. 9. Waarom digitaal toetsen? <ul><li>“ Ik ga digitaal toetsen omdat ik niet achter wil blijven” </li></ul><ul><li>“ Snel klaar met nakijken” </li></ul><ul><li>“ Geen papier” </li></ul><ul><li>“ Ik hoef alleen maar vragen te maken, de rest wordt voor me geregeld” </li></ul><ul><li>“ Ik hoef geen handschriften meer te ontcijferen” </li></ul><ul><li>“ Ik wil studenten de toetsresultaten kunnen mailen” </li></ul>Waarom niet digitaal toetsen?
    10. 10. Hoe wil je toetsen? <ul><li>SUMMATIEF: </li></ul><ul><li>Gericht op de som van het geleerde </li></ul><ul><li>Selecteren </li></ul><ul><li>Certificeren </li></ul><ul><li>Beveiligde omgeving </li></ul><ul><li>Beperkt aantal kansen </li></ul><ul><li>FORMATIEF: </li></ul><ul><li>Gericht op de ontwikkeling van het leren </li></ul><ul><li>Zelfstudie </li></ul><ul><li>Plaats & tijdonafhankelijk </li></ul><ul><li>Directe feedback </li></ul><ul><li>Inzicht in niveau </li></ul>Eindtoets Bonuspuntentoets Zelftoets (E-learning) Ingangstoetsen
    11. 11. Wat levert digitaal toetsen op? <ul><li>Flexibele toetsing (plaats, tijd & vorm) </li></ul><ul><li>Gebruik van multimedia </li></ul><ul><li>Gebruik van verschillende vraagtypen </li></ul><ul><li>(Directe) feedback </li></ul><ul><li>Gestructureerde vragenbank </li></ul><ul><li>Automatische analyse & verwerking </li></ul>
    12. 12. Randvoorwaarden digitale toetsing <ul><li>Toetssysteem </li></ul><ul><li>Docenten opleiden ! </li></ul><ul><li>Ondersteuning (logistiek & techniek) ! </li></ul><ul><li>Studenten voorbereiden </li></ul>
    13. 13. <ul><li>Vergelijking toetssystemen, CITO-groep 2004 </li></ul>Keuze toetssysteem in 2005/2006
    14. 14. Organisatie digitale toetsing AMC Vragen maken Trainen secretariaat Vragen invoeren Samenstellen toets Inroosteren toets Advisering docenten Toets afname Toets analyse ICTO ondersteuning docent secretariaat Feedback student Einduitslag
    15. 15. Organisatie rondom digitale toetsing <ul><li>2 ICT & Onderwijs adviseurs (medewerker digitale toetsing): </li></ul><ul><ul><li>Adviseren docent over gebruik vraagtypen & opbouw toets </li></ul></ul><ul><ul><li>Trainen secretariaten voor vraaginvoer </li></ul></ul><ul><ul><li>Samenstellen toets </li></ul></ul><ul><ul><li>Roosteren toets & beschikbaar stellen via ELO </li></ul></ul><ul><ul><li>Standby tijdens toets voor vragen/problemen </li></ul></ul><ul><ul><li>Analyse toetsresultaten & einduitslag </li></ul></ul><ul><li>1 systeembeheerder: </li></ul><ul><ul><li>Standby tijdens toets voor technische problemen </li></ul></ul><ul><li>Docent: </li></ul><ul><ul><li>Vragen bedenken </li></ul></ul><ul><ul><li>Aanwezig tijdens afname voor inhoudelijke vragen </li></ul></ul><ul><ul><li>Besluitvorming cesuur op basis van toetsanalyse & uitslag </li></ul></ul><ul><li>Secretariaat docent: </li></ul><ul><ul><li>Vragen invoeren </li></ul></ul>
    16. 16. Ideale bezetting <ul><li>1 ICT & Onderwijs adviseur: </li></ul><ul><ul><li>Adviseren docent(en) over gebruik vraagtypen & opbouw toets </li></ul></ul><ul><ul><li>Benadrukken voordelen digitale toetsing </li></ul></ul><ul><li>1 Functioneel beheerder toetssysteem </li></ul><ul><ul><li>(Trainen secretariaten voor) vraaginvoer </li></ul></ul><ul><ul><li>Samenstellen toets </li></ul></ul><ul><ul><li>Roosteren toets & beschikbaar stellen via ELO </li></ul></ul><ul><ul><li>Standby tijdens toets voor vragen/problemen </li></ul></ul><ul><li>1 Medewerker Toetsing </li></ul><ul><ul><li>Analyse toetsresultaten & einduitslag </li></ul></ul><ul><li>1 Systeembeheerder: </li></ul><ul><ul><li>Standby tijdens toets voor technische problemen </li></ul></ul><ul><li>Docent: </li></ul><ul><ul><li>Vragen bedenken & coördinatie overige docenten </li></ul></ul><ul><ul><li>Aanwezig tijdens afname voor inhoudelijke vragen (examenregeling) </li></ul></ul><ul><ul><li>Besluitvorming cesuur op basis van toetsanalyse & uitslag </li></ul></ul><ul><li>(Secretariaat docent:) </li></ul><ul><ul><li>(Vragen invoeren) </li></ul></ul>
    17. 17. Summatieve toetsen @ AMC <ul><li>10 eindtoetsen (max n=200) </li></ul><ul><li>30 bonuspuntentoetsen (n=350) </li></ul><ul><li>50 toetsen in co-schappen (n=12) </li></ul><ul><li>1 communicatietoets (n=350) </li></ul><ul><li>25 ingangtoetsen (n=350) </li></ul>
    18. 18. Half cohort - eindtoets <ul><li>Blok 3D Mens </li></ul><ul><li>200 studenten in 1 zaal </li></ul><ul><li>Multimediaal </li></ul><ul><li>Ook essay vragen </li></ul><ul><li>Item- en toetsanalyse </li></ul><ul><li>Uitslag binnen 3 weken </li></ul>
    19. 20. Shifts - bonuspuntentoets <ul><li>2x per blok </li></ul><ul><li>0,5 punt extra </li></ul><ul><li>350 studenten in 6 shifts </li></ul><ul><li>15 MC vragen in 15 minuten </li></ul><ul><li>Gevalideerde vragenbank </li></ul><ul><li>Uitslag binnen 24 uur </li></ul><ul><li>Feedback op onderwerp </li></ul><ul><li>Nabespreking tijdens WC </li></ul>
    20. 22. Score per onderwerp <ul><li>Collegekaartnummer: 9705538 </li></ul><ul><li>Diabetes Type 1 100% </li></ul><ul><li>Glycolyse 100% </li></ul><ul><li>Regulatie enzymen 0% </li></ul><ul><li>CZS 50% </li></ul><ul><li>Aminozuurmetabolisme 100% </li></ul><ul><li>Einduitslag 80% </li></ul>
    21. 23. Ingangstoetsen <ul><li>Minimale score van 80% </li></ul><ul><li>Zo vaak maken als nodig </li></ul><ul><li>Student bepaalt waar en wanneer </li></ul><ul><li>Geen feedback, alleen eindscore </li></ul><ul><li>Docent heeft live inzicht in scores studenten </li></ul><ul><li>Studenten beter voorbereid op practica met blended learning </li></ul><ul><li>Maar... schools systeem, gevaar voor toetsmoeheid </li></ul>
    22. 27. Toetsen van grote groepen <ul><li>TOETSAFNAME: (ALLEEN INVLOED HIEROP TOCH???) </li></ul><ul><li>Voldoende servercapaciteit (testen!) </li></ul><ul><li>Toets starten in groepen (piekbelasting) </li></ul><ul><li>5% meer PC’s dan deelnemers </li></ul><ul><li>5% papieren tentamens als reserve </li></ul><ul><li>Duidelijke afspraken bij problemen </li></ul><ul><li>Pas op met multimedia </li></ul>
    23. 28. Meerwaarde in het AMC <ul><li>Multimediale toetsing </li></ul><ul><li>Korte nakijk termijn </li></ul><ul><li>Betere feedback naar studenten en docent </li></ul><ul><li>-> Grote zaal niet per se noodzakelijk! </li></ul>
    24. 29. Problemen digitaal toetsen AMC <ul><li>Gebrek centrale toetsruimte </li></ul><ul><li>Toetsen in shifts is tijdrovend </li></ul><ul><li>Verplicht gebruik van open vragen </li></ul><ul><li>OER </li></ul><ul><li>Geen beleid </li></ul><ul><li>Dyslexie/RSI? </li></ul><ul><li>Computervaardigheden student? </li></ul>
    25. 30. Problemen digitaal toetsen AMC <ul><li>Gebrek centrale toetsruimte </li></ul><ul><li>Toetsen in shifts is tijdrovend </li></ul><ul><li>Verplicht gebruik van open vragen </li></ul><ul><li>OER </li></ul><ul><li>Geen beleid </li></ul><ul><li>Dyslexie/RSI? </li></ul><ul><li>Computervaardigheden student? </li></ul>
    26. 31. Toetsen met stemkastjes? <ul><li>Formatief zeker! </li></ul><ul><ul><li>Responsiecollege </li></ul></ul><ul><ul><li>Voor- en nameting </li></ul></ul><ul><ul><li>Grootschalig adaptief toetsen </li></ul></ul><ul><li>Summatief is gevaarlijk… </li></ul><ul><ul><li>Wie bedient welk kastje? </li></ul></ul><ul><ul><li>Ik ben mijn stemkastje kwijt/vergeten! </li></ul></ul><ul><ul><li>Ik heb echt gedrukt! </li></ul></ul><ul><ul><li>Handhaven van orde in de zaal </li></ul></ul>
    27. 32. Proeve: KlETs <ul><li>Effect toetsing computer </li></ul><ul><li>Scoren studenten beter/ slechter? </li></ul><ul><li>Gebruiken studenten meer/ minder woorden? </li></ul><ul><li>Zijn er andere effecten meetbaar? </li></ul>
    28. 33. KlETs – de uitvoering <ul><li>Helft digitaal – helft op papier (n=360) </li></ul><ul><li>Digitale toets: deel A papier, deel B digitaal en v.v. </li></ul><ul><li>Conclusies: </li></ul><ul><ul><li>Meer woorden bij een digitale toets (36.2±15.5 vs 22.3±4.9) </li></ul></ul><ul><ul><li>Geen significante verschillen m.b.t. moeilijkheidsgraad </li></ul></ul><ul><ul><li>Studenten willen vaker digitale toetsen </li></ul></ul><ul><ul><li>Getik is irritant </li></ul></ul>
    29. 34. Meer onderzoek <ul><li>In 2004: behoorlijke verschillen (Bennett, 2004) </li></ul><ul><li>Maar in 2002: onderzoek bij 13 jarigen: geen verschil (NAEP, 2004) </li></ul><ul><li>Presentatie lijkt leeftijdsgebonden en variaties in schrijfvaardigheden zullen verdwijnen </li></ul><ul><li>Frequent computergebruik heeft positieve invloed op toetsprestatie </li></ul><ul><li>Online scoring heeft geen invloed op de beoordeling (zhang, powers, wright & morgan, 2003) </li></ul>
    30. 35. Conclusies <ul><li>Meerwaarde vaststellen </li></ul><ul><li>Beleid over inzet digitaal toetsen </li></ul><ul><li>Grote groepen heeft impact op afname </li></ul><ul><li>Opschaling: ruimte </li></ul><ul><li>Toetsen in shifts bewerkelijk </li></ul><ul><li>Goede ICTO ondersteuning </li></ul>
    31. 36. Nabije toekomst <ul><li>Structurele feedback na tentamen </li></ul><ul><ul><li>Score per vraag </li></ul></ul><ul><ul><li>Score per onderwerp </li></ul></ul><ul><ul><li>Totale score t.o.v. groep </li></ul></ul><ul><ul><li>Resultaten per email </li></ul></ul><ul><ul><li>Dienstverlening aan studenten </li></ul></ul><ul><ul><li>Docenten ontlasten met inzage </li></ul></ul>
    32. 37. Vragen? Meer informatie: [email_address]

    ×