Maandag 10 november 2014 Sessieronde 1 Titel: Digitaal toetsen en authenticiteit Sprekers: Wil de Groot-Bolluijt (Hogeschool Rotterdam), Koen Vincken (UMC Utrecht), Cécile Ravesloot (UMC Utrecht) Zaal: Rotterdam Hall

1. (
DIGITAAL TOETSEN EN AUTHENTICITEIT
DE DIGITALE SCRIPT CONCORDANCE TEST VOOR KLINISCH REDENEREN
Instituut voor Gezondheidszorg
November 2014
Wil de Groot-Bolluijt MScN

2. Presentatie
1. Inzicht mogelijkheden Script Concordance Test (SCT)
2. Resultaten project
3. Mogelijkheden MANPopleidingen
digitaal trainen en leren
toetsen klinische vaardigheden
4. Mogelijkheden andere vakgebieden

3. Script Concordance Test
SCT een authentiek vraagtype voor:
> klinisch redeneren
> complexe casuïstiek
Klinisch redeneren:
“Het proces dat wordt doorlopen om bij een patiënt de
meest waarschijnlijke diagnose vast te stellen op basis
van diagnostiek, en om het verdere beleid te bepalen.”
Vries A.C. et al. Leren klinisch redeneren en het ontwikkelen van
ziektescripts: mogelijkheden in het medisch onderwijs. Tijdschrift voor
medisch onderwijs

4. MANP project digitaal klinisch redeneren
• Klinisch Redeneren belangrijk onderdeel curriculum
• Groot beroep op medische en verpleegkundige kennis
• Leren gebruiken relevante informatie (geschiedenis,
anamnese en lichamelijk onderzoek)
• Stellen diagnose en behandeling
• Moeilijk om ‘black box’ denken aan te leren
• Leren stap voor stap redeneren
MANP project:
Medisch en verpleegkundig redeneren gecombineerd

5. Klinisch Rederen opleiding MANP voor start project
Docenten zoeken juiste methode beoordelen kennis student
Rol docenten en praktijk verschillend
Vaak casuistiekbeoordeling
• Vraagontwikkeling en evaluatie is erg arbeidsintensief
• Interbeoordelaar betrouwbaarheid ?
• Experts (meestal) niet direct betrokken

6. Project Digitaal Toetsen MANP (afgesloten sept 2014)
• Onderzoeken digitale beoordeling van Klinisch Redeneren
• Deelnemers project: MANP-Opleidingen Fontys, Zuyd, Hogeschool
Rotterdam en Stichting Leerstation Zorg
• Keuze ontwikkeling digitale Script Concordance Test (SCT)
• SCT nieuwe digitale leermogelijkheden en (bij)scholing
• Toetsen om te leren
• Het SCT toegankelijk via LMS Leerstation Zorg: IQualify
Dit project is tot stand gekomen met steun van de Stichting SURF.
In SURF werken universiteiten, hogescholen en onderzoeksinstellingen samen.
Meer informatie: www.surf.nl

7. Keuze SCT op basis literatuurstudie
(Bruggen et al 2012):
> EMQ (extanded matching question)
> CIP (comprehensive integrated puzzle)
> SCT (script concordance test)
Interactive simulation-based
system for
strengthening clinical
reasoning skills

8. Script Concordance Test (SCT)
• Stap voor stap naar een juiste behandeling / diagnose
• Er is meer dan 1 plausibel antwoord
• Inzichtskeuzes met beperkte informatie in korte tijd
• Validatie door expertpanels (artsen en VS-en)
• Scoringsregels met gewogen antwoorden
• Sterke psychometrische eigenschappen: betrouwbaar en valide
(reliability, face validity, and construct validity)
Resultaat SCT project:
Paper: http://link.springer.com/chapter/10.1007/978-3-319-08657-6_13
Peeters et all Digital Script Concordance Test for Clinical Reasoning. In: Kalz,M.,Ras,E. (eds)
CAA 2014. CCIS, V (439), pp. 138-144. Springer International Publishing Switserland.

9. Script Concordance Test opbouw
Script in drie onderdelen:
1. Vignet: beschrijving bepaalde klinisch relevante situatie
met informatie waarvan het onbekend is of er betekenis aan
moet worden toegekend of niet.
2. Scenario’s: er wordt steeds nieuwe informatie gegeven.
Mogelijkheden: 1) een hypothese, 2) een voorgenomen
diagnostische actie 3) een voorgenomen behandeling.
3. Keuze antwoorden: om de actie te beoordelen
meer of minder waarschijnlijk / meer of minder zinvol.
Likert schaal (5 punts)

10. Vignet
Info bij vignet Scenario
Beoordeling
opmerking maken

11. Scoreberekening:
De hoogste score (100 punten) wordt gegeven aan het antwoord dat het meest is gegeven door de
experts. De andere antwoorden worden gescoord naar verhouding a.h.v. de hoeveelheid experts
die dat antwoord hebben gegeven.

12. Scenario B
Scenario B

14. Scenario C
Scenario C

15. Een hoge score houdt in dat er grote overeenstemming bestaat tussen de leden van het
expertpanel in deze specifieke voorgestelde klinische situatie.

16. Conclusies project bijdrage SCT voor MANP opleidingen
• Kwaliteitsverbetering:
De gemeenschappelijke constructie van toetsvragen en toetsen
- door verschillende opleidingen samen met inhoudsdeskundigen –
draagt bij aan de kwaliteit van het onderwijs.
• Bijdrage leerproces:
Zowel studenten als docenten ervaren een positieve bijdrage aan het
leerproces en mogelijkheden voor toetsing.
• Bruikbaarheid digitale afname:
Makkelijk in gebruik, snelle resultaten en statistische analyse.
• Bijdrage experts:
Het bijeen brengen en inzetten van expertpanels versterkt de
uitwisseling tussen opleiding en beroepspraktijk.

17. Beperkingen:
• Constructie van het vraagtype is erg arbeidsintensief
• Aantrekken experts voor validatie vragen is niet eenvoudig te
realiseren

18. Conclusie:
het SCT-vraagtype kan een belangrijke bijdrage leveren aan de
ontwikkeling en het onderhoud van Klinisch Redeneervaardigheden
van Verpleegkundig Specialisten (i.o)
SCT: interactive simulation-based
system for strengthening clinical
reasoning skills

19. Het SCT-vraagtype bruikbaar voor andere vakgebieden?
Welke mogelijkheden ziet U ?
clinical reasoning skills

20. Meer info over werken met SCT?
MANP opleidingen Fontys en Zuyd en
Hogeschool Rotterdam:
Robbert Gobbens (GobRJ@hr.nl)
Wil de Groot-Bolluijt w.de.groot-bolluijt@hr.nl

21. SIG Digitaal Toetsen
Wat doet de SIG Digitaal Toetsen?
• Kennis bundelen: nieuwe ontwikkelingen in Nederland en daarbuiten
volgen en signaleren.
• Kennis delen: bij elkaar brengen van experts, docenten en
projectmedewerkers maar ook uitwisseling van toetsmateriaal en het
gebruik van standaarden die dit mogelijk maken stimuleren.
• Kennis verspreiden: de collectieve expertise over didactiek, technologie en
organisatie beschikbaar stellen voor belangstellenden.
•Waar vindt u de SIG Digitaal Toetsen?
• SURFspace: www.surfspace.nl/toetsen geeft een overzicht van
kennisbronnen en links over digitaal toetsen. Veel bijdragen op deze site
zijn afkomstig van leden van de SIG. Op het forum worden discussies over
digitaal toetsen gevoerd.
• Bijeenkomsten: de SIG Digitaal Toetsen organiseert regelmatig
bijeenkomsten waar experts van de onderwijsinstellingen elkaar
ontmoeten en actuele ontwikkelingen met elkaar delen.