1. De interuniversitaire
voortgangstoets geneeskunde
-
ervaringen en recente
ontwikkelingen
Arno Muijtjens, Jean van Berlo, Jimmie Leppink, Annemarie Camp,
Marieke van Onna, Theo Eggen, Jeroen Donkers
Universiteit Maastricht, iVTG, Cito Arnhem

2. Inhoud
• Voortgangstoetsing
• Verbeteringen
• Aanpak
• Stand van zaken

3. interuniversitaire Voortgangstoets G
i t i it i V t t t Geneeskunde
k d
• betreft komplete kennisdomein van een
basisarts
• 4x per jaar afgenomen bij alle geneeskunde
studenten van 5 NL universiteiten
• gezamenlijke constructie, gelijktijdige afname,
dezelfde normen, regels en richtlijnen
• 200 meerkeuzevragen per toets
• nieuw geconstrueerde toets bij elke afname
• 6-jarig curriculum, 24 meetmomenten

4. Voorbeeld VTvraag
Een jongen van 15 jaar presenteert zich met recidiverende
buikpijn en bloed en slijm bij de ontlasting. Tevens blijkt hij
pneumaturie te hebben. De meest waarschijnlijke diagnose
hebben
is
A. coeliakie;
B.
B colitus ulcerosa;
C. morbus Crohn;
D.
D salmonellose.
salmonellose
[Categorie spijsverteringsstelsel]

5. Blauwdruk VT geneeskunde
Disc Discipline Cat Category
AN Anatomy 01 Respiratory System
BC Biochemistry 02 Blood and Lymph System
CH Surgery 03 Musculoskeletal System
DE Dermatology 04 Mental Health Care
EP Epidemiology 05 Reproductive System
FA Pharmacology 06 Cardiovascular System
FY Physiology 07 Hormones and Metabolism
GY Obstetrics and Gynaecology 08 Dermis and Connective Tissue
HG Family medicine 09 Personal and Social Aspects
IN Internal medicine 10 Digestive System
KG Paediatrics
P di t i 11 Kidneys and U i
Kid d Urinary S t
System
KN Ear, Nose, Throat 12 Nervous System and Senses
MC Clinical Genetics 13 Molecular and Cellular Aspects
ME Metamedical Sciences 14 Epistemology and Methodology
NE Neurology 15 Stages of Life
OH Ophthalmology 16 Knowledge of Skills
PA Pathology 17 Preventative Health Care
PS Psychology and Psychiatry
SG Surgery

6. Blauwdruk VT geneeskunde
Disc Categories
g
01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 Total
AN 2 1 2 1 1 1 1 1 1 1 12
BC 1 1 1 1 1 1 1 1 1 9
CH 1 1 3 1 1 1 2 4 1 2 17
DE 5 5
EP 7 7
FA 1 1 1 1 1 1 1 1 8
FY 1 1 1 1 2 1 1 1 1 10
GY 4 2 1 1 2 10
HG 1 1 1 1 1 1 1 1 1 1 1 1 7 1 20
IN 6 1 2 6 1 2 3 3 1 1 1 1 1 29
KG 1 1 1 1 1 1 1 1 1 1 1 11
KN 1 3 4
MC 1 2 1 4 8
ME 2 4 2 1 9
NE 1 5 1 7
OH 2 1 1 4
PA 1 1 1 1 1 1 1 1 1 1 10
PS 9 5 1 1 16
SG 2 2 4
Total 16 10 13 12 11 15 10 10 12 12 14 19 9 9 7 15 6 200

7. Resultaten
Berekening en
1977 Start Voortgangstoets UM
Rapportage
1999 iVTG, 3 NL geneesk. facult.
2007 +2 5 (of 8)
Export
Vosys DB
2005 Vosys toetsserv. systeem UM naar ProF
2009 ProF longitudinale feedback
Item/Toets
Constructie
C t ti
&Beoordeling

8. Wat moet verbeterd
• Technische infrastructuur
• Faciliteiten docenten bij schrijven en beoordelen items
• Duurzame interuniversitaire samenwerking
• Kennis-uitwisseling
Oplossingen (project VGTogether)
• Centrale generieke technische infrastructuur
• Item and toets constructie en beoordelingssysteem
• Business model
• Kennisomgeving – www.ivtg.nl

9. Resultaten
2011 VGTogether: Berekening en
Verbetering item constructie- Rapportage
en beoordelingsfaciliteiten
Export
Vosys DB
naar ProF
1. Workflow/Requirements
q
Item/Toets
Update
2. Inventarisatie bestaande Constructie
Vosys
systemen &Beoordeling
3 S l ti ‘b t ’ systeem
3. Selectie ‘beste’ t
Item Management System (IMS) IMS DB
ontwikkeld door de Universiteit
van Heidelberg (Duitsland)
gebruikt door 50% van de D IMS Item/Toets
med. facult. voor itembanking Constructie & Beoordeling

10. Problemen papieren VT
• L i ti k
Logistiek:
4 x per jaar 7500 studenten tegelijkertijd
toetsen
t t
• Inefficiente kennismeting:
alle studenten dezelfde 200 vragen
• Multimediale mogelijkheden: gering
• Flexibiliteit in tijd en p
j plaats: g
gering
g

11. Computergestuurd adaptief toetsen
(CAT)
• Individuele toets, automatisch afgestemd
op h t kennisniveau van de student
het k i i d t d t
• Toets kan gemaakt worden op willekeurige
plaats en tijd
• Uitgebreide multimediale mogelijkheden

12. Adaptief toetsen
Vraag 1
Vraag 2
Vraag 3
Vraag 4
Vraag 5
Vraag 6
Vraag 7 Student
Kennisniveau Student Kennisniveau/moeilijkheid

13. Nodig voor CAT
• G k lib
Gekalibreerde it b k
d itembank
moeilijkheid (en andere item parameters)
moeten bekend zijn
t b k d ij
• Methodes&programmatuur voor
– Kalibratie (IRT-model)
– Selectie van geschikte vragen
– Toetsafname
– Normen
– Rapportage van resultaten

14. Project AdaPT
(Adaptive Progress Testing)
• Onderzoekt hoe CAT toegepast kan worden
g p
bij Voortgangstoetsing
• Nieuwe aspecten CAT-PT:
veelomvattende toets (groot kennisdomein)
longitudinale toets

15. Aanpak
• Kalibratie wordt gebaseerd op bestaande PT data:
items & scores van de december VT’s 2005-2011
• Prototype voor computergestuurde adaptieve
voortgangstoetsing (CAT PT)
(CAT-PT)
• Pilot-experimenten
o e pe e e
• Resultaten:
Voor- en nadelen CAT-PT vs. papieren voortgangstoets,
Pakket van eisen voor overgang van Papier naar CAT

16. Geschikte items voor CAT
• Criterium:
p
profiel P-waarde over jaargroepen
j g p
• Groei items
Groei-items
• Sprong-items

17. Behandelmoment

18. Behandelmoment

19. December VTs 2005-2011 (totaal 1400 items)
( )

20. Tenslotte
Projecten VGTogether and AdaPT
• V b t
Verbeteren voortgangstoetsing,
t t t i
stimuleren toepassing ervan elders in het hoger
onderwijs
• Stimuleren sa e e
S u e e samenwerking tussen instituten op nationale
g usse s ue a o ae
en Europese schaal
• Gesubsidieerd door SURF, initiator van ICT-innovatie in
het hoger onderwijs