Grootschalig digitaal tentamineren bij de Vrije Universiteit Amsterdam - Silvester Draaijer - HO-link 2014

GROOTSCHALIG DIGITAAL
TOETSEN OP DE VU
SILVESTER DRAAIJER

Universiteitsbibliotheek VU
EEN KORTE PERSOONLIJKE GESCHIEDENIS
> ir. Industrieel Ontwerpen
> Eigen ontwerpbureau & Docent op de HHS bij IPO
> Een digitale vragenbank gemaakt met collega
> Eerste digitale beeldschermtoetsen zelf afgenomen
> Mechanica tentamens
> Tempo+/Presto+ van de TU-Delft
> Windows Applicatie
> Samen met Harry van der Pas en collega’s
> Alle valkuilen zelf meegemaakt
> Daarna afgedwaald …
2 Digitale Toetszaal VU - HO Link dagen 2014

Universiteitsbibliotheek VU3 Digitale Toetszaal VU - HO Link dagen 2014

DIGITAAL TOETSEN BIJ DE VU
> Questionmark Perception Tests ~ 250.000/jr
> Blackboard Tests ~ 50.000/jr
> Digitale Toetszaal ~ 50.000/jr
> Turnitin ~2300/mnd, ~520 docenten
> http://draaijeronassessmentandtesting.wordpress.com/
> SURF Special Interest Group Digitaal Toetsen:
https://www.surfspace.nl/sig/6-digitaal-toetsen/

WAAROM HOU IK VAN DIGITAAL TOETSEN? (EN U ER OOK
VAN ZOU MOETEN HOUDEN!)
> Toetsen heeft een directe impact op leren en studeren
(Snyder 1971)
> ICT biedt nieuwe mogelijkheden
> ICT leidt tot veel problemen die er om roepen om opgelost
te worden
> Het is complex, ill defined

MIDDELEN
> Visie
> Geld
> Infrastructuur
> Menskracht
> Organisatiekracht
> Kennis
> Communicatie en verwachtingsmanagement
Digitale Toetszaal VU - HO Link dagen 20146

INSTITUTIONAL TAKE-UP OF CAA
Warburton (2009)

TECHNOLOGY ACCEPTANCE
Teachers regard online testing as useful, but find it difficult to
realize it technically and logistically (Schoonenboom, 2012)

HEB JE EEN DIGITALE TOETSZAAL NODIG?
> Exams are outdated, is it not?
> Read your own OER and check your current ‘studiegids’
> With computers, students can take their exam at any moment of their liking, is
it not?
> Traditional Higher Education system in NL is cohort based
> Students can taken an exam at home, is it not?
> Security and Integrity of data and achievement cannot be guaranteed
> Students can bring their own (any) device to the exam hall, is it not?
> Power
> Network
> Security and Integrity of data and achievement
> We can use the regular computerrooms, is it not?
> Reliability of computers is poor
> Very poor ergonomic conditions
> Very poor defference of fraud

EN HEB JE EEN GROTE ZAAL NODIG?
> Digitaal toetsen heeft het meeste efficiëntie
voordeel bij grote cohorten
> Efficiënt omgaan met grote cohorten
> Tentamens
> Deeltentamens
> Tussentoetsen
> Ja, je hebt een grote nodig

DIGITALE TOETSZAAL VU (DIGITENT)

ZIJN WE ALLEEN?
Digitale Toetszaal RUG – 290 plekken
permanent
Digitale Toetszaal TU-Delft – 2 x 225 plekken plekken, niet permanent
Digitale Toetszaal VU – 385 plekken – permanent
+ HS Leiden
+ Erasmus
+ Universiteit
Leiden
+ UvA
+ AMC

WAAR IS DE DIGITALE TOETSZAAL?
385
plekken

GROTE VOORDEEL
Figuur 2 Handmatig verwerken van papieren toetsen bij RCH.

GEAVANCEERD DIGITAAL NAKIJKEN - TURNITIN
Geavanceerd digitaal nakijken met Turnitin – de tool voor plagiaatcontrole, beoordeling, rijke feedback,
peer-review. Ook op de Tablet.

GEAVANCEERD DIGITAAL NAKIJKEN - BLACKBOARD

GEAVANCEERD DIGITAAL NAKIJKEN - TURNITIN

> Open vragen (voorkom schrijven met de hand);
> Beroepssoftware;
> Open vragen toevoegen aan gesloten vragen;
> Andere vraagvormen, afbeeldingen, multimedia e.d.
> Verbeteren van het studiesucces
> Verbeteren waardering door studenten in het kader van
de NSE (o.a. nakijktermijn)
Digitale Toetszaal VU - HO Link dagen 2014
WELKE TOETSVORM LEVERT HET MEESTE OP IN DE
DIGITENT?
22

Geschikt Maatwerk,
specifieke
software
nodig
Niet of beperkt
mogelijk
MC
x
Open vragen in
tekstvorm
x
Beroepssoftware met
file bewerking en
upload
x
Beperkte wiskundige,
chemische symbolen
x
Uitgebreide
wiskundige,
chemische of andere
structuren
X
(tenzij met
gebruimaking van
beroepssoftware)
Toetsen moeten
geschikt zijn om in
digitale vorm aan te
bieden

ORGANISATIE – DE MOEILIJKE VOORSTELLING
Faculteit/Docent
Fac. Ondersteuner
Applicatiebeheer
Database en OS
beheer
Functioneel beheer
Onderwijskundig
adviseur
(digitaal) toetsexpert
Educational
Technologist
Faculteit/Docent
Fac. Ondersteuner
Faculteit/Docent
Fac. Ondersteuner
Faculteit/Docent
Fac. Ondersteuner
Faculteit/Docent
Fac. Ondersteuner
Faculteit/Docent
Fac. Ondersteuner
Faculteit/Docent
Fac. Ondersteuner
Faculteit/Docent
Fac. Ondersteuner
Faculteit/Docent
Fac. Ondersteuner
Centrale
Ondersteuner
Digitaal Toetsen
ITEDFaculties
DigiTenT
VU Board, Faculty Boards, ICTO Advisory Board

WELKE ONDERSTEUNING?
• Centrale Ondersteuning Digitaal Toetsen
• ICTO ondersteuner faculteit

WELKE ORGANISATIE EN LOGISTIEK
Wat • Wie Opmerkingen
Idee formuleren • Docent
• Faculteit/Opleiding
• Cursuscoördinator
Software hebben • Centrale of facultaire
ondersteuning
• IT-functionarissen
• Welke methode: online, clientsoftware
• Nauwkeurige toegang regelen tot Topics,
Testen e.d.
Toetsopzet bedenken • Docent
• Onderwijskundig ondersteuner
• Vraagtypen
• Volgorde van vragen
• Instructieschermen
• Feedbackschermen
• Cijferbekendmaking
• Inzage bedenken
Toetsvragen bedenken • Docent
• Onderwijskundig ondersteuner
• Technisch ondersteuner
Toetsvragen invoeren • Docent (nee, liever niet)

WELKE ORGANISATIE EN LOGISTIEK (CONT.)
Wat • Wie Opmerkingen
Toets samenstellen • Technisch ondersteuner • Navigatie
• Templates
• Knoppen
• Interactieve meldingen
Toets controleren • Docent
Toets ter beschikking stellen aan studenten • Technisch ondersteuner
• Functioneel beheer
• Roosteraars
• Curriculum ontwikkelaars
Toetsafnemen onder goed gecontroleerde
condities en technisch betrouwbaar
• Technisch beheer
• Applicatiebeheer
• Functioneel beheer
Is er wel of niet een dedicated faciliteit om
digitale toetsen af te nemen?
Troubleshooting als de toets ter
beschikking staat
• Functioneel beheerder
Toetsresultaten downloaden, analyses
plegen en scores en cijfers bepalen
• Psychometricus
Inzage mogelijk maken • Docent

FACULTEITEN ZONDER ICTO ONDERSTEUNING
Pluspakket
Type toets
Een nieuw te ontwikkelen toets via Blackboard of
Questionmark Perception (evt. in combinatie met
beroepssoftware)
Ontwikkelen specifieke vraagtypes
Eerder ontwikkelde toets via Blackboard of
Questionmark Perception
Een nieuw te ontwikkelen toets waarbij studenten
met beroepssoftware worden getest
Een bestaande toets waarbij studenten met
beroepssoftware worden getest

BEVEILIGING - ONVEILIGHEID
> Computers in apart VLAN
> Computers alleen op te starten met beperkt aantal
functionele accounts
> Functionele accounts zijn gekoppeld aan specifieke GPO’s
> Alle auto-update functies zijn uitgezet
> Computers te monitoren met Classroom Management
Software
> Werkplekken in gewone tentamenopstelling
> Anti-afkijkschermen op de beeldschermen

BEVEILIGING - ONVEILIGHEID
> Toetsen pas beschikbaar op tentamentijdstip
> Toetsen weer dicht een half uur na aanvang van de toets
> Toetsen afgeschermd met apart wachtwoord – pas bekend
in de TenT
> Good Old Surveillanten
> Beheerders van toetssystemen moeten niet:
> Per ongeluk toetsen openzetten
> Per ongeluk hun accounts verraden
> Per ongeluk goede antwoorden in toetsvragen aangeven

BETROUWBAARHEID
> Toetssyteem
> Load-balanced Toetssysteem
> Uitvoerig getest
> Internetverbinding
> 1 kabel de TenT in
> Als er géén Internet is, dan is er ook géén toets
> Werkplekken
> Geheel uniform
> Geen vrije werkplekken
> Dagelijkse controle door centrale ondersteuner
> Troubleshooting
> Centrale ondersteuner is zeer vloeiend in oplossen van alle kleine en
grote problemen

ROOSTERING EN ACTOREN/ONDERSTEUNING
> Tijdens tentamenweken max. 40.000-48.000 pogingen
> Aanmelden tentamens en tussentoetsen via Syllabus+
> FCO probeert alles in te plannen
> Reserveren per blok van ~95 computers
> Digitaal toetsen krijgt voorrang!
> Papier en digitaal door elkaar
> Als het niet lukt op gewenst moment – zoeken naar
oplossingen

ROOSTERING EN ACTOREN/ONDERSTEUNING
> ‘Beheerreglement’
> Vaste bloktijden
De bloktijden zijn als volgt.
Zaal open: 8.30 uur; tentamen: 8.45 – 11.30 uur
Digitale
Toetsza
al VU -
HO Link
dagen
201433

UITDAGINGEN
> Toetsen voor studenten met beperkingen
> Uitbreiden van de piek-capaciteit
> Aanbieden aan derden
> Kosten (centrale voorziening vs betalen per toets/afname)

VOOR MEER INFORMATIVE - HULP
Silvester Draaijer
s.draaijer@vu.nl
Draaijer, S., & Warburton, B. (2014). The Emergence of Large-Scale
Computer Assisted Summative Examination Facilities in Higher
Education. In M. Kalz & E. Ras (Eds.), Computer Assisted
Assessment. Research into E-Assessment (pp. 28–39). Springer
International Publishing.
https://www.edugroepen.nl/sites/VUDigitaalToetsen/SitePages/Introd
uctiepagina.aspx

Grootschalig digitaal tentamineren bij de Vrije Universiteit Amsterdam - Silvester Draaijer - HO-link 2014

Recommended

Recommended

More Related Content

Similar to Grootschalig digitaal tentamineren bij de Vrije Universiteit Amsterdam - Silvester Draaijer - HO-link 2014

Similar to Grootschalig digitaal tentamineren bij de Vrije Universiteit Amsterdam - Silvester Draaijer - HO-link 2014 (20)

More from HOlink

More from HOlink (20)

Grootschalig digitaal tentamineren bij de Vrije Universiteit Amsterdam - Silvester Draaijer - HO-link 2014