Online toetsing is bij uitstek een toepassing die onderwijs op maat mogelijk maakt: studenten kunnen onafhankelijk van tijd en plaats een toets maken. Zelfs in het huidige afstandsonderwijs betekent dit een stap voorwaarts, voor reguliere instellingen in het hbo en wo betekent het een ingrijpende verandering in de organisatie van het toetsproces. Wat vraagt het van een instelling om online beveiligd toetsen te realiseren? Hoe zit het met authenticatie van deelnemers en wat betekent dit voor hun privacy? Wat zijn de kansen op fraude? Deze presentatie geeft antwoord op deze vragen, gebaseerd op de tussenresultaten van de Europese projecten Adaptive trust-based e-assessment (TeSLA) en Online Proctoring for Remote Examination (OP4RE).

1. 1
Online beveiligd toetsen binnen nu en 5 jaar
Silvester Draaijera, José Janssenb
aVrije Universiteit Amsterdam
bOpen Universiteit Nederland

2. Resources
Sources to start with
Activities
List of activities
Outputs
Expected results
Preconditions
(long term
outcomes)
Outcomes needed to
accomplish change
Societal
Change
(impact)
Sustainable (breadth,
width) change
Theory of Change Model
1-12-2015 Niels Bosma
••Physical
••Man-hour
••Finances
••Technology
••Information
••Processes
••Tools
••Events
••Technologies
••Direct output
of activities
(IOs)
Change in:
••Behaviour
••Knowledge
••Skills
••Policy
••Legislation
••Change that
‘resounds’ in
a noticeable
societal
change for the
future

3. 3
Erasmus+ Doelen
• Toegang tot hoger onderwijs verbeteren/verhogen
• OP4RE doel
• Opleveren van Intellectual Outputs (documenten/handleidingen/ervaringen
op basis van experimenten) om toegang tot het hoger onderwijs te
verbeteren

4. Online
Proctoring

5. Online
Proctoring
Componenten
Test taker
Exam board
Proctor
Proctoring system
Examiner
E-assessment system
E-assessment
super user
Proctoring system
superuser

6. 6
OP4RE – Maatschappelijke verandering
• Voor wie?
• Afstandsstudenten
• Potentiële studenten (EER, EU, International)
• Deeltijdstudenten (work-study)
• Afstandsstudenten
• Studenten die tijdelijk in het buitenland zijn of vv (sporters, Erasmus studenten etc.)
• Studenten met beperking
• Campusstudenten
• Beperkte toepassing lijkt het

7. 7
De noodzaak voor beveiligde toetsen
• Hoger Onderwijs cultuur
• Tentamens, tussentoetsen, deeltoetsen
• End of Semester Exams
• Toelatings- en Selectietoetsen
• High Stakes
• Betrouwbaarheid
• Validiteit
• Eerlijkheid

8. 8
Situatie in de VS
• Interessant voorbeeld: Western Governors University
• Afstandsonderwijs
• 80.000 studenten, groeit jaarlijks met 15%
• 36.000 toetsen per maand
• Alles met Online live proctoring only (ratio 1 proct. 2-4 kandidaten)
• Géén fancy technologie (meer)
• Het werkt niet
• Leveren problemen op in het proces
• Leveren (veel te) veel vals positieven op t.a.v. fraude
• Speciale unit met voldoende FTE alleen voor proctoring
• Ook data forensics, internet policing

9. 9
Situatie Europees HO
France Small scale experiments via FIED – Distance education –
work-study combination
Netherlands A lot of activity
• especcially in pre-University selection tests
• online Mathematics eligibility tests
• some master programmes
• improving student experience
Belgium Very limited, though VIVES uses Online Proctoring
Substantially
Germany Non existent – Mystery guest by Internationale
Hochschule Bad Honnef (IUBH) in Der Spiegel was a
disaster
United Kingdom More activity here – in particular Hertfordshire
University
Luleå University Sweden: 30 concurrent students via Adobe Connect

10. 10
Situatie Europees HO – waarom beperkt?
• Campus instellingen (residential institutions)
• Aantal studenten per toets erg laag (25-600)
• Per toets veel handling kosten en fouten
• Examens moeten voor iedereen op exact zelfde tijd worden afgenomen
• Veel schriftelijke toetsen
• Kosten per toets niet in de ‘mindset’/budget
• Onbekend hoe je het op enige schaal moet opzetten
• Angst dat fraude niet afdoende wordt tegengegaan
• Privacy, Data Protectie en Security zijn erg stroperig

11. 11
Student ervaring
• Als er geen technische problemen zijn: goede ervaring
• Eerste keer
• Veel stress
• Hoe is de procedure?
• Werkt het technisch?
• Een redelijk percentage mislukkingen
• Bandbreedte
• Software
• Wachtwoorden
• Vervolgsessies
• Gaan veel beter

12. 12
Privacy – Data Protection
• GDPR m.i.v. Mei 2018
• Highly Sensitive Personal Data
• racial or ethnic origin (appearance, skin color)
• political opinions
• religious beliefs (crosses, head covers etc.)
• union activity
• physical or mental health (e.g. wears glasses)
• sexual life
• offences committed
• In the EU mag deze data niet worden verwerkt mits het recht
specifieke of algemene uitzonderingen mogelijk maakt

13. 13
Privacy – Data Protection
• Consent Forms
• Data Classification
• Privacy Impact Assessment
• Processor Agreement
• Evaluate Processor against security requirements
• Privacy Guidelines and Rules of Conduct
• Auditing Procedures
• Risk Acceptance Forms

14. 14
Privacy – Data Protection
The main rules that apply to data protection in the EU are
• Lawfulness, fairness and transparency
• Purpose limitation
• Data minimization
• Accuracy
• Storage limitation
• Integrity and confidentiality.
• Legal grounds:
• Unambiguous consent
• Performance of a contract
• Legal obligation
• Protecting vital interests
• Performance of a public law duty
• Legitimate interest
• Must comply with all national laws in case of cross border flow of data

15. 15
Privacy – Data Protection
• Data Subject: the test-taker providing data
• Data Controller: the HEI collecting data
• Data Processor: a third party collecting and processing the data on behalf
of the Data Controller - with online proctoring this is the online proctoring
system provider.
• Privacy Officer or Data Protection Officer of the HEI: responsible for the
data protection issues of the HEI
• Data Protection Authority: the national authorities to which Responsible
parties need to report to in case of, for example, data breaches or
complaints by data subjects.
• http://tesla-project.eu/gdpr-come-data-protection-officer/

16. 16
Maken studenten zich zorgen?
• Volgende presentatie

17. 17
Vertrouwen
Examens moeten eerlijk zijn
• Even moeilijk voor iedereen
• Je moet procedures kennen
• Je moet kunnen voldoen aan de
procedures
• Pen-en-papier moet even moeilijk zijn
als digitaal/online

18. 18
Vertrouwen
Examens moeten eerlijk zijn
• Even moeilijk
• In staat zijn om fraude te voorkomen en detecteren
• Cheating ‘face-to-face’ by
• collusion (online or face-to-face collaboration)
• having previous access to tests and test items
• having access to prohibited information sources
• Cheat notes, Books, Internet resources etc.
• Impersonating – identity authentication – TeSLA project
• Stealing and illegally sharing test question (screen shots, button camera’s)
• Cheating ‘electronically’ by
• Manipulating internet streams
• Electronically impersonating
• Be able to detect and report academic misconduct when it occurs

19. 19
TeSLA project

20. 20
Conclusie
Meer informatie:
http://www.onlineproctoring.eu
Bedankt, s.draaijer@vu.nl