Sessieronde 4 Beschrijving: Veel centrale examens en toetsen worden al jaren digitaal afgenomen. Daarom is de afgelopen jaren gewerkt aan Facet. Aan Facet zijn veel eisen gesteld, waaronder schaalbaarheid, robuustheid, veiligheid en consistente vraagweergave. DUO maakt als ontwikkelaar en beheerder van Facet gebruik van een cloudoplossing om de schaalbaarheid te borgen. Deze presentatie geeft een beeld van de ontwikkeling en implementatie van Facet met aandacht voor innovatieve vraagtypes, gegevensuitwisselingen en het gebruik van de cloud.

1. Digitale centrale
examens en toetsen in
Facet
Nynke de Boer
College voor Toetsen en
Examens
N.deboer@hetcvte.nl

2. CENTRALE TOETSEN EN EXAMENS
2
Primair onderwijs
HAVO
VMBO
VWO
MBO
HBO
WO
Digitaal
Papier
PO Eindtoets
VO DTT
VO Rekentoets
VO Eindexamen
MBO Taal en rekenen
104.000 38.00055.000

3. 3
MEERWAARDE DIGITAAL VERSUS PAPIER
• Adaptief toetsen
Aangepast aan kandidaat
Minder item-exposure
• Minder corrigeertijd
• Eenvoudigere dataverwerking
• Vragen hergebruiken
- Toewerken naar een itembank
- Examens vergelijken
- Flexibel rooster
• Inhoud verrijken
• Eén vraag tegelijkertijd tonen
• Leesbare antwoorden
• Meer inspanning voor scholen
• Zorgen over falende techniek en
beveiliging
• Organisatie is complexer
• Onmogelijk aan te sluiten bij alle
mogelijke apparatuur
• Meer verantwoordelijkheid bij CvTE
• Vooralsnog duurder

4. AANTAL AFNAMES IN 2014-2015
4
0
500.000
1.000.000
1.500.000
2.000.000
2.500.000
3.000.000
3.500.000
Papier
Digitaal

5. AANTAL AFNAMES IN 2014-2015
5
Voornamelijk
afgenomen in
ExamenTester
van Cito (in gebruik
sinds 2002)
0
500.000
1.000.000
1.500.000
2.000.000
2.500.000
3.000.000
3.500.000
Papier
Digitaal

6. VERWACHT AANTAL AFNAMES IN 2020-2021
6
0
500.000
1.000.000
1.500.000
2.000.000
2.500.000
3.000.000
3.500.000
Papier
Digitaal
Afgenomen in
Facet
van DUO (in gebruik
sinds 2014)

7. EEN NIEUW SYSTEEM VOOR DIGITALE EXAMENS: FACET
Oorspronkelijke kaders:
• Stabiel en solide – minimale uitval
• Goed beveiligd en afgeschermd
• Multi-platform
• Toont examens zoals ze bedoeld zijn
• Minimale beheerlast
• Zowel online als offline
• Passend binnen de architectuur van de overheid
• Geen kostenoverschrijding!
7

8. CollegevoorToetsenenExamens
Examenlocatie
CITO Centrale server DUO
BROn
Kandidaatgegevens
Examens
Afnamegroepen
Antwoorden
Eindscores
Cijfers
Examens
Afnames
Antwoorden
SAS

9. Examens
Examenlocatie
Afnamegroepen
Antwoorden
Eindscore
Cijfers
Kandidaatgegevens
CITO Centrale server DUO
BROn
Examens
Afnames
Antwoorden
Aanleveren examens
volgens QTI-standaard
SAS
CollegevoorToetsenenExamens

10. Examenlocatie
Antwoorden
Eindscores
Cijfers
CITO Centrale server DUO
BROn
Examens
Afnamegroepen
SAS
Invoeren
afnamegroepen Examens
Afnames
Antwoorden
Kandidaatgegevens
CollegevoorToetsenenExamens

11. Examenlocatie
Eindscores
Cijfers
Kandidaatgegevens
CITO Centrale server DUO
BROn
Examens
Afnamegroepen
Antwoorden
Examens
Afnames
Antwoorden
SAS
Afname offline
• Installatie lokale server
nodig
• Geen internet nodig
tijdens de afname
CollegevoorToetsenenExamens

12. Examenlocatie
Eindscores
Cijfers
Kandidaatgegevens
CITO Centrale server DUO
BROn
Examens
Afnamegroepen
Antwoorden
Afname online
• Minder beheerlast:
geen installatie lokale
server
• Internet nodig tijdens
de afname: Stabiele
brede internet-
verbinding is cruciaal
SAS
Examens
Afnames
Antwoorden
Examens
Afnames
Antwoorden
CollegevoorToetsenenExamens

13. ZOWEL ONLINE ALS OFFLINE
13

14. Correctoren
Kandidaten
Examenlocatie
Cijfers
Kandidaatgegevens
CITO Centrale server DUO
BROn
SAS
Examens
Afnames
Antwoorden
Eindscore
Examens
Afnames
Antwoorden
Correctie
• Kan vanaf thuis
CollegevoorToetsenenExamens

15. Examenlocatie
Kandidaatgegevens
CITO Centrale server DUO
BROn
Examens
Afnamegroepen
Antwoorden
Eindscores
Cijfers
Verwerken
resultaten
• Bepalen van de
norm
SAS
Examens
Afnames
Antwoorden
Examens
Afnames
Antwoorden
CollegevoorToetsenenExamens

16. CITO Centrale server DUO
BROn
Examens
Oefenen
• Oefenen.DUO.nl
• Online anonieme oefenomgeving
CollegevoorToetsenenExamens

17. INZET FACET SCHOOLJAAR 2014-2015
17

18. STABIEL EN SOLIDE – MINIMALE UITVAL
18
• Grote aantallen met hoge
pieken vragen om
schaalbare infrastructuur
• Vaste oplossing bij DUO:
erg dure opschaling voor
slechts enkele maanden per
jaar
• Definitieve oplossing (vanaf
2016): overheidscloud
• Voorlopige oplossing (2015-
2016) is public cloud

19. DE CLOUD
19
• Alle gegevens in
Nederland
• Gescheiden omgevingen
voor klanten en
ontwikkelaars
• Alle verkeersstromen
encrypted
• Meerdere lagen van
beveiliging
• Bescherming DDOS
ingericht met Wasstraat
• Grondige procedures voor
cloud-personeel
• Regelmatig audits

20. MULTI-PLATFORM
• Drie spelers in drie totaal
verschillende omgevingen:
Windows én Mac én Linux
• Goed gelukt, maar uitdaging
om bij te houden
• Vanaf zomer 2015
onderbrengen onder één
uniform “image”
• Nieuwe dimensie: tablet..
20

21. 21
Eerste
programma
van eisen
DUO en
Cito
betrokken
Architectuur
Start
ontwikke-
ling
Testen
Facet 1.0
op een
paar
locaties
Gebruik
Facet 1.0
op 15
locaties
voor echte
examens
Gebruik
Facet 2.0
op 190
locaties
Gebruik
Facet 3.0
op 500
locaties
Eerste
innovatie-
ve items.
Gebruik Facet 4.0
op 1700 locaties.
Adaptief testen en
autoscore
formules
Facet breder
beschikbaar
stellen?
Gebruik
Facet 5.0
op 3000+
locaties.
Mogelijk
met spraak.
8000
locaties
Tablets?
Telefoons?

22. INNOVATIEVE VRAAGTYPES
• Nu:
– Corrigeren van tekst
– Tekst opdelen in alinea’s
– Categoriseren
– Formules automatisch laten scoren
• Straks:
– Spraak opnemen en handmatig laten scoren
– Grafieken, tabellen en meetkundige figuren laten tekenen en
automatisch scoren
22

23. DEMOROL TD, P-DTT WISKUNDE CAS-ITEMS, VRAAG 2
23