314 Digitaal Toetsen Doordenken Van Het Gehele Proces    Sylvester Draaijer
Upcoming SlideShare
Loading in...5
×

Like this? Share it with your network

Share
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
No Downloads

Views

Total Views
1,833
On Slideshare
1,806
From Embeds
27
Number of Embeds
3

Actions

Shares
Downloads
45
Comments
0
Likes
2

Embeds 27

http://natplaza.wordpress.com 21
http://www.slideshare.net 5
http://webcache.googleusercontent.com 1

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. Digitaal Toetsen: doordenken van het hele proces Silvester Draaijer Onderwijscentrum VU
  • 2. Toetsing op de VU
    • Onderwijscentrum VU:
      • Tentamenservice (schrapkaarten – 1300 tentamens per jaar)
      • Blackboard’s Assessment Module
      • Respondus
      • Questionmark Perception
  • 3. Toetsing in het Onderwijs
    • Toetsen is belangrijk onderdeel van het leerproces:
      • “Toetsing dicteert namelijk in belangrijke mate het leren. Voor studenten vormen de toetsen de sleutel voor succes in hun onderwijsloopbaan. De vorm, de inhoud, de programmering en de regelgeving bepalen feitelijk wat en hoe studenten zullen leren. Voor studenten is de toetsing het feitelijke curriculum.”
      • Prof. Cees van der Vleuten in ‘Toetsen en ICT in het hoger onderwijs’
  • 4. Large Scale toetsen
    • Casus
    • Stel het is 1 december. CvB geeft opdracht een projectgroep
      • Ontwikkel een digitale toets ‘basiskennis wetenschappelijk denken’.
      • Neem deze af in de tweede week van het begin van het academisch jaar, bij 4000 eerstejaars studenten
      • De studenten en faculteiten moeten binnen twee weken de uitslag ontvangen.
      • De toets moet een betrouwbare uitslag geven over de beheersing van de studenten op diverse deelonderwerpen van wetenschappelijk denken en die groep identificeren die extra ondersteuning nodig heeft
      • De toets moet de eerstkomende 5 jaar herhaald worden afgenomen.
  • 5. Het aanpakken van small en mid-scale digitale toetsprojecten
    • Bij faculteit X van instelling Y is een groepje docenten geïnteresseerd in het ontwikkelen en afnemen van een digitale toets voor ongeveer 100 studenten. Ze hebben het volgende plan opgeschreven.
      • We willen de studenten een random toets aanbieden zodat we zeker weten dat de studenten niet bij elkaar kunnen afkijken.
      • We willen gebruik maken van alle vraagtypen en multi-media, want anders is het project veel minder zinvol.
      • Iedere student krijgt een toets met 25 vragen.
      • De indeling van de stof is zo dat elke docent voor ongeveer 1/5 deel verantwoordelijk is voor de inhoud van de toets. De docenten weten het best welke stof ze aanbieden en zij krijgen de vrijheid om de vragenbank naar hun eigen inzicht in te delen.
      • We willen achteraf precies weten welke vragen door welke student zijn beantwoord en hoe de vragen ‘scoren’.
      • We hebben beperkte tijd om de vragen te ontwikkelen.
      • We willen zelf de logistiek tijdens de toets regelen om direct in te kunnen grijpen als dat nodig is.
      • Één van ons zal aangewezen worden al coördinator van het hele project.
    • Taak: Identificeer de ‘kritische’ punten in dit plan
      • Welke punten zou u aan de orde stellen bij een eerstvolgende bijeenkomst van het docententeam en de coördinator?
  • 6. Analyse
    • Beschrijf welke expertise bijeengebracht moet worden
    • Beschrijf wie waar verantwoordelijk voor is
    • Beschrijf projectfasen en een globale planning
  • 7. Geheide missers bij small en mid-scale digitale toetsprojecten
  • 8. We hebben een testserver – start met een pilot
    • Testservers bieden te weinig performance om een onderwijskundige pilot goed te laten verlopen – te hoge belasting maakt dat machines snel crashen/vastlopen
  • 9. Geen fall-back procedure hebben
    • Bij de eerste digitale toetsen op een nieuw systeem treden er bijna altijd technische problemen op.
      • Zorg dat er een toets op papier klaarligt
      • Zorg dat het een low-stakes toets is
      • Zorg dat je ‘langzaam’ inlogt
      • Zorg dat je weet wat je gaat zeggen tegen studenten en examencommissie als het toch helemaal mis loopt
        • Iedereen een 6
        • Herkansing al vast inplannen (zeg dat de toets uit twee delen bestaat)
  • 10. We gaan toetsen maken die toetsvragen ‘random’ uit de database halen
    • Vragen kunnen elkaars antwoord weg kunnen geven
      • Vragen kunnen ‘dubbel’ in de toets komen
      • Bij meerdere pogingen kunnen studenten dezelfde vraag krijgen
    • Het bereken van de betrouwbaarheid van een toets wordt bijna onmogelijk
    • Het in de hand houden van de moeilijkheidsgraad van een toets is bijna onmogelijk
  • 11. We gaan adaptief toetsen
    • Echt adaptief toetsen vereist IRT (Item Respons Theory) aanpak
    • Semi-adaptief toetsen vergt zeer goed doordachte toetsbank en studenten willen op basis van duidelijke aanwijzingen weten op welk niveau ze zitten
    • Cognitief niveau van de vraag is ongelijk aan moeilijkheidsgraad van vragen
  • 12. Concentreer je vooral op de vragenbank
    • Er blijkt dat het samenstellen van een toets op heel andere criteria plaatsvindt dan indeling van een vragenbank (waar vaak individuele vragen teruggevonden moeten kunnen worden)
  • 13. Sla zoveel mogelijk meta-data op bij toetsvragen
    • Kost erg veel tijd van ‘iemand’. Als die iemand zijn taak niet goed uitvoert, of de taak wordt over meerdere personen verdeeld dan geldt: garbage in en garbage out
  • 14. De toetsuitslag zal direct aan de studenten gegeven worden
    • Zoals bij elke toets dient er een analyse plaats te vinden. Slechte vragen verwijderd, eventueel cesuur aanpassing gepleegd en herberekening van scores.
    voorbeeld TENTAMEN : DOCENT : ***** **-**-2001 FACULTEIT: *** AFDELING : *** _______________________________________________________________ MEERKEUZE VRAGEN FORMULIER 1 P - WAARDEN VRAAG ALT-1 ALT-2 ALT-3 ALT-4 * P-ITEM Sx Rir _______________________________________________________________ 1 0.06 0.08 0.11 +0.75 0.00 0.75 0.19 0.34 2 0.09 0.06 +0.79 0.05 0.01 0.79 0.16 0.21 3 +0.81 0.05 0.08 0.06 0.00 0.81 0.16 0.24 4 0.16 0.12 +0.60 0.13 0.00 0.60 0.24 0.37 5 0.26 0.03 +0.71 0.01 0.00 0.71 0.21 0.34 6 0.10 +0.77 0.12 0.02 0.00 0.77 0.18 0.26 7 +0.79 0.03 0.16 0.03 0.00 0.79 0.16 0.26 8 0.31 0.06 +0.52 0.11 0.00 0.52 0.25 0.27 9 0.08 0.40 0.03 +0.49 0.00 0.49 0.25 0.17 10 0.06 0.03 +0.87 0.04 0.00 0.87 0.11 0.27 11 0.10 0.02 +0.83 0.05 0.00 0.83 0.14 0.32 12 0.05 0.03 +0.86 0.06 0.00 0.86 0.12 0.30 13 0.54 +0.26 0.16 0.04 0.00 0.26 0.19 -0.07 14 0.25 0.21 0.11 +0.44 0.00 0.44 0.25 0.30 15 0.23 +0.62 0.04 0.10 0.00 0.62 0.23 0.31 16 +0.49 0.29 0.08 0.14 0.00 0.49 0.25 0.24 17 0.01 0.34 +0.65 0.01 0.00 0.65 0.23 0.14 18 0.07 0.06 +0.85 0.02 0.00 0.85 0.13 -0.10 19 0.01 0.08 +0.88 0.04 0.00 0.88 0.11 0.31 20 0.30 +0.35 0.11 0.24 0.00 0.35 0.23 0.05 21 +0.82 0.03 0.07 0.08 0.00 0.82 0.14 0.35 22 0.21 0.36 0.31 +0.12 0.00 0.12 0.11 0.09 23 +0.86 0.09 0.03 0.01 0.00 0.86 0.12 0.23 24 +0.83 0.03 0.10 0.05 0.00 0.83 0.14 0.36 25 +0.84 0.08 0.01 0.06 0.00 0.84 0.13 0.32 26 +0.46 0.05 0.05 0.44 0.00 0.46 0.25 0.56 27 0.23 +0.66 0.06 0.06 0.00 0.66 0.23 0.61 28 0.18 0.19 0.25 +0.37 0.00 0.37 0.23 0.44 29 0.14 +0.64 0.08 0.14 0.00 0.64 0.23 0.40 30 0.07 0.07 +0.79 0.06 0.00 0.79 0.16 0.36 31 +0.66 0.16 0.03 0.14 0.00 0.66 0.22 0.40 32 0.09 +0.48 0.18 0.25 0.00 0.48 0.25 0.37 33 +0.74 0.05 0.02 0.19 0.00 0.74 0.19 0.49 34 +0.55 0.08 0.24 0.13 0.00 0.55 0.25 0.01 35 0.03 0.27 +0.51 0.18 0.00 0.51 0.25 0.46 36 0.15 +0.18 0.45 0.22 0.00 0.18 0.14 0.04 37 0.16 0.08 +0.43 0.32 0.01 0.43 0.24 0.18 38 0.32 +0.60 0.06 0.02 0.00 0.60 0.24 0.39 39 0.38 0.13 0.08 +0.42 0.00 0.42 0.24 0.48 40 0.19 0.05 +0.71 0.05 0.00 0.71 0.21 0.28 KR-20 : 0.82 Aantal studenten : 154 | S KR20 KR20(75) Gem. Score Gem. p-waarde ______|___________________________________________________________ | MK | 6.16 0.82 0.89 25.00 0.63 WO | --- --- --- --- ---
  • 15. De kwaliteit van de toetsing gaat omhoog
    • Niet gedefinieerd wat ‘kwaliteit’ is
    • De kwaliteit van de toetsing gaat alleen omhoog als er ingezet wordt op het systematisch ontwikkelen van toetsen en vragen waarbij ook training in het ontwikkelen van toetsvragen meegenomen moet worden.
  • 16. Het rendement gaat omhoog
    • Rendement van een toets heeft betrekking op stellen van cesuur
    • Wat wel geldt: goede studenten terecht laten slagen en niet-goede studenten terecht laten zakken (en vice versa)
    raadscore cijfer 1 5,5 10 maximale score cesuurscore Proportie studenten die slaagt. Geslaagd Gezakt Terecht Onterecht
  • 17. Een verfijnde rechtenstructuur en beveiliging van toetsvragen levert een goede work-flow op en zorgt voor betere kwaliteit
    • Deze insteek heeft twee kanten.
    • 1) natuurlijk is alles dan veilig, maar
    • 2) het werkproces kan ook onmogelijk worden doordat een overview van de hoeveelheid werk en taken mist en de work-load niet goed te plannen valt als er teveel afhankelijkheden zijn in het ontwerpproces.
  • 18. Niet ‘doortesten’ van de meest ‘domme’ student in tentamensituatie
    • Het blijkt dat er altijd ‘rare’ dingen optreden tijdens een toets in de echte situatie
      • Op PC van ontwikkelaar doet de toets het, maar in PC-lokaal waar de toets worden afgenomen zijn er problemen
        • Andere resolutie
        • Verkeerde versie van Flash, Java, IE, Ff etc.
        • Systeembeheer heeft toegang tot bijv. streaming video afgesloten
        • Afbeelding blijken bij ontwikkelaar vanaf de lokale machine getoond te worden en niet via het netwerk/internet
      • Student gebruikt onmogelijke toetscombinaties om symbolen in te voeren
      • Sneltoetsen van de PC/laptop worden aangeraakt
      • Stekker zit niet in het stopcontact
      • Alle PC’s worden centraal op een bepaald moment uitgezet
      • Toetsen van toetsenbord zitten vast
      • Software die op de achtergrond draait geeft een probleem met opstarten van toets
      • PC start met een automatische installatie van nieuwe software – virusscanners, window-update, flash-player, secure client update etc.
  • 19. Neem toetsen af op studentenlaptops
    • Als je dit niet heel goed voorbereid is er kans op grote problemen tijdens de afname van de toets.
    • Zie voorgaande slides
  • 20. Innovatieve vraagtypes maken authentiek toetsen mogelijk en leiden tot vragen die meer naar inzicht, toepassing, analyse en evaluatie vragen
    • Toetsvragen ontwikkelen met op maat gemaakte authentieke situaties (video, verhalen) is heel duur en
    • De stimulus van de vraag is de belangrijkste factor als het gaat om het te ontlokken denkproces, niet de vorm van de vraag
  • 21. Niet behandeld
    • Geld
    • Centraal – Decentraal
    • Ondersteuning
    • Van bovenaf opgelegd
    • Slechtziende student
    • Slechthorende student
    • Inkijkrecht door student
    • Competentiegericht toetsen
    • Computercapaciteit
    • Feedback
  • 22. En toch doorgaan, doen
    • Student verwacht het
    • Kansen benutten door doordachte aanpak
    • Silvester Draaijer
    • [email_address]
  • 23. We zijn ‘gezamenlijk’ verantwoordelijk voor de toets
    • Als er geen ‘product’ champion is zal bij tegenslag mislukking optreden, frustratie, boze gezichten
    • Duidelijk afbakenen wie wanneer wat en hoeveel en in welke vorm moet opleveren
    • Bereid zijn tot ‘training’, ‘scholing’, kritiek op ontwikkelde vragen etc.
    • Handwerk van invoeren van vragen en zorgen dat plaatjes, lay-out e.d. goed zijn aan ‘expert’ uitbesteden anders wordt het echt lelijk en slecht – studenten zien dat direct
      • expert op gebied van de toetssoftware en HTML/graphics)
  • 24. Projectplan
    • Team samenstellen
      • Inhoudsdeskundigen
      • Toetsdeskundigen
      • Applicatiebeheerder
      • Functioneel beheerder
      • Digitaal Toetsdeskundige
  • 25. Projectplan
    • Planning
      • Analyse
        • Kick-off
        • Bepalen van Kennisdomein en deeldomeinen
        • Desk-Research naar vergelijkbare toetsen
        • Desk-Research naar wetenschappelijke literatuur erover
        • Installeren van software bij ontwikkelaars
        • Benoemen van coordinator/redacteur over de toetsvragen
      • Inwerken
        • Training van vraagontwikkelaars over mogelijkheden van de toetssoftware en bedienen van de software
      • Gezamenlijk bepalen van hoofdindeling van de toets en daarvan afgeleid de indeling van de vragenbank
      • Ontwikkelen van beperkte set van ‘voorbeeldvragen’ die dienen als mal
      • Regelen electriciteit
      • Regelen Internetaansluiting
      • Regelen roostering
      • Regelen beveiliging
      • Toetsdeskundigen
      • Applicatiebeheerder
      • Functioneel beheerder
      • Digitaal Toetsdeskundige
  • 26. Meer info
    • Silvester Draaijer ( s.draaijer@ ond.vu.nl )
    • Flexibilisering van Toetsing: http://www.du.nl/flextoets