Presentatie in het kader van cursus e-leren van de Associatie K.U. Leuven op dinsdag 16/11/2010. Feedback, opmerkingen en aanvullingen welkom. Dank ook aan Luc Van de Put m.b.t. de content.

1. ELISE 2010
assessment
Filip Vervenne filip.vervenne@katho.be 16/11/2010

2. doel van deze module
• Bewust worden van aandachtspunten bij het
construeren van een evaluatie- en
beoordelingsomgeving.
• Enkele formats van assessment in een e-
learning context kunnen uitvoeren.
• Een eigen visie ontwikkelen op assessment in
het afstandsonderwijs.

3. 1.3 omschrijving assessment…

4. Klassieke knelpunten evaluatie
• Kwaliteit garanderen
• Juridisch sluitend maken

5. Knelpunten evaluatie:
recente reflecties - uitdagingen…
• piek studeergedrag
• geen toetsing van complexe vaardigheden
• onvoldoende integratie in het onderwijs
• weinig betrokkenheid van studenten
• docenten en studenten zijn/worden niet opgeleid als
beoordelaars
• één keer toetsen niet genoeg

6. En toen was er…:
assessment!
• veel breder dan toetsing alleen: assessment =
integratie van toetsing en onderwijs, waarbij de
doelen, leertaken en toetsing volledig in elkaars
verlengde liggen (Biggs, 1999, 2000)
=> assessment FOR learning !
• betrokkenheid van studenten: “engage me or
enrage me”: gedeeld ownership, ook wat betreft
evaluatie…
• formatieve en summatieve evaluatie

7. • Hedendaagse opvatting van leren en
de verhouding met assessment:
competentiegericht
authentieke taken: het levende leren
samenwerkend leren: wwwleren,
netwerkleren,…
• Valoriseren i.p.v. evalueren: valoriseren
van EVC, van informeel en non-formeel
leren, leren op de werkplek,…

8. 1.4 methodieken assessment
docent -> student
• Meerkeuzevragen
• Open boek examen
• Extended matching
student <-> docent
• Co-assessment
• Selfassessment
• Portfolio

10. student <-> student <-> docent
• Peer-assessment
• STAR
student <-> mentor <-> docent
• Co-assessment; selfassessment
• 360°feedback
• In-basket
• WAKKER
• STAR

11. De settings verschillen nauwelijks van
deze in het dagonderwijs.
Vaak wordt assessment in afstandsleren
echter beperkt tot de meest klassieke
vorm van evaluatie: de student die een
mondeling of schriftelijk examen komt
afleggen op de campus…
1.5 Assessment en e-learning

12. • E-assessment verhoogt de flexibiliteit:
mogelijkheden voor op maat gesneden
opleidingstrajecten (intake)
• E-assessment kan goedkoop en makkelijk te
implementeren zijn (internet testtools)

14. 1.6 Inspiratie
1.6.1. TOLEDO
• De mogelijkheden binnen Toledo gaan vooral
in de richting van eenvoudige formatieve
toetsen.
• Voordelen van deze formatieve toetsen in
Toledo:

15. • er zijn gevarieerde vraagtypes
mogelijk.
• er is een beperkte analyse van de
kwaliteit van de vragen beschikbaar:
o.a. gemiddelde score,
standaardafwijking, hoogste score en
laagste score.

16. • interessant en aangewezen is het
gebruik van pools om toetsen aan te
maken. De beste keuze is om
onmiddellijk met pools te werken want
anders kan je geen gebruik meer maken
van uw vragen in andere tests/toetsen…
• het is mogelijk om toetsen te delen met
collega’s.
• Opgelet: bij multiple choice: het grootste werk zit hem in
het maken van de goede afleiders.

17. Verdere mogelijkheden binnen Toledo.
Digitaal peerassessment. De output beperkt
zich tot een Excell tabel. Goede kennis van
Excell is vereist om hier relevante info uit te
putten!
Een aantal begeleidingstools die eveneens
in de vorm van assessment ingezet kunnen
worden, cf. deel coaching en feedback:

18. • Portfolio
• Weblog/blog
• Collaboratieve tools
• Wiki
• Blogs & journals
• Fora
• Communicatieve tools
(discussiefora)

20. 1.6.2 Krachtige programma’s voor
online assessment:
QUESTIONMARK http://www.questionmark.be
http://www.avnet.kuleuven.be/schoolofeducation/view.php?id=6&page=qtvideo
EDUMATIC http://www.edumatic.be
USOLV-IT http://www.usolvit.be
ADOBE CONNECT http://adobe.be

21. 1.6.3 Gratis programma's in het kader
van assessment
GOOGLE DOCS http://docs.google.be
inzetten als WIKI
maar ook mogelijk te opteren voor "forms"
waarbij je op eenvoudige wijze een
vragenlijst kunt aanmaken, een url
genereren en dan inzetten in uw
leeromgeving. zie ook http://www/quiz-
creator.com/blog/2009/09/making-online-quiz-with-google-docs-1-creating-
quizzes/ en http://www.youtube.com/watch?v=xC1L0wpmqlY

23. SURVEY MONKEY"
http://www.surveymonkey.com/
Een steeds beter ontwikkelde tool om zelf
online assessment te creëren.
Met een gratis account kan u binnen uw
toets of bevraging maximaal 10 vragen
aanmaken.
Zeer gebruiksvriendelijk en interessante
rapportering van resultaten.

24. 1.6.4 varia: andere inspiratie
• Screencasts…
• Videoreflecties…
• Assessment binnen digitaal
cursusmateriaal…
• Adaptieve leerpaden vanuit surveys of
tests…
• Digitaal coachen en assessment van
vaardigheden: bijvoorbeeld zang

25. 1.7 suggesties en ervaringen
1.7.1 Een case:
project KAMEEL KATHO

27. De ervaringen resulteerden in een korte
beschrijving van 5 succesvolle formats
binnen het scenario voor beoordeling en
evaluatie op afstand.
In elk van die formats, zijn de online
verbinding, de webcam en de hoofdtelefoon
de basishulpmiddelen in de setting.

28. 1. zuiver mondeling examen: de examinator
stelt de vragen, de student antwoordt in real
time. De kwaliteit van webcam en
hoofdtelefoon is zeer belangrijk.
Als de klank zou falen, blijkt Skype het meest
efficiënte hulpmiddel voor een degelijke VOIP
te zijn. Eventueel kan de chat ook
ondersteunend dienst doen.

29. 2. Schriftelijk examen: de docent deelt de test
via scherm delen en de student kan ‘live’ in het
document schrijven.
Soms zit er door de verbindingssnelheid een kleine
vertraging op maar dit blijkt toch een interessant format
waarbij de troeven van het programma goed worden
uitgespeeld.

30. 3. Schriftelijk examen: de student drukt de door
de docent overgemaakte test af, maakt het
examen, scant het resultaat in en stuurt terug.
Om het werkelijk eenvoudig te houden. Maar zonder
enig technisch probleem!

31. 4. Schriftelijk examen: de docent stelt de test ter
beschikking binnen Toledo.
De student maakt het examen dus binnen de
TOLEDO-cursus van het betreffende
opleidingsonderdeel.
Hier kan gebruik gemaakt worden van een pool met
vragen en eventueel ook van automatische correctie.

32. 5. Schriftelijk examen: de docent stelt de test ter
beschikking in Edumatic met als voordeel het
gebruik van brede waaier van vraagtypes.

33. Belangrijk advies: in tegenstelling tot bij face2face
onderwijs, en net zoals bij coaching en feedback,
de ondersteuning sterk uitgebouwd moet worden,
…
…moet voor alles wat assessment betreft heel
wat extra ondersteuning voorzien zijn:
FAQ’s, gidsen, tutorials en zeker ook screencasts
voor zowel studenten als docenten betrokken bij
assessment op afstand,...

35. Digitaal toetsen
Enkele fragmenten uit
videoseminarie
http://www.avnet.kuleuven.be/schoolofeducation/view.php?id=6&page

36. Beperkingen van digitaal toetsen
• Goede vragen en toetsen maken is zeer
arbeidsintensief
• Probleem van authenticatie: is de
student de werkelijke student
• Samenwerking tussen vakexperts en
‘onderwijstechnoloog’

37. Waarom - voordelen
• Standpunt student
Zichzelf meten: diagnostische toets
Tijdens cursus de voortgang meten: formatieve
toets - kan ook puur als oefenfunctie
Mogelijkheid om adaptief te toetsen: makkelijkere
of moeilijkere vragen

38. Waarom - voordelen
• Standpunt lector
Aanvangsniveau van een student meten
Gemak bij stijgend aantal studenten
Objectieve vragen
Uitwisselbaarheid materiaal
Directe feedback op prestaties (in vergelijking met papier)
• geven van juist antwoord
• geven van studeeraanwijzigingen
• hints om oplossing te vinden
• aanbieden van video of animatie voor bijkomende
uitleg
Antwoorden worden automatisch nagekeken
Reductie van correctietijd/ toename toetsontwikkeling en
-beheer

39. Waarom - voordelen
• Standpunt opleiding
Flexibilisering van toetsafname: altijd en overal
beschikbaar
Kwaliteit toetsing verhogen
• Toetstechnisch
Automatische opslag per item, vraag,
student,...
Toets- en itemanalyse
• Onderzoek: grotere motivatie om aan toets
deel te nemen in vergelijking met examens

40. Voorbeeld van diagnostische toets in
de vorm van een digitaal
selfassessment
• http://webtoetsen.du.nl/q/session.dll

41. Veel verschillende
toepassingen…

42. Toetsing van kennis en
vaardigheden
• Opfrissen van voorkennis
• Groot aantal verschillende vraagtypes
• Studenten maken voorkennistoets bij aanvang van cursus

43. Actieve verwerking van de
leerinhoud
• Studenten moeten verplicht toets maken over stof van
voorgaande les  betere verdieping en retentie van kennis

44. Kennis en inzicht m.b.v. multimedia

45. Collegeverbeteraar
Studenten wekelijks enkele
toetsvragen aanbieden via BB
 betere voorbereiding op de toets
en levendigere lessen

46. Integratie van audio-visueel
materiaal

47. Beveiliging…
• Examen-login gebruiken
• IP-adressen worden gecontroleerd
in de reporting
• Aanwezigheden laten noteren
• Assessment enkel openstellen
voor duur vh. examen
• Assessment beschermen met
paswoord
Bij raadplegen online
Bij afleggen: lector tikt wachtwoord in

49. Peer-assessment?!
Fragment uit videoseminarie
http://www.avnet.kuleuven.be/schoolofeducation/view.php?id=7&page=qtv

50. minpunten
• peer assessment effectief, maar niet altijd
betrouwbaar
• pas op het einde van een cursus/module
• te veel gericht op het geven of verdelen van
scores
• ongemakkelijk
• geen training/instructie
• onvoldoende ingebed in het inhoudsdomein

51. => peer assessment beschouwen als
complexe vaardigheid die past in het
curriculum…
Studenten dus eerst laten oefenen,
voordat ze elkaar beoordelen!

52. Keuzes in peer assessment
• wie beoordeelt wie?
• anoniem – niet anoniem?
• product – proces?
• geschreven – mondelinge beoordelingen?
• kwalitatieve – kwantitatieve beoordelingen?

53. onderzoek*
• geïntegreerde PA-training leidt tot betere
beoordelaars
• geïntegreerde training leidt tot betere
leerresultaten
• nieuwe opzet van onderwijs leidt tot
veranderende houding ten opzichte instructie
en toetsing
* Dominique Sluijsmans, Open Universiteit Nederland
2002 “integreren van peer-assessment in e-leren”