Dinsdag 10 november Sessieronde 1 Titel: Serious games voor verbeterde communicatieprocessen Spreker(s): Rob Nadolski (Open Universiteit), Tom Hoogendoorn (NOVA) Zaal: Penn I

1. SLEM (Serious games voor Leren en Examineren in het Mbo)
Serious games voor verbeterde
communicatieprocessen
bij ICT beheerders
Praktijkgericht onderzoek - NRO
Rob Nadolski Tom Hogendoorn
Surf Onderwijsdagen 10 November 2015

2. Route
0. Introductie en vragen aan u [3’]
1. (Leer)games, SLEM leergames – waarom en waarover [10’]
2. Flankerend onderzoek SLEM (gebruiksonderzoek, pilot, overdracht) [2’]
3. Gebruiksonderzoek aanpak Gepersonaliseerde Leerling Ondersteuning [5’]
4. Pilot [kwaliteit leergame & GLO ] [10’]
5. Overdracht [gebruiksvoorwaarden leergames] [5’]
6. Discussie [10’]

3. 0. Vragen aan u
Speelt u zelf entertainment games ?
Speelt u zelf serious games ?
Gebruikt u serious games in uw onderwijs ?
Maakt u serious games ?
Kun je leren van entertainment games?
Kun je leren van serious games?

4. Confucius (500 bC)
“Tell me and I will forget,
Show me and I may remember,
Involve me and I will understand ...“
Einstein (nd)
”Games are the most elevated form of investigation”
1. Games……. leergames
Spore WoW
with Pulse!!! MineCraft

5. 1. (Serious) games
“a game is a system in which players engage in an abstract challenge,
defined by rules, interactivity and feedback, that results in a quantifiable
outcome often eliciting an emotional reaction” (Koster, 2005; Kapp, 2012)
- system
- players (= learners in serious games(SGs) for learning)
- abstract challenge
- rules
- interactivity
- feedback
- quantifiable outcome (= goals - learning objectives in SGs for learning)
- emotional reaction
A serious game is a game with another purpose than pure entertainment (Abt, 1970)

6. 1. Wat is het SLEM Project?
Serious games voor Leren en Examineren in het mbo
- Samenwerkingsverband tussen OU, Stichting Praktijkleren, Nova
College, Zadkine, met medewerking van Twente, Aventus
- Leergames om de vaardigheden van ICT Beheerder kerntaak 1 te
verbeteren (met name de communicatie met de klant)
- Verschillende leergames ontwikkeld door Stichting Praktijkleren
- OU doet flankerend onderzoek i.s.m. ROC’s.
- Onderzoek gefinancierd door NRO

7. 1. Waarom leergames bij SLEM?
- Onderdompelende leerervaringen
- Veilig oefenen
- Comprimeren van (leer)tijd
- Verbinding tussen theorie en praktijk
- Natuurlijke feedback (in verhalen)
- Adaptieve feedback (op basis van: voortgang) - GLO
- Motivatie (controle & betekenisvol-relevant)
- Voortgangsdata voor gerichte docent-feedback en beoordeling
(‘teacher-bandwidth”) [begeleiding + toetsing]
- Consistente kwaliteit (= kwalitatief vergelijkbare leerervaringen)
- Verbeterd leren (!?)

8. 1. Waarover gaan de leergames bij SLEM?
Er zijn vijf games (Stichting Praktijkleren):
- Leergame 1 voor 1e jaars studenten: Inrichten PC directeur AmeRijck (demo)
- Leergame 2 voor 2e jaars studenten: Herinrichting network AmeRijck
- Leergame 3 voor 3e jaars studenten: Intranetomgeving bij Flying Dutchman
- Twee Examengames: Evenementenburo Galema en Notalis (in ontwikkeling)

9. 2. Flankerend onderzoek – SLEM
Vraag 1 (Gebruiksonderzoek) [Kwaliteit leergame]
- Hoe kan de educatieve kwaliteit van het leergame-ontwerp worden geoptimaliseerd?
Vragenlijsten/interviews/literatuuronderzoekGLO (Gepersonaliseerde LeerlingOndersteuning)
Vraag 2 (Pilot) [Kwaliteit leergame]
- In welke mate is de leergame een werkzame, efficiënte en effectieve oplossing?
RCT-onderzoek 2 gamevarianten (GLO, geen GLO) (Nova, Zadkine, Aventus, Twente)
Vraag 3 (Overdracht) [Exploitatie leergame]
- Wat zijn de voorwaarden voor generalisatie en succesvolle overdracht van de
leergame naar andere ROC’s en naar andere domeinen dan ICT?
Semi-gestructureerde interviews met stakeholders

10. 3. Gebruiksonderzoek
Vraag [Kwaliteit leergame]
- Hoe kan de educatieve kwaliteit van het leergame-ontwerp worden geoptimaliseerd?
a. Leergame 1 (kwantitatief en kwalitatief) onderzocht op:
- Gebruiksvriendelijkheid, bestudeerbaarheid, inhoud, technisch-bugs
b. Literatuurstudie feedback & GLO  richtlijnen voor natuurlijke feedback & GLO
Bevindingen
a. Gebruiksvriendelijkheid (+/-), bestudeerbaarheid (+/-), inhoud (+/-), technisch (+/-)
b. Bestaande oplossingen GLO te kostbaar + feedbackrichtlijnen
Acties
- Bestudeerbaarheid verbeteren via eenvoudig & goedkoop te ontwikkelen GLO [hoe?]
- Reflectie-interviews voor betere balans ‘spelen & leren’ en betere bestudeerbaarheid
- Feedbackrichtlijnen uit de literatuur toepassen voor inhoud GLO [welke en hoe?]
- Leergame 2 uitbreiden met GLO en technische issues verhelpen(mn streaming video)
- Leergame 1 tav inhoud en gebruiksvriendelijkheid verbeteren
NB Tijdens gebruiksonderzoek leergame 1 werd leergame 2 ontwikkeld

11. 3. Aanbeveling Gebruiksonderzoek
Vraag [Kwaliteit leergame]
- Hoe kan de educatieve kwaliteit van het leergame-ontwerp worden geoptimaliseerd?
Betrek (eind)gebruikers zo vroeg mogelijk bij praktijkgericht gebruiksonderzoek

12. 4. Pilot
Vraag [Kwaliteit leergame]
- In welke mate is de leergame een werkzame, efficiënte en effectieve oplossing?
RCT-onderzoek 2 gamevarianten (GLO, geen GLO) (Nova, Zadkine, Aventus, Twente)
- groep 1: leergame 2 met GLO en de reguliere – natuurlijke - feedback
- groep 2: leergame 2 met alleen de reguliere – natuurlijke - feedback (controle)
Feedbackrichtlijnen [obv literatuur studie]
1. Feedback dient formatief en informatief te zijn
2. Feedback dient gepersonaliseerd te zijn (dwz, gekoppeld aan acties van de leerling)
3. Feedback dient de lerende betrokken te houden
4. Feedback dient neutraal en informatief op het verbeteren van het leren gericht te zijn
5. Feedback moet zowel op het product alsook op het proces gericht zijn
6. Ga na of feedback wordt gebruikt en wordt begrepen
7. Feedback dient tijdig beschikbaar te zijn [spanning met ‘game-experience’]

13. 4. Pilot
Feedbackrichtlijnen [obv literatuur studie]
1. Feedback dient formatief en informatief te zijn
2. Feedback dient gepersonaliseerd te zijn (dwz, gekoppeld aan acties van de leerling)
3. Feedback dient de lerende betrokken te houden
4. Feedback dient neutraal en informatief op het verbeteren van het leren gericht te zijn
5. Feedback moet zowel op het product alsook op het proces gericht zijn
6. Ga na of feedback wordt gebruikt en wordt begrepen
7. Feedback dient tijdig beschikbaar te zijn [spanning met ‘game-experience’!]
GLO = Gepersonaliseerde LeerlingOndersteuning
Leerlingondersteuning is gepersonaliseerd zodra er een mechanisme wordt gebruikt
dat over een verzameling van leerlingacties (aggregatie) binnen de game al redenerend
via regels en criteria komt tot het verstrekken van een bepaalde ondersteuning aan de
leerling. GLO is altijd een vorm van ‘uitgestelde geaccumuleerde terugkoppeling’ omdat
eerst een verzameling leerlingacties moet worden aangelegd op basis waarvan de GLO
wordt verstrekt. GLO houdt de leerling als het ware een spiegel voor:
‘Hoe ben ik te werk gegaan en wat ging goed/wat kan beter?

14. 4. Pilot
GLO geven vlak vóór het maken van het fase-rapport op basis van:
a. Ontijdig gevraagde informatie (tgv ‘stellen van vraag in verkeerde fase’) [systematisch]
b. Gemiste informatie (tgv ‘niet stellen van een vraag’)
c. Overbodige informatie (tgv ‘stellen overbodige vraag’)
d. Bij een verkeerde persoon gevraagde informatie
Natuurlijke feedback:
Aanwijzingen voor vervolgactiviteiten en directe reactie op student-acties (verhaallijn)
Voorbeeld GLO-inhoud: [= retrospectieve feedback]
“Het lijkt erop dat je systematisch te werk gaat. Het blijkt dat je in de interviews een aantal
belangrijke vragen hebt gemist, en hiermee informatie hebt gemist. Je had sneller kunnen
werken, je hebt nu soms overbodige vragen gesteld. Daarnaast heb je een aantal keren
vragen bij een persoon gesteld die deze niet kan beantwoorden omdat dit niet bij diens
werk hoort. Alles overziende, lijkt het erop dat je een aantal personen opnieuw moet
bevragen. Bedenk van te voren wie je welke vragen gaat stellen. Luister altijd goed
naar hun antwoorden en maak aantekeningen die je in je rapport kunt verwerken.”

15. 4. Pilot

16. 4. Pilot
a. kwantitatief bij leerlingen (rapporten, vragenlijsten, logging)
b. kwalitatief bij leerlingen en docenten (semi-gestructureerd interview)
Bevindingen
a. studeerbaarheid (ScoreRapport) Groep 1(GLO,n = 31) > Groep 2(geen-GLO,n = 34)
(t(63) = 2.11, p < .05, d = 0,52)
Geen verschillen voor motivatie, gebruikersvriendelijkheid, voorkennis
b. werkzaamheid (+&-)*, efficiëntie (+); studeerbaarheid (+), motivatie (+&-)*,
gebruikersvriendelijkheid (+), inhoud (+/-), technisch-bugs (+/-) ;
[(+&-)* tgv ROC-verschillen]
Acties
1. Verhelderen positionering en verankering SLEM-game in curriculum
2. Bestuderen van leergame buiten school (was tijdens onderzoek niet toegestaan)
3. Zorg voor goed verwachtingsmanagement leerlingen ‘leergame’ ipv entertainment
4. Inhoud: verbeter gamedynamiek, minder steriel, verhelpen storende taalfouten
5. Techniek: inrichten lokale server voor videostreaming

17. 4. Aanbevelingen Pilot
Vraag [Kwaliteit leergame]
- In welke mate is de leergame een werkzame, efficiënte en effectieve oplossing?
- Verzorg inbedding van de leergame in het onderwijs
- Ondersteun docenten bij gebruik van de leergame in het onderwijs
- Verken opties voor (technisch) laagdrempelige feedback (liefst in de leergame)
- Zorg voor vrijheid van plaats en tempo voor studenten
- Check gebruik en begrip van feedback
- Doe praktijkgericht onderzoek tijdens de exploitatie

18. 5. Overdracht
Vraag [Exploitatie leergame]
- Wat zijn de voorwaarden voor generalisatie en succesvolle overdracht van de
leergame naar andere ROC’s en naar andere domeinen dan ICT?
Via semi-gestructureerd interview met docenten ICT (Nova, Aventus, Zadkine, ROC
Twente) & teamleiders bij deze ROCs (overkoepelende view)
Bevindingen tav leergames:
1. Inhoud is tijdsbestendig (gering onderhoud)
2. Voldoende flexibiliteit en efficiency, mits verankerd in curriculum en docent-inwerktijd
3. Technische infrastructuur is simpel, maar moet wel geregeld zijn
4. Goede kansen voor vergelijkbare leergames bij andere opleidingen met klantcontact
Actie:
1. Kenniskringen benaderen om inzet leergames bij andere domeinen op te pakken

19. 5. Aanbevelingen Overdracht
Vraag [Exploitatie leergame]
- Wat zijn de voorwaarden voor generalisatie en succesvolle overdracht van de
leergame naar andere ROC’s en naar andere domeinen dan ICT?
- Zorg voor goede documentatie ter behoeve van succesvol didactisch gebruik
- Betrek tijdig de juiste deskundigen bij het maken of inzetten van leergames
- Doe praktijkgericht (gebruiks)onderzoek bij maken van nieuwe leergames

20. 6. Discussie - ?vragen?
Leergames bij uw onderwijs?
”de huidige onderwijspraktijk met zijn klassikale model en
zijn bijbehorende didaktiek is het product van de technische
mogelijkheden: bord, boek, en pen” (Westera, 2014)
Leergames
- verbeteren de kwaliteit van onderwijs
- ondersteunen docenten (efficiency)
- maken onderwijs aantrekkelijker

21. 7. Boodschap (Take home message): Leren van games!
Leren uw studenten van Games? (Leren uw studenten van een boek?)
Een leergame – in een blend - past goed bij formeel onderwijs
(Ontwikkeling van) een leergame is altijd een afweging op:
- effectiviteit , efficiency, onderhoudbaarheid, schaalbaarheid, flexibiliteit
- kosten (ontwikkel, gebruik)
Leergames indien unieke opbrengst of besparing bij gebruik
(bv. qua leerdoelen (cognitief-sociaal, individueel-groep))
Onderwijs = probleemeigenaar en experts inhoud Praktijkonderzoek
Welten instituut = flankerend onderzoek - ontwerp samenwerking

22. rob.nadolski@ou.nl
thogendoorn@novacollege.nl
EMERGO: www.emergo.cc
of: http://portal.ou.nl/web/leren/emergo
Serious Games Society:
http://seriousgamessociety.org/
Realising an Applied Gaming Eco-system
http://rageproject.eu
Dank u voor uw aandacht …
Dank voor uw aandacht …