SlideShare a Scribd company logo
1 of 31
Games-based assessment
               Nathalie Charlier




       SLO gezondheidswetenschappen
Wist je dat…
Oplossing?


        het aantal CPR getrainde leken ↑



      BLS training in het schoolcurriculum



eerste hulp en CPR training in de lerarenopleiding
Probleemstelling
Inspiratie
Revalidatie
Inspiratie


‘Wiihabilitation’
Inspiratie
Training
Inspiratie
Empowerment
Kan een spel dienst doen als alternatief instrument
 voor de evaluatie van eerstehulpcompetenties?
2009-…                       Deelnemers

  2009             2010   2011         2012
(pilootstudie)




    28             55     57           39




                 SLO
Onderzoeksopzet

2010




55
Onderzoeksopzet
Instrumenten
Instrumenten




5 x juist/fout
7 x open vraag:
       4 x kort antwoord
       3 x casus
Onderzoeksopzet




≠                   spel
            onmiddellijke feedback
    testronde
                                         schriftelijk + vaardigheden
                                        geen onmiddellijke feedback
                                                       peer-assessment

                               peer-assessment
 5’ 15’             90’                               90’          15’
                             individuele evaluatie

=
spelregels
                  spel             leerinhoud * schriftelijke test
                                              * 3 vaardigheden
                      type van vragen en demonstraties
           gebruik van checklists voor het vaardigheden-assessment
Onderzoeksopzet




Vragenlijst   pre   post 1              post 2
Resultaten
        p = n.s.        p = n.s.




       M = 92.54      M = 89.17
n=28    (± 7.55)        (± 5.16)




       M = 85.46       M = 89.14
n=25    (± 8.57)        (± 12.09)
Resultaten
                   p = n.s.




       M = 92.54                 M = 89.17
n=28    (± 7.55)                   (± 5.16)




       M = 85.46                  M = 89.14
n=25    (± 8.57)                   (± 12.09)
                   p = n.s.
Conclusie

Gemiddelde scores:                              >

Bijdragende factoren:
     effect van het spel
     peer-assessment
     beschikbaarheid van feedback
     mogelijkheid tot mondelinge verdediging
Referentie: Charlier, N. (2011) Game-based assessment of first aid and resuscitation
            skills. Resuscitation, 82(4): 442-6.
Deelnemers
 2010




          11 scholen
        GZW richtingen
 303



SLO
Onderzoeksopzet
Onderzoeksopzet
         p = n.s.       p = n.s.




n=163   M = 46.72      M = 70.86
         (± 19.96)       (± 16.97)




        M = 47.07       M = 73.17
n=140    (± 20.44)       (± 12.66)
Vervolgonderzoek

Gemiddelde scores:             >

Bijdragende factoren:
   effect van het spel    studie ‘faalangst in het SO’
   peer-assessment        studie smartphone
   beschikbaarheid van feedback
   mogelijkheid tot mondelinge verdediging
Vervolgonderzoek

  2009                   2010              2011            2012
(pilootstudie)




    28                    55                57               39
Schriftelijke test: PA door 1 student    1 student       2 studenten
Spel: groepen van 4                     groepen van 4   groepen van 3
Android app
Android app
Vaardigheden filmen




   camera app.
Vaardigheden filmen
Peer assessment




Antwoord student      Peer-assessment
Output
name       id task                                                                      responses                                                       feedback
Speler 1   1 Een medespeler heeft zijn/haar enkel (links) verstuikt. Leg een            1334835719737: Uitgevoerd                                       TRUE
             verband aan.
Speler 1   1 Als je niet graag mond-op-mondbeademing geeft, is het altijd beter         1334836290694: Juist                                            TRUE
             om enkele hartmassages te geven dan helemaal niets te doen.
Speler 1   1 Waarom is het aangewezen wegwerphandschoenen te gebruiken                  1334836796434: risico opbesmetting van jezelf en het            TRUE
             bij de hulpverlening van een bebloed slachtoffer?                          slachtoffer vermijden.
Speler 1   1 Bij ontbrekende belwaarde kan je met je gsm-toestel toch nog het           1334836907599: Juist                                            TRUE
             alarmnummer 112 verwittigen.
Speler 1   1 Waarvoor gebruik je het materiaal op de foto? 18.jpg                       1334837207724: om een bloeding te stelpen en druk               TRUE
                                                                                        erop aan te brengen.
Speler 1   1 Bij een spierscheur hou je het letsel warm gedurende 20 min.               1334838585483: Fout                                             TRUE
Speler 2   2 Je mag als eerstehulpverlener medicatie toedienen aan een                  1334835375990: Fout                                             TRUE
             slachtoffer.
Speler 2   2 Hoe controleer je als hulpverlener het bewustzijn van een                  1334836165487: slachtoffer luid en duidelijk aanspreken, TRUE
             slachtoffer?                                                               lichtjes aan schouders schudden, hallo hoort u mij
Speler 2   2 Zorg eerst voor de veiligheid van het slachtoffer en dan voor je           1334836873189: Fout                                      TRUE
             eigen veiligheid.
Speler 2   2 Wat is een MUG?                                                              1334837373577: medisch urgentieteam met snellere              TRUE
                                                                                          wagen, spoedarts en extra materiaal
Speler 2   2   Demonstreer met een tekentang hoe je een teek verwijdert.                  1334837941718: Uitgevoerd                                     TRUE
Speler 2   2   Bij de controle van het bewustzijn, stel je vast dat het slachtoffer       1334838331380: roep hulp, contoleer ademhaling met            TRUE
               niet reageert. Wat doe je? 9.jpg                                           kijk,luister,voel, laat hulpdiensten 112 alarmeren, verleen
                                                                                          hulp reanimatie of stabiele zijlig
Speler 3   3   Een medespeler heeft in zijn/haar wijsvinger (links) gesneden. Leg 1334835986789: Uitgevoerd                                             TRUE
               een verband aan.
Speler 3   3   Bij een bloeding uit de neus vraag je het slachtoffer het hoofd            1334836234649: Fout                                           TRUE
               lichtjes naar achter te houden.
Speler 3   3   In geval van vergiftiging laat je het slachtoffer indien hij/zij bewust is 1334836951014: Fout                                           TRUE
               zo snel mogelijk melk drinken.
Speler 3   3   Wat zijn de eigenschappen van dit verband? 3.jpg                           1334837049185: genezing blaar, tweededrukverband              FALSE
Speler 3   3   Je kameraad heeft teveel gedronken. Je brengt hem naar huis.               1334838124134: Uitgevoerd                                     TRUE
               Demonstreer op een medespeler hoe je hem in bed legt.
Speler 3   3   Waarvoor gebruik je dit materiaal? 1.jpg                                   1334838541074: elastische zwachtel, ter versteviging          TRUE
                                                                                          van bv.enkel of pols,ter steun
* Realisatie smartphone applicatie:




      Kristof Konings
      Andy Veltjen

* Sponsoring HTC smartphones

* Fonds Impulsproject 2010

Game-based assessment

  • 1. Games-based assessment Nathalie Charlier SLO gezondheidswetenschappen
  • 3. Oplossing? het aantal CPR getrainde leken ↑ BLS training in het schoolcurriculum eerste hulp en CPR training in de lerarenopleiding
  • 9. Kan een spel dienst doen als alternatief instrument voor de evaluatie van eerstehulpcompetenties?
  • 10. 2009-… Deelnemers 2009 2010 2011 2012 (pilootstudie) 28 55 57 39 SLO
  • 14. Instrumenten 5 x juist/fout 7 x open vraag: 4 x kort antwoord 3 x casus
  • 15. Onderzoeksopzet ≠ spel onmiddellijke feedback testronde schriftelijk + vaardigheden geen onmiddellijke feedback peer-assessment peer-assessment 5’ 15’ 90’ 90’ 15’ individuele evaluatie = spelregels spel leerinhoud * schriftelijke test * 3 vaardigheden type van vragen en demonstraties gebruik van checklists voor het vaardigheden-assessment
  • 16. Onderzoeksopzet Vragenlijst pre post 1 post 2
  • 17. Resultaten p = n.s. p = n.s. M = 92.54 M = 89.17 n=28 (± 7.55) (± 5.16) M = 85.46 M = 89.14 n=25 (± 8.57) (± 12.09)
  • 18. Resultaten p = n.s. M = 92.54 M = 89.17 n=28 (± 7.55) (± 5.16) M = 85.46 M = 89.14 n=25 (± 8.57) (± 12.09) p = n.s.
  • 19. Conclusie Gemiddelde scores: > Bijdragende factoren:  effect van het spel  peer-assessment  beschikbaarheid van feedback  mogelijkheid tot mondelinge verdediging Referentie: Charlier, N. (2011) Game-based assessment of first aid and resuscitation skills. Resuscitation, 82(4): 442-6.
  • 20. Deelnemers 2010 11 scholen GZW richtingen 303 SLO
  • 22. Onderzoeksopzet p = n.s. p = n.s. n=163 M = 46.72 M = 70.86 (± 19.96) (± 16.97) M = 47.07 M = 73.17 n=140 (± 20.44) (± 12.66)
  • 23. Vervolgonderzoek Gemiddelde scores: > Bijdragende factoren:  effect van het spel studie ‘faalangst in het SO’  peer-assessment studie smartphone  beschikbaarheid van feedback  mogelijkheid tot mondelinge verdediging
  • 24. Vervolgonderzoek 2009 2010 2011 2012 (pilootstudie) 28 55 57 39 Schriftelijke test: PA door 1 student 1 student 2 studenten Spel: groepen van 4 groepen van 4 groepen van 3
  • 27. Vaardigheden filmen camera app.
  • 30. Output name id task responses feedback Speler 1 1 Een medespeler heeft zijn/haar enkel (links) verstuikt. Leg een 1334835719737: Uitgevoerd TRUE verband aan. Speler 1 1 Als je niet graag mond-op-mondbeademing geeft, is het altijd beter 1334836290694: Juist TRUE om enkele hartmassages te geven dan helemaal niets te doen. Speler 1 1 Waarom is het aangewezen wegwerphandschoenen te gebruiken 1334836796434: risico opbesmetting van jezelf en het TRUE bij de hulpverlening van een bebloed slachtoffer? slachtoffer vermijden. Speler 1 1 Bij ontbrekende belwaarde kan je met je gsm-toestel toch nog het 1334836907599: Juist TRUE alarmnummer 112 verwittigen. Speler 1 1 Waarvoor gebruik je het materiaal op de foto? 18.jpg 1334837207724: om een bloeding te stelpen en druk TRUE erop aan te brengen. Speler 1 1 Bij een spierscheur hou je het letsel warm gedurende 20 min. 1334838585483: Fout TRUE Speler 2 2 Je mag als eerstehulpverlener medicatie toedienen aan een 1334835375990: Fout TRUE slachtoffer. Speler 2 2 Hoe controleer je als hulpverlener het bewustzijn van een 1334836165487: slachtoffer luid en duidelijk aanspreken, TRUE slachtoffer? lichtjes aan schouders schudden, hallo hoort u mij Speler 2 2 Zorg eerst voor de veiligheid van het slachtoffer en dan voor je 1334836873189: Fout TRUE eigen veiligheid. Speler 2 2 Wat is een MUG? 1334837373577: medisch urgentieteam met snellere TRUE wagen, spoedarts en extra materiaal Speler 2 2 Demonstreer met een tekentang hoe je een teek verwijdert. 1334837941718: Uitgevoerd TRUE Speler 2 2 Bij de controle van het bewustzijn, stel je vast dat het slachtoffer 1334838331380: roep hulp, contoleer ademhaling met TRUE niet reageert. Wat doe je? 9.jpg kijk,luister,voel, laat hulpdiensten 112 alarmeren, verleen hulp reanimatie of stabiele zijlig Speler 3 3 Een medespeler heeft in zijn/haar wijsvinger (links) gesneden. Leg 1334835986789: Uitgevoerd TRUE een verband aan. Speler 3 3 Bij een bloeding uit de neus vraag je het slachtoffer het hoofd 1334836234649: Fout TRUE lichtjes naar achter te houden. Speler 3 3 In geval van vergiftiging laat je het slachtoffer indien hij/zij bewust is 1334836951014: Fout TRUE zo snel mogelijk melk drinken. Speler 3 3 Wat zijn de eigenschappen van dit verband? 3.jpg 1334837049185: genezing blaar, tweededrukverband FALSE Speler 3 3 Je kameraad heeft teveel gedronken. Je brengt hem naar huis. 1334838124134: Uitgevoerd TRUE Demonstreer op een medespeler hoe je hem in bed legt. Speler 3 3 Waarvoor gebruik je dit materiaal? 1.jpg 1334838541074: elastische zwachtel, ter versteviging TRUE van bv.enkel of pols,ter steun
  • 31. * Realisatie smartphone applicatie: Kristof Konings Andy Veltjen * Sponsoring HTC smartphones * Fonds Impulsproject 2010

Editor's Notes

  1. Most cardiac arrests occur outside the hospital setting where, in most cases, the general public will be responsible for providing initial basic life support (BLS). To maximize the number of potential CPR providers in the community, BLS training should be included within the school curriculum. Studies have shown that teachers are able to train pupils successfully in CPR (Lester et al. 1994, 1996; Toner et al. 2007). As a consequence, first aid and CPR training should be introduced in the pre-service teacher programme. Effective assessment instruments are needed to evaluate practical skills in large-size classes.
  2. Most cardiac arrests occur outside the hospital setting where, in most cases, the general public will be responsible for providing initial basic life support (BLS). To maximize the number of potential CPR providers in the community, BLS training should be included within the school curriculum. Studies have shown that teachers are able to train pupils successfully in CPR (Lester et al. 1994, 1996; Toner et al. 2007). As a consequence, first aid and CPR training should be introduced in the pre-service teacher programme. Effective assessment instruments are needed to evaluate practical skills in large-size classes.