Gastcollege effectmetingen fv 230311

1,711 views
1,485 views

Published on

Voor het vak Persuasive Technology gaan studenten hun interventies ook zelf experimenteel testen. Dit gastcollege legt uit hoe.

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
1,711
On SlideShare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
5
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide
  • xxxxxxxxxxxxxxx 03/30/11 xxxxxxxxxxxxx
  • xxxxxxxxxxxxxxx 03/30/11 xxxxxxxxxxxxx
  • xxxxxxxxxxxxxxx 03/30/11 xxxxxxxxxxxxx
  • xxxxxxxxxxxxxxx 03/30/11 xxxxxxxxxxxxx
  • Stap 8 in volgend blok xxxxxxxxxxxxxxx 03/30/11 xxxxxxxxxxxxx
  • Wie weet het verschil tussen kwantitatief en kwalitatief onderzoek? xxxxxxxxxxxxxxx 03/30/11 xxxxxxxxxxxxx
  • xxxxxxxxxxxxxxx 03/30/11 xxxxxxxxxxxxx
  • xxxxxxxxxxxxxxx 03/30/11 xxxxxxxxxxxxx
  • xxxxxxxxxxxxxxx 03/30/11 xxxxxxxxxxxxx
  • Op basis van theoretisch model praktijksituatie verbeteren xxxxxxxxxxxxxxx 03/30/11 xxxxxxxxxxxxx
  • xxxxxxxxxxxxxxx 03/30/11 xxxxxxxxxxxxx
  • xxxxxxxxxxxxxxx 03/30/11 xxxxxxxxxxxxx
  • xxxxxxxxxxxxxxx 03/30/11 xxxxxxxxxxxxx
  • xxxxxxxxxxxxxxx 03/30/11 xxxxxxxxxxxxx
  • xxxxxxxxxxxxxxx 03/30/11 xxxxxxxxxxxxx
  • xxxxxxxxxxxxxxx 03/30/11 xxxxxxxxxxxxx
  • xxxxxxxxxxxxxxx 03/30/11 xxxxxxxxxxxxx
  • xxxxxxxxxxxxxxx 03/30/11 xxxxxxxxxxxxx
  • xxxxxxxxxxxxxxx 03/30/11 xxxxxxxxxxxxx
  • xxxxxxxxxxxxxxx 03/30/11 xxxxxxxxxxxxx
  • xxxxxxxxxxxxxxx 03/30/11 xxxxxxxxxxxxx
  • xxxxxxxxxxxxxxx 03/30/11 xxxxxxxxxxxxx
  • xxxxxxxxxxxxxxx 03/30/11 xxxxxxxxxxxxx
  • xxxxxxxxxxxxxxx 03/30/11 xxxxxxxxxxxxx
  • xxxxxxxxxxxxxxx 03/30/11 xxxxxxxxxxxxx
  • xxxxxxxxxxxxxxx 03/30/11 xxxxxxxxxxxxx
  • xxxxxxxxxxxxxxx 03/30/11 xxxxxxxxxxxxx
  • Gastcollege effectmetingen fv 230311

    1. 1. Design for Security Gastcollege “Effectmetingen” 23 maart 2011 Fenne Verhoeven, PhD | Senior researcher Technology and Innovation | Utrecht University of Applied Sciences, Faculty of Technology and Design | Oudenoord 700, Room E0.14 | 3513 EX Utrecht | the Netherlands | T: 00316-81195796 | E: fenne.verhoeven@hu.nl
    2. 2. Onderzoekskader lectoraat PDE
    3. 3. Onderzoekskader lectoraat PDE
    4. 4. Creating Persuasive Technologies: An Eight-Step Design Process (Fogg, 2009) <ul><li>Les 1: Behavior to target: adequaat ontladen van de glock in de ontlaadruimte &quot;Elzenhout“ bij de Kmar op Schiphol </li></ul>Les 2: Audience: observatie doelgroep en gedrag bij Kmar <ul><li>Les 3: Preventing behavior: analysessessie gedragsdeterminanten: </li></ul><ul><ul><li>Macro: Ontbreken van toezicht door autoriteit </li></ul></ul><ul><ul><li>Meso: Afleiding door drukte </li></ul></ul><ul><ul><li>Micro: Onderschatten van risico’s </li></ul></ul>Les 4: Technology channel en relevant examples: afstemmen interventie op gedragsdeterminanten (gastcollege TNO) Les 5: Imitate examples toegepast op casus (VANDAAG) Les 5: Test & iterate quickly: VANDAAG : handvaten voor ontwerpen effectmeting Les 6: Test & iterate quickly: opzetten onderzoeksdesign voor jullie eigen interventie Blok 4: Test & iterate quickly
    5. 5. Doel en inhoud college <ul><li>Handvaten voor opzetten en uitvoeren effectmeting </li></ul>1. Doelstelling en onderzoeksvragen 2. Informatieverzameling 3. Onderzoekstypen 4. Onderzoeksontwerp 5. Onderzoekspopulatie en steekproef 6. Meten van begrippen 7. Onderzoeksmethoden: interviewen/ observeren
    6. 6. Onderscheid kwantitatief en kwalitatief onderzoek <ul><li>Kwalitatief onderzoek </li></ul><ul><li>observatie Kmar </li></ul><ul><li>analyseren determinanten </li></ul><ul><li>inventariseren bestaande interventies via gastcollege, literatuur </li></ul><ul><li>Kwantitatief onderzoek </li></ul><ul><li>Effectmeting gedragsverandering (experiment) </li></ul>
    7. 7. Onderscheid kwantitatief en kwalitatief onderzoek <ul><li>Waarom? </li></ul><ul><li>Explorerend </li></ul><ul><li>Inzicht in gedragingen, motivaties, meningen, wensen en behoeften </li></ul><ul><li>Kan ingezet worden om doelgroep zelf te laten meedenken over interventie </li></ul><ul><li>Mogelijkheid tot doorvragen </li></ul><ul><li>Prototypes testen </li></ul><ul><li>Resultaten niet statistisch representatief (gelden bv. niet voor alle Nederlanders) </li></ul><ul><li>Wat? </li></ul><ul><li>Verklarend </li></ul><ul><li>Antwoorden op vragen die in hoeveelheid kunnen worden uitgedrukt (bijv. Hoeveel ongewilde schoten waren er bij het ontladen van de Glock bij de Kmar in 2010?) </li></ul><ul><li>Evalueren interventie; meten gedragsverandering </li></ul><ul><li>Grote groepen mensen om statistisch betrouwbare en representatieve uitspraken te doen </li></ul><ul><li>Resultaten vaak weergegeven in tabellen, grafieken en percentages </li></ul>
    8. 8. Opzetten en uitvoeren effectmeting 1. Doelstelling en onderzoeksvragen 2. Informatieverzameling 3. Onderzoekstypen 4. Onderzoeksontwerp 5. Onderzoekspopulatie en steekproef 6. Meten van begrippen 7. Onderzoeksmethoden: interviewen/ observeren
    9. 9. 1. Doelstelling en onderzoeksvragen <ul><li>Doelstelling </li></ul><ul><li>Waarom is het zinvol en belangrijk dit onderzoek uit te voeren? </li></ul>Praktische relevantie: Middels een persuasive technologie interventie adequaat ontladen van de Glock in ontlaadruimte Kmar stimuleren en daardoor reduceren aantal ongewilde schoten Theoretische relevantie: Inzicht in effect verschillende persuasive technology-interventies op gedragsverandering
    10. 10. 1. Doelstelling en onderzoeksvragen <ul><li>Huidige situatie </li></ul><ul><li>Gewenste situatie </li></ul>
    11. 11. 1. Doelstelling en onderzoeksvragen <ul><li>Typen onderzoeksvragen </li></ul><ul><li>Frequentievragen: hoeveel en hoe vaak: “Hoeveel ongewilde schoten werden er gelost bin de Elzenhoek in 2010?” </li></ul><ul><li>Verschilvragen: “Is er een verschil in aantal keren adequaat ontladen met en zonder de persuasive technologie interventie?” </li></ul><ul><li>Samenhangvragen: “Welke determinanten zorgen voor niet adequaat ontladen van de glock door Kmar-personeel?” </li></ul>STRAKS NU Niet adequaat ontladen van de glock in de ontlaadruimte &quot;Elzenhout“ bij de Kmar op Schiphol Interventie Adequaat ontladen van de glock in de ontlaadruimte &quot;Elzenhout“ bij de Kmar op Schiphol
    12. 12. 2. Informatieverzameling <ul><li>Is nadere informatie noodzakelijk? </li></ul><ul><li>Nee, want er is reeds vooronderzoek gedaan: </li></ul><ul><li>Kwalitatief onderzoek </li></ul><ul><li>observatie Kmar </li></ul><ul><li>analyseren determinanten </li></ul><ul><li>inventariseren bestaande interventies via gastcollege, literatuur </li></ul>
    13. 13. 3. Onderzoekstypen <ul><li>Type onderzoeksvraag (zie 1) bepaalt type onderzoek </li></ul>Type vraag Type onderzoek Frequentievragen: hoeveel en hoe vaak: “ Hoeveel ongewilde schoten werden er gelost in de Elzenhoek in 2010?” Beschrijvend onderzoek: - Beschrijving van kenmerken van onderzoekseenheden zonder relaties of verklaringen Samenhangvragen: “Welke determinanten zorgen voor niet adequaat ontladen van de glock door Kmar-personeel?” Exploratief onderzoek: - Gericht op scherpere formulering probleem (reeds gedaan) Verschilvragen: “Is er een verschil in aantal keren adequaat ontladen met en zonder de persuasive technologie interventie?” Toetsingsonderzoek: - Toetsen van een of meerdere hypothesen die je afleidt uit de theorie (experiment)
    14. 14. 3. Onderzoekstypen <ul><li>Toetsingsonderzoek: </li></ul><ul><li>Onderzoek waarbij je vooraf een of meer hypothesen (verwachtingen) formuleert die je test in de praktijk (Kmar) </li></ul><ul><li>Hypothese is een voorlopig antwoord op de onderzoeksvraag: een voorspelling van de uitkomst </li></ul><ul><li>Hypothesen worden afgeleid uit theorie </li></ul>Hypothese: “ De persuasive technologie interventie leidt tot het vaker adequaat ontladen van de glock in de ontlaadruimte &quot;Elzenhout“ bij de Kmar op Schiphol dan zonder de interventie”
    15. 15. 4. Onderzoeksontwerp <ul><li>Keuze voor experiment </li></ul><ul><li>Quasi-experiment </li></ul><ul><li>Een enkele groep en/ of alleen voor- of nameting </li></ul><ul><li>Geen randomisatie </li></ul><ul><li>Zuiver experiment </li></ul><ul><li>Experimentele en controlegroep </li></ul><ul><li>Voor- en nameting </li></ul><ul><li>Randomisatie </li></ul>
    16. 16. 4. Onderzoeksontwerp <ul><li>Typen quasi-experimenten </li></ul><ul><li>One group post test </li></ul><ul><li>One group pre-post test </li></ul><ul><li>Two group post test </li></ul><ul><li>Two group pre-post test </li></ul>T0 T1 X (interventie) Groep 1 T0 T1 Groep 1 X (interventie) Groep 1 T0 T1 Controlegroep X (interventie) Experimentele groep T0 T1 Controlegroep Controlegroep Experimentele groep X (interventie) Experimentele groep
    17. 17. 4. Onderzoeksontwerp <ul><li>One group pre-post test design </li></ul>Nu: T0 Pre Straks: T1 Post Nulmeting: Huidig gedrag Kmar personeel dat glock ontlaadt in Elzenhoek/ Schiphol X (interventie): persuasive technology interventie Nameting: Gedrag Kmar personeel dat glock ontlaadt in Elzenhoek/ Schiphol
    18. 18. 5. Onderzoekspopulatie en steekproef <ul><li>Onderzoekseenheden: Wie of wat onderzoek je?  Kmar-personeel dat glock ontlaadt in ontlaadhoek in Elzenhoek te Schiphol </li></ul><ul><li>Populatie: De onderzoekseenheden die je in het experiment betrekt: </li></ul><ul><li>Alle Kmar-personeelsleden (populatie) of een deel daarvan (steekproef) </li></ul><ul><ul><ul><ul><ul><li>Steekproef: </li></ul></ul></ul></ul></ul>Aselect: Iedereen heeft evenveel kans om in de steekproef te komen (bv op basis van loting) Select: Sommigen hebben meer kans om in de steekproef te komen dan anderen (personen zijn toevallig beschikbaar)
    19. 19. 5. Onderzoekspopulatie en steekproef <ul><li>Steekproefgrootte: Hoeveel personen moet je in het onderzoek betrekken? </li></ul><ul><li>Overwegingen: </li></ul><ul><li>Minimaal 30 personen (in voor- en nameting) </li></ul><ul><li>Laten afhangen van tijd en geld beschikbaar </li></ul>
    20. 20. 6. Meten van begrippen <ul><li>Welke eigenschappen (variabelen) ga je meten om de onderzoeksvraag te kunnen beantwoorden? </li></ul><ul><li>Onderzoeksvraag: “Is er een verschil in aantal keren adequaat ontladen door Kmar-personeel met en zonder de persuasive technologie interventie?” </li></ul><ul><li>Variabelen gedraging: </li></ul><ul><li>Aantal onbedoelde schoten per dag/ week/ maand/ jaar </li></ul><ul><li>Aantal personen dat adequaat ontlaadt of niet (“magazijn eruit”) per dag/ week/ maand/ jaar </li></ul>
    21. 21. 6. Meten van begrippen <ul><li>Maar: je kunt onderzoeksvragen ook betrekking laten hebben </li></ul><ul><li>op gedragsdeterminanten: </li></ul><ul><li>- Micro: “ Kennen meer Kmar-personeelsleden de risico’s van niet adequaat ontladen wanneer de persuasive technology-interventie is geimplementeerd dan zonder de interventie?” </li></ul><ul><li>- Meso: Aantal personen dat af is geleid door druk </li></ul><ul><li>- Macro: Aantal personen dat gelooft dat auriteit ontbreekt </li></ul><ul><li>Etc. </li></ul>
    22. 22. 6. Meten van begrippen <ul><li>Om vast te stellen welke begrippen je het beste kunt meten om de onderzoeksvragen te beantwoorden, moet je de volgende tabel invullen: </li></ul>Gewenste gedragsverandering (eindgedraging of gedragsdeterminant) Objectieve variabelen: gebaseerd op feiten (voor en na interventie te meten) Subjectieve variabelen: gebaseerd op meningen (voor en na interventie te meten) Eindgedraging: Kmar-personeel ontlaadt glock op juiste wijze Aantal personen die op juiste wijze ontlaadt (patroon eruit halen) Perceptie (gevoel/ beleving) van Kmar-personeel ten aanzien van aantal onbedoelde schoten Gedragsdeterminant (micro): Kmar-personeel is op de hoogte van de risico’s die gepaard gaan met niet adequaat ontladen van glock Kennis van Kmar-personeel ten aanzien van risico-inschatting Gedragsdeterminant (meso): Kmar-personeel raakt niet afgeleid door andere aanwezigen in de ontlaadruimte Aantal personen dat zich iets aantrekt van andere aanwezigen in de ontlaadruimte
    23. 23. 7. Onderzoeksmethoden <ul><li>Keuze onderzoeksmethode hangt af van welke variabelen je </li></ul><ul><li>wilt meten. </li></ul>Vuistregel: Gaat het om objectieve variabelen, kies dan voor OBSERVATIE Gaat het om subjectieve variabelen, kies dan voor INTERVIEWEN (schriftelijk of mondeling)
    24. 24. 7. Onderzoeksmethoden Observatie Interviewen (mondeling of schriftelijk) <ul><li>Vaststellen feitelijk gedrag </li></ul><ul><li>Informatie over attitudes, opinies, gevoelens, gedachten, kennis </li></ul><ul><li>Vergt veel tijd </li></ul><ul><li>Mensen zijn zich niet altijd bewust van motieven tot gedrag </li></ul><ul><li>Je kunt alleen gedragingen observeren, geen motivaties </li></ul><ul><li>Gevaar sociaal wenselijke antwoorden </li></ul><ul><li>Mogelijke invloed aanwezigheid onderzoeker/ observator </li></ul><ul><li>(oplossing = camera) </li></ul><ul><li>Gebruik gesloten vragen in experimenteel onderzoek (eenvoudig vergelijkbaar voor en na) </li></ul><ul><li>Zo snel mogelijk vastleggen via observatieschema </li></ul><ul><li>Checklist: </li></ul><ul><li>Vraag 1 ding tegelijk </li></ul><ul><li>Vraag moet voor slechts 1 uitleg vatbaar zijn </li></ul><ul><li>Vragen moeten gemakkelijk geformuleerd zijn </li></ul><ul><li>Vragen moeten niet suggestief zijn </li></ul>
    25. 25. 7. Onderzoeksmethoden <ul><li>Zorg voor een zo groot mogelijke betrouwbaarheid en validiteit </li></ul>Betrouwbaarheid (resultaten zijn zo min mogelijk afhankelijk van toeval) Validiteit (je meet in het onderzoek ook echt wat je wilt meten) <ul><li>Zorg dat de situatie in voor- en nameting helemaal vergelijkbaar is (geen andere interventies zoals posters oid) </li></ul><ul><li>Zorg dat je variabelen gebaseerd zijn op eerdere onderzoeken waarin dezelfde variabelen werden gemeten (begripsvaliditeit) </li></ul><ul><li>Zorg dat je als interviewer of observator je neutraal gedraagt en geef niet je eigen mening of zeg niets voor </li></ul><ul><li>Zorg dat in de toekomst de meting nog een keer herhaald wordt om te zien of de resultaten nog steeds gelden (predictieve validiteit) </li></ul><ul><li>Zorg dat je in de voor- en nameting zoveel mogelijk DEZELFDE respondenten betrekt </li></ul><ul><li>Gebruik exact dezelfde onderzoeksmethode in voor- en nameting </li></ul>
    26. 26. Volgende week : <ul><li>Tijdens college invullen onderstaande tabel: </li></ul><ul><li>Blok 4: Ontwerpen interventie en uitvoeren experiment </li></ul>Gewenste gedragsverandering (eindgedraging of gedragsdeterminant) Objectieve variabelen: gebaseerd op feiten (voor en na interventie te meten) Subjectieve variabelen: gebaseerd op meningen (voor en na interventie te meten) Onderzoeksinstru-ment en bijbehorende variabele
    27. 27. Vragen? Fenne Verhoeven, PhD | Senior researcher Technology and Innovation | Utrecht University of Applied Sciences, Faculty of Technology and Design | Oudenoord 700, Room E0.14 | 3513 EX Utrecht | the Netherlands | T: 00316-81195796 | E: fenne.verhoeven@hu.nl

    ×