Onderzoeksmethoden in orthopedagogiek 1 (PAMA5163)
Upcoming SlideShare
Loading in...5
×
 

Onderzoeksmethoden in orthopedagogiek 1 (PAMA5163)

on

  • 3,424 views

First support-lecture on research methods presented to students on the master in special needs education. University of Groningen, 11 October 2010 by Dr. Wendy Post and Dr. Ernst Thoutenhoofd (Dutch ...

First support-lecture on research methods presented to students on the master in special needs education. University of Groningen, 11 October 2010 by Dr. Wendy Post and Dr. Ernst Thoutenhoofd (Dutch language).

Statistics

Views

Total Views
3,424
Views on SlideShare
3,424
Embed Views
0

Actions

Likes
0
Downloads
17
Comments
0

0 Embeds 0

No embeds

Accessibility

Upload Details

Uploaded via as Microsoft PowerPoint

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

Onderzoeksmethoden in orthopedagogiek 1 (PAMA5163) Onderzoeksmethoden in orthopedagogiek 1 (PAMA5163) Presentation Transcript

  • Ortho- Pedagogisch onderzoek Wendy Post en Ernst Thoutenhoofd 11 oktober 2010 PAMA5163 | Masterthese College 1 Inleiding in methoden van wetenschappelijk werken en denken over verschillende typen onderzoek
  • De ondersteunende colleges
    • 1 Voorbereiding Typen onderzoek onderscheiden en kiezen.
    • 2 Inleiding Literatuur doorzoeken, aanleiding verwoorden, probleemdefinitie en doelstelling formuleren.
    • 3 Methode Data verzamelen en beschrijven.
    • 4 Analyse Data begrijpen en in context plaatsen.
    • 5 Rapportage Helder beschrijven van wetenschappelijk onderzoek.
  • De ondersteunende colleges
    • Voor elke stap in onderzoek is een ondersteunend college gepland.
    • Eén week voor elk college: inleveren van opdracht.
    • Elke opdracht bestaat uit het maken van een korte powerpoint presentatie.
    • Doel: ondersteunen van these en monitoren van problemen.
  • Schema van opdrachten Opdrachten Inhoud Inleveren 1 Onderzoeksvoorstel vraagstelling en methodologie 18-11-2010 2 Data verzameling databeschrijving en codering 10-01-2011 3 Data analyse Bevindingen/resultaten 21-02-2011 4 Rapportage + discussie en conclusie 31-03-2011
  • Twee opmerkingen
    • Voor elke opdracht geldt ook het benoemen van problemen (inclusief vertragingen) en hoe zij worden ondervangen.
    • Opdrachten staan in meer detail in de Masterhandleiding en op NESTOR.
  • Opdracht 1 Onderzoeksvoorstel
    • Keuze onderwerp/thema
    • Lezen en aanduiden van relevante literatuur
    • Probleem- en doelstelling formuleren
    • Een vraagstelling duidelijk formuleren
    • Uitwerking methode
    • Het doel en de vraagstelling zijn medebepalend voor de keuze van het type onderzoek dat je doet.
    • In theorie worden vele soorten onderzoek onderscheiden:
      • fundamenteel of toegepast;
      • grootschalig of kleinschalig (pilot);
      • observationeel of interveniërend;
      • theorievormend (exploratief) of theorie-toetsend;
      • kritisch-beschrijvend of analytisch.
    College 1 Typen onderzoek
  • Typen onderzoek
    • In de praktijk komen allerlei mogelijke combinaties van wetenschappelijk onderzoek voor, en worden methodes ook wel ‘ getrianguleerd ’:
    • Bijvoorbeeld statistische analyse tezamen met open interviews en observatie.
  • Typen onderzoek
    • In dit college wordt onderscheid gemaakt in
    • kwantitatief en kwalitatief onderzoek.
    • Waarom? Orthopedagogisch onderzoek is zeer gevarieerd en vergt dus beide vormen.
    • systematische review :
    • Kan zowel kwantitatief als kwalitatief zijn.
    • Dit is anders dan een samenvatting van de literatuur!
  • Welk onderzoek is ‘wetenschappelijk’?
    • Twee kernbegrippen in zowel kwalitatief als kwantitatief onderzoek: betrouwbaarheid en validiteit.
    • Betrouwbaarheid
      • Reproduceerbaarheid
      • Nauwkeurigheid
  • Welk onderzoek is ‘wetenschappelijk’?
    • Validiteit
      • Interne validiteit in hoeverre leiden het design en analyse tot juiste conclusies?; in hoeverre meet je echt wat je wilt meten?
      • Externe validiteit in hoeverre zijn de resultaten generaliseerbaar?
  • Betrouwbaar valide Onbetrouwbaar valide Betrouwbaar Niet valide
  • Definitie: Het samenvatten van gegevens in getallen met behulp van statistische technieken waarbij de onzekerheid gekwantificeerd wordt door gebruik te maken van statistische modellen. Kwantitatief onderzoek
  • Kwantitatief onderzoek
    • Betrouwbaarheid
    • (1- α ): kans op het niet verwerpen van H 0 terwijl H 0 waar is.
    • 95% betrouwbaarheidsintervallen: hoe precies wordt een grootheid geschat?
    • Cronbachs  : betrouwbaarheid van een instrument
    • Validiteit :
    • juist design; bepalen welke elementen de validiteit
    • kunnen schaden en zo nodig kwantificeren!
  • Kenmerken kwantitatief onderzoek
    • Er is een hypothese en referentiekader, gebaseerd op eerder onderzoek (wat ook kwalitatief kan zijn geweest)
    • Doel van onderzoek is:
    • 1. hypothese toetsen op basis van observaties (empirisch onderzoek);
    • 2. het schatten van effect groottes en associaties met voldoende betrouwbaarheid.
    • 3. beschrijving van de kenmerken van een populatie
  • Kenmerken kwantitatief onderzoek
    • 3. Vraagstellingen betreffen in het algemeen niet
    • 1. betekenisverlening en verwoording van personen aangaande gedrag, motieven en emoties;
    • 2. emotioneel geladen onderwerpen.
    • 4. Er is sprake van een steekproef uit een goed gedefinieerde populatie en deze steekproef is voldoende groot om betrouwbare uitspraken
    • te doen.
  • Kenmerken kwantitatief onderzoek
    • Design aspecten zijn gebaseerd op een statistisch model, met verschillende statistische assumpties en condities, en ligt bij voorbaat vast.
    • Dataverzameling wordt gestructureerd uitgevoerd, waarbij van te voren vast staat welke data worden verzameld en in welke volgorde .
  • Kenmerken kwantitatief onderzoek 7. Soorten dataverzameling: 1. gestructureerd interview met bekende en vaste vragen en coderingen 2. vragenlijsten met bekende en vaste categorieën en coderingen 3. kenmerken met bekende en vaste categorieën 4. continue variabelen die uitgedrukt worden in getallen (leeftijd, scores op testen etc.)
  • Kenmerken kwantitatief onderzoek 8. Beschrijvende statistiek: Continue variabelen 1. centrummaten (gemiddelde, mediaan, modaal) 2. spreidingsmaten (standaarddeviainterkwartielafstand) 3. verdelingsmaten (boxplot,outliers) Beschrijvende statistiek: Categoriale variabelen 1. frequenties 2. percentages 3. kruistabellen
  • Kenmerken kwantitatief onderzoek
    • 9. Toetsende statistiek
    • 1. chi-kwadraat
    • 2. t-testen
    • Statistische modellering:
      • Regressiemodellen
      • ANCOVA
    • rapportage is weerslag van bevindingen: dus op cijfers gericht.
  • Consequenties voor voorstel
    • Inleiding
      • Probleemdefinitie
      • Literatuuroverzicht
      • Doel en vraagstelling
    • Methode
      • Steekproef en populatie
      • Design
      • wijze dataverzameling
      • uitkomstvariabelen
      • bepaling steekproefgrootte
      • statistisch analyseplan
  • Voorbeeld kwantitief onderzoek Probleem Er is een nieuwe rekenmethode op de markt gekomen. Vraag Leidt deze nieuwe rekenmethode tot betere resultaten dan de oude methode? Situatie Er is een rekentoets die de rekenvaardigheid van kinderen op een valide manier meet.
  • Rekenvaardigheid (vervolg)
    • Assumpties
    • De rekenvaardigheid heeft een bepaalde verdeling (vaak normale verdeling).
    • We toetsen de nulhypothese dat de gemiddelde rekenvaardigheid bij beide rekenmethoden gelijk is tegen het alternatief dat de gemiddelde rekenvaardigheid verschillend is.
  • Rekenvaardigheid (vervolg)
    • Design
    • Gerandomiseerd onderzoek
    • Kinderen worden op een voorafgestelde tijd en wijze getest op het rekenen
    • Statistische analyse
    • Vergelijken van 2 onafhankelijke groepen: t-test.
  • Waarom kwantitatief onderzoeken?
    • We weten wat we onder rekenvaardigheid verstaan.
    • We weten uit vorig onderzoek hoe de rekenvaardigheid is verdeeld.
    • We weten hoe we rekenvaardigheid kunnen meten (via een valide test: dus test is reeds ontwikkeld).
    • We hebben rekenmethodes die al eerder uitgeprobeerd zijn.
    • Wat als dat niet zo is?
  • Kwalitatief onderzoek onderscheidt zich doordat het verschijnselen verklaart op basis van hun alledaagse betekenis. Het wordt pas sinds de jaren ‘70 toegepast in onderwijskunde. Kwalitatief onderzoekt het hoe en waarom , in plaats van wat, waar, hoe vaak. Onderzoek is daarom vaak kritisch van aard. Rapportage van kwalitatief onderzoek heeft daarom doorgaans een meer verhalende of ethnografische vorm. Kwalitatief onderzoek
  • Vormen van kwalitatief onderzoek
    • Kwalitatief onderzoek kent heel veel varianten, bijv:
    • interventie (action research);
    • ethnomethodologie (interpreteren van anderen);
    • narratologie (verhalen vertellen);
    • schaduwen (een sleutelfiguur volgen);
    • focus groepen (discussie binnen populaties);
    • discourse analysis (analyseren van gesprekken);
    • onderwijspsychologie (leren in de praktijk).
    • Vaak wordt actieve deelname verondersteld.
  • Vormen van kwalitatief onderzoek
    • Onderwijspychologie behelst de studie van hoe mensen leren in de onderwijskundige omgeving. Het concentreert zich vaak op het leren van sub-groepen, zoals hoogbegaafden of kinderen met een handicap.
    • Onderwijssociologie behelst de studie van waarom mensen leren in de onderwijskundige omgeving—etc.
    • Er zijn raakvlakken met bestuurskunde, beleid, organisatie van de klas, professionalisering, etc.
  • Kwalitatief onderzoek Betrouwbaarheid Kernbegrippen zijn gekoppeld aan theorie; Coderen is een vooral reflexieve bezigheid; Elk standpunt staat (Socratisch) ter discussie; Rapporteren in de ‘ik-vorm’ is verantwoord; — niet makkelijk om onderzoek te reproduceren. Validiteit is hoog; bevindingen staan dicht bij werkelijkheid; bevindingen zijn vaak geloofwaardig (‘wist ik al!’); de context staat vaak centraal; uitkomsten zijn vaak niet te algemeniseren.
  • Kenmerken kwalitatief onderzoek Het referentiekader van kwalitatief onderzoek betreft meestal een aandachtspunt of inzicht, waar een theorie en/of interventie aan gekoppeld kunnen worden. Dit proces is vaak cyclisch. Technieken die gebruikt worden zijn o.a. observatie aantekeningen (veldwerk, dagboek, etc.) interviews—dit vergt oefening! analyse van documenten en materialen
  • Kenmerken kwalitatief onderzoek Een methodologisch kader verbindt methode met een veronderstelde werkelijkheid. Dat kader kent wederom heel veel vormen, bijv. kader werkelijkheid grounded theory achterliggende structuur ethnografie parallelle werkelijkheden action research toegepaste wetenschap actor-network theory interactie mensen/dingen
  • Consequenties kwalitatief voorstel
    • Inleiding Duiding van kernconcepten middels literatuur—deze wordt vaak uitgebreid behandeld als theorie en methodologisch kader.
    • Methode Ontwerp, instrumenten,
    • data verzameling.
    • Resultaten Beschrijving en/of codering van gegevens.
    • Rapportage Inclusief een discussie van bevindingen, heldere terugkoppeling naar de literatuur, en eindconclusie.
  • Waarom kwalitatief onderzoeken?
    • Een reductieve categorisatie van dagelijkse werkelijkheid is niet op zijn plaats.
    • De aantallen in de steekproef zijn te klein voor statistiek, of de populatie is niet eenduidig.
    • Er is onvoldoende overeenstemming voor het duiden van factoren/variabelen.
    • Er is vooral aandacht nodig voor wat anderen vinden, denken, voelen, weten.
    • Er spelen vooral hoe en waarom? vragen.
    • De context en/of achterliggende betekenissen vormen de kern van de studie.
  • Waarom kwalitatief onderzoeken? De uitdaging van eenduidigheid is eenvoudig demonstreerbaar. Hoeveel mensen zijn er in de zaal? (=M) Hoeveel mensen hebben rood haar; hoeveel bruin haar; hoeveel blond haar; hoeveel zwart haar; hoeveel geen haar? (=H) Als M≠H, haarkleur (of mens) is geen eenduidige categorie binnen deze steekproef.
  • Voorbeeld kwalitatief onderzoek Probleem Dove studenten zijn ontevreden over studeren; het participatie-niveau is laag en er is hoge uitval. Vraag Hoe kunnen participatie en studie-succes van dove studenten worden verbeterd? Situatie Studieadviseurs bieden ondersteuning, maar die is vooral ontworpen voor studenten met bijv. dyslexie.
  • Voorbeeld kwalitatief onderzoek Veronderstelling Ondersteunen van studenten met beperkingen is vooral algemeen van aard, en te weinig specifiek. Ontwerp Pilot survey om problemen te systematiseren; Landelijke bijeenkomsten met dove studenten; Studenten als participant-observers of ethnografen van hun eigen situatie; Ervaringen en kennis uitwisselen met universiteiten; Opzetten van een landelijk expertise-netwerk.
  • Waarom kwalitatief onderzoek? Het relatief voorkomen van doofheid staat niet vast; Niet bekend hoe groot/klein de doelpopulatie is; De populatie is moeilijk bereikbaar; Doofheid is geen eenduidige categorie; Ondersteuning en behoefte varieren interactief; Meningen zijn sterk verdeeld; Hoeveelheid (onbekende) factoren spelen een rol; Probleem is niet stabiel, varieert in plaats en in tijd; Omgeving reageert sterk op onderzoek (reflexiviteit); […]
  • Kwalitatief vergelijkend perspectief kwalitatief onderzoek kwantitatief onderzoek contextuele en associatieve werkelijkheid. wetmatig categoriële werkelijkheid. talige overeenstemming numerieke overeenstemming verschijnselen zijn constructen. verschijnselen zijn natuurlijk.
  • Kwalitatief vergelijkend perspectief kwalitatief onderzoek kwantitatief onderzoek gemotiveerde objectiviteit. mechanische objectiviteit. persoonlijke afwegingen. onafhankelijke afwegingen. probabilistische of onderbouwde generaliseerbaarheid. representatieve generaliseerbaarheid.
  • Kwantitatief vergelijkend perspectief kwalitatief onderzoek kwantitatief onderzoek Er is geen referentiekader, geen achterliggend model. Er is een referentiekader (een waarheid); achterliggend model. Hypothesevormend. Hypothese toetsend. Data bestaan uit teksten. Data bestaan uit getallen.
  • Kwantitatief vergelijkend perspectief kwalitatief onderzoek kwantitatief onderzoek Ongestructureerde onderzoeksopzet en dataverzameling waarbij volgorde niet vast ligt Vooraf gestructureerde onderzoeksopzet en dataverzameling, waarbij volgorde vastligt Steekproef geeft alle informatie Generalisatie van steekproef naar populatie
    • Kwantitatief onderzoek
    • betrouwbaarheid wordt gekwantificeerd.
    • validiteit groter probleem.
    • (zie ook straks het voorbeeld)
    • Kwalitatief onderzoek
    • validiteit is minder een probleem, want dicht bij het leven.
    • betrouwbaarheid groter probleem, met name de reproduceerbaarheid.
    Betrouwbaarheid & validiteit
    • Trudy Dehue (2002) A Dutch treat: Randomized controlled experimentation and the case of heroin-maintenance in the Netherlands
    Voorbeeld probleem voor statistiek
  • Heroïne trial
    • Aanleiding 1995:
    • 24.000 verslaafden; 12.500 draaiden mee in methadon programma, waarvan 8000 verslaafden geen baat hadden.
    • Voorstel van toenmalig minister (minister Borst):
    • Doe een gerandomiseerde studie, waarbij in de
    • experimentele groep de heroine verschaft wordt
    • (samen met methadon), en in de controlegroep
    • alleen methadon gegeven wordt.
  • Heroïne trial
    • Doel van de studie
    • Bepalen of het verstrekken van heroïne een positief
    • effect heeft op medische en psycho-sociale condities
    • van de verslaafden.
  • Heroïne trial
    • Pas in 1999 gestart.
    • Allerlei problemen:
    • Kosten aspect
    • De controlegroep: wat beloof je die?
    • Benodigde aantallen
    • Uit pilot studie: de impact van heroine was minder groot, en de heroine was van inferieure kwaliteit
    • Uiteindelijk uitgevoerd volgens de normen van
    • good clinical practice
  • Heroïne trial
    • Aangepaste aantallen : 625 verslaafden
    • (probleem met power!)
    • Inclusiecriteria:
      • minstens 5 jaar verslaafd;
      • Reeds geparticipeerd in methadon-programma met vaste hoeveelheid;
      • therapietrouw, maar geen effect;
    • (probleem hier is de sterk geselecteerde groep)
    • Is dit echt de groep waarover je wilt generaliseren?
  • Heroïne trial
    • Uitkomstvariabelen
    • Medische en psychosociale problematiek.
      • Wat zijn normale waarden?
      • Past dit voor onze groep verslaafden?
    • Probleem
    • Meten de variabelen wel werkelijk datgene dat je wilt
    • meten?
  • Heroïne trial
    • Het verstrekken van heroïne werd gezien als therapie. Dat betekent:
      • Sterk geprotocolleerde verstrekking
      • Klinische setting
      • Medische checks
  • Heroïne trial
    • Het onderliggende probleem volgens Dehue
    • Heroïnegebruik wordt in de praktijk gezien als een manier van leven, niet als een therapie.
    • proefpersonen reageren niet zoals ze in een reële situatie zouden hebben gedaan
    • De hele setting komt niet overeen met de realiteit
    • Dus: resultaten zijn niet valide .
  • Heroïne trial
    • Kort samengevat:
    • Het referentiekader van proefpersonen (met normen,
    • waarden en waarheden) komt niet overeen met het
    • referentiekader waar het wetenschappelijk onderzoek
    • vanuit gaat.
    • Geen validiteit, wel betrouwbaarheid.
    • Wat is dan de oplossing? Kwalitatief onderzoek?
  • Kwalitatief onderzoek als alternatief
    • Kwalitatief onderzoek stelt vragen bij het leven zoals dat voor een populatie zelf betekenis heeft; voor gebruikers is verslaving een manier van leven.
    • Een goede mogelijkheid hier is action research :
    • Via observatietechnieken achterhalen hoe de gemeenschap werkt en welke waarden gelden;
    • Open gesprekken over de voor/nadelen van gebruiken op de kwaliteit van leven;
    • Via praktijk-interventies (en in samenwerking) bruikbare alternatieven inbrengen en doelen stellen.
    • De ‘Sokal (1996) affaire’
    Voorbeeld probleem met kwalitatief onderzoek: betrouwbaarheid
  • De Sokal affaire
    • Onder nominalisme wordt verstaan dat de wereld uitsluitend kenbaar is via taal: de wereld is altijd alleen maar ‘kenbaar’ via representatie.
    • Alan Sokal (physicus) publiceert met opzet een onzin-artikel in een sociologisch journal, waarin hij stelt dat quantum zwaartekracht een construct is.
    • Het artikel wordt gepubliceerd in 1996. Sokal gaat publiek met de aanklacht dat blijkbaar in sociologie welke onzin dan ook als waarheid kan gelden.
  • De Sokal affaire
    • Volgens Sokal zelf was zijn tekst,
    • “a pastiche of Left-wing cant, fawning references, grandiose quotations, and outright nonsense . . . structured around the silliest quotations […] he could find about mathematics and physics.”
    • Zie Sokal_affair op wikipedia
    • Wat is hier het probleem?
  • De Sokal affaire
    • In principe zijn fenomenen doorgaans scheidbaar:
      • Het empirisch kenbare deel kan worden getoetst aan veronderstellingen die we ervan hebben.
      • Het nominaal kenbare deel kan worden getoetst in taalgebruik en onze (directe) omgang met het fenomeen.
      • Het niet goed analytisch onderscheiden van deze dubbele werkelijkheid van feiten leidt tot problemen met betrouwbaarheid .
      • (Hacking 1999)
    • Publicaties worden door middel van een zoekprocedure geselecteerd.
    • De steekproef bestaat uit de geselecteerde publicaties (niet de proefpersonen in die publicaties).
    • Op basis van analyse van de artikelen komt men tot een conclusie.
    Systematische review
  • Systematische review
    • Kan zowel kwalitatief als kwantitatief karakter hebben.
    • Let op: het is geen samenvatting van de literatuur (dat noemen we literatuurverkenning en is een verplicht onderdeel in elke these).
    • Op basis van dit college bepaal je samen met jouw thesisbegeleider of je kwalitatief onderzoek gaat uitvoeren, of kwantitatief, of beide .
    • Op basis daarvan bepaal je welke ondersteunende colleges je gaat volgen: meneer Thoutenhoofd (kwalitatief) of die van mevrouw Post (kwantitatief); of beide.
    • Je stuurt de opdracht naar de docent waarvan je het college volgt.
    Hoe nu verder?
  • Verdere bronnen
    • Adams St. Pierre, Elizabeth en Kathryn Roulston (2006) The state of qualitative inquiry: A contested science. International Journal of Qualitative Studies in Education 19(6):673–684.
    • Christensen, Pia en Allison James (2008) Resear ch with children: Perspectives and practices . Londen, Engeland: Routledge.
    • Dehue, Trudy (2002) A Dutch treat: Randomised controlled experimentation and the case of heroin-maintenance in the Netherlands. History of the Human Sciences 15(2):75–98.
    • Denzin, Norman K., Yvonna S. Lincoln en Michael D. Giardina (2006) Disciplining qualitative research. International Journal of Qualitative Studies in Education 19(6):769–782.
    • Eisenhart, Margaret (2006) Qualitative science in experimetal time. International Journal of Qualitative Studies in Education 19(6):697–707.
    • Ercikan, Kadriye en Wolff-Michael Roth (2009) Generalizing from educational research: Beyond qualitative and quantitative polarization . New York, VS: Routledge.
    • Hacking, Ian (1999) The social construction of what? Cambridge (Mass), US: Harvard University Press.
    • Preissle, Judith (2006) Envisioning qualitative inquiry: A view across four decades. International Journal of Qualitative Studies in Education 19(6):685–695.