1. Aandachtspunten bijAandachtspunten bij
praktijkgericht onderzoekpraktijkgericht onderzoek
(n.a.v. Werkconferentie(n.a.v. Werkconferentie
Praktijkgericht onderzoek - InPraktijkgericht onderzoek - In
ontwikkeling)ontwikkeling)

2. InhoudInhoud
InitieelInitieel 33
Kwaliteitscriteria:Kwaliteitscriteria:
 KwaliteitscriteriaKwaliteitscriteria 44
 Soorten validiteitSoorten validiteit 55
 Soorten generaliseerbaarheidSoorten generaliseerbaarheid 88
Uitvoering:Uitvoering:
 Vormen van praktijkgericht onderzoekVormen van praktijkgericht onderzoek 1111
 Participatieve techniekenParticipatieve technieken 1717
 Het probleem van de interne onderzoeker/ de duizendpoot 18/19Het probleem van de interne onderzoeker/ de duizendpoot 18/19
Bevindingen en evaluatie:Bevindingen en evaluatie:
 Practice based evidencePractice based evidence 2020
 Acceptatie van bevindingenAcceptatie van bevindingen 2121
 Soorten evaluatieSoorten evaluatie 2222
 Bruikbare opbrengsten?Bruikbare opbrengsten? 2323

3. InitieelInitieel
 Aandacht voor probleemarticulatieAandacht voor probleemarticulatie
 Persoon van onderzoeker problematiserenPersoon van onderzoeker problematiseren
+ Doelgroepen medeonderzoekers maken (Intersubjectief)+ Doelgroepen medeonderzoekers maken (Intersubjectief)
 Procesvormen expliciteren/ Multi method (Mixed method) enProcesvormen expliciteren/ Multi method (Mixed method) en
Multi level/ Triangulatie (b.v. Panels, Vragenlijsten,Multi level/ Triangulatie (b.v. Panels, Vragenlijsten,
Observaties op verschillende organisatieniveaus,Observaties op verschillende organisatieniveaus,
onderzoekertriangulatie)onderzoekertriangulatie)
 Proactieve evaluatie= van tevoren kwaliteitscriteriaProactieve evaluatie= van tevoren kwaliteitscriteria
bespreken/ Expliciteren en bevragen van paradigma's vanbespreken/ Expliciteren en bevragen van paradigma's van
verschillende beoordelaars/ Waarderingscultuur ondervragenverschillende beoordelaars/ Waarderingscultuur ondervragen
 Zo direct mogelijke terugkoppeling bewerkstelligen/ HetZo direct mogelijke terugkoppeling bewerkstelligen/ Het
gesprek bepaalt de toegankelijkheid van de kennis/gesprek bepaalt de toegankelijkheid van de kennis/
Transparantie bewerkstelligenTransparantie bewerkstelligen
=> gezamenlijke werkwijze?=> gezamenlijke werkwijze?

4. KwaliteitscriteriaKwaliteitscriteria
praktijkgerichtpraktijkgericht
onderzoekonderzoek
Bron:Bron: KPC Groep online pdfKPC Groep online pdf
1.1. relevantie,relevantie,
2.2. objectiviteit,objectiviteit,
3.3. intersubjectiviteit en validiteit,intersubjectiviteit en validiteit,
4.4. toegankelijkheid,toegankelijkheid,
5.5. transparantie,transparantie,
6.6. bruikbaarheid,bruikbaarheid,
7.7. OverdraagbaarheidOverdraagbaarheid
noodzakelijke (maar niet voldoende) voorwaarde voornoodzakelijke (maar niet voldoende) voorwaarde voor
bruikbaarheid is de acceptatie ervan door debruikbaarheid is de acceptatie ervan door de
belanghebbendenbelanghebbenden

5. Soorten validiteitSoorten validiteit
InterneInterne validiteitvaliditeit
ExterneExterne validiteit (zie ook soortenvaliditeit (zie ook soorten
generaliseerbaarheid*)generaliseerbaarheid*)
EpistemischeEpistemische validiteit (gangbare validiteit -validiteit (gangbare validiteit -
overeenstemming met intersubjectiefovereenstemming met intersubjectief
vaststelbare werkelijkheid)vaststelbare werkelijkheid)
ImplementaireImplementaire validiteitvaliditeit
EthischeEthische validiteitvaliditeit
Bron: o.a.Bron: o.a. http://http://www.nosmo.nlwww.nosmo.nl
/discussiemrt2013.pdf/discussiemrt2013.pdf

6. Implementaire validiteitImplementaire validiteit
 in hoeverre betreft de kennis alle facetten en (veelalin hoeverre betreft de kennis alle facetten en (veelal
onderling interacterende) oorzaken van het op teonderling interacterende) oorzaken van het op te
lossen (verbeter) probleem (multidisciplinariteit)lossen (verbeter) probleem (multidisciplinariteit)
 beschouwt deze kennis het object of systeem, datbeschouwt deze kennis het object of systeem, dat
een verandering moet ondergaan, als eeneen verandering moet ondergaan, als een
geïntegreerd geheel (holisme)geïntegreerd geheel (holisme)
 Is de kennis specifiek genoeg wat betreft de teIs de kennis specifiek genoeg wat betreft de te
veranderen situatie en zijn context (idiogafischveranderen situatie en zijn context (idiogafisch
karakter).karakter).
 Betreft de kennis zaken die in redelijkheid kunnenBetreft de kennis zaken die in redelijkheid kunnen
worden aangepakt (manipuleerbaarheid in de meestworden aangepakt (manipuleerbaarheid in de meest
brede zin)brede zin)

7. Ethische validiteitEthische validiteit
Zonder wensen geen problemen…Zonder wensen geen problemen…
Die wenselijkheid (W-component) isDie wenselijkheid (W-component) is
altijd subjectief en waardegebonden.altijd subjectief en waardegebonden.
Deze waarden hebben vaak ethischeDeze waarden hebben vaak ethische
implicatiesimplicaties

8. SoortenSoorten
generaliseerbaarheidgeneraliseerbaarheid
1.1. ontworpenontworpen generaliseerbaarheid (voorafgeneraliseerbaarheid (vooraf
ingebouwd)ingebouwd)
2.2. communicatievecommunicatieve generaliseerbaarheid (Achterafgeneraliseerbaarheid (Achteraf
- - Het onderzoeksverslag moet allerlei mogelijkHet onderzoeksverslag moet allerlei mogelijk
relevante informatie verschaffen die de lezer inrelevante informatie verschaffen die de lezer in
staat stelt om tot een eigen oordeel te kunnenstaat stelt om tot een eigen oordeel te kunnen
komen).komen).
gradaties en differentiaties van algemeenheid engradaties en differentiaties van algemeenheid en
specificiteitspecificiteit
Uit: Uit: Generaliseerbaarheid in kwalitatief onderzoek,Generaliseerbaarheid in kwalitatief onderzoek, AdriAdri
SmalingSmaling

9. Ontworpen generaliseerbaarheidOntworpen generaliseerbaarheid
(4 vormen)(4 vormen)
 statistischestatistische generaliseerbaarheid generaliseerbaarheid
 variatiedekkendevariatiedekkende generaliseerbaarheid generaliseerbaarheid
 theoriegedragentheoriegedragen generaliseerbaarheid generaliseerbaarheid
[Yin (2008) spreekt in zijn boek over[Yin (2008) spreekt in zijn boek over
gevalsstudies van ‘gevalsstudies van ‘analytic generalizationanalytic generalization’,’,
ook wel theoretische generalisatieook wel theoretische generalisatie
genoemd, gebaseerd op ‘replication logic’]genoemd, gebaseerd op ‘replication logic’]
 exemplarischeexemplarische generaliseerbaarheid. generaliseerbaarheid.
{wetenschappelijk verantwoord onderzoek}{wetenschappelijk verantwoord onderzoek}

10. Communicatieve generaliseerbaarheidCommunicatieve generaliseerbaarheid
(2 vormen)(2 vormen)
 receptievereceptieve generaliseerbaarheid generaliseerbaarheid
 participatieveparticipatieve generaliseerbaarheid. [Smaling, generaliseerbaarheid. [Smaling,
2009)2009)
{naast kennis- en theoretische relevantie kan{naast kennis- en theoretische relevantie kan
ook ook praktischepraktische en en maatschappelijke relevantiemaatschappelijke relevantie
aanvaardt worden als wetenschappelijkeaanvaardt worden als wetenschappelijke
kwaliteitseis. =>kwaliteitseis. =>
onderliggende analogieredeneringen explicieter enonderliggende analogieredeneringen explicieter en
sterker maken}sterker maken}

11. Vormen vanVormen van
praktijkgerichtpraktijkgericht
onderzoekonderzoek
Praktijkgericht onderzoek kent velePraktijkgericht onderzoek kent vele
methodologischemethodologische
verschijningsvormen, waaronderverschijningsvormen, waaronder
ontwerp- of ontwikkelgerichtontwerp- of ontwikkelgericht
onderzoek, actieonderzoek,onderzoek, actieonderzoek,
pragmatisch evalueren, interveniërendpragmatisch evalueren, interveniërend
onderzoek en social engineering /onderzoek en social engineering /
design thinking.design thinking.

12. Vormen vanVormen van
praktijkgerichtpraktijkgericht
onderzoekonderzoek
 Appreciative inquiryAppreciative inquiry
 Formative interventionFormative intervention
 Action researchAction research

13. Appreciative inquiryAppreciative inquiry
 Vaak wordt professionele ontwikkelingVaak wordt professionele ontwikkeling
gesitueerd in een problematische contextgesitueerd in een problematische context
(focus op de problemen)(focus op de problemen)
 Appreciative inquiry (AI) is gebaseerd op hetAppreciative inquiry (AI) is gebaseerd op het
bestuderen van positieve ontwikkelings-bestuderen van positieve ontwikkelings-
ervaringen van praktijkmensen en hun wenservaringen van praktijkmensen en hun wens
tot het verbeteren van hun praktijktot het verbeteren van hun praktijk
(b.v. Steyn, 2012 in ‘Education and Urban(b.v. Steyn, 2012 in ‘Education and Urban
Society’)Society’)

14. Formative interventionFormative intervention
 Focus op de ‘agency’ (initiatief/ redzaamheid) van
degene die zijn praktijk ontwikkelt
 Leer-behoeften (voor de omgang met complexe
situaties) zijn in het begin ondoorzichtig
 De inhoud en het verloop van de interventie moeten
uitonderhandeld worden and de vorm van de
interventie wordt uiteindelijk beslist door de
praktijkontwikkelaar zelf
 generate (reusable but adaptable) locally
appropriate, intermediate concepts and solutions

15. Kennis-objecten bijKennis-objecten bij
(formative) interventions(formative) interventions
 Analyse unit (object, niveau)
 Causaliteit en ‘agency’
 Veranderings- en ontwikkelings
mechanismen en processen
 Generaliseerbaarheid*
(Bron: From Design Experiments to Formative
Interventions, Yrjö Engeström)

16. Action researchAction research
Actieonderzoek is een “paraplubegrip”Actieonderzoek is een “paraplubegrip”
voor onder andere praktijkonderzoek,voor onder andere praktijkonderzoek,
handelingsonderzoek, participatiefhandelingsonderzoek, participatief
actieonderzoek,actieonderzoek,
emancipatieonderzoek en actieleren.emancipatieonderzoek en actieleren.

17. ParticipatieveParticipatieve
techniekentechnieken
Onderzoek waarin aanwezige kennis vanOnderzoek waarin aanwezige kennis van
mensen met expertise de input vormenmensen met expertise de input vormen
 Group Model Building (GMB)Group Model Building (GMB)
 FocusgroepFocusgroep
 Delphi methodeDelphi methode
 meerwaarde vanmeerwaarde van
Kennis ontstaat door verschillende inzichtenKennis ontstaat door verschillende inzichten
van deelnemers op intensieve wijze invan deelnemers op intensieve wijze in
interactie met elkaar te brengeninteractie met elkaar te brengen
((http://http://www.nosmo.nlwww.nosmo.nl/discussiemrt2013.pdf/discussiemrt2013.pdf))

18. Het probleem van deHet probleem van de
interne onderzoekerinterne onderzoeker
Biases met oorsprong bijBiases met oorsprong bij
(a) de onderzochten(a) de onderzochten
(b) de onderzoeker(b) de onderzoeker
(ad a) De onderzochten zullen de onderzoeker zien(ad a) De onderzochten zullen de onderzoeker zien
als een (van de) belanghebber(s). => sociaalals een (van de) belanghebber(s). => sociaal
wenselijke en strategische reacties [Gebruikwenselijke en strategische reacties [Gebruik
tekstueel en audiovisueel materiaal dat eerder, entekstueel en audiovisueel materiaal dat eerder, en
los van het onderzoek, tot stand is gekomen]los van het onderzoek, tot stand is gekomen]
(ad b) Belangen van de onderzoeker, formulering van(ad b) Belangen van de onderzoeker, formulering van
doel- en vraagstellingdoel- en vraagstelling

19. De duizendpootDe duizendpoot
 Ervaring met kwantitatief én kwalitatief onderzoekErvaring met kwantitatief én kwalitatief onderzoek
 het kunnen onderscheiden van verschillende soortenhet kunnen onderscheiden van verschillende soorten
uitspraken (empirische versus normatieve, beschrijvendeuitspraken (empirische versus normatieve, beschrijvende
versus verklarende etc.),versus verklarende etc.),
 het logisch en empirisch kunnen funderen en argumenterenhet logisch en empirisch kunnen funderen en argumenteren
van standpunten en uitspraken,van standpunten en uitspraken,
 kennis van en vaardigheid in probleemanalyse,kennis van en vaardigheid in probleemanalyse,
 kennis van en vaardigheid in de interventiemethodologie enkennis van en vaardigheid in de interventiemethodologie en
(optioneel) de ontwerpmethodologie.(optioneel) de ontwerpmethodologie.
 het kunnen schrijven van nota’s en rapporten,het kunnen schrijven van nota’s en rapporten,
 het voeren van informatiewinnende gesprekken (interview),het voeren van informatiewinnende gesprekken (interview),
 het observeren en beoordelen van mensen, enhet observeren en beoordelen van mensen, en
 de evaluatie van projecten.de evaluatie van projecten.
 Competenties die het verantwoord gebruiken van resultatenCompetenties die het verantwoord gebruiken van resultaten
van wetenschappelijk onderzoek betreffenvan wetenschappelijk onderzoek betreffen
 bijhouden en adequaat en volledig benutten van vakliteratuurbijhouden en adequaat en volledig benutten van vakliteratuur
 Etc.Etc.

20. Practice based evidencePractice based evidence
Als we meer Als we meer evidence-based practiceevidence-based practice willen, is het zaak willen, is het zaak
meer meer practice-based evidencepractice-based evidence te vergaren (Wartna te vergaren (Wartna
et al, 2012)et al, 2012)
Combinatie van inhoud-, proces- en contextgeoriënteerdeCombinatie van inhoud-, proces- en contextgeoriënteerde
kennisontwikkeling rond de kernvraag: kennisontwikkeling rond de kernvraag:
 wat werkt, wat werkt,
 hoe, hoe,
 waarom, waarom,
 waar, waar,
 wanneer en wanneer en
 voor wie? voor wie?
(veldspecifieke, domeinspecifieke en lokale kennis)(veldspecifieke, domeinspecifieke en lokale kennis)

21. Acceptatie vanAcceptatie van
bevindingenbevindingen
Acceptatie veronderstelt op zijn beurt dat deAcceptatie veronderstelt op zijn beurt dat de
onderzochten deze kennis ook begrijpen,onderzochten deze kennis ook begrijpen,
en liefst ook het proces begrijpen via welk dezeen liefst ook het proces begrijpen via welk deze
kennis tot stand is gekomen.kennis tot stand is gekomen.
Ook dienen ze de kennis als legitiem te ervaren,Ook dienen ze de kennis als legitiem te ervaren,
wat onder andere betekent dat ze zich serieuswat onder andere betekent dat ze zich serieus
genomen, gehoord en begrepen voelen.genomen, gehoord en begrepen voelen.
De onderzochten moeten toch (zelf) tot andereDe onderzochten moeten toch (zelf) tot andere
inzichten, attituden of vooral gedrag moeten komeninzichten, attituden of vooral gedrag moeten komen
Bron:Bron: http://http://www.nosmo.nlwww.nosmo.nl/discussiemrt2013.pdf/discussiemrt2013.pdf

22. Soorten EvaluatieSoorten Evaluatie
Ex anteEx ante evaluatie (effectschattingevaluatie (effectschatting
vooraf)vooraf)
ParticipatieveParticipatieve evaluatieevaluatie
(of: participerende evaluatie- Evaluatie(of: participerende evaluatie- Evaluatie
die samen met de subjecten vandie samen met de subjecten van
evaluatie wordt uitgevoerd)evaluatie wordt uitgevoerd)
VerhelderendeVerhelderende (clarificatieve)(clarificatieve)
evaluatieevaluatie

23. Bruikbare opbrengsten?Bruikbare opbrengsten?
 het onderzoek kan een bijdrage leveren aan dehet onderzoek kan een bijdrage leveren aan de
verbetering/vernieuwing van het onderwijs (relevantie);verbetering/vernieuwing van het onderwijs (relevantie);
 de resultaten zijn op een betrouwbare manier verkregende resultaten zijn op een betrouwbare manier verkregen
(objectiviteit, intersubjectiviteit en validiteit);(objectiviteit, intersubjectiviteit en validiteit);
 de resultaten zijn voor het team aannemelijk en begrijpelijkde resultaten zijn voor het team aannemelijk en begrijpelijk
(toegankelijkheid);(toegankelijkheid);
 de resultaten kunnen op hun waarde geschat worden, bv.de resultaten kunnen op hun waarde geschat worden, bv.
door collega’s (transparantie);door collega’s (transparantie);
 Er worden logische vervolgstappen en evt. bijbehorende toolsEr worden logische vervolgstappen en evt. bijbehorende tools
aangegeven (bruikbaarheid);aangegeven (bruikbaarheid);
 de context en fase waarin de school zich bevindt wordtde context en fase waarin de school zich bevindt wordt
geëxpliciteerd (overdraagbaarheid).geëxpliciteerd (overdraagbaarheid).
(Waar mogelijk basis of uitleg zoeken in beschikbare theorie)(Waar mogelijk basis of uitleg zoeken in beschikbare theorie)

24. Andere bronnenAndere bronnen
Powerpoint door P.J.M.Verschuren:Powerpoint door P.J.M.Verschuren:
nosmonosmo.nl/verschurenmrt2013.ppsx.nl/verschurenmrt2013.ppsx

25. NOSMONOSMO ((Nederlandse Organisatie voorNederlandse Organisatie voor
Sociaal-Wetenschappelijk MethodologischSociaal-Wetenschappelijk Methodologisch
OnderzoekOnderzoek))
Casuïstiek wordt geselecteerd op basis van de volgende criteria:Casuïstiek wordt geselecteerd op basis van de volgende criteria:
 Het gaat om praktijkgericht onderzoek van complexeHet gaat om praktijkgericht onderzoek van complexe
maatschappelijke problemen.maatschappelijke problemen.
 HandelingsHandelingsperspectievenperspectieven van actoren (opdrachtgevers, van actoren (opdrachtgevers,
gebruikers, beslissers, etc.) worden gebruikers, beslissers, etc.) worden zichtbaar gemaaktzichtbaar gemaakt ..
 Interactie tussen (verschillende) onderzoekers, onderzochten,Interactie tussen (verschillende) onderzoekers, onderzochten,
gebruikers, e.a. wordt gethematiseerd.gebruikers, e.a. wordt gethematiseerd.
 SpanningSpanning tussen bruikbaarheid en wetenschappelijke tussen bruikbaarheid en wetenschappelijke
criteria criteria wordt geproblematiseerdwordt geproblematiseerd ..
 Ethische en normatieve onderzoeksaspecten komen aan bod,Ethische en normatieve onderzoeksaspecten komen aan bod,
evenals praktische zaken als uitvoerbaarheid, kosten, e.d.evenals praktische zaken als uitvoerbaarheid, kosten, e.d.
 Specifieke sterktes en beperkingen van (het combineren van)Specifieke sterktes en beperkingen van (het combineren van)
bepaalde vormen van onderzoeksmethoden worden in kaartbepaalde vormen van onderzoeksmethoden worden in kaart
gebracht.gebracht.

26. Resultaten NOSMOResultaten NOSMO
 Er is een Er is een kennisnetwerk (in dit veld) ontstaan vankennisnetwerk (in dit veld) ontstaan van
mensenmensen die elkaar goed kennen en die van elkaar die elkaar goed kennen en die van elkaar
geleerd hebben en zullen blijven leren.geleerd hebben en zullen blijven leren.
 Er is vernieuwing gerealiseerd van het kennis-Er is vernieuwing gerealiseerd van het kennis-
theoretisch kader en onderzoeksmethodologie.theoretisch kader en onderzoeksmethodologie.
 Er worden aanbevelingen geformuleerd m.b.t. hetEr worden aanbevelingen geformuleerd m.b.t. het
effectiever en beter aanpakken van praktijkgerichteffectiever en beter aanpakken van praktijkgericht
onderzoek op het gebied van complexeonderzoek op het gebied van complexe
vraagstukken in het sociale domein.vraagstukken in het sociale domein.
 Er wordt Er wordt gepubliceerd over de opgedane inzichtengepubliceerd over de opgedane inzichten
en ervaringenen ervaringen: tenminste een overzichtsartikel met: tenminste een overzichtsartikel met
de belangrijkste bevindingen en aanbevelingen. Datde belangrijkste bevindingen en aanbevelingen. Dat
kan zijn een paper in tijdschriften als Mediator enkan zijn een paper in tijdschriften als Mediator en
KWALON, een webpublicatie en/of een boek. KWALON, een webpublicatie en/of een boek.