Hoe krijg je als overheid of zorgorganisatie grip op het sociaal domein en de jeugdhulp? In deze presentatie neemt 4vitae u mee in de wereld van het participatief evalueren van beleid en uitvoering. Aan de hand van trajecten passend onderwijs, evaluatie jeugdhulp en versterken 1e lijn laten we zien hoe medewerkers en inwoners samen beleid en uitvoering kunnen evalueren. Door vertellen (vooral digitaal) over ervaringen en zelf onderzoeker te worden van de eigen ervaring én die van alle anderen wordt het mogelijk om continue, breed en diept zicht te houden op de impact van beleid, op de uitvoering en op betekenis van zorg, hulp en ondersteuning voor inwoners. 4vitae ondersteunde de afgelopen 15 jaar een tiental gemeenten, regio's en drie ministeries met (1) opgavematig bestuurbaar maken (2) participatief evalueren als vervanging van cliënt-/medewerkertevredenheids onderzoeken (3) steeds meer ook met maatschappelijk verantwoorden als alternatief voor de gortdroge financiële rapportages die: - geen richting geven als het gaat om vormen en aanpassen van beleid - niet helpen bij transformeren van de uitvoering richting normaliseren en socialiseren. - geen grip geven op de balans tussen bezuinigen en maatschappelijk resultaat. Meer weten? Mail info@4vitae.nl bel 0629097305 of kijk op de website www.4vitae.nl.

1. Grip op onzekerheid
Leren en innoveren op basis van inzicht op waar hulp inwoners én professionals goed doet
Participatief evalueren met warme data als basis voor besturing van het sociaal domein

2. 4vitae
• Helpt organisaties evalueren, onderzoeken, leren,
innoveren, besturen en verantwoorden met warme
data. Warme data is data over de betekenis van:
• Producten en diensten van een organisatie en/of
• Haar eigen organisatie en/of
• De (veranderende) omgeving, markt, technologie, ….
• We doen dat participatief
• Cliënten, inwoners, medewerkers, leveranciers zijn de
belangrijkste onderzoekers én bron van data.
• Koude data (proces, geld, enz.) is herbruikbaar
• Voorbeelden:
• Participatieve (narratieve) beleidsevaluatie
• Narratief gebruikers- en/of /medewerkertevredenheid
• Continue monitoring uitvoering / impact
• Vroegdetectie onveiligheid, on-ethisch werken
• Maatschappelijk / publiek verantwoorden
Grip op onzekerheid met warme data

3. Opgave jeugdwet
Alle kinderen moeten gezond en
veilig kunnen opgroeien, hun
talenten ontwikkelen en naar
vermogen participeren in de
samenleving. Ouders zijn hiervoor
eerst verantwoordelijk. De overheid
komt in beeld als dit niet vanzelf
gaat. Dan moet het jeugdstelsel
snel, goed en op maat
functioneren.
Alle rode woorden zijn
onhaalbaar, niet meetbaar
en te mooi om waar te zijn
Maar wel
NASTREVENSWAARDIG

5. Maatschappelijk
verantwoorden
Opgavematig
besturen
Participatief
evalueren
Aanhaken
koude data
Warme besturen met VIBE - drie processen

6. Eerste pagina
vertelkamer
passend onderwijs.
Maakt van
iedereen
onderzoeker

7. Soort verteller
Tussen begin november 2018 en 31 januari hebben ongeveer 4500 mensen
hun ervaring in het het vertelpunt gedeeld. Deze kwamen uit heel Nederland.
Noord-Brabant ging ruim aan kop met bijna 1000 ervaringen. Gelderland,
Noord-Holland en Zuid-Holland volgen met ongeveer 550 tot 650. De
overige provincies volgen op afstand. In dit overzicht zijn de bruikbare
ervaringen meegenomen dat zijn er ongeveer 4300.
Aan het begin van het vertelpunt gaven mensen aan of ze ouder, professional
of leerling waren.
Resultaten
Wat zien we?
Ruim de helft van de verteller is ouder.
Ongeveer 40% is professional.
Leerlingen deelden maar ongeveer 5% van de ervaringen.
Grote steden
Om iets preciezer te weten waar mensen vandaan komen staat in hieronder
of de verteller in één van de 30 grootste steden van Nederland woont of
werkt.
Resultaten
Wat zien we?
Ongeveer 2/3 van de vertellers komen uit kleinere steden/gemeenten of van
het platteland. Ongeveer 1/3 uit de 30 grootste steden. De overigen hebben
deze vraag overgeslagen of geen antwoord gegeven.
Welk soort onderwijs
Aan alle vertellers is gevraagd over welk soort onderwijs hun ervaring gaat.
Resultaten
Wat zien we?
Veruit de meeste ervaringen zijn gedeeld over het basisonderwijs. Ongeveer
60%. Het VMBO volgt met ongeveer 20%. De overige 20% is verdeeld over
SBO, SO en VSO.
Rol verteller
Mensen konden aangeven wat hun rol was in of rondom onderwijs.
Resultaten
Wat zien we?
Ruim de helft van de ervaringen is gedeeld door ouders. Leerlingen hebben
ongeveer 5% van de ervaringen gedeeld. Met bijna 900 ervaringen is ruim
20% van de ervaringen van leraren. Ook intern begeleiders en
schooldirecteuren hebben ervaringen gedeeld. In de “anders” categorie
zitten veel mensen die heel specifiek hebben aangegeven wat hun rol was.
Bijvoorbeeld logopedist of jeugdarts i.p.v. arts.
Rolsoort
Omdat het aantal rollen in het onderwijs & zorg systeem groot is geven we de
rollen ook nog een weer in een aantal categorieën. Alle rollen binnen een
school zijn hierbij samengevoegd. En ook die buiten/rondom school.
Enzovoort.
Resultaten
Wat zien we?
Ouders en professionals in de school hebben samen het overgrote deel van
de ervaringen gedeeld. Buiten/rondom de school is de respons laag. Ook
vanuit management en bestuur zijn er weinig ervaringen gedeeld.
Uitlokkingsvraag verteller
Aan het begin van het vertelpunt kregen mensen prikkelende vragen te zien
om ze te helpen een ervaring te kiezen om te delen. We hadden al gevraagd
naar hun rol, dus die informatie combineren we.
Resultaten
Uitleg
Hoe groter een ovaal, hoe vaker een combinatie voorkomt. De rode ovaal
geeft aan hoe vaak de combinatie uitlokkingsvraag - verteller voorkomt. De
zwarte ovaal geeft aan hoe vaak dat (statisch gezien) te verwachten was.
Wat zien we?
Ouders kiezen veel vaker dan verwacht de uitlokkingsvraag over afstemming
onderwijs op het kind en de zoektocht naar passend onderwijs. Professionals
kiezen vooral de uitlokkingsvraag over de veranderingen in hun werk.
Gevoel
De eerste vraag die mensen kregen na het delen van hun ervaring ging over
welk gevoel de ervaring bij mensen opriep.
Resultaten
Wat zien we?
Mensen geven aan dat ze veel negatieve gevoelens hebben bij hun ervaring.
Bovenaan staat hopeloosheid, gevolgd door teleurstelling, boosheid en
verdriet. Die vormen samen ongeveer 85%. De overige 15% van de
ervaringen roept positieve ervaringen op, waarbij opvalt dat onverschilligheid
met slechts 34 ervaring nauwelijks wordt genoemd.
Waar gaat uw ervaring over
Na het delen van de ervaring was de eerste vraag aan de verteller of deze aan
wilde geven waar de ervaring “ongeveer” over ging.
Resultaten
Wat zien we?
Ongeveer de helft van de ervaringen gaat over het systeem, ongeveer een
kwart over ondersteuning. Werksituatie is het onderwerp zo’n 15% van de
ervaringen. De overige gaan over relaties/hoe mensen met elkaar omgaan.
De manier waarop ….
Na de vraag “waar gaat uw ervaring over” kwam (afhankelijk van het
antwoord) een van de volgende vier vragen:
• De manier waarop het systeem was georganiseerd was ...
• De manier waarop professionals hun werk deden was ...
• De manier waarop mensen met elkaar omgingen was ...
• De hulp of ondersteuning was ...
De vertellers gaven met een schuifje tussen “onacceptabel” en “perfect” aan
hoe dat ging in hun ervaring.
Resultaten
Wat zien we?
Mensen vertellen dat de manier waarop systeem, werk, relaties en
ondersteuning ervaren werden ligt zwaar naar de onacceptabele kant. Er zijn
ook ongeveer 5% ervaringen aan de "perfecte" kant, maar het geheel is
enorm scheef verdeeld.
Gevolgen voor het kind
Vertellers werd gevraagd om aan te geven wat de gevolgen voor het kind of
de kinderen waren op een schaal van zeer positief tot zeer negatief.
Resultaten
Wat zien we?
Mensen geen aan dat ongeveer driekwart van de ervaringen gaan over zaken
die (zeer) negatieve gevolgen hebben voor het kind of de kinderen.
Ongeveer een op de acht gaat over (zeer) positieve gevolgen.
Let op: narratieve / verhalende onderzoeken zijn geen meting. Dit geeft dus alleen aan dat
mensen vertellen over negatieve en positieve gevolgen. Het is niet zo dat 75% van de kinderen
in Nederland negatieve gevolgen ondervinden. Dat zou wel kunnen, maar deze resultaten zijn
geen bewijs.
Wie hebben er invloed in de ervaring
We vroegen mensen aan te geven welke twee personen, groepen of
organisaties de meeste invloed hadden in de ervaring die zij vertelden.
Resultaten
Welke combinaties van beïnvloeders zien we?
• Mensen vertellen veel vaker dan verwacht over samenwerkingsverband en
overheid/regering.
• Mensen vertellen veel vaker dan verwacht over leraren en intern
begeleiders.
• Mensen vertellen veel vaker dan verwacht over leraren en schooldirectie.
• Mensen vertellen veel minder vaak dan verwacht over leraren en overheid/
regering.
Samenwerking voor goed onderwijs
De volgende vraag ging over hoe deze personen, groepen of organisaties
samenwerkten voor het realiseren van goed onderwijs. Mensen gaven dat
aan op een schaal van “zware tegenwerking” tot “perfecte samenwerking”
Let op: We kozen hier expres om niet de term passend onderwijs te gebruiken vanwege de
ruime interpretatie van het begrip.
Resultaten
Wat zien we?
Mensen vertellen in hun ervaring meer over (zware) tegenwerking en
(perfecte) samenwerking. De verdeling ligt behoorlijk sterk naar de "zwaar
tegen" kant, met aan grote piek aan linkerkant.
Wie kan leren
Vertellers kregen de vraag wie het meeste kon leren van de ervaring die zij
deelden. In de lijst met antwoorden stonden in grote lijnen dezelfde rollen als
bij “wie bent u”.
Resultaten
Wat zien we?
Ongeveer 40% van de vertellers geeft aan dat de minister of Tweede kamer
het meest kan leren van de ervaring. Met 15% worden leraren, docenten,
mentoren als tweede genoemd. Daarna volgen interne begeleiders. En dan
het samenwerkingsverband.
Ondersteuningsbehoefte
Naast vragen over de ervaring, heeft het vertelpunt ook vragen over het kind/
de jongere. Een daarvan gaat over welke ondersteuningsbehoeften deze
hebben.
Resultaten
Wat zien we
Ruim de helft van de ervaringen gaat over kinderen/jongeren met een
behoefte aan ondersteuning qua gedrag / sociaal-emotioneel. Daarna volgen
een gediagnosticeerde stoornis en werkhouding. Ook cognitief voorlopen en
cognitief achterlopen komen veel voor. Ervaringen waarin geen
ondersteuning nodig is komen bijna niet voor.
Hoe vaak komt dit voor
Om zicht te krijgen op hoe vaak mensen te maken hebben met een bepaald
soort ervaring of situatie kregen ze de vraag hoe vaak iets voorkwam. Dit was
een schaal die liep van “eenmalig” naar “dagelijks”.
Resultaten
Wat zien we
Mensen vertellen veel ervaringen over zaken die dagelijks voorkomen.
Sterker nog, veel mensen hebben het schuifje helemaal naar rechts
getrokken.
Voorbeeld van goed onderwijs
Tenslotte vroegen we mensen aan te geven in hoeverre zij hun hele ervaring
ervoeren als een voorbeeld van goed onderwijs. Dit is daarmee de enige
vraag die naar een mening vraagt. Alle overige vragen waren zogenaamde
duidingen (inschattingen, toelichtingen, enz.).
Resultaten
Wat zien we
Mensen zien hun ervaringen vooral als absoluut geen voorbeeld van goed
onderwijs. Opnieuw zien we dat mensen het schuifje helemaal naar de zijkant
trekken. Ditmaal naar links, de “absoluut niet” kant. Slechts iets meer dan 600
ervaringen staan aan de kant die men ziet als goede voorbeelden.
Uitlokkingsvraag verteller
Aan het begin van het vertelpunt kregen mensen prikkelende vragen te zien
om ze te helpen een ervaring te kiezen om te delen. We hadden al gevraagd
naar hun rol, dus die informatie combineren we.
Resultaten
Uitleg
Hoe groter een ovaal, hoe vaker een combinatie voorkomt. De rode ovaal
geeft aan hoe vaak de combinatie uitlokkingsvraag - verteller voorkomt. De
zwarte ovaal geeft aan hoe vaak dat (statisch gezien) te verwachten was.
Wat zien we?
Ouders kiezen veel vaker dan verwacht de uitlokkingsvraag over afstemming
onderwijs op het kind en de zoektocht naar passend onderwijs. Professionals
Gevoel
De eerste vraag die mensen kregen na het delen van hun ervaring ging over
welk gevoel de ervaring bij mensen opriep.
Resultaten
Wat zien we?
Mensen geven aan dat ze veel negatieve gevoelens hebben bij hun ervaring.
Bovenaan staat hopeloosheid, gevolgd door teleurstelling, boosheid en
verdriet. Die vormen samen ongeveer 85%. De overige 15% van de
ervaringen roept positieve ervaringen op, waarbij opvalt dat onverschilligheid
met slechts 34 ervaring nauwelijks wordt genoemd.
Na het d
wilde ge
Resulta
Wat zie
Ongeve
kwart ov
ervaring
Ruwe warme en
koude data van
4800 narratieven

9. Het gaat om wat mensen willen dat u* weet
Niet om wat u wil weten van mensen
*(manager, bestuurder, onderzoeker, teamleider, mede-burger, enz.)

10. Een narratief is meer dan het verhaal
Samenvatting Afsluiting
Evaluatie
Verhaal/ervaring
Complicatie
Oplossing
Oriëntatie
Tijd
Vertelling Echt waar?
Lang geleden ….
Wat gezegd wordt
Waar het speelt
Hoe het gezegd wordt (vorm)
Wie komt er in voor?
Het issue
Hoe het afloopt / de oplossing
Mensen betrekken
Wat niet gezegd wordt
Perspectief
Zinnetjes tussendoor
Onderhandelen met publiek
Lichaamstaal
Lading geven / moraal
Boodschap achterlaten
Waardensysteem

11. Narratologie
Complicatie
Weerstand
Tijdverloop
Locatie/Arena
Omstandigheden
Hoofdpersoon
Tegenstander
Middelen
Symbolen
Motivatie
Handelswijze
Primaire doel

12. Vertelkamer Soest

13. Vertelkamer Soest

14. Vertelkamer Soest

15. Vertelkamer Soest

16. Vertelkamer Soest

18. Wie wordt geholpen?
Observaties
• Kind/jongere of hele
gezin worden het
meest geholpen
volgens inwoners.
• Professionals
zeggen het vaakst
dat ze het hele gezin
helpen.
• De score op
“anderen” valt op.
Wie dan?

19. Wie wordt geholpen?
Observaties
• Kind/jongere of hele
gezin worden het
meest geholpen
volgens inwoners.
• Professionals
zeggen het vaakst
dat ze het hele gezin
helpen.
• De score op
“anderen” valt op.
Wie dan?

20. Helpt het?
Observaties
• Professionals vertellen
over “beter dan gedacht”
tot “stabiel”.
• Ouders vertellen het
meest over impact die
“de goede kant op helpt”
• Werkt steeds minder is
kan nog, maar “maakt
het erger?

21. Helpt het?
Observaties
• Professionals vertellen
over “beter dan gedacht”
tot “stabiel”.
• Ouders vertellen het
meest over impact die
“de goede kant op helpt”
• Werkt steeds minder is
kan nog, maar “maakt
het erger?

22. Kwaliteit is niet eenduidig te meten door het uitvragen van mensen
Kwaliteiten kun je opmerken in menselijke vertelpatronen

23. VIBE - van buiten naar binnen besturen

24. Trajecten sociaal domein & onderwijs
Ministerie OCW
Evaluatie Passend Onderwijs
4800 ervaringen, landelijk
Holland Rijnland
Evaluatie Jeugdhulp
700 ervaringen
Ministerie VWS/VNG
Zorg voor de jeugd
1700 ervaringen, landelijk
Weert/Leudal
Evaluatie Jeugdhulp
400 ervaringen
Soest
Evaluatie Jeugdhulp—>Wmo
65 ervaringen
Stede Broec
Evaluatie Versterken 1e lijn
150 ervaringen
Culemborg
Evaluatie Wmo
Opstarten
Enschedé
Evaluatie wijkteams
>5 jaar, 2200 ervaringen
Ministerie V&J
Roadmap Jeugdbescherming
Hergebruik 65 van VWS Regio Drechtsteden
Evaluatie jeugdteams
125/kwartaal

25. Drie strategieën voor evalueren sociaal domein
anoniem
Door geen gegevens te koppelen.
Je mag natuurlijk altijd zelf
gegevens meegeven
als mens
Door fysiek of digitaal te vertellen
en jouw gegevens bekend zijn of
later aangekoppeld worden
via pseudoniem
Door een code die jouw
persoonlijke gegevens ontkoppelt
van je verhaal en antwoorden

26. Zicht op koude kosten én warme effecten

27. Voorbeelden van trajecten

28. Grip op onzekerheid
Leren en innoveren op basis van inzicht op waar hulp inwoners én professionals goed doet
Participatief evalueren met warme data als basis voor besturing van het sociaal domein