Steff Deprez, 4 April 2014Steff Deprez, 4 April 2014
SteffDeprez-March2014
1
Een rijke waaier aan methoden
SteffDeprez-March2014
2
• Overzicht + korte beschrijving gevarieerde
methoden voor impact meting
• Matrix per methode: helpt in de
zoektocht naar ...
4
SteffDeprez-March2014
Peilen naar Impact
Praktijken vanuit de ontwikkelingssamenwerking:
Vredeseilanden
•Aanpak impactev...
ACTIVITEITEN
INPUTS
Time
SteffDeprez-March2014
IMPACT
5
ACTIVITIES
OUTPUTS
OUTCOMES
IMPACT
INPUTS
Time
Bron: Ricardo.Wilson-Grau@inter.nl.net
Werken met een resultatenketen
(caus...
OUTPUT
OUTCOME
INPUTS
ACTIVITY
INPUTS
ACTIVITY
INPUTS
ACTIVITY
INPUTS
OUTPUT
OUTPUT
ACTIVITY
OUTPUT
OUTPUT
OUTCOME
OUTCOME...
SteffDeprez-March2014
Werken met “pathways”(veranderingstheorie)
8
SteffDeprez-March2014
Bron: OXFAM/Adinda Van Hemelrijck
9
SteffDeprez-March2014
Gebruik
1. In planning en ontwerpfase
> Begeleiding en opvolging
van de praktijk
2. Tijdens impactev...
Werken met controle, invloed en interesse
sfeer
Gebaseerd op Outcome Mapping
•Actorbenadering: ontwikkeling gaat over hoe...
SteffDeprez-March2014
Een leefbaar
inkomen voor
boerenfamilies
Boerenfamilies
•Verhoogd inkomen
•Sterkere positie
•Verhogi...
SteffDeprez-March2014
Een leefbaar
inkomen voor
boerenfamilies
Boerenfamilies
•Verhoogd inkomen
•Sterkere positie
•Verhogi...
Impact meten?
Mix van methodes
•Surveys
•Groep en individuele interviews
•Focus groepen
•Bedrijfskundige data van de landb...
Impact meten?
Mix van methodes
•Organisatie scan
•Self-assessment
•Werken met ‘progress markers’
•Zakencijfers boerenorgan...
SteffDeprez-March2014
Boerenfamilies
Boerenorganisaties
Hoe hebben activiteiten van
Vredeseilanden bijgedragen
aan gedrags...
SenseMaker
• Verzamelen groot aantal verhalen (> 300) en ervaringen van
mensen rond een bepaald thema of verandering
• Ver...
SenseMaker
Vraag: Denk aan een specifiek moment of een ervaring waar je
werd aanmoedigd of gedemotiveerd om thee/koffie/ba...
SenseMaker
Codering
•Multi-choice vragen
•Polaire schalen
•Driehoeksvragen
SteffDeprez-March2014
X X
X
X
X 21
22
SteffDeprez-March2014
SteffDeprez-March2014
23
SteffDeprez-March2014
24
Gebruik voor impact
evaluatie
Begin programma (“nulmetting”)
Gewenste situatie
25
SteffDeprez-March2014
Voorbeeld Nederland
SenseMaker
• Software (SenseMaker) > patronen detectie
• Zoeken van patronen en vergelijkingen maken tussen
leeftijdsgroep...
• Overzicht + korte beschrijving gevarieerde
methoden voor impact meting
• Matrix per methode: helpt in de
zoektocht naar ...
SteffDeprez-March2014
Outcome Mapping
28
SteffDeprez-March2014
SenseMaker
29
Upcoming SlideShare
Loading in …5
×

'Peilen naar de impact van sociaal-culturele praktijken - Een rijke waaier aan methoden'

985 views

Published on

Presentatie 'Peilen naar de impact van sociaal-culturele praktijken - Een rijke waaier aan methoden' van Steff Deprez gebracht tijdens de gelijknamige studiedag van Socius op 4 april 2014.

Published in: Education
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
985
On SlideShare
0
From Embeds
0
Number of Embeds
328
Actions
Shares
0
Downloads
14
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide
  • In order to visualise when is Developmental Evaluation appropriate, compare situations in which this conventional approach, in which formative and summative evaluation does apply…
  • …looks like this. You may have a plan for which you have obtained resources but as soon as you begin to implement it, the activities change and their outputs too. Some lead to outcomes and other do not. And outcomes emerge in the most unexpected places. So in these situations, one or more of the five types of Developmental Evaluation will be appropriate.
  • 'Peilen naar de impact van sociaal-culturele praktijken - Een rijke waaier aan methoden'

    1. 1. Steff Deprez, 4 April 2014Steff Deprez, 4 April 2014 SteffDeprez-March2014 1
    2. 2. Een rijke waaier aan methoden SteffDeprez-March2014 2
    3. 3. • Overzicht + korte beschrijving gevarieerde methoden voor impact meting • Matrix per methode: helpt in de zoektocht naar mogelijke toepasbare methodes voor jouw context 3 SteffDeprez-March2014
    4. 4. 4 SteffDeprez-March2014 Peilen naar Impact Praktijken vanuit de ontwikkelingssamenwerking: Vredeseilanden •Aanpak impactevaluatie •Concrete methode: SenseMaker
    5. 5. ACTIVITEITEN INPUTS Time SteffDeprez-March2014 IMPACT 5
    6. 6. ACTIVITIES OUTPUTS OUTCOMES IMPACT INPUTS Time Bron: Ricardo.Wilson-Grau@inter.nl.net Werken met een resultatenketen (causale keten) SteffDeprez-March2014 6
    7. 7. OUTPUT OUTCOME INPUTS ACTIVITY INPUTS ACTIVITY INPUTS ACTIVITY INPUTS OUTPUT OUTPUT ACTIVITY OUTPUT OUTPUT OUTCOME OUTCOME OUTCOME OUTCOME OUTCOME OUTCOM E Ricardo.Wilson-Grau@inter.nl.net De realiteit echter … Evaluatiemethoden: -Outcome Harvesting -Ouctome Mapping -Most Significant Change -Learning / Innovation Histories -Success Case Method -Process Tracing - … SteffDeprez-March2014 7
    8. 8. SteffDeprez-March2014 Werken met “pathways”(veranderingstheorie) 8
    9. 9. SteffDeprez-March2014 Bron: OXFAM/Adinda Van Hemelrijck 9
    10. 10. SteffDeprez-March2014 Gebruik 1. In planning en ontwerpfase > Begeleiding en opvolging van de praktijk 2. Tijdens impactevaluatie in retrospect > De causaliteit en het ‘verhaal’ van de impact verandering blootleggen Evaluatiemethoden -Contribution analysis -General Elimination Methodology -Process Tracing -Multiple lines & levels of evidence -… 10
    11. 11. Werken met controle, invloed en interesse sfeer Gebaseerd op Outcome Mapping •Actorbenadering: ontwikkeling gaat over hoe mensen samenwerken en omgaan met hun omgeving •Outcomes = gedragsveranderingen van mensen, groepen en organisaties waar je direct mee samenwerkt en die cruciaal zijn om bij te dragen aan de visie en de impact van de praktijk te realiseren SteffDeprez-March2014 11
    12. 12. SteffDeprez-March2014 Een leefbaar inkomen voor boerenfamilies Boerenfamilies •Verhoogd inkomen •Sterkere positie •Verhoging veerkracht •… Privé-bedrijven -Afname van boeren -Eerlijke contracten -Investeren in boeren -… Dienstverleners •Kredieten •Technische ondersteuning •Certificering •… Boerenorganisaties •Ondernemerschap •Collectieve vermarkting •Betere dienstverlening leden •… Interesse of ambitiesfeer Invloedssfeer Controlesfeer • Activiteiten • Budgetten • Staf Werken met controle, invloed en interesse sfeer Gebaseerd op Outcome Mapping 12
    13. 13. SteffDeprez-March2014 Een leefbaar inkomen voor boerenfamilies Boerenfamilies •Verhoogd inkomen •Sterkere positie •Verhoging veerkracht •… Privé-bedrijven -Afname van boeren -Eerlijke contracten -Investeren in boeren -… Dienstverleners •Kredieten •Technische ondersteuning •Certificering •… Boerenorganisaties •Ondernemerschap •Collectieve vermarkting •Betere dienstverlening leden •… Interesse of ambitiesfeer Invloedssfeer Controlesfeer • Activiteiten • Budgetten • Staf 13 Basis voor planning, opvolging en impactevaluatie Resultaten + indicatoren
    14. 14. Impact meten? Mix van methodes •Surveys •Groep en individuele interviews •Focus groepen •Bedrijfskundige data van de landbouwketen •Secundaire data •SenseMaker Self-assessment + externe evaluator Elke 3 jaar SteffDeprez-March2014 Boerenfamilies •Verhoogd inkomen •Sterkere positie •Verhoging veerkracht •… 14
    15. 15. Impact meten? Mix van methodes •Organisatie scan •Self-assessment •Werken met ‘progress markers’ •Zakencijfers boerenorganisaties •Case Studies •SenseMaker Self-assessment + Externe evaluator Elke 6 maand SteffDeprez-March2014 Boerenorganisaties •Ondernemerschap verhogen •Betere dienstverlening leden •Organisatieversterking •Collectieve vermarkting •… 16
    16. 16. SteffDeprez-March2014 Boerenfamilies Boerenorganisaties Hoe hebben activiteiten van Vredeseilanden bijgedragen aan gedragsveranderingen partners? Wat werkte? Wat niet? Heeft een beter functioneren van de organisatie positieve effecten op het leven van boeren? Privé-bedrijven 18 Hoe is de relatie tussen bedrijven en boerenorganisaties? Dienstverleners Is het verhoogd inkomen een effect van het programma? Impact is niet alleen ‘meten’, maar ook … •Causale verbanden leggen •Het ‘verhaal’ kunnen vertellen •Bijdrage van Vredeseilanden en partners begrijpen
    17. 17. SenseMaker • Verzamelen groot aantal verhalen (> 300) en ervaringen van mensen rond een bepaald thema of verandering • Verhalen/ervaringen worden getriggered door een vraag • Groot aantal korte verhalen (micro-narratives/fragments) • De verhalen worden gecodeerd door de verhalenverteller op het moment dat het verhaal gedeeld wordt. • Er is geen interpretatie door een externe persoon SteffDeprez-March2014 19
    18. 18. SenseMaker Vraag: Denk aan een specifiek moment of een ervaring waar je werd aanmoedigd of gedemotiveerd om thee/koffie/bananen te produceren en te verkopen aan het bedrijf? SteffDeprez-March2014 20
    19. 19. SenseMaker Codering •Multi-choice vragen •Polaire schalen •Driehoeksvragen SteffDeprez-March2014 X X X X X 21
    20. 20. 22 SteffDeprez-March2014
    21. 21. SteffDeprez-March2014 23
    22. 22. SteffDeprez-March2014 24 Gebruik voor impact evaluatie Begin programma (“nulmetting”) Gewenste situatie
    23. 23. 25 SteffDeprez-March2014 Voorbeeld Nederland
    24. 24. SenseMaker • Software (SenseMaker) > patronen detectie • Zoeken van patronen en vergelijkingen maken tussen leeftijdsgroepen, geografische gebieden, thema’s, … • Het zien van de realiteit door de ogen van mensen • Het geeft inzichten in verschillende perspectieven, attitudes en waarden van diverse actoren rond bepaalde thema’s • Snel inzichten verwerven in veranderingen en eventueel snel aanpassingen doorvoeren (snelle feedback, …) • Combinatie van kwalititieve methode en kwantitatieve methode SteffDeprez-March2014 26
    25. 25. • Overzicht + korte beschrijving gevarieerde methoden voor impact meting • Matrix per methode: helpt in de zoektocht naar mogelijke toepasbare methodes voor jouw context 27 SteffDeprez-March2014
    26. 26. SteffDeprez-March2014 Outcome Mapping 28
    27. 27. SteffDeprez-March2014 SenseMaker 29

    ×