Lars André Skari 19.09.13: Bruk av evalueringer til innovasjon og læring i frivillige organisasjoner

1. Bruk av evalueringer til
innovasjon og læring i frivillige
organisasjoner.
Evalueringskonferansen 2013
Lars-Andre Skari

2. Dagens tema:
■ Lykkes frivillige organisasjoner bedre enn andre organisasjoner
med å bruke evaluering til innovasjon og læring?
■ Hvordan kan evaluering gi grunnlag for læring og endring og bidra til
bedre resultater – et praktisk eksempel
■ Hvordan kan teknologi bidra til at følge evalueringer blir mer
relevante?
■ Oppsummering

3. Lykkes frivillige organisasjoner bedre
enn andre organisasjoner å bruke
evaluering til innovasjon og læring?
Mulig…

4. Hva må til?
■Gode systemer for evaluering og læring
■Riktig holdning og kultur
■Relevante og gode evalueringer
■Riktig bruk av evalueringene

5. Monitorerings og evalueringssystem
■ Klart definert innretning og ramme (policy)
— Målsetning – kontroll vs læring og endring
— Retningslinjer kunne vært klarer
— Monitorering vs evaluering?
■ Organisatoriske struktur
— Egen kompetent enhet
— Bredt mandat
— Forankringen - i organisasjonen, i overordnede dokumenter og i styret
■ Gode prosesser
— Balanced: top-down vs bottom-up
— Strategic fokus kunne vært sterkere
— Eksternt perspektiv - kvalitetssikring
— Svake system for behandling og respons

6. Holdninger til evalueringer
0
10
20
30
40
50
60
70
80
Evaluation is
interesting
Evaluation is fun Everybody needs
evaluation
I'd like to get more
involved in
evaluation
I'd like to take part in
training on
evaluation
Strongly Agree
Agree
Disagree
Strongly Disagree

7. Hvorfor så positive?
■ Det har over tid vært krav om gjennomføres av mange evalueringer
■ Evaluering er blitt en del av kulturen og hverdagen
■ Medarbeiderne er indre motivert – ønsker et best mulig resultat og
ser etter bedre måter å jobbe på
■ Stort engasjement – sterke meninger
Mulig skyggesider?
■ Mange som vil noe stor men ikke nødvendigvis det samme
■ Meningsbrytninger og omkamper

8. Relevante og gode evalueringer?
Tilfredsstillende
men:
■ Ønske seg flere mer omfattende evalueringer
■ Valg av evalueringsmetoder
■ Tydeliggjøre evalueringsbegrensninger
■ Manglende bruk av referansegrupper
■ Styrke kvalitetskontroll
■ Læring kunne ha sterkere fokus i rapportene
■ Mer «ute av boksen» tenking

9. For hvem evaluerer vi?
0
10
20
30
40
50
60
70
80
Evaluation is mainly
for top management
Evaluation is mainly
done for others
Evaluation is mostly
useful for external
audiences
Evaluations live their
own life, for their
own purposes
Evaluations tend to
become empty
rituals
Strongly Agree
Agree
Disagree
Strongly Disagree

10. Bruken av evalueringer?
0
10
20
30
40
50
60
70
Our organisation
makes good use of
evaluations
Evaluations build
the legitimacy of
our organisation
It is necssary to talk
about evaluation
results
Integrating
evaluation
activities enhances
learning
Without evaluation
we would not know
much about results
Strongly Agree
Agree
Disagree
Strongly Disagree

11. Stemmer det positive inntrykket?

12. Hvordan kan evaluering gi
grunnlag for læring og endring
og bidra til bedre resultater
Sierra Leone

13. Sierra Leone – Kolera respons 2012

14. ■ Januar – 1. utbrudd: Lokal respons (DREF)
■ Slutten av juli – 2. utbrudd: Lokal respons (DREF)
■ August:
—Vurdering av behov – utløser røde kors respons
—Regional respons (RDRT) – vann og sanitær
—Emergency Respons Units (uke 33)
– Basic Health Care (BHC)
– Community Health Module (CHM)
– Mass Sanitation Module (MSM)
■24 000 tilfeller av kolera - 300 døde
■Fungerende helsedepartement
■Sterk nasjonal forening

16. Målsetninger:
■ Forebygge videre spredning i 360.000 familier (households)
■ Forbedre vann og sanitær forhold og promoterer bedre hygiene
■ Styrke helsestasjoner i utsatte områder
Ny respons basert på erfaringer fra Zimbabwe, Chad og Haiti
■ Behandle så mange av tilfelle som mulig i sine lokal samfunn
■ Integrerte tilnærming på lokalt og regionalt nivå med fokus på
kunnskapsoverføring og bruk av frivillige til å skalere opp:
■ Vann og sanitær
■ Klinisk
■ Forebygging
■ Mini KAP - under og etter epidemien (Knowledge, Attitude og
Practice)

19. Innovasjon og læring:
■ Utvikle standard mini KAP for RAMP
— Testet på felt skole i Zimbabwe
– Viste at frivillige kan bruke RAMP til å innhente helseinformasjon av tilfredsstillende
kvalitet
– WHO og helse myndigheter
— Planlagt brukt på Haiti i nær fremtid
— Akademisk tilnærming er nødvendig for å kunne dokumentere effekten av ny
tilnærming – CBDS (Community Based Disease Surveillance)
■ Ha tilgjengelig nødvendig spisskompetanse
■ Integrerte team – forebygging, vann og sanitær og klinisk
— Justering av rutiner, verktøy, utstyr og logistikk oppsett
■ Kolera respons
— Rehydrerings poster
— Frivillige helsearbeidere til å skalere opp

20. Hvordan kan teknologi bidra til
at følge evalueringer blir mer
relevante?

21. RAMP – hvordan virker det?

23. Data håndtering og bruk

26. Hvorfor bruke mobiltelefoner til data
innsamling?
■ Kostnads og tidseffektiv
■ Mulig å gjøre endringer underveis
■ Bedre datakvaliteten: færre operasjoner, real-time (WiFi
og 2G opplasting), enhetlig og testet utforming av
undersøkelser, mulig å kvalitetssikre dataen fortløpende,
GPS funksjon, etc.
■ Data kan analyseres av ekspert som ikke er i landet.
■ Sentral lagring av data og standardisering av moduler -
dele data og lære sammen med andre organisasjoner
■ Frivillige syntes dette er spennende og motiverende
■ Mobil telefoner er et globalt fenomen

27. Oppsummering

28. ■ Frivillige organisasjoner har gode forutsetninger for å
kunne bruke evalueringer til læring og innovasjon
— Relativt gode systemer
— God evalueringskultur
— God kvalitet men må jobbe mer strategisk
— Må bruke evalueringene bedre
■ Det er utfordrende å sikre effektiv læring og innovasjon
— Mange nivåer
— Mange små aktører
■ Riktig bruk av teknologi kan bidra til å styrke læring,
innovasjon og endring.

29. www.rodekors.no
Takk for meg!
lars.skari@redcross.no