Ulf Hjelmar, programleder i KORA - Evaluering af innovation – feltet, udfordringerne og udvalgte erfaringer

1. Evaluering af innovation
– feltet, udfordringerne og udvalgte erfaringer
Ulf Hjelmar

2. Formål
Mit oplæg har til formål at:
 Præsentere feltet: forskellige typer af evaluering
og måder at tilgå innovative forløb på?
 Fremhæve udvalgte erfaringer: Eksempler på
KORA evalueringer af innovative projekter.

3. Innovation – det innovative råderum
 Innovation: udvikling af en ny idé og dens realisering i praksis. En
ny eller væsentligt ændret måde at forbedre organisationens
aktiviteter og resultater på: nye eller væsentligt ændrede
serviceydelser og produkter.
 Det innovative råderum: de organisatoriske rammer på
arbejdspladsen, som gør det muligt for medarbejderne at være
innovative (job crafting):
– oplever medarbejderne at der diskuteres nye metoder til at løse
opgaver? At man løbende tilpasser sig nye udfordringer? At der er
mulighed for til at afprøve nye metoder og teknikker i arbejdet?
3

4. Hvad er evaluering?
Systematisk vurdering af
virkninger og gennem-
førelse af igangværende
eller afsluttede indsatser
ud fra bestemte værdi-
kriterier – med henblik på
praktisk brug.
Indsatser
Gennemførelse
Virkninger
Viden til praktisk brug

5. Evaluering – en praktisk videnskab…
 "At evaluere betyder i al sin enkelhed at standse op
midt i eller efter sine gøremål og vurdere, om
resultaterne står i et fornuftigt forhold til hensigt og
anstrengelser"
 evaluering er syntesen af at beskrive og
reflektere - på et ekspliciteret værdigrundlag.
– Beskrivelse er tilvejebringelse af data gennem
samtale, spørgsmål, iagttagelse, samling af
materiale, fortælling, undersøgelser, test osv.
– Refleksion er at bringe sig på en arms afstand af
beskrivelsen, at undersøge data for det, de måtte
sige noget om
5

6. Feltet

7. :
Unge
og
voksne
med
ADHD
Visitation
til indsats
og
udvælgelse
til kontrol-
gruppe
Indsats
gruppe
Kontrol
gruppe
Indsats
Normal
aktivitet
Effekt
Effekt
Analyse af
forskel og
effekt
Førmåling Eftermåling Opfølgende
måling
Evalueringsdesign med høj evidens

8. :
Resultatmodeller
Evalueringsmodel Problemstilling Evalueringskriterium
Effektevaluering Hvilke effekter kan
afdækkes?
Åbent, alle
konsekvenser bør
afdækkes
Målopfyldelses-
evaluering
I hvilken grad er
målsætningen
realiseret?
Udledes af
målsætningen

9. :
Eksempel på projektflow og monitorering

10. Procesmodeller
Evaluerings-
model
Problemstilling Evalueringskriterium
Forklarende
procesevaluering
Er aktivitetsniveauet
tilfredsstillende?
Er der implemente-
ringsfejl?
Indsatsen analyseres fra
idé over beslutning og
implementering til
adressaternes reaktion
Proces-
monitorering
Gennemføres
processerne som
planlagt?
Igangværende processer
checkes mod
processtandarder

11. En model over forventede virkninger
11

12. Programteoretiske modeller
Evalueringsmodel Problemstilling Evalueringskriterium
Realistisk evaluering Kan der konstateres
programteoretiske fejl?
Resultat og proces
Programteorien
rekonstrueres
og sammenholdes med
empirisk analyse

13. Herskende tænkning
Institut for Statskundskab
Lineære modeller (1960erne-):
• Centrale processer er rationelle og
lineære, envejs
• Evalueringsviden som produkt –
generaliserbar på tværs af kontekster
• Anvendelse et resultat af: Relevans,
brugbarhed, effektiv “packaging”
Kilde: Best & Holmes 2010

14. En ny generation af tænkning
Institut for Statskundskab
Relationsmodeller / interaktionsmodeller
(slut 1990erne -):
• Central processer er sociale og interaktive
• Evalueringsviden knyttet til kontekst –
oversættelse, tilpasning, ”tinkering”
• Anvendelse et resultat af: Relationer,
netværk, partnerskaber, ”co-production”
Kilde: Best & Holmes 2010

15. Tænkning – under udvikling
Institut for Statskundskab
Systemmodeller (2000 -):
• Centrale processer er iterative, dynamiske –
til dels uforudsigelige
• Evalueringsviden knyttet til lokal
prioriteringer, kulturer og kontekster
• Anvendelse et resultat af: Integration i og
mellem organisationer og større systemer,
”managed knowledge flows”

16. Evaluering af innovation…
Institut for Statskundskab
Innovative
processer
Lineær tænkning Interaktiv
tænkning
System-tænkning
Resultatmodeller X
Procesmodeller X (x)
Programteoretiske
evalueringer
X (x)

17. Udvalgte eksempler

18. Lineære modeller – en case…
Lineære modeller (Viden som produkt, generaliserbar på tværs af
kontekster, centrale processer er rationelle og lineære, envejs). Viden
omsat til systemer, processer, redskaber, guidelines. Ansvar ligger hos
ledelsen. Top-down, implementering og monitoriering.
Case: Kreative fag i gymnasiet. Region Hovedstaden:
- Brug af kompetencer fra billedkunst, drama, mediefag og musik i
videre uddannelses- og arbejdsmarkedsforløb (kvantitativ kodning)
- Kvalitativ undersøgelse af erhvervede kernekompetencer
(samarbejdskompetence, disciplin, evnen til at performe og evnen
til at se nye muligheder)
- Transfereffekt, motivationsskabende.

19. Interaktionsmodeller – en case…
Relationsmodeller / interaktionsmodeller (Viden knyttet til kontekst –
oversættelse, tilpasning, processer er sociale og interaktive).
Organisationen understøtter orientering mod ny viden. Ansvar ligger bredt
hos organisationen.
Case: Furesø – Familiens Fremtid:
- En helhedsorienteret indsats over for udsatte familier, 2014-2016
- Partnerskab mellem Furesø Kommune og KORA
- Ny viden, aktiv rolle i projektet
- Implementeringsstøtte og –guide
- Foreløbige resultater: Familiens Plan og borgerinddragelse,
organisatorisk helhedsorientering – VIP adgang

20. Systemmodeller – en case…
Systemmodeller (Viden knyttet til lokal prioritering, kultur og kontekst,
centrale processer er iterative, dynamiske – til dels uforudsigelige).
Dokumentation og evaluering af ny innovativ praksis. Ansvar for
udvikling ligger hos organisationen - procesfacilitator.
Case: Styringslaboratorier – afledt af tillidsreformen:
- Nordsjællands Hospital: Udvikling af subakut tilbud til ældre
medicinske patienter – nye samarbejdsformer
- Københavns Kommune, socialpsykiatri: Udvikling af én indgang til
psykiatrien gennem åben dør og brugerstyrede processer
- Kriminalforsorgen: Udvikling af styrket samarbejde til kommunen
og mere målrettet afsoningsforløb henimod god løsladelse

21. Opsamling
- Evalueringsmodeller: Afprøv ikke-lineære modeller –
samspil med innovation. Fokus på proces og virkning
(effekt).
- Evaluators rolle: Ny rolle i innovative forløb?
Procesfacilitering + virkningsfokus. Innovation og
evaluering mødes…
- Evalueringskapacitet: Målefokus og fokus på at
medprogramdesigne – internt/eksternt