Frukostseminarium, utvärdering av förändringsarbete, 2 sep 2010

Christina Ehneström och Torbjörn Skarin, Metamatrix
Stockholm den 2 september 2010
Frukostseminarium -utvärdering av förändringsarbete

Seminariets innehåll
Kärnan i en utvärdering
Syftet påverkar valet av utvärderingsmodell
Summativ och formativ utvärdering, var går gränsen?
Utmaningar med projektmål
Programlogik – ett verktyg för att ta fram tydliga och utvärderingsbara mål
Erfarenheter från tre praktikfall med olika fokus
Hur blir utvärderingen ett praktiskt verktyg för ett kontinuerligt förändringsarbete?

Kärnan i en utvärdering
GEMENSAM SYN PÅ PROBLEMEN OCH PÅ MÅLEN
SKAPA FÖRBEREDELSE INFÖR FÖRÄNDRINGSARBETET

Syftet påverkar valet av utvärderingsmodell Syfte med utvärderingen Modell Användning Når projektet önskade effekter? Effektutvärdering Återrapportering till beställaren. Kan bidra till förändringar i kommande program/projekt/insatser. Fungerar projektet enligt plan? Hur fungerar projektorganisationen? Processutvärdering Beslut om avslut eller mer resurser. Kan fungera som modell för en större satsning. Förbättra och förändra verksamhet. Eventuell omorganisation. Hur kan projektet förbättra/förändra sin verksamhet så att målen uppnås? Lärande utvärdering/ Följeforskning Återkoppling sker kontinuerligt. Ska bidra till att förändra/förbättra i pågående projekt - aktiviteter eller mål. Skapa lärande mellan projekt, för beslutsfattare och för pågående eller nya program/insatser.

Summativ och formativ utvärdering, var går gränsen? Summativ/effekt Formativ/lärande X X X

Utmaningar med projektmål
Formulering av mål
Mål som inte går att följa upp och styra mot
Otydliga mål, kopplade till en politisk vision
Mål som inte är tidssatta eller kvantifierbara
Mål där indikatorer på måluppfyllelse saknas
Målstyrning
Otydlig koppling mellan insatser och mål
Organisatoriska gränser påverkar möjligheten att uppfylla målen eller styra mot målen
Olika verksamhetsföreträdare har olika syn på vad som skall uppnås och vägen dit

Programlogik – ett verktyg för att ta fram tydliga och utvärderingsbara mål
Programteori
Programlogik
Effektkedja
Argumentationskedja
Logic model
Förändringshypotes
Programlogiken beskriver ett tänkt samband mellan aktiviteter å ena sidan och resultat och effekter å den andra sidan, dvs. den förändring som programmet ska åstadkomma… … medan en programteori utöver ovan nämnda också beskriver mekanismerna som antas vara orsaken till sambanden.

Exempel Aktiviteter Resurser Utfall/Direkta resultat Resultat/Effekter på kort sikt Effekter på lång sikt Överlevnad Ökad konkurrenskraft Bättre lönsamhet Högre kompetens Bättre samarbete med högskola/andra företag Nya produkter och tjänster Antal kurser Antal personal som får utbildning Antal nätverksmöten Kurser för personal Företagsforskar-skola Nätverkande/ erfarenhetsutbyte Pengar Kompetens Lokaler Kontakter

Röda tråden Coachande aktiviteter Satsning på lågutbildade/barnskötare Ledarskap i förändring Tango på tre Observatörsprojektet/ Utvärdering Jämställdhetsutbildning (integrerat i respektive utbildning) Spridningsaktiviteter Högre beredskap inför förändringar Anställningsbar och eftertraktad i andra delar av samhället Ökad måluppfyllelse hos eleverna Ökat självförtroende Kvalitetssäkring av arbetsinsatser Mindre stress bland lärare och elever Coachande förhållningssätt Projektets aktörer hamnar i framkant av svensk skolutveckling Ökad kompetens att driva förändringsprocesser Ökad samtalskompetens Ökad kompetens hos pedagogisk personal Spetskompetens inom kompetensutvecklings- områdena Hållbarhet
Spetsutbildning för utvalda i
Ledarskap
Processtöd
Observatörsprojekt
Certifierad coachning
Minskad risk för långtidssjukskrivning Resurser Resultat Aktiviteter Effekter på medellång-lång sikt Processtöd till samtalsledare Blir entreprenöriell Ökad medvetenhet om genusfrågor Medvetenhet om omvärldens krav och uppdrag Kompetens att sprida information internt och externt Skapa delaktighet Upplevelse av delaktighet Pengar Kompetens Lokaler Stilbildande utvecklings- projekt som inspirerar i regionen såväl som nationellt och internationellt

Erfarenheter från tre praktikfall
Socialfonden, följeforskning av tio projekt i samma program
Göteborg stad, formativ (lärande) utvärdering av ett projekt
Internationella programkontoret, summativ (effekt) utvärdering av ett projekt

Erfarenheter från följeforskning av tio projekt inom Socialfonden
Bakgrund och syfte med utvärderingen: Syftet med den övergripande utvärderingen är att samordna de enskilda projektens utvärderingar och medverka till att ett antal, för projekten och för insatsen, relevanta och gemensamma frågeställningar identifieras som både kan påverka utvecklingen i projekten såväl som på en mer strategisk nivå.
Utmaningar i utvärderingen:
Att koordinera nio utvärderingskolleger som alla har sina egna lösningar, har kommit olika långt, har olika mycket resurser och olika direktiv från sina uppdragsgivare.
Att skapa ett intresse från de egentliga ägarna (aktivt ägarskap) så som politiker, AF och intresseorganisationer för den Sociala ekonomin.
Att bidra till att lyckade resultat implementeras i ordinarie verksamhet.
Nytta/användning av utvärderingen: Resultat och erfarenheter från projektens verksamhet ska synliggöras och nätverksträffarna ska skapa tillfälle för analys, erfarenhetsutbyte och lärande. I den mån det är möjligt ska utvärderingen söka syntetisera resultaten till en samlad bild av hur olika aktörer inom den sociala ekonomin kan verka i förhållande till Arbetsförmedlingen och tvärtom.
FORMATIV UTVÄRDERING MED SUMMATIVA INSLAG
NÄTVERKSTRÄFFAR/
ANALYSSEMINARIER
HÖGGRUPP (”STYRGRUPP”)/
CENTRAL ANORDNARGRUPP

Erfarenheter från utvärderingen av ett projekt inom Internationella programkontoret
Bakgrund och syfte med utvärderingen: att se om utbildningsinsatsen har gett några resultat kopplat till lärarnas arbete med eleverna, vilka typ av frågor lyfts fram i undervisningen, vilka metoder används och vilka material används? Syftet är även att se hur lärarna upplever Programkontorets insatser i allmänhet
Utmaningar i utvärderingen: initialt arbetade utvärderaren med programkontoret för att förtydliga målen och att beskriva förväntade och oväntade effekter, att få fram data för olika indikatorer på effekter, samt att få hög svarsfrekvens i webbenkäten (främst i kontrollgruppen som ej deltagit i utbildningen),
Nytta/användning av utvärderingen: Fördjupad information för Programkontoret om vilka som deltagit i utbildningarna (kön, ålder etc), hur hittar man information om utbildningarna, Skolverket är intresserade av uppföljning av undervisningen kopplat till kursplanen, EU-kommissionen vill se om samarbetet med programkontoret fungerar
EFFEKTUTVÄRDERING AV UTBILDNINGSINSATS KRING EU-KUNSKAP
ÄMNESFÖRDJUPNING OCH METODIK
GYMNASIELÄRARE I SAMHÄLLSKUNSKAP

Erfarenheter från utvärderingen av projektet Hjärntorget
Bakgrund och syfte med utvärderingen: Ett projekt med många utmaningar och faser, en egeninitierad utvärdering som värderar projektprocessen och projektets effekter och nytta. SMARTA mål är uppsatta, utvärdering sker mot dessa mål (Specifikt, Mätbart, Accepterat, Realistiskt, Tidssatt)
Utmaningar i utvärderingen: Styrning av ett centralt projekt med stort lokalt ansvar och mandat, otydliga mål (trots SMARTA), den formativa utvärderingen genomfördes i slutfasen av projektet, effekterna av projektet gick ännu inte att värdera
Nytta/användning av utvärderingen: Självvärderings-instrument skapat för att värdera måluppfyllelsen, självvärderingsinstrument skapat för att värdera e-mognaden på skolnivån, ger ett diskussionsunderlag kring projektprocesserna inom staden, kring svårigheterna att styra med decentraliserat ansvar samt kring behovet av fortsatta insatser eller nya projekt
ETT IT-STÖD FÖR SKOLAN INOM GÖTEBORG STAD
PROJEKTETS MÅLGRUPPER: SKOLLEDARE, LÄRARE, ADMINISTRATÖRER, ELEVER, FÖRÄLDRAR
FORMATIV UTVÄRDERING MED SUMMATIVA INSLAG

Hur blir utvärderingen ett praktiskt verktyg för ett kontinuerligt förändringsarbete?
Välj rätt metod och verktyg för utvärderingen
Arbeta med att förtydliga målen, öka förmågan att styra mot målen
Skapa en gemensam bild av målen inom organisationen
Förankra utvärderingens resultat inom den egna organisationen
Skapa ett system för kontinuerlig uppföljning och styrning mot uppsatta mål

Kontaktinformation: Christina Ehneström, [email_address] , 076-050 8120 Jan Hylén, [email_address] , 073-441 4044 Torbjörn Skarin, [email_address] , 073-944 2048 Besök bloggen: www.itochutbildning.se

http://www.metamatrix.se	190
http://metamatrix.se	50
http://malmoarena.se	25
http://metamatrix.local.metamatrix.se	9

Frukostseminarium, utvärdering av förändringsarbete, 2 sep 2010

by Metamatrix on Sep 02, 2010

Accessibility

Categories

Tags

Upload Details

Usage Rights

4 Embeds 274

Statistics

Frukostseminarium, utvärdering av förändringsarbete, 2 sep 2010 — Presentation Transcript