En konstruerad utvärdering utifrån ett demokratiskt perspektiv

1. 1(9)
Examinationsuppgift
Utvärdering av kommunala mål och uppföljning inom
äldreomsorgen
- En konstruerad, men högst relevant utvärdering
Utifrån ett demokratiskt perspektiv
av Veronica Wendt och Gabriella Karlsson.
1. Problembakgrund
I vårt demokratiska samhälle förvaltas och kontrolleras den verksamhet som
anses vara i det allmännas intresse av en politiskt vald ledning. Den
kommunala verksamheten kännetecknas av en komplex organisation med
många särartade verksamheter som ställer stora krav på styrning och
ledning.
De senare årens omvärldsförändringar såsom minskade skatteunderlag, en
lagstiftning som kräver en budget i balans kombinerat med ett utökat
kommunalt ansvar med nya åtaganden från stat och landsting har ökat
behovet och kraven på en effektiv förvaltning av de allmänna resurserna. En
effektiv förvaltning förutsätter någon form av styrning för att säkerställa att
de syften och mål som avses med verksamheten realiseras på ett optimalt
sätt.
Den traditionella kommunala verksamheten i landet styrs med mål- och
ramstyrning. Den ekonomiska ramen är begränsningen för verksamheten.
Kommunfullmäktige fastställer de övergripande målen med den kommunala
verksamheten, kommunstyrelsen verkställer via verksamhetsnämnder.
Verksamhetsnämnderna ger uppdraget till den operativa verksamheten att
genomföra och utforma verksamhetsmål.
Mål bör vara specifika, mätbara, accepterade, realistiska och tidsatta enligt
den s k SMART-modellen. Målen kan vara politiska och ge uttryck för en
politisk viljeriktning. De kan vara kontrollerande eller styrande såsom
ekonomiska eller lagstadgade mål.
Hur definieras målstyrning i litteraturen?
Enligt Rombach (Rombach, Björn, 1991, Det går inte att styra med mål,
Lund: Studentlitteratur) är målstyrningens filosofi eller idé att
organisationens medlemmar ska känna till sina respektive delmål. Därmed
försöker de också nå dem (1991 s.43-ff). Rombach ser målstyrning som
styrfilosofi och inte som ett möjligt styrinstrument. Utmärkande drag för
målstyrning är, enligt Rombach, att mätbara och specifika mål ska ställas
upp. Individuella och organisatoriska mål ska också integreras. Det ska även
framgå när målen är uppfyllda. Måluppfyllelsen ska dessutom följas upp
regelbundet. Vidare anser Rombach att eftersom förutsättningarna för
målstyrning inte uppfylls får det anses osannolikt att målstyrningens

2. 2(9)
positiva effekter kommer att uppträda i den offentliga sektorns
organisationer.
Rombach är kritisk till användbarheten av målstyrning inom den offentliga
sektorn. Eftersom målen betonas så starkt vid målstyrning och eftersom det
dessutom är svårt att formulera mätbara mål blir risken stor att de mål som
är mätbara överbetonas (1991, s 49). Konflikter kan enligt Rombach också
uppstå mellan demokratins krav på politisk styrning och tjänstemännens
krav på frihet för att åstadkomma resultat på det sätt som de anser effektivt
(1991, s 52).
Vi kommer i utvärderingen att komplettera den mer ekonomiskt inriktade
mätningen av måluppfyllelse med en värdering av de demokratiska värdena,
enligt Lennart Lundquists definition. Enligt Lundquist (Lundquist, Lennart,
1998, Demokratins väktare, Lund: Studentlitteratur, 62-ff) bör den
offentliga verksamheten styras av olika värden. Dessa brukar indelas i två
olika huvudkategorier: ekonomivärden och demokrativärden. Dessa
benämner Lundquist med ett samlat begrepp vårt offentliga etos.
Ekonomivärdena som länge dominerat den offentliga verksamheten består
av de tre delbegreppen funktionell rationalitet, kostnadseffektivitet och
produktivitet. Demokrativärdena indelas i de tre begreppen politisk
demokrati, rättsäkerhet och offentlig etik (1998, s 63).
Enligt Lundquist (1998, s 64) är ett viktigt drag vårt offentliga etos att
samhällsmedlemmarna, förutom att vara brukare, också är medborgare. Till
rollen som medborgare hör en rad generella rättigheter och skyldigheter som
är centrala i alla sammanhang där det offentliga uppträder.
Målstyrning innebär att politikerna anger målen (vad) och tjänstemännen
anger medlen (hur). I det praktiska arbetet visar det sig dock att
tjänstemännen ofta inte väljer politiskt neutrala styrmedel. Målstyrning
strider också mot politikernas egna styrfilosofier. Med målstyrning skulle
det, enligt Rombach (1991, s 92) bli svårare för politikerna att utåt visa upp
åsiktsskillnader. Rombach anser vidare att målstyrningstekniken bygger på
en alltför förenklad bild av hur beslut fattas i organisationer.
Målstyrningstekniken, liksom andra styrtekniker, förutsätter ofta att
organisationer är hierarkier där makten finns i pyramidens topp. Men en
styrteknik kan aldrig ge makt utan bara användas för att utnyttja makt. Om
makten inte finns hos ledningen gör valet av styrteknik varken till eller ifrån
(1991, s 100-ff).
Gunnar Pihlgren och Arne Svensson är i stället starka förespråkare för
målstyrning. De anser att målstyrning ger bättre förutsättningar för en
effektiv offentlig sektor (Pihlgren, Gunnar – Svensson, Arne, 1991,
Målstyrning : 90-talets ledningsform för offentlig verksamhet, Malmö:
Liberekonomi).
Philgren och Svensson (1991, s 35-ff) delar in begreppet effektivitet i yttre
och inre effektivitet. Effektivitet definierar de som effekten ställd i relation
till de resurser som använts. Den inre effektiviteten relaterar insatta resurser
till de produkter eller tjänster som organisationen framställer (produktivitet).
Den yttre effektiviteten relaterar i stället insatta resurser till uppfyllandet av
organisationens överordnade mål. Enligt Philgren och Svensson (1991, s 40)
ökar både organisationens inre och yttre effektivitet genom målstyrning.

3. 3(9)
Anledningen till detta är att organisationen uppmuntras att identifiera
brukaren och utgå från detta brukarperspektiv vid formulering av målet.
Genom att målen bryts ned på se olika organisatoriska nivåerna skapas
också en större klarhet i vad som är målet för verksamheten. Den interna
effektiviteten ökar också genom att en hög måluppfyllelse medger
belöningar till de anställda i verksamheten (1991, s 85). Philgren och
Svensson kopplar alltså målstyrningen mycket starkt till
effektivitetsbegreppet.
Det finns starka förespråkare både för och emot målstyrning. Vår uppgift är
inte att utvärdera den styrmodell som används, men vi anser att det är viktigt
att i utvärderingen beakta de argument som förespråkarna framför för att
skapa en medvetenhet om modellens styrkor och svagheter. Medvetenheten
kan bidra till att förklara eventuella avvikelser, men även balansera
resultatet av utvärderingen gentemot styrmodellen.
De förtroendevalda revisorerna (kommunrevisionen) kommer från och med
delårsbokslutet 2005 att följa upp hur väl kommunstyrelsen och
verksamhetsnämnderna i kommunen har nått sina mål. Graden av
måluppfyllelse kommer därefter att bli föremål för utvärdering två gånger
per år av kommunrevisionen.
2. Syfte
Kommunens revisorer (kommunrevisionen) har gett utvärderarna i uppdrag
att granska måluppfyllelsen för fullmäktiges övergripande mål inom
äldreomsorgen. Är det en ändamålsenlig verksamhet som bedrivs och sker
det inom ramen för en god ekonomisk hushållning? Utvärderingen ska
kontrollera hur väl de kommunala målen implementeras och integreras
organisatoriskt i verksamheten. Den har också ett främjande syfte genom att
den ska kategorisera målen och kartlägga hur de integreras vertikalt i
organisationen, det vill säga hur väl lyckas organisationen bryta ner och
formulera målen utifrån den övergripande målsättningen. Utvärderingen
ska;
• Bedöma om de av nämnden formulerade målen för verksamheten är
specifika, mätbara, accepterade, realistiska och tidsatta.
• Kontrollera i vilken utsträckning och på vilket sätt målen utvärderas
och följs upp.
• Bedöma i vilken grad måluppfyllelse har nåtts och om dessa mål är
förenliga med de mål fullmäktige har beslutat om i budgeten för
perioden.
3. Objekt
Målformulering och uppföljning på de fyra olika beslutsnivåerna;
kommunfullmäktige, kommunstyrelse, nämndsnivå samt verksamhetsnivå.
Utvärderingen sker för första gången i samband med delårsrapporten den 31
augusti 2005.

4. 4(9)
4. Effektproblemet
Hur isolerar vi på ett bra sätt det vi ska mäta? Genom att vi utgår från
dokumenterade måldokument, uppdragsplaner och verksamhetsplaner på de
tre olika nivåerna kan de olika målen specificeras. Detta kombinerar vi med
intervjuer beslutsfattare och förvaltningschefer på alla fyra undersökta
nivåerna.
Eftersom granskningen av dokument kombineras med intervjuer erhålls en
ökad förståelse för hur målformuleringen sker på de olika nivåerna.
Vad ska mätas? Vi avser att mäta graden av måluppfyllelse i förhållande till
de uppställda målen. Ett problem är att kommunala mål inte alltid går att
kvantifiera eller mäta. Även dessa iakttagelser kan vara värdefull
information vid utvärdering. Det kan ge impulser till omformulering av
målen så att de blir utvärderingsbara.
Allmänt formulerade mål kan aldrig fungera som styrande mål för
verksamheten. För att målstyrning ska kunna fungera som styrningsform
krävs en starkare inriktning mot resultatstyrning. Målen måste anges i form
av önskvärda resultat och på ett sådant sätt att måluppfyllelsen går att mäta.
Därför måste även resultatmått utvecklas. (Henning, Roger, 1991,
Målstyrning och resultatuppföljning i offentlig förvaltning, Rapport till
expertgruppen för studier i offentlig ekonomi, s 80-ff).
På vilket sätt har de uppställda målen bidragit till det observerade resultatet?
Vad ska det jämföras med? Vilka andra oönskade effekter medför
resultatet? Utvärdering är inte enbart effektanalys (Vedung 1998 s.28). Det
är inte självklart att ledningen vill målstyra vilket i sig är ett hinder för
framgång, liksom chefernas utbildning och kompetens kan vara ett hinder
för införande av målstyrning i offentlig sektor (Rombach 1991 s.52).
Syftet för verksamheter i det privata näringslivet är att tjäna pengar och
därför kan den faktiska effektiviteten ofta avläsas i form av vinst på
investerat kapital. Vinstbegreppet har på så sätt fått legitimitet inom den
privata sektorn.
När det gäller den offentliga sektorn och äldreomsorgen så kan graden av
måluppfyllelse inte avläsas i pengar. Den faktiska effektiviteten kan endast
analyseras genom att ta reda på hur äldre människors behov ser ut och om
de insatser som erbjuds medför att behoven tillgodoses och att därmed syftet
med verksamheten uppnås (Sandell, Göran – Berglund, Monica, 1991,
Bedriver vi en effektiv verksamhet? - Modell för integrerad utvärdering,
Svenska kommunförbundet, Älvsjö: Kommentus förlag AB,s. 18-ff).
Det slutliga avgörandet om människor får god vård och omsorg är om de
äldre får adekvat omsorg och kan leva ett värdigt liv. Kvalitet i ett sådant
perspektiv måste därför alltid i första hand bedömas utifrån kunskaper om
den faktiska effektiviteten, eftersom kvalitet inom välfärden ytterst handlar
om människors livskvalitet (Sandell-Berglund, 1991 s 38). För att kunna
utvärdera äldreomsorgen kommer därför användarenkäterna att
sammanställas och analyseras på grupp- och verksamhetsnivå. Både
verksamhetens inre och yttre effektivitet kommer att utvärderas.

5. 5(9)
En viktig förutsättning för att kunna göra en bedömning av om de uppställda
målen verkligen bidragit till det uppnådda resultatet är att analysera
effekterna under flera år (Vedung 1998 s.138). Därför kommer
utvärderingen att genomföras för första gången i augusti 2005 och därefter
rekommenderas att årliga utvärderingar av måluppfyllelsen inom
äldreomsorgen genomförs.
5. Organisering och metod
Utvärderingen genomförs av två sakkunniga revisionskonsulter.
Vår intention är att utvärderingen ska genomföras med beaktande av
oberoende och etik eller som (Lundahl – Öqvist 2002 s.70) uttrycker det;
”unbiased”…icke präglad av enskilda syften, icke tendensiös, rättvis.
Vi avser att tillämpa en måluppfyllelsemodell enligt (Vedung 1998 s. 51).
Kriteriet på att det är en måluppfyllelsemodell är att programmets mål utgör
utvärderingens logiska organiserade princip (Vedung 1998, s 98).
Vid måluppfyllelseutvärdering undersöks om de resultat som insatsen
producerat motsvarar de institutionaliserade insatsmålen (Dahlgren &
Lindkvist 1976, III:23). Enligt (Lane 1987 s.527-546) innehåller modellen
två aktiviteter; 1. klarläggande av insatsmål (målfunktionen) och 2.mätning
av måluppfyllelse (måluppfyllelsefunktionen). I inslaget ”effektmätning”
försöker utvärderaren belägga på vilket sätt insatsen har bidragit till
måluppfyllelsen i utfallsledet (kausalitetsfunktionen).
Enligt (Vedung 1998 s.53-54) finns det starka argument som talar för
modellen ur ett demokratiskt perspektiv. Den förda politikens egna officiella
mål har i konstitutionell ordning fastställts i beslutande församlingar av
folkets representanter. De är institutionaliserade och offentligt fastlagda och
har därmed en annan status och legitimitet än övriga intressenters mål och
förväntningar. Målen har dessutom kommit till under ansvar. I
förlängningen av denna uppfattning om den parlamentariska styrkedjan
finns det djupt rotade idealet att förvaltningen skall vara de valda
politikernas lydiga redskap oavsett vad tjänstemännen personligen må tycka
om den förda politiken.
Inledningsvis sker en insamling av måldokument, budget, reglementen,
policydokument samt en inventering av den lagstiftning som reglerar
verksamheten.
Därefter genomförs strukturerade intervjuer (Lundahl - Skärvad 1982 s. 73)
med beslutsfattare på de olika nivåerna, kommunfullmäktiges ordförande,
kommunstyrelsen, övriga nämnders ordförande, förvaltningschefer och
enhetschefer med utgångspunkt från de mål och verksamhetsmått som
identifierats.
Intervjuunderlaget utformas så att intervjun inleds med respondentens
uppfattning om verksamhetens mål och mått för att validera de
dokumenterade och uttalade målen och måtten. Ibland skiljer sig de angivna
målen från de verkliga målen (Drucker 1976 s 12-19, Sherwood och Page
1976 s 493-511). Detta kan enligt (Rombach 1991, s 47) betraktas som en

6. 6(9)
oklarhet hos målen och en fokusering på de angivna målen leder i dessa fall
åt fel håll när det gäller målformulering.
Utvärderingen bygger på ett uppifrånorienterat synsätt (Rothstein 2003 s.24)
d v s vi utgår från de av kommunfullmäktige beslutade målen som resultatet
av en parlamentarisk och demokratisk process. I Demokrati och utvärdering
(Magnus Dahlberg & Evert Vedung, 2001 s 82) sammanfattar Krogstrup
(1997c:58) det uppifrånorienterade synsättet i fem logiska steg:
1. Politikerna anger överordnade mål och anvisar en ekonomisk ram för
implementering av dem.
2 Innanför denna ram definierar ledningen kriterier och standarder för när
målen är uppfyllda. Kriterier definieras som operationella mål för kvalitet
medan standarder är uttryck för vilken kvalitet som är acceptabel.
3 Kriterierna skrivs om till ett frågeschema till brukarna, som i en
kvantitativ mätning skall ange i vilken grad de finner insatsen
tillfredsställande. Standarder uttrycks därvid ofta som procent. Om
standarden är 70 procent betyder det att 70 procent av brukarna skall vara
tillfredsställda med den kvalitet som bjuds.
4 Mot bakgrund av en mätning av brukarnas tillfredsställelse identifieras om
det föreligger ett kvalitetsgap mellan ledningens kvalitetskriterier och
brukarnas kvalitetsvärdering.
5 Med utgångspunkt i ledningens överordnade kvalitetsmål och brukarnas
kvalitetsvärdering anmodas medarbetarna att definiera operationella mål för
att eliminera kvalitetsgapet.
Målen identifieras via måldokument och intervjuer. Därefter klassificeras
och sorteras verksamhetsmålen och en bedömning sker hur de uppfyller
kraven enligt SMART-modellen. Inventeringen av mål genomförs på alla
organisationsnivåer.
Utifrån resultatet av de insamlade målen görs avstämning och bedömning
hur väl målbilden stämmer överens vertikalt i organisationen. Parallellt med
insamling och identifiering av mål inventeras även vilka verksamhetsmått
som används vid utvärdering av verksamheten på de olika
organisationsnivåerna och hur ofta uppföljningar genomförs. Även
verksamhetsmåtten klassificeras och sorteras.
För att mäta graden av måluppfyllelse utifrån ett brukarperspektiv så
genomförs en brukarenkät. Brukarenkäten utformas utifrån de
verksamhetsmål som kommunen har formulerat. Därefter utvärderas hur
verksamhetsmåtten och den uppföljning av verksamheten som genomförs på
de olika nivåerna i organisationen mäter graden av måluppfyllelse.
Dahlberg & Vedung (2001, s 83) skriver vidare att måluppfyllelsemodellen
beaktar i och för sig brukarattityder men blir fördenskull inte en
brukarorienterad utvärdering i bemärkelsen att brukarnas värdekriterier och
värdestandarder får bilda utgångspunkt för den noggranna bedömningen av
servicen.

7. 7(9)
Om resultatet av brukarenkäten väsentligt avviker från den målbild som
kommunen har formulerat förslår vi att; en utvärdering utifrån ett nerifrån
perspektiv genomförs i ett senare skede, för att identifiera brukarnas behov
och utifrån resultatet eventuellt omvärdera målbilden i äldreomsorgen.
(Rothstein 2003 s.25) beskriver skillnaden i uppifrån- och
nerifrånperspektiv med att det förstnämnda tar sin utgångspunkt i
beslutsfattarnas avsikter, medan nerifrånperspektivet istället utgår ifrån
tillämparnas handlande.
För att utvärdera kostnadseffektivitet och produktivitet genomför vi en
bench-marking studie med demografisk jämförbara kommuner enligt
Svenska kommunförbundets statistik i ”Vad kostar verksamheten i din
kommun? Bokslut 2003”.
6. Kriterieproblemet
De kriterier som används i utvärderingen är formulerade mål och
verksamhetsmått på de olika organisationsnivåerna.
De olika målen identifieras och kategoriseras utifrån de olika perspektiven,
såsom politiska, ekonomiska, demokratiska, kvantitativa, kvalitativa samt
styrande eller stödjande. Utvärderingen är en deskriptiv analys av
måluppfyllelsen.
Som värdekriterier kommer vi att använda oss av effektivitetsbedömning
kombinerat med kontextuella värden som rättsäkerhet och demokrati. För att
komplettera måluppfyllelsemodellen och utvidga det demokratiska
perspektivet utformar vi en brukarenkät utifrån de identifierade målen för att
kartlägga brukarattityder.
7. Beställare
Kommunrevisionen.
8. Användare och spridning
Enligt (Vedung 1998 s.54) kan måluppfyllelseutvärdering tyckas vara
livsviktig i ett medborgerligt demokratiskt perspektiv. De ursprungliga
reformmålen blir lätt föråldrade och resultatet av en utvärdering gentemot
dem riskerar att blir ointressant för politikerna. Men för medborgarna och
deras ansvarsutkrävande blir en sådan utvärdering ändå av vikt. Om
förskjutningen sker i byråkratin eller längre ner i genomförandeprocesserna
och verksamheten på detta sätt ändrar inriktning, blir utvärdering mot
föråldrade mål ointressant för byråkratin eller implementerare längre ner,
men högst intressant för medborgare och politiker, eftersom myndigheter
och andra implementerare i någon mån är deras ombud och exekutiver.
Utvärderingen presenteras i en muntlig och en skriftlig revisionsrapport för
de politiskt valda revisorerna. Revisionsrapporten tillsammans med förslag
på åtgärder offentliggörs och tillsänds kommunfullmäktige för kännedom
och kommunstyrelsen samt berörda nämnder för kännedom och förslag på
handläggning.

8. 8(9)
Revisionsrapporten diarieförs i kommunens diarium samt publiceras på
kommunens hemsida under rubriken revision och blir därmed tillgänglig för
allmänheten.
”Utvärderingen är emellertid inte bara till gagn för moderna furstar. Den
kan även ställas i oppositionens, medborgarnas och brukarnas tjänst.”
(Vedung 1998 s.20)
Referenslitteratur:
Dahlberg, Magnus – Vedung, Evert, 2001. Demokrati och
brukarutvärdering. Lund:Studentlitteratur
Lundahl, Christian – Öquist, Oscar, 2002. Idén om en helhet utvärdering på
systemteoretisk grund. Lund:Studentlitteratur
Lundahl, Ulf – Skärvad, Per-Hugo, 1982. Utredningsmetodik för
samhällsvetare och ekonomer. Lund:Studentlitteratur
Lundquist, Lennart, 1998, Demokratins väktare. Lund:Studentlitteratur
Pihlgren, Gunnar – Svensson, Arne, 1991, Målstyrning: 90-talets
ledningsform för offentlig verksamhet, Malmö:Liberekonomi
Rombach, Björn, 1991.Det går inte att styra med mål!.
Lund:Studentlitteratur
Rothstein, Bo, 2003. Politik som organisation. Tredje upplagan.
Angered:Författarna och SNS förlag
Svenska kommunförbundet – Statistiska centralbyrån SCB – Ekholm, Hans-
Pettersson, Alf, 2004. Vad kostar verksamheten I din kommun?, Bokslut
2003. Svenska kommunförbundet
Vedung, Evert, 1998. Utvärdering i politik och förvaltning. Andra upplagan.
Lund:Studentlitteratur
Publikationer:
Dahlgren, Jörgen – Lindkvist, Lars, 1976, Programorienterad utvärdering.
Lund:Stiftelsen för information om ekonomisk forskning
Drucker, P F, 1976, What results should you expect? A users guide to MBO,
Public Administration Review, vol 36, nr 1
Henning, Roger, 1991, Målstyrning och resultatuppföljning i offentlig
förvaltning. Rapport till Expertgruppen för studier i offentlig ekonomi
Lane, Jan-Erik, 1987, ”implementation, accountability, and Trust”.
European Journal of Political Research, 15, nr 5, 527-546

9. 9(9)
Sherwood, F P – Page, Jr, W J, 1976, MBO and public management. Public
Administration Review, vol 36, nr 1
Sandell, Göran – Berglund, Monica, 1991, Bedriver vi en effektiv
verksamhet? - Modell för integrerad utvärdering, Svenska
kommunförbundet, Älvsjö: Kommentus förlag AB