Oppgavegiveren: Show cards implications for survey response
Rammeverk: ISO20252 - ett stöd i SCBs kvalitetsarbete
1. ISO 20252
ett stöd i SCB:s
kvalitetsarbete
Åke Pettersson
SCB
augusti 2013
2013-08-15 1
Nordiska statistikermötet
2. Vad menas med Kvalitet?
• I vardagen handlar "kvalitet" om var på
skalan ”dålig – ganska bra – utmärkt” en
kund anser att en viss produkt (vara eller
tjänst) ligger i jämförelse med andra
liknande produkter
2013-08-15 3
Nordiska statistikermötet
3. Kvalitetsramverk i stort och smått
• FN:s grundläggande principer
• European Statistics Code of Practice
• ISI declaration on professional ethics
• EU-regleringar
• NSI egna kvalitetspolicy
• ISO 20252
• Kvalitetslednings- och Kvalitetssäkringssystem
• Beskrivning av statistiken
• Arbetsrutiner
2013-08-15
Nordiska statistikermötet
4
5. Varför vill SCB arbeta enligt ISO 20252?
• Krav från regeringen att statistikproduktionen ska vara
kvalitetssäkrad och -kontrollerad
• ISO 20252 är en kvalitetsstämpel som kan kommuniceras till
kunder och användare
• Branschorganisationen för marknadsundersökare (SMIF)
rekommenderar sina medlemmar att certifieras
• Större delen av europeiska Code of Practice uppfylls om vi
följer ISO 20252 eftersom många krav är gemensamma
• en av komponenterna i SCB:s ledningssystem
• en del av målet för SCB:s verksamhetsutveckling
• 10 mars 2008 togs GD-beslut om att SCB ska arbeta mot en
certifiering
716 december 2011
Infomationsmaterial om ISO 20252
6. ISO 20252
Standard för marknads-, opinions- och samhällsundersökningar
• Krav på viktiga delar i statistikproduktionen
• ISO 20252 beskriver vad – inte hur
• Kvalitetsmanual för ISO beskriver hur – på en översiktlig nivå
• Verksamhetsstödet beskriver hur – och tillhandahåller stöd
(t.ex. verktyg, checklistor)
• Produktspecifik dokumentation (arbetsrutinbeskrivningar)
beskriver hur – i detaljnivå
2013-08-15 8
Nordiska statistikermötet
7. ISO 20252 ur ett
fågelperspektiv
Kunden ska känna sig trygg med att vi gör jobbet så:
• Att de får vad de beställt och i tid
• Att vi gör det vi kommit överens om
• Att vi gör rätt (undviker misstag)
• Att vi använder metoder etc. som ger god
kvalitet i förhållande till kostnaden
• Personalen som gör jobbet har tillräcklig
kompetens
2013-08-15 9
Nordiska statistikermötet
8. Exempel på kundnytta I
För avtal om uppdrag:
• SCB har ansvar för att kundens krav uppfattats
korrekt
• Specificera i offerten hur viktiga moment kommer
att genomföras. (Viktiga för kostnad och kvalitet)
• Redovisa om kundens krav inte uppfylls
• Ange tydligt vad som ska levereras till kunden
• Priset ska ges på ett entydigt sätt
• Alla överenskommelser med kunden ska vara
skriftliga. Gäller även överenskommelser som inte
finns i avtalet
• Kontrollera att resurser finns för att utföra
uppdraget innan offert lämnas
1116 december 2011
Infomationsmaterial om ISO 20252
9. Exempel på kundnytta II
Kunden kan vara delaktig i undersökningen:
• Kunden ska ges möjlighet att delta i utformning av
frågeformulär
• Kunden kan vara observatör vid datainsamlingen
om respondenten godkänner det
• Om kunden önskar ska kunden få se kodlistor och
metoder som används för att analysera data
• Kunden ska konsulteras om hur resultaten ska
presenteras
1216 december 2011
Infomationsmaterial om ISO 20252
10. Exempel på kundnytta III
Kontroller av att arbetet utförs korrekt.
Gäller moment som riskerar ge stora brister i
statistikens kvalitet:
• databearbetningar utförs på ett sätt som minimerar
felaktigheter
• dataöverföringar blir korrekta
• kontroll av kodningar
• kontroll av hur intervjuer genomförs
• kontroll av inskanning och manuell registrering av
data från pappersenkäter
• kontroll av att leveransen är korrekt och fullständig
1316 december 2011
Infomationsmaterial om ISO 20252
11. Exempel på kundnytta IV
Krav på att kundklagomål tas om hand. SCB ska:
• identifiera orsakerna till klagomål
• lösa problemet
• förhindra upprepning
1416 december 2011
Infomationsmaterial om ISO 20252
12. Mättekniska test av frågeformulär
Varför? Minskar mätfel
• Tydliga frågor – tolkas rätt
• Tydlig information (missiv, instruktioner)
• Lättare att svara mindre uppgiftslämnarbörda, mindre bortfall
• Inga logiska fel (t ex i hoppinstruktioner)
Vilka formulär?
• Nya och ändrade
• Enkäter och intervjuer
Hur ?
• 4 olika typer/ambitionsnivåer
• Beskrivs hur man ska välja i VST 3.4
• Enklaste/billigaste är snabbgranskning
Vem?
• Mättekniker på PCA/MÄT
2013-08-15 16
Nordiska statistikermötet
13. Medlyssning av intervjuer
Varför? Minskar mätfel
• Validera (kolla) att intervjuerna genomförts på rätt
sätt
• Frågorna ställs på det sätt som bestämts
• Korrekt information
• Hitta otydliga frågor
Vilka intervjuer gäller det?
• Alla intervjuundersökningar
• Inte återkontakter eller kompletteringar för
enkätundersökningar
Hur ?
• Intervjuerna spelas in. Annan person lyssnar och
utvärderar. Minst 5% av intervjuerna utvärderas.
2013-08-15 17
Nordiska statistikermötet
14. Validering och kontroll av andra
moment
Varför? Minskar fel, grund för förbättringar
Manuella moment
• Dataregistrering av pappersformulär
• Kodning av uppgifter
Maskinella moment
• Scanning av pappersformulär
• Elektronisk datainsamling
• Import och överföring av data
2013-08-15 18
Nordiska statistikermötet
15. Sekretess och röjandekontroll
Styrs av sekretesslagen
ISO kräver:
• det ska finnas en procedur för att minimera risken
för röjande, och garanterar anonymitetsskydd för
uppgiftslämnarna, dvs bl a röjandekontroll
• proceduren ska användas – och man ska kunna
visa det
2013-08-15 20
Nordiska statistikermötet
16. Kvalitetsrevisioner
• Kontrollera att ledningssystemet fungerar och
efterlevs
• Kontroll av att arbetet utförts i enlighet med
arbetsrutinbeskrivningar
• Fångar upp avvikelser, förbättringsförslag och
goda exempel
• Avvikelser ska åtgärdas – ska inte upprepas
2013-08-15 21
Nordiska statistikermötet
18. Certifieringsprocessen
• Innan certifiering måste SCB ha arbetat enligt ISO
20252 i minst 3 månader
• Ett externt certifieringsorgan gör en
stickprovskontroll av 8 undersökningar/ produkter
för att se att de följer ISO-kraven
• Certifieraren får tillgång till SCB:s kvalitetsmanual
för ISO 20252 samt annan dokumentation av
arbetet
• Certifieraren besöker både Stockholm och Örebro
• En fullständig revision görs minst vart 3:e år
• Mindre uppföljningsrevisioner görs varje år
2316 december 2011
Infomationsmaterial om ISO 20252
19. Erfarenheter från fem års arbete
med kvalitetsarbete
• Använda ett ramverk för att checka av krav i ett
förbättringsarbete har stora fördelar
• Viktiga projekt genomdrevs
• Sedan tidigare påtalade brister minimerades, t.ex.
förtest av frågeformulär, röjandekontroll och
variansberäkningar
• Det tar lång tid att anpassa en organisations
arbete till ett nytt arbetssätt. Det lätt att vara för
optimistisk
2013-08-15 25
Nordiska statistikermötet
20. Erfarenheter från fem års arbete
med kvalitetsarbete
• Regeringens krav på särskild rapportering har
underlättat
• Högsta ledningens engagemang är viktigt
• Regelbundna uppföljningar har drivit arbetet framåt
• Engagera många personer ute i organisationen – i
vårt fall chefer, kvalitetscoacher och
kvalitetsrevisorer
2013-08-15 26
Nordiska statistikermötet
21. ”Det är vägen, som är
mödan värd.”
Karin Boye
2013-08-15
Nordiska statistikermötet
28