Brukererfaringskunnskap basert på nasjonale brukererfaringsundersøkelser, Øyvind Andresen Bjertnæs, Kunnskapssenterets årskonferanse 2014, Oslo 5. juni 2014

1. Kunnskapsesenterets
nye PPT-mal
Øyvind Andresen Bjertnæs, Forskningsleder
Seksjon for brukererfaringsundersøkelser
Brukererfaringskunnskap basert på
nasjonale brukererfaringsundersøkelser
Årskonferanse, 05.juni 2014

2. November 13, 2014 2
Seksjon for brukererfaringsundersøkelser
1. Nasjonale brukererfaringsundersøkelser
(PasOpp)
2. Fastlegers vurderinger av distriktspsykiatriske
sentre
3. Norsk del av Commonwealth Funds
internasjonale helsesystemundersøkelser
4. Befolkningsundersøkelser om pasientsikkerhet
og kvalitet
5. Metoder og undersøkelser relatert til
brukerrapporterte utfallsmål

3. November 13, 2014 3
Innhold
1. Bakgrunn
2. Kort om metoder
3. Utvalgte resultater på nasjonalt nivå
4. Nye trender
5. Avslutning

4. Kunnskapsesenterets
nye PPT-mal1. Bakgrunn

5. Økt fokus på brukerperspektivet
 Autonomi, valgfrihet og
juridiske krav
 Brukererfaringer integrert
del av nasjonale og
internasjonale
kvalitetsmodeller
 Positiv sammenheng
mellom brukererfaringer,
pasientsikkerhet og effekt
 Potensial for lavere
kostnader
November 13, 2014 5
1815
2862
4342
6563
0
1000
2000
3000
4000
5000
6000
7000
1995 2000 2005 2010
Antall treff i PubMed:
Patient satisfaction
publication year

6. The NHS Outcomes Framework 2012/13
November 13, 2014 6
https://www.gov.uk/government/publications/nhs-outcomes-framework-2012-to-2013
https://www.gov.uk/government/publications/nhs-outcomes-framework-2012-to-2013

7. Begrepsforvirring
 Brukertilfredshet
 Brukerperspektiv
 Brukermedvirkning
 Brukererfaringer
 ”Health system
responsiveness”
 Brukerorientering
November 13, 2014 7

8. Picker Institute’s definisjon
November 13, 2014 8

9. Brukerorientering måles ofte ved hjelp av
brukererfaringsundersøkelser
 Viktige kompetanse-
områder:
– Brukerorientering
– Kvalitative metoder
– Surveymetodikk
– Psykometri
– Kvalitetsindikatorer
– Statistikk
November 13, 2014 9

10. Måling av brukererfaringer
 Fokus på brukerrapporterte erfaringer, ikke
tilfredshet
 Fokus på brukererfaringer, ikke klinisk kvalitet
 Brukerprioriteringer som basis for
måledimensjoner
 Multidimensjonalt
 Metodetriangulering:
– Kvalitative metoder i utvikling og dybdeanalyser
– Kvantitative metoder i måling og validering
November 13, 2014 10

11. Nasjonale brukererfaringsundersøkelser
(www.pasopp.no)
 Spørreskjemaundersøkelser om brukererfaringer, som
grunnlag for:
– Faglig kvalitetsforbedring
– Virksomhetsstyring
– Fritt sykehusvalg
– Åpenhet om helsetjenestens resultater
 Nasjonale undersøkelser i 2014:
– Somatiske sykehus (samme som 2011-2013)
– Tverrfaglig spesialisert rusbehandling (samme som 2013)
– Psykisk helsevern døgn (ny)
– Brukererfaringer med fastleger (del av utviklingsprosjekt)
– Fastlegers vurdering av distriktspsykiatriske sentre (06, 08, 11)
November 13, 2014 11

12. Kunnskapsesenterets
nye PPT-mal2. Kort om metoder

13. November 13, 2014 13
Standard datainnsamlingsprosedyrer i nasjonale
brukererfaringsundersøkelser i Norge
 Tilfeldig trekking av 400 brukere per institusjon i en 3-
måneders periode
 Uttrekk fra pasientadministrative systemer med FS-systemet:
– Kontaktinformasjon (for å sende ut spørreskjema)
– Demografiske data, oppholdsdata og medisinske data (for
frafallsvekting, case-mix og andre analyser)
 Postale spørreskjemaer sendes ut noen uker etter
konsultasjon/opphold, mulighet for elektronisk svar i noen
undersøkelser
 1-2 postale purringer på de som ikke svarer
 Telefonintervju av tilfeldig utvalg ikke-svarere
– For å undersøke om det er forskjell i erfaringer mellom svarerne
og ikke-svarerne

14. November 13, 2014 14
Svarprosent og frafallsskjevhet
57
46
52
35
0
10
20
30
40
50
60
Inpatients
hospital 2012
Inpatients
hospital 2011
Cancer patients
2009
Psychiatric
outpatients 2007
Svarprosent i nasjonale
undersøkelser i Norge - eksempler
 Bruk vekter for å kompensere for
frafall, basert på analyse av
svarsannsynligheter
 Oppfølgingsstudier av ikke-
svarere (Guldvog et al. 1997):
 Journalgjennomgang og
telefonintervju i tilfeldig utvalg på
285 pasienter som ikke hadde
svart
 Svarere og ikke-svarere gir
omtrent samme tilbakemelding,
men kan ikke generalisere til:
 de sykeste
 de med størst funksjonssvikt
 de som ikke har fast
bopeladresse
 de som ikke kan norsk godt nok
 Svarprosent er en dårlig indikator
på datakvalitet

15. November 13, 2014 15
Standardmodell - utvikling og validering av skjema
spørsmålsutvikling
skalering av spørsmål
testing av spørsmål
reliabilitet
validitet
 litteraturgjennomgang, kvalitative
intervjuer, referansegruppe
 innholdsvaliditet
 5-punkt skalaer
 testing av skjemaet ved intervju
 pilotundersøkelse
– datakvalitet - manglende svar
– dimensjoner - faktoranalyse
 intern konsistens
 test-retest
 teori og forskning
 generell tilfredshet, forventinger, negative
hendelser

16. Kunnskapsesenterets
nye PPT-mal
3. Utvalgte resultater
nasjonalt nivå: sykehus

17. Hovedresultater 2011 og 2012
November 13, 2014 17

18. Pasientopplevd feilbehandling på sykehus i
2011(n=10,139)
November 13, 2014 18
2 2,6
7,4
11,3
76,7
0
10
20
30
40
50
60
70
80
90
Svært stor
grad
Stor grad I noen grad I liten grad Ikke i det
hele tatt
Feilbehandling (%) -
nasjonalt nivå
2,5
12
19,2
0
5
10
15
20
25
Beste sykehus Snitt Dårligste sykehus
Feilbehandling (%) på
sykehusnivå - svært stor,
stor eller i noen grad

19. Sykehus 2011: kvalitative data
 Åpent kommentarfelt til slutt i skjemaet (ca. hver
tredje skrev noe)
 Øker forståelsen av kvantitative resultater, gir
informasjon om viktige temaer og mulige tiltak
 Kvalitative kommentarer i PasOpp 2011 –
pasientopplevd pasientsikkerhet
– Bivirkninger, komplikasjoner, skader eller feil, ventetid på diagnose eller
behandling, feil diagnose eller behandling for sent, feil i journalen, at
henvisningen ikke hadde kommet frem til rette vedkommende, behov for
reoperasjon, leger som ikke hadde lest journalen eller satt med feil journal, prøver
på avveier, utilstrekkelige prøver, sykehusinfeksjoner, pleiepersonale som slurver
med håndvask og skift av klær og sengetøy med blod eller urin og feil ved teknisk
utstyr
– ”Jeg reagerer på at sykepleier ga meg medisin som pasienten på naborommet
skulle ha, ufarlig men dog”.
– ”Sendt hjem fra sykehuset for tidlig, noe som resulterte i to nye innleggelser.”
November 13, 2014 19

20. November 13, 2014 20
Cluster
54321Outlier Cluster
Overallsatisfaction
5,00
4,50
4,00
3,50
3,00
2,50
Simultaneous 95% Confidence Intervals for Means
Reference Line is the Overall Mean = 4,25
Cluster
54321Outlier Cluster
Benefitoftreatment
5,00
4,50
4,00
3,50
3,00
2,50
Simultaneous 95% Confidence Intervals for Means
Reference Line is the Overall Mean = 3,99
Cluster
54321Outlier Cluster
Malpractice
5,00
4,00
3,00
2,00
1,00
Simultaneous 95% Confidence Intervals for Means
Reference Line is the Overall Mean = 4,63
Sykehus 2011: Negative responsgrupper
Bjertnaes et al. Classification of patients based on their evaluation of hospital outcomes: cluster
analysis following a national survey in Norway. BMC Health Serv Res. 2013 Feb 21;13(1):73.
18.5%18.5%
5.3%5.3%

21. Pasientenes kommentarer – forslag til forbedringer
Synes sykehuset kan
moderniseres – tror jeg nok
alle ville sette pris på
Hvis jeg skulle ønske meg
en forbedring måtte det
være at bad/toalett ikke
var på gangen, men
knyttet til pasientrommet
Mer personal – bedre renhold
Raskere oppfølging av
pleiepersonell. De er for
trege når en trenger hjelp
Høre på pasienten om
tidligere relevante forhold
før innleggelsen
Sykepleierne virket ofte
uinteresserte, kanskje fordi jeg
hadde et kort opphold
Kunne vært et bedre utvalg av
mat og hadde vært greit om
personalet kunne tilbudt å hente
mat til deg når du var for dårlig
til å hente selv
Jeg synes ikke jeg fikk
oppfølging angående min
sykdom. Svaret var at jeg
måtte vente på legen, som
jeg fikk snakke med
samme dag (timen) før jeg
ble sendt hjem
Renholdet må bli bedre
Kommunikasjon
lege/pasient bør bedres.
Kommunikasjon er
nøkkelen til det meste
og uro
Pleiere kan hilse på nye pasienter og
spørre hvordan det står til i løpet av
oppholdet. Det er ikke bare prøvene
som gir svar, men også pasientens
oppfattelse. Hvor er
medmenneskeligheten, ett nikk og et
vennlig ord hjelper godt på utrygghet
og uro
ringing
Økt bemanning på
sengepost – for få pleiere,
alt for lang responstid på
ringing

22. Avdelingsnivå – eksempel fra PasOpp 2012
66,9
67,5
67,9
78,1
78,6
79,1
81,3
81,4
84,2
96,5
60,7
46,3
67,0
64,9
62,8
75,8
73,1
72,3
87,7
Samhandling
Utskriving
Ventetid
Standard
Informasjon
Organisering
Pårørende
Legene
Pleiepersonalet
Pasientsikkerhet
MED KIR
Indikator Antall Gjennomsnitt Standardavvik t sig
KIR MED KIR MED KIR MED
Informasjon 118 74 66,9 60,7 19,2 25,5 4,0 0,000
Pleiepersonalet 120 76 67,5 46,3 14,2 19,9 4,5 0,000
Legene 115 77 67,9 16,6 22,0 2,8 0,006
Organisering 118 77 78,1 67,0 15,2 22,1 5,7 0,000
Pårørende 67 65 78,6 64,9 17,5 24,5 1,5 0,134
Standard 118 77 79,1 62,8 13,6 20,5 4,2 0,000
Samhandling 54 41 81,3 75,8 31,7 31,1 1,0 0,341
Utskriving 104 64 81,4 73,1 28,1 33,8 4,2 0,000
Ventetid 106 0 84,2 72,3 23,9
Pasientsikkerhet 115 71 96,5 87,7 13,2 26,3 2,6 0,000

23. Ressurser til forbedringsarbeid - eksempel
November 13, 2014 23

24. Kunnskapsesenterets
nye PPT-mal
4. Nye trender

25. Kvalitetsbasert finansiering og pasienterfaringer
November 13, 2014 25
http://www.cms.gov/Medicare/Quality-Initiatives-Patient-Assessment-Instruments/hospital-value-based-purchasing/

26. Nasjonale retningslinjer og standarder for
pasienterfaringer
November 13, 2014 26

27. November 13, 2014 27
Pasientevaluering – ikke bare brukererfaringer
 Patient centredness:
 Patient Reported
Experiences (PREs)
 Effectiveness:
 Patient Reported
Outcomes (PROs)
 Safety
 Patient Reported
Incidents(PRIs)

28. Internett, sosiale media og brukererfaringer
 Kvalitetsinformasjon på
Internett inkludert online
ratings
 Internettbaserte tjenester
 Informasjonssystemer om
sykdom og behandling
inkludert “crowdsourcing”
 BMJ Quality & Safety
Editorial:
– Rozenblum R, Bates DW. Patient-centred healthcare,
social media and the internet: the perfect storm?
BMJ Qual Saf. 2013 Mar;22(3):183-6. doi:
10.1136/bmjqs-2012-001744
November 13, 2014 28

29. Kunnskapsesenterets
nye PPT-mal5. Avslutning

30. Avslutning
 Brukererfaringer er en viktig del av mange vestlige
kvalitetsmodeller
 Måling av brukererfaringer er komplekst og krever
metodetriangulering og anvendt forskning
 Flere forbedringsområder når det gjelder
brukererfaringer i Norge
 Mange ressurser tilgjengelig til forbedringsarbeid om
brukererfaring
 Systemet og kulturen må understøtte viktigheten av
brukererfaringer
November 13, 2014 30