Relazione sulle principali caratteristiche delle tecniche di SPC, sull'utilizzo delle carte di controllo e, in particolare, dei grafici ad imbuto per porre a confronto istituzioni sanitarie.

1. Università degli Studi di Firenze
Corso di Laurea Magistrale in
Statistica, Scienze Attuariali e Finanziarie
Statistical Process Control:
utilizzo dei funnel plot per il
confronto tra istituzioni
Elena Nannipieri
Analisi Statistica dei Dati Socio-Sanitari
AA. 2013/2014

2. Sommario
1) Origini e metodi di Statistical Process Control
2) Le carte di controllo: tipologie e caratteristiche
3) I funnel plot come strumento di confronto tra istituzioni
 Componenti di un funnel plot
 Limiti di controllo
 Aggiustamento per il rischio
 Dati di variazione
 Relazione con il volume
 Il problema della sovradispersione

3. Statistical Process Control
Lo Statistical Process Control (SPC) è una
metodologia che fa ricorso a tecniche statistiche al
fine di definire, analizzare e verificare le
condizioni che determinano la variabilità di un
processo produttivo.
La qualità di un processo è inversamente
proporzionale alla sua variabilità.
SCOPO DELLO STATISTICAL PROCESS CONTROL:
migliorare la qualità di un processo,
minimizzando le cause di variabilità.

4. Origine del SPC
 Primi anni Venti
Walter Shewart
La variazione nei processi produttivi può
essere compresa e controllata con l’utilizzo
di metodi statistici.
 1924: Shewart sviluppa il concetto
statistico di «carta di controllo»
Inizio formale del controllo statistico
della qualità.
I metodi di SPC sono stati utilizzati prevalentemente nel
controllo industriale della qualità, ma recentemente il
loro impiego si è esteso anche alla pratica sanitaria.

5. Cause di variabilità dei processi
Ogni processo produttivo è soggetto a variabilità.
 CAUSE COMUNI:
‐ sorgono in modo casuale durante il normale
svolgimento del processo produttivo;
‐ insite nella variabilità del processo produttivo.
 CAUSE SPECIALI:
‐ dovute ad eventi occasionali;
‐ non inerenti al processo produttivo.
Un processo si dice «sotto controllo» se è affetto solo
da cause di variazione comuni. Se si verificano cause
speciali, il processo si dice «fuori controllo».

6. Processi sotto-controllo e
fuori-controllo
Il processo è in controllo fino a t1 ;
da t1 in poi subentrano fattori specifici
che portano il processo fuori controllo.
OBIETTIVO DEL SPC :
eliminare le cause speciali di variazione.

7. Carte di controllo
Limiti di controllo (superiore e
inferiore): se il processo è «sotto
controllo» la gran parte dei punti
sta tra questi limiti.
Media della caratteristica di
qualità, corrispondente al
valore desiderato quando il
processo è «sotto controllo»
La carta di controllo è la rappresentazione grafica di una
caratteristica di qualità di un processo, con riferimento a dei
limiti di controllo che tengono conto della variabilità naturale
del processo preso in esame.

8. Le carte di controllo di Shewart
Tipi di carte
Tipo di dati
Carte di controllo per
VARIABILI
Continui
La caratteristica di qualità è
misurabile numericamente
e rappresentabile su scala
continua.
Carte di controllo per
ATTRIBUTI
La caratteristica di qualità
non può essere misurata
numericamente;
sidefinisce l’oggetto solo in
base alla conformità delle
unità prodotte.
Discreti
Carte di controllo adottate

9. Carte di controllo e test d’ipotesi
•
Concludere che il processo
èfuori controllo quando è
sotto controllo.
Concludere che il processo è
sotto controllo quando è fuori
controllo.

10. Definizione dei limiti di controllo
Quanto più i limiti vengono
posizionati LONTANO dalla
linea centrale
Quanto più i limiti vengono
posizionati VICINO alla
linea centrale
Minore sarà il rischio
di errore di I tipo
Maggiore sarà il rischio
di errore di II tipo
Maggiore sarà il rischio
di errore di I tipo
Minore sarà il rischio
di errore di II tipo

11. Confronto tra istituzioni
Richiesta di maggiore «accountability» da parte del
servizio pubblico
Maggiore attenzione al confronto tra istituzioni
Utilizzo delle LEAGUE TABLES:
 Le istituzioni vengono ordinate in una classifica in
base ad un indicatore di performance;
 Le istituzioni outlyer vengono individuate con l’aiuto
di intervalli di confidenza.
Focus eccessivo sul ranking…

12. L’utilizzo dei funnel plot per il
confronto tra istituzioni

13. Componenti del funnel plot (1)
•

14. Componenti del funnel plot (2)

15. Componenti del funnel plot (3)

16. Limiti di controllo (1)

17. Limiti di controllo (2)
 Plot dei valori osservati
di un indicatore (tasso
di mortalità) in
relazione ad una
misura della sua
precisione (volume di
casi)
 La linea orizzontale
rappresenta il target
(9.3%)
Tassi di mortalità a 30 giorni dal trattamento per la frattura
dell'anca di ultra-sessantacinquenni in 51 ospedali in Inghilterra
nel periodo 2000-2001.
 I limiti di controllo al
95% e 99.8% si
riducono all’aumentare
del volume di casi

18. Limiti di controllo (3)

19.  Limiti di controllo per la
distribuzione Binomiale

20.  Limiti di controllo per la
distribuzione di Poisson

21. Esempio: Risk-Adjustment (1)
Gli studi che mettono a confronto istituzioni sanitarie
devono tenere conto delle disomogeneità esistenti nelle
popolazioni studiate.
RISK-ADJUSTMENT: permette di determinare quale
parte delle differenze osservate negli esiti sia attribuibile
a caratteristiche dei pazienti (fattori di rischio) e quale
parte sia riconducibile alla qualità dell'assistenza.
Modelli lineari → outcome “corretti”, al
netto degli effetti del diverso case mix

22. Esempio: Risk-Adjustment (2)
AGGIUSTAMENTO PER IL RISCHIO DEL TASSO DI MORTALITA’
Regressione logistica per modellare l’outcome binario:
(paziente morto in ospedale VS paziente dimesso vivo)
Covariate : fattori di rischio.

23. Esempio: Risk-Adjustment (3)
 TASSO DI MORTALITA’
ATTESO
(Expected Mortality Rate)
 TASSO DI MORTALITA’
OSSERVATO
(Observed Mortality Rate)
 TASSO DI MORTALITA’
RISK-ADJUSTED
(Risk-Adjusted Mortality Rate)
AGGIUSTAMENTO INDIRETTO
Tasso di mortalità
complessivo a
livello nazionale

24. Esempio: Risk-Adjustment (4)
Tassi di mortalità
aggiustati per il
rischio a 30 giorni
dall’intervento di
innesto del bypass
dell’arteria
coronarica nello
Stato di New York
(1997–1999)
Il target è il tasso di
mortalità nazionale
del 2,2%.

25. Relazione con il volume (1)
Bristol Royal Infirmary
Tassi di mortalità in
seguito a interventi
di chirurgia
cardiaca pediatrica
in pazienti con
meno di 1 anno di
età in 12 centri
specializzati inglesi,
1991-1995
Possibile
associazione tra
outcome e
volume di casi

26. Relazione con il volume (2)

27. Sovradispersione (1)
Tassi di riammissione di emergenza entro 28 giorni dalla dimissione per 67 ospedali in Inghilterra
dal 2000 al 2001.
La grande maggioranza delle istituzioni giace al di fuori dell’imbuto!
I limiti di controllo non tengono conto della variabilità
in eccesso → SOVRADISPERSIONE

28. Sovradispersione (2)
Questo comportamento è dovuto all’impatto di covariate
non misurate, che contribuiscono a creare variabilità in
eccesso.
→ AGGIUSTAMENTO PER IL RISCHIO INSUFFICIENTE
 Se l’eccesso di variazione non viene tenuto in
considerazione, la maggioranza delle istituzioni può
essere identificata dal funnel plot come unità fuoricontrollo.
 Il problema della sovradispersione può essere
risolto in vari modi…

29. Sovradispersione (3)
1) Non usare l’indicatore
• indicatore non adatto al confronto;
• non sono stati compresi i fattori che generano la
variabilità in eccesso.
2) Migliorare la stratificazione del rischio
• misurare i fattori che contribuiscono alla eccessiva
variabilità e riportare il processo “sotto controllo”;
• non funziona in tutti i contesti.
3) Analisi tramite clustering
• “clusterizzare” le istituzioni in gruppi più omogenei in
modo tale da confrontare “simile con simile”;
• il cluster è trattato come un fattore di rischio.

30. Sovradispersione (4)

31. La sovradispersione (5)

32. Sovradispersione (6)

33. Sovradispersione (7)
Sovradispersione
intorno al funnel
plot non aggiustato

34. Conclusioni




Largo utilizzo dei metodi di SPC nella sanità pubblica:
Individuare pattern insoliti o outlyers
valutare livelli di performance e raggiungimento dei target;
studiare differenze tra istituzioni sanitarie.
 I funnel plot sono un potente strumento per rappresentare
dati sanitari e mettere a confronto le istituzioni:
 evitano di porre le istituzioni in un ordine di classifica;
 forte indicazione visiva di performance “divergente”;
→ rispetto alle league tables, è più facile capire quali dati
indicano aree che meritano ulteriori analisi;
 scelta degli assi intuitiva e quindi facile plotting;
 limiti di controllo facilmente ottenibili usando i più comuni
pacchetti di fogli elettronici.

35. Bibliografia
 Flowers J. «Statistical process control methods in public health
intelligence», APHO Technical Briefing 2 (2007)
(http://www.apho.org.uk/resource/item.aspx?RID=39445)
 Noyez L. «Control charts, Cusum techniques and funnel plots. A
review of methods for monitoring performance in healthcare»,
Interactive CardioVascular and Thoracic Surgery 9 (2009): 494–499
 Spiegelhalter DJ. «Funnel plots for institutional comparison», Qual
Saf Health Care (2002): 390-1
 Spiegelhalter DJ. «Funnel plots for comparing institutional
performance», Stat Med (2005): 1185-1202.
 Spiegelhalter DJ. «Handling over-dispersion of performance
indicators», Qual Saf Health Care (2005): 347-351
 Woodall W.H. «The Use of Control Charts in Health-Care and
Public-Health Surveillance», Journal of Quality Technology 38
(2006)