Metodi per l’integrazione tra la base dati Health
Search e l’indagine Istat sulle condizioni di salute
Marco Di Zio
Di Con...
Indice
1. Contesto informativo: peculiarità e opportunità per integrazione
2. Contesto metodologico: statistical matching
...
 Nelle 2 fonti non vengono osservate le stesse unità statistiche
 La fonte HS è un campione non aleatorio
 Unità rispon...
 Valutazione e trattamento della misclassificazione derivante da
‘percezione’ della malattia
 Analisi di variabili osser...
 La non osservazione di unità in comune e la presenza di variabili in
comune Statistical Matching
 Si sfruttano le infor...
 Nelle procedure classiche di matching (per es. imputazione con media
della Y per profilo di unità dato dalle X) si sta a...
 Esempio: supponiamo che Y sia livello di educazione osservata solo in
IS, Z = spesa per farmaci, X=classe di età, sesso,...
 Analisi dell'incertezza, i.e., analisi dello spazio di identificabilità del
modello
 Nel caso di variabili categoriali ...
Metodi per integrazione IS-HS, Marco Di Zio – Istat, 24 giugno 2014
Esempio. Tab Y,Z dicotomica
? ? 0.8
? ? 0.2
0.9 0.1 1
Metodi per integrazione IS-HS, Marco Di Zio – Istat, 24 giugno 2014
Esempio. Tab Y,Z dicotomica
0.8 ? 0.8
? ? 0.2
0.9 0.1 1
Metodi per integrazione IS-HS, Marco Di Zio – Istat, 24 giugno 2014
Esempio. Tab Y,Z dicotomica
0.8 0 0.8
0.1 0.1 0.2
0.9 ...
Metodi per integrazione IS-HS, Marco Di Zio – Istat, 24 giugno 2014
Esempio. Tab Y,Z dicotomica
? ? 0.8
? ? 0.2
0.9 0.1 1
Metodi per integrazione IS-HS, Marco Di Zio – Istat, 24 giugno 2014
Esempio. Tab Y,Z dicotomica
0.7 ? 0.8
? ? 0.2
0.9 0.1 1
Metodi per integrazione IS-HS, Marco Di Zio – Istat, 24 giugno 2014
Esempio. Tab Y,Z dicotomica
0.7 0.1 0.8
0.2 0 0.2
0.9 ...
Metodi per integrazione IS-HS, Marco Di Zio – Istat, 24 giugno 2014
Esempio. Tab Y,Z dicotomica
[0.7, 0.8] [0, 0.1] 0.8
[0...
Metodi per integrazione IS-HS, Marco Di Zio – Istat, 24 giugno 2014
Esempio. Tab Y,Z dicotomica sotto indipendenza
0.72 0....
 Calcolo diretto (anche in presenza di X) dell’intervallo di incertezza
[pmin , pmax] tramite disuguaglianza di Fréchet
m...
 L’ampiezza media dell’incertezza da un indicazione sulla incertezza
insita nel processo di matching
 La distribuzione o...
 HS campione non aleatorio
 Possibile misclassificazione dovuta alla percezione dell’individuo
Metodi per integrazione I...
 È stato adottato un approccio basato sul calcolo di “pseudo design-
based weight”.
 Il calcolo di questo peso si basa s...
 La post-stratificazione elimina il bias dovuto a problemi di selezione
se, all’interno di ciascuna cella di aggiustament...
Sviluppo di metodi sotto IC e analisi incertezza che tengano conto della
misclassificazione di alcune X
Si ipotizza un mod...
Sia X la prevalenza osservata con misclassificazione e X* quella
osservata correttamente, le ipotesi sono
1. P(X=0|X*=0)=1...
 Tramite P(X*=i|X=i,W=w), i=0,1 è stato previsto in IS la prevalenza
condizionatamente al dato osservato X=i e w.
 Con q...
Si risolve il sistema tramite l’algoritmo sviluppato in [1]
che fornisce gli estremi di ogni singola cella
pmin<= p(Y=y,Z=...
Metodi per integrazione IS-HS, Marco Di Zio – Istat, 24 giugno 2014
Ulteriori sviluppi
 Approfondimento su metodi alterna...
Upcoming SlideShare
Loading in …5
×

M. Di Zio - Metodi per l’integrazione tra la base dati Health Search e l’indagine Istat sulle condizioni di salute”

13,168 views

Published on

Published in: Education
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
13,168
On SlideShare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
16
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

M. Di Zio - Metodi per l’integrazione tra la base dati Health Search e l’indagine Istat sulle condizioni di salute”

  1. 1. Metodi per l’integrazione tra la base dati Health Search e l’indagine Istat sulle condizioni di salute Marco Di Zio Di Consiglio L., Falorsi S., Solari F. Vantaggi B. (Università di Roma ‘La Sapienza’) 24 giugno 2014
  2. 2. Indice 1. Contesto informativo: peculiarità e opportunità per integrazione 2. Contesto metodologico: statistical matching 3. Statistical matching con variabili misclassificate Metodi per integrazione IS-HS, Marco Di Zio – Istat, 24 giugno 2014
  3. 3.  Nelle 2 fonti non vengono osservate le stesse unità statistiche  La fonte HS è un campione non aleatorio  Unità rispondenti diverse: • IS gli individui della famiglia (soggetto dell’inferenza), • HS i medici di base. Possono esserci degli effetti sulla risposta dovuti a questa differenza. Per esempio nel caso degli individui si può avere un effetto ‘percezione’ della malattia che non è invece presente nel medico che basa la sua classificazione su dati oggettivi Metodi per integrazione IS-HS, Marco Di Zio – Istat, 24 giugno 2014 Contesto informativo - Elementi per integrazione
  4. 4.  Valutazione e trattamento della misclassificazione derivante da ‘percezione’ della malattia  Analisi di variabili osservate rispettivamente in due fonti informative differenti Metodi per integrazione IS-HS, Marco Di Zio – Istat, 24 giugno 2014 Potenzialità metodi di integrazione fra IS-HS
  5. 5.  La non osservazione di unità in comune e la presenza di variabili in comune Statistical Matching  Si sfruttano le informazioni delle variabili in comune per fare inferenza sulle variabili osservate separatamente nelle due fonti di dati - e.g., previsione del dato micro Metodi per integrazione IS-HS, Marco Di Zio – Istat, 24 giugno 2014 Integrazione: statistical matching z~
  6. 6.  Nelle procedure classiche di matching (per es. imputazione con media della Y per profilo di unità dato dalle X) si sta assumendo l’indipendenza di Y (osservata in IS) e Z (in HS) dato X  Assumiamo che la conoscenza di X sia fortemente esplicativa del comportamento congiunto di Y e Z  Problema: ipotesi non testabile con i dati a disposizione Metodi per integrazione IS-HS, Marco Di Zio – Istat, 24 giugno 2014 Statistical matching sotto indipendenza condizionale
  7. 7.  Esempio: supponiamo che Y sia livello di educazione osservata solo in IS, Z = spesa per farmaci, X=classe di età, sesso, ripartizione geografica.  Prediciamo in IS la spesa per farmaci tramite la media della spesa osservata in una determinata X stimata su HS  Quando andiamo ad analizzare congiuntamente Y e Z è evidente che stiamo assumendo che ogni individuo in X (stesso sesso, età,…) abbia la stessa spesa per ogni livello di educazione. Metodi per integrazione IS-HS, Marco Di Zio – Istat, 24 giugno 2014 Statistical matching sotto indipendenza condizionale
  8. 8.  Analisi dell'incertezza, i.e., analisi dello spazio di identificabilità del modello  Nel caso di variabili categoriali consiste nel calcolare gli estremi superiori ed inferiori delle frequenze di ogni singola (Y,Z) cella compatibili con le frequenze osservate in IS di (Y,X) e (Z,X) in HS Metodi per integrazione IS-HS, Marco Di Zio – Istat, 24 giugno 2014 Un metodo per fare inferenza oltre indipendenza condizionata (IC)
  9. 9. Metodi per integrazione IS-HS, Marco Di Zio – Istat, 24 giugno 2014 Esempio. Tab Y,Z dicotomica ? ? 0.8 ? ? 0.2 0.9 0.1 1
  10. 10. Metodi per integrazione IS-HS, Marco Di Zio – Istat, 24 giugno 2014 Esempio. Tab Y,Z dicotomica 0.8 ? 0.8 ? ? 0.2 0.9 0.1 1
  11. 11. Metodi per integrazione IS-HS, Marco Di Zio – Istat, 24 giugno 2014 Esempio. Tab Y,Z dicotomica 0.8 0 0.8 0.1 0.1 0.2 0.9 0.1 1
  12. 12. Metodi per integrazione IS-HS, Marco Di Zio – Istat, 24 giugno 2014 Esempio. Tab Y,Z dicotomica ? ? 0.8 ? ? 0.2 0.9 0.1 1
  13. 13. Metodi per integrazione IS-HS, Marco Di Zio – Istat, 24 giugno 2014 Esempio. Tab Y,Z dicotomica 0.7 ? 0.8 ? ? 0.2 0.9 0.1 1
  14. 14. Metodi per integrazione IS-HS, Marco Di Zio – Istat, 24 giugno 2014 Esempio. Tab Y,Z dicotomica 0.7 0.1 0.8 0.2 0 0.2 0.9 0.1 1
  15. 15. Metodi per integrazione IS-HS, Marco Di Zio – Istat, 24 giugno 2014 Esempio. Tab Y,Z dicotomica [0.7, 0.8] [0, 0.1] 0.8 [0.1, 0.2] [0, 0.1] 0.2 0.9 0.1 1
  16. 16. Metodi per integrazione IS-HS, Marco Di Zio – Istat, 24 giugno 2014 Esempio. Tab Y,Z dicotomica sotto indipendenza 0.72 0.08 0.8 0.18 0.02 0.2 0.9 0.1 1
  17. 17.  Calcolo diretto (anche in presenza di X) dell’intervallo di incertezza [pmin , pmax] tramite disuguaglianza di Fréchet max{0, p(y) + p(z) – 1} ≤ p(y,z) ≤ min {p(y), p(z)}  Sfruttando l’informazione X 𝑥 p(x)max{0, p(y|x) + p(z|x) – 1} ≤ p(y,z) ≤ 𝑥 p(x)min{p(y|x), p(z|x)} Metodi per integrazione IS-HS, Marco Di Zio – Istat, 24 giugno 2014 Un metodo per fare inferenza oltre Indipendenza condizionata (IC)
  18. 18.  L’ampiezza media dell’incertezza da un indicazione sulla incertezza insita nel processo di matching  La distribuzione ottenuta con IC è sempre interna agli intervalli, quindi valutazione indiretta dell’applicazione di matching basata su IC Metodi per integrazione IS-HS, Marco Di Zio – Istat, 24 giugno 2014 Analisi dell’incertezza del matching
  19. 19.  HS campione non aleatorio  Possibile misclassificazione dovuta alla percezione dell’individuo Metodi per integrazione IS-HS, Marco Di Zio – Istat, 24 giugno 2014 Peculiarità dell’integrazione tra IS e HS
  20. 20.  È stato adottato un approccio basato sul calcolo di “pseudo design- based weight”.  Il calcolo di questo peso si basa sulla interpretazione euristica che ogni unità rappresenti le altre unità non campionate.  I pesi sono ottenuti tramite post-stratificazione rispetto ai totali noti della numerosità della popolazione per classe di età, sesso, ripartizione geografica. Metodi per integrazione IS-HS, Marco Di Zio – Istat, 24 giugno 2014 Campione non probabilistico
  21. 21.  La post-stratificazione elimina il bias dovuto a problemi di selezione se, all’interno di ciascuna cella di aggiustamento, la probabilità che ogni unità risponda è indipendente dal valore assunto dall’unità per ciò che concerne le variabili oggetto di interesse.  Un altro modo di spiegare questa ipotesi è che i rispondenti ed i non- rispondenti in una data cella hanno la stessa distribuzione riguardo la variabile di interesse  In letteratura nota come ipotesi MAR Metodi per integrazione IS-HS, Marco Di Zio – Istat, 24 giugno 2014 Assunzioni
  22. 22. Sviluppo di metodi sotto IC e analisi incertezza che tengano conto della misclassificazione di alcune X Si ipotizza un modello classico per trattare variabili misclassificate Due contesti 1. Integrazione sotto IC avendo osservato (Y,X), (Z,X*) 2. Analisi dell’incertezza relativamente ai modelli compatibili con le distribuzioni osservate (Y,X), (Z,X*) Ipotesi: si prende come variabile X* di riferimento quella osservata in HS Metodi per integrazione IS-HS, Marco Di Zio – Istat, 24 giugno 2014 Matching con variabili misclassificate
  23. 23. Sia X la prevalenza osservata con misclassificazione e X* quella osservata correttamente, le ipotesi sono 1. P(X=0|X*=0)=1 2. P(X=1|X*=1,W=w) = λw  Nel caso di variabili dicotomiche si ottiene che la probabilità di misclassificazione λw =P(X=1|W=w)/P(X*=1|W=w)  La stima è stata ottenuta sostituendo le frequenze pesate Metodi per integrazione IS-HS, Marco Di Zio – Istat, 24 giugno 2014 Contesto 1 – Modello di misclassificazione
  24. 24.  Tramite P(X*=i|X=i,W=w), i=0,1 è stato previsto in IS la prevalenza condizionatamente al dato osservato X=i e w.  Con questa variabile corretta è stato poi condotto il matching sotto IC  Metodo : hot-deck per celle di imputazione. Metodi per integrazione IS-HS, Marco Di Zio – Istat, 24 giugno 2014 Contesto 1 – Statistical Matching sotto IC
  25. 25. Si risolve il sistema tramite l’algoritmo sviluppato in [1] che fornisce gli estremi di ogni singola cella pmin<= p(Y=y,Z=z)<=pmax per ogni y,z [1] Capotorti Vantaggi, Locally strong coherence in inferential processes (2002) Annals of Mathematics and Artificial Intelligence, vol. 35 pp. 125-149 Contesto 2 - Analisi incertezza con misclassificazione
  26. 26. Metodi per integrazione IS-HS, Marco Di Zio – Istat, 24 giugno 2014 Ulteriori sviluppi  Approfondimento su metodi alternativi per utilizzo di un campione non aleatorio (propensity score matching, inferenza da modello)  Approfondimento su come combinare stime ottenute da un campione probabilistico e non-probabilistico  Analisi incertezza senza assumere alcun modello di misclassificazione

×