2. Il report della revisione sistematica parte 2

LA REVISIONE
SISTEMATICA
CONDUZIONE E REPORT
PARTE II
Corso di Laurea in
Logopedia
Corso di Laurea in
Infermieristica
AA 2019/2020
Docente: Maria Fabiani

FASE DESCRIZIONE MOTIVAZIONE
A. Individuazione del
quesito
I problemi clinici sono trasformati in quesiti
tramite metodo PICO
Forniscono alla revisione uno scopo chiaro
B. Sviluppo del protocollo Descrive ogni fase del processo di revisione 1. Limita il numero delle decisioni soggettive che
devono essere prese durante la revisione – 2.
Facilita la ripetitività (riproducibilità)
C. Identificazione degli studi Viene utilizzata una strategia sistematica per
cercare gli studi e selezionarli
Aumenta le probabilità che tutti gli studi rilevanti
siano identificati (ricerca esaustiva)
D.Approccio critico È valutata la qualità metodologica di tutti gli
studi
Assicura diversi livelli di forza di ogni
affermazione relativa ai risultati
E. Sintesi dei dati I risultati sono sintetizzati sia da un riassunto
descrittivo e sia, quando appropriato, usando
una meta-analisi
Fornisce una stima quantitativa o qualitativa
dell’effetto di un intervento
F. Speculazioni e limiti Discussione delle ragioni di concordanza e
discordanza tra i risultati dei diversi studi
Permette di capire se studi futuri possano
modificare le affermazioni fatte e se hanno
solidità

PRISMA
STATEMENT 2009
Checklist degli item da includere nel reporting di revisione sistematica o meta-analisi
Risultati
Selezione degli studi 17 Riportare, idealmente con un diagramma di flusso, il numero degli
studi esaminati, valutati per l’eleggibilità e inclusi nella revisione,
con le motivazioni per le esclusioni a ogni step.
Caratteristiche degli
studi
18 Riportare per ciascuno studio le caratteristiche per le quali i dati
sono stati estratti (es. dimensione dello studio, PICOS, durata del
follow-up) e fornire la citazione bibliografica
Rischio di bias negli
studi
19 Presentare i dati relativi al rischio di bias di ogni studio e, se
disponibile, qualunque valutazione effettuata a livello di outcome
(item 12).
Risultati dei singoli
studi
20 Per tutti gli outcome considerati (benefici o rischi), riportare per
ogni studio: (a) un semplice riassunto dei dati per ciascun gruppo
di intervento e (b) stime dell’effetto e limiti di confidenza,
idealmente utilizzando un forest plot
Sintesi dei risultati 21 Riportare i risultati di ogni meta-analisi effettuata, includendo limiti
di confidenza e misure di consistenza
Rischio di bias tra gli
studi
22 Presentare i risultati di qualsiasi valutazione del rischio di bias tra
gli studi (item 15)
Analisi aggiuntive 23 Fornire i risultati di eventuali analisi aggiuntive (es. analisi di
sensibilità o per sottogruppi, meta-regressioni) (item 16)

RISULTATI
• I risultati vengono riportati in modo narrativo e grafico o
tabellare.
• Le tabelle e i grafici vanno numerati progressivamente e
devono avere una loro didascalia (potete usare la funzione
«inserisci didascalia di word per avere in automatico la
numerazione inserendo l’etichetta tabella per le tabelle e
l’etichetta figura per grafici e altre figure come ad esempio
le mappe concettuali, diagrammi di flusso, ecc.). La posizione
di figure e tabelle è centrata rispetto alla pagina e la
didascalia è posizionata preferibilmente al di sotto
dell'oggetto, sempre centrata. La didascalia deve riportare il
numero della figura (tabella) ed una breve descrizione,
indicativamente 3 righe al massimo.
• Il contenuto dei grafici e delle tabelle deve essere descritti
in modo narrativo e nel testo deve essere fatto riferimento
alla tabella o alla figura.
• Le tabelle e le figure (grafici, diagrammi, mappe, ecc.)
devono essere funzionali a presentare sinteticamente
contenuti importanti e non hanno una funzione decorativa.

RISULTATI – SELEZIONE DEGLI STUDI
ESEMPI
…Dei 1008 titoli considerati rilevanti in base alla ricerca nei database menzionati nel precedente
capitolo, ne sono stati selezionati 21 per la lettura del testo intero. Di questi 18 sono stati esclusi
(Allefelds, 2004; Alonso, Schochat, 2009; Bruce et al, 2009 – indicare tutti gli esclusi NdR) perché
non rispondenti ai criteri di eliggibilità I motivi di esclusione sono riportati in Appendice 2.
Pertanto tre full text sono stati inclusi nell’analisi quantitativa e qualitativa (Alvarenga, 2013, Leite,
2010, Leite, 2014). Il diagramma di flusso che illustra la ricerca e il processo di selezione è
riportato nella Figura 1…
…Gli studi potenzialmente eleggibili per l’inclusione sono stati selezionati in modo indipendente
dai due revisori. Sono stati poi confrontati i risultati della selezione e risolto i disaccordi con la
discussione. Il testo integrale di tutte le referenze eleggibili è stato esaminato in dettaglio. Due
autori sono stati contattati per ulteriori informazioni e uno ha fornito il testo completo, dati
addizionali e/o chiarimenti sui dati pubblicati…

PRISMA
STATEMENT 2009
DIAGRAMMA DI
FLUSSO
SELEZIONE DEGLI
STUDI
Download versione italiana
(formato word):
h t t p : / / w w w. e v i d e n c e . i t / a r t i c o l i / p
d f / e 1 0 0 0 1 1 4 _ f i g u r a . d o c
n° di record identificati
mediante ricerca nelle banche
dati
ScreeningInclusioneEleggibilitàIdentificazione
n° di ulteriori record identificati
attraverso altre fonti
n° di record dopo eliminazione dei duplicati
n° di studi inclusi nella sintesi quantitativa
(meta-analisi)
n° di studi inclusi nella sintesi qualitativa
n° di articoli full-text valutati per
l’eleggibilità
n° di record sottoposti a screening
n° di articoli full-text esclusi,
riportandone le motivazioni
n° di record esclusi

CARATTERISTICHE DEGLI STUDI
• Sia le sintesi qualitative che quantitative dovrebbero cominciare con un
riepilogo descrittivo chiaro degli studi inclusi corredato da tabelle. Le tabelle
saranno costruite ad hoc in base alla domanda e agli obiettivi di revisione.
Contengono almeno:
• Tipologia dello studio
• Tipologia di intervento
• Numero di partecipanti,
• Riepilogo delle caratteristiche dei partecipanti
• Gli outcome
• Le misure di outcome.

ESEMPIO
…I dati dagli studi inclusi sono stati estratti in modo indipendente dai due revisori utilizzando un modulo di estrazione
(Appendice 2), pre-pilotato su dieci studi estratti a caso. I disaccordi sono stati risolti con la discussione e, in caso di persistenza
del disaccordo, con la consultazione del docente supervisore.
Abbiamo estratto le informazioni riguardanti: la definizione di ALRI, il disegno di studio, le dimensioni del campione, le
caratteristiche della popolazione, il tipo di ambiente (ospedaliero o di comunità), i fattori di rischio valutati, il tipo di analisi
effettuata (univariata o multivariata) e i fattori confondenti. I fattori di rischio sono stati classificati secondoWonodi at al.
(Wonodi et al. 2012), con modificazioni minori
E’ stato estratto l’Odds Ratio (OR) crudo e aggiustato, il rischio relativo (RR), il rapporto tra tassi di letalità, l’Hazard Ratio (HR)
e i numeri grezzi. Quando possibile, abbiamo convertito il RR/HR a OR, usando una formula per calcolare l’OR a partire dal RR
(Chinn 2000). Per evitare errori dovuti alla manipolazione dei dati, questi sono stati estratti così com’erano nell’articolo originale
e convertiti se necessario in un secondo momento. Quando gli studi usavano diverse definizioni o diversi punti di cut-off per lo
stesso fattore di rischio, queste differenze sono state riportate nei forest plot.
Negli studi che includevano anche bambini oltre i cinque anni, si sono estratti solamente i dati dei bambini sotto i cinque anni.
Nel caso in cui non fosse possibile distinguerli, lo studio è stato incluso solo se almeno l’80% dei bambini aveva meno di cinque
anni…

CARATTERISTICHE DEGLI STUDI
Da Silva et al, 2019
Table 1. Characteristics of the included studies.
Study Place
Age
range
(years)
Language
pathology
Intervention
N. of sessions (time
in min)
Groups Re-evaluation
Alvarenga,
2013
Brazil 08–14 Dyslexia
Phonological
remediation
24 sessions (45 min
each)
GE and
GC
SG and CG (3 months)
Leite, 2010 Brazil 8–11
Phonological
disorder
Therapy
(cycle model)
12 sessions (45 min
each)
GT, GE
and GC
TG (there was no re-
evaluation), SG and CG (3
months)
Leite, 2014 Brazil 8–11
Phonological
disorder
Therapy
(cycle model)
12 sessions (45 min
each)
GT, GE
and GC
TG (there was no re-
evaluation), SG and CG (3
months)
N, number; GT, typical development group; SG, Study Group submitted to therapy; GC, Control Group.

RISCHIO DI BIAS
NEGLI STUDI
SPERIMENTALI
• la modalità con cui è stata eseguita la randomizzazione cioè
l’assegnazione dei pazienti ai bracci di trattamento;
• la mancanza o i problemi di mascheramento nell’assegnazione al
braccio di trattamento o di controllo (allocation concealment);
• la mancanza o la presenza di problemi nella cecità dei pazienti
e/o del personale (performance bias);
• la mancanza o la presenza di problemi nella cecità per esiti
influenzabili dal giudizio dell’outcome assessor (chi valuta gli
effetti del trattamento) (detection bias);
• le ampie perdite al follow-up o le perdite al follow-up
asimmetriche nei due gruppi (attrition bias);
• le interruzioni precoci per vantaggio del trattamento, la
mancanza dell’analisi intention to treat e le analisi condotte
considerando solo coloro che hanno aderito al trattamento e
non tutti i pazienti per i quali sono disponibili dati sui risultati
(attrition bias);
• la relazione incompleta o assente in merito ad alcuni risultati e
non altri (reporting bias).

ALTRI RISCHI DI
BIAS
• la conduzione dello studio è influenzata da risultati
intermedi (ad esempio, reclutando ulteriori
partecipanti da un sottogruppo che mostra più
vantaggi);
• una deviazione dal protocollo di studio in un modo
che non rifletta la pratica clinica (ad esempio,
incremento post-hoc delle dosi del farmaco oggetto
di studio a livelli esagerati);
• la somministrazione inappropriata di un intervento (o
di un co-intervento);
• il ricorso a strumenti inappropriati per misurare i
risultati (che possono portare alla sottovalutazione di
effetti benefici e dannosi);
• la segnalazione selettiva dei sottogruppi;
• la frode.

ESEMPIO
I due revisori hanno valutato in maniera indipendente il rischio di bias, usando lo strumento “Quality In Prognosis
Studies” (QUIPS) con minime modificazioni (Hayden, Cote, and Bombardier 2006) (Appendice 3). Lo strumento è
suddiviso in sei settori che valutano sei tipi differenti di bias: 1) partecipazione allo studio; 2) abbandono dello studio; 3)
misurazione del fattore prognostico; 4) misurazione dell’outcome; 5) fattori confondenti; 6) analisi statistica e reporting.
Ognuno dei sei settori comprende diversi item da valutare. Per esempio nel settore 1 (partecipazione allo studio), gli
item comprendono, tra l’altro, un’adeguata partecipazione (>80%) allo studio dei partecipanti selezionati, un’adeguata
descrizione della popolazione di studio e un’adeguata descrizione del metodo e delle condizioni di campionamento.
E’ stato valutato se gli studi soddisfacevano completamente, parzialmente, o oer niente ogni singolo item, oppure se non
erano valutabili per quell’item. Sulla base della soddisfazione parziale o totale dei singoli item, ognuno dei sei settori è
stato classificato in quatto categorie di rischio di bias: 1) Basso; 2) Medio; 3) Alto; 4) sconosciuto. Uno studio è stato
classificato ad alto rischio di bias, se due dei sei settori erano ad alto rischio, oppure se quattro erano a medio rischio, o
infine se un settore era ad alto rischio e tre a medio…

1. L’allocazione nei due gruppi era adeguatamente nascosta?
2. L’assegnazione era generata in modo casuale?
3. Partecipanti e il personale erano in cieco?
4. Chi faceva la valutazione era in cieco?
5. C’erano dei dati persi al follow-up?
6. I risultati sono stati riportati in maniera selettiva?
7. Erano presenti altri bias?
Più autori valutano ogni dominio /I risultati confrontati /i disaccordi vengono discussi
Risultato: basso rischio alto rischio rischio poco chiaro
COCHRANE COLLABORATION’S TOOL

VALUTARE IL RISCHIO DI BIAS
• Valutazione guidata del rischio di bias per
singolo studio utilizzando RevMan, il software
a disposizione dei revisori Cochrane per
produrre revisioni sistematiche di elevata
qualità e omogenee negli standard
metodologici.
• Download:
https://training.cochrane.org/online-
learning/core-software-cochrane-
reviews/revman/revman-5-download

COCHRANE
COLLABORATION’S TOOL

COCHRANE
COLLABORATION’S
TOOL

RISULTATI DEI SINGOLI STUDI
»Nello studio di Alvarenga (2013) che ha incluso 20 studenti con diagnosi di
dislessia evolutiva, 10 sono stati inclusi nel gruppo di Terapia (GI) e 10 nel gruppo
di controllo (GII). Due valutazioni P300 sono state condotte con lo stesso
intervallo in entrambi i gruppi). Dopo l’intervento, il gruppo di intervento ha
mostrato risultati significativi per la latenza di P300 (p = 0.005). Gli autori hanno
concluso che P300 è uno strumento efficiente per monitorare l’evoluzione
terapeutica di bambini con dislessia evolutiva)».
Da Silva et al, 2019

D a S i l v a e t a l , 2 0 1 9
Ta b l e 2 . M e a n s l a t e n c i e s a n d a m p l i t u d e s o f t h e P 3 0 0 a t t h e f i r s t a n d s e c o n d
ev a l u a t i o n s .
Study Latency (ms) Amplitude (μv)
Mean (SD) Mean (SD)
GE GC GE GC
I II I II I II I II
Alvarenga,
2013
431.22
(29.69)
387.71
(31.18)
398.33
(48.22)
385.21
(46.37)
7.85 (2.77) 8.48 (2.08) 7.25 (4.94) 7.74 (3.32)
Leite, 2010
360.4
(48.5)
349.3
(48.55)
344.1
(51.1)
334.0
(42.4)
13.83
(5.87)
17.97
(12.59)
13.38
(5.26)
15.35
(6.11)
Leite, 2014
394.73
(54.24)
361.82
(37.66)
349.55
(60.68)
358.00
(59.94)
– – – –
SD, standard deviation; n, number; SG, Study Group submitted to therapy; CG, Control Group; I,
first evaluation; II, second evaluation

D a S i l v a e t a l , 2 0 1 9
Ta b l e 3 . P a r a m e t e r s o f s t i mu l a t i o n a n d a c q u i s i t i o n o f P 3 0 0 evo ke d p o t e n t i a l .
Parameters Alvarenga, 2013 Leite, 2010 Leite, 2014
Stimulation
Stimulator 3A insert phone, binaural stimulation Monoaural stimulation Supra-aural (TDH-39)
Rate 1 s/s 1.1 s/s 1.1 s/s
Type Speech – /da/ rare; /ba/ frequent Tone burst Tone burst
Paradigm Oddball frequent – 80%, rare – 20% Oddball 1 kHz frequent; 1.5 kHz rare – 20% Oddball 1 kHz frequent (80%); 1.5 kHz rare – 20%
Duration – – Rise/fall: 10.00 plateau: 30.00
Intensity Fixed 80 dBNA Fixed 75 dBNA 75 dBnHL
Polarity – – Alternating
Acquisition
Time of analysis – 512 ms 300 ms
Channels – 2 channels –
Electrodes
Fz, Cz (active); M1 and M2 (reference) ≤5 kΩ (individual); ≤2 kΩ
(between electrodes)
Cz (reference), Fpz (ground), M2 and M1
(active)
5 electrodes – impedance ≤5 kΩ
Filters 1–30 Hz 30.00–1.00 Hz 1–30 Hz
Signal amplification – – –
Sampling – 300 1000
Patient status Alert/attentive Attentive Attentive

RAPPRESENTAZIONE DEI RISULTATI: TABELLA SINOTTICA

RAPPRESENTAZIONE DEI RISULTATI: TABELLA SINOTTICA
Determinants of patient satisfaction in outpatient musculoskeletal
physiotherapy: a systematic, qualitative meta-summary, and meta-
synthesis

STRUTTURA GENERALE DELLA SINTESI
DEI DATI
• Sviluppare una teoria su come lavora l’intervento, perché e per chi
• Sviluppare una sintesi preliminare dei risultati dei singoli studi
• Esplorare le relazioni all’interno e tra gli studi
• Valutare la solidità delle evidenze

Sviluppare una teoria
1. Sviluppare una sintesi preliminare
Tabulazione
Raggruppamento o cluster
Trasformazione dei dati: costruire una misura comune
Vote-counting come strumento descrittivo
2. Esplorare le relazioni all’interno e tra gli
studi
Variabili moderatrice e analisi dei sottogruppi
Mappe concettuali e/o mappe mentali
Descrizione qualitativa dei casi
Rappresentazione visuale delle relazioni tra le
caratteristiche degli studi e i risultati
3.Valutare la robustezza della sintesi
Riflettere criticamente sul processo di sintesi
Conclusioni finali e raccomandazioni
Movimentotralefasi
Inizio della sintesi
Fine della sintesi
Strumenti e tecniche
SINTESI DEI
DATI
PERCORSO

TEORIA SU COME FUNZIONA
L’INTERVENTO
• Non ha lo stesso ruolo in tutte le revisioni:
• Ruolo limitato in una revisione su l’effetto di un battericida perché i meccanismi di
azione sono già stati spiegati.
• Importante in una revisione che valuta l’effetto di un programma educativo (catena
causale che collega l’intervento all’outcome d’interesse)
• Presentata in forma narrativa e con un diagramma

Figure 1. Categories comprising a descriptive
taxonomy of conversation therapy for aphasia
Da: Simmons-Mackie N, Savage MC Worrall L (2014)
Conversation therapy for aphasia: a qualitative review of
the literature INT J LANG COMMUN DISORD, 49:
511-526
SVILUPPARE UNA TEORIA

info@mariafabiani.eu
(Lassi et al, 2014)

SVILUPPARE UNA SINTESI PRELIMINARE
DEI RISULTATI
Descrizione testuale degli studi Paragrafo descrittivo per ogni studio incluso
Raggruppamenti e cluster Raggruppamento studi inclusi per descrizione e schemi interni e
tra gli studi.
Tabulazione Rappresentazione visiva dei dati
Trasformare i dati in una misura
comune
Dati presentati in una misura comune
Il conteggio come uno strumento di
descrizione
Direzione dell’effetto, categorie, pesi e punteggi
Trasformare i dati: analisi
tematiche
Identificare in modo sistematico le tematiche
e/o i concetti principali
Trasformare i dati: analisi di
contenuto
Convertire i dati in frequenze

ESPLORARE LE RELAZIONI
ALL’INTERNO E TRA GLI
STUDI
Esplorare le relazioni tra
Le caratteristiche degli
studi e i loro risultati
I risultati dei diversi
studi
Analisi dei dati emersi dalla sintesi
preliminare per identificare i fattori che
potrebbero spiegare le variazioni nelle
dimensione e nella direzione dell’effetto

STRUMENTI PER ESPLORARE LE RELAZIONI
ALL’INTERNO E TRA GLI STUDI
Grafici, frequenze, distribuzioni, forest plot ecc. Strumenti visivi e grafici per aiutare i revisori a
esplorare le relazioni all’interno e tra gli studi
Variabili moderatrici e analisi
per sottogruppi
Analisi di variabili che ci si aspetta influenzino l’effetto
principale esaminato nella revisione:
1.caratteristiche variabili tra gli studi (disegno, ambiente)
2.caratteristiche del campione
Reticoli di idee e mappe
concettuali
Metodi visivi per aiutare a costruire raggruppamenti e
relazioni
Descrizione qualitativa dei casi I dati descrittivi usati per provare a spiegare le differenze
nei risultati statistici
Triangolazione tra autori,
concetti e metodologia
Usare più di un punto di riferimento per spiegare il
fenomeno: analisi dei dati in relazione al contesto
(riferimenti disciplinari) e all’esperienza del ricercatore

VALUTARE LA
SOLIDITÀ DELLE
EVIDENZE
Credibilità del processo di sintesi
Qualità e quantità
delle evidenze Il metodo di sintesi
Chiarezza/trasparenza
della sua descrizione
Qualità metodologica degli studi

SINTESI DEI DATI
• SINTESI QUANTITATIVA
• – META-ANALISI
• PROCESSO DI CODIFICA
• TABELLA DI CODIFICA
• » EFFECT SIZES (ES)
• » FOREST PLOT
• SINTESI QUALITATIVA
• REVISIONE SISTEMATICA
• PRESENTAZIONE NARRATIVA
(QUALITATIVA) RISULTATI
• VOTE COUTING
ATTENZIONE: PER SINTESI QUALITATIVA
SI INTENDE NARRATIVA, NON HA
NESSUNA RELAZIONE CON LA RICERCA
QUALITATIVA

VOTE COUNTING
Il metodo del vote counting non fornisce una sintesi quantitativa
dei risultati degli studi primari - si limita a trarre delle conclusion
confrontando:
numero di studi in cui sono emersi risultati statisticamente
significativi
versus
il numero di studi che riportano risultati non statisticamente
significativi
Problemi nel comparare numero studi positivi con quello degli studi
negativi:
1. Agli studi grandi e piccoli viene dato lo stesso valore
2. Investigatori diversi possono valutare in modo diverso lo stesso
studio:
Negativo per assenza significatività statistica
Positivo per piccolo effetto ma importante dal punto di
vista clinico.

METANALISI
meta-analisi = combinazione statistica dei risultati di due o più studi separati
La meta-analisi è una tecnica clinico-statistica quantitativa che
permette di combinare i dati di più studi condotti su uno
stesso argomento, generando un unico dato conclusivo per
rispondere a uno specifico quesito clinico.

METANALISI
PUNTI DI FORZA
Combina dati tra un elevato numero di studi singoli
Fornisce omogeneità a risultati di studi clinici diversi
Incrementa la potenza statistica di confronti tra campioni piccolo
Aumenta il potere statistico per individuare differenze
significative tra gli interventi
Migliora la precisione della stima dell’efficacia di un
intervento/terapia (fornisce un risultato più preciso rispetto a un
singolo lavoro)
Studia sottogruppi di pazienti nei diversi studi permettendo di
fare considerazioni su sottogruppi di pazienti.
Esplora le differenze tra i risultati degli studi
Fornisce indicazioni su nuovi possibili studi

METANALISI
PUNTI DI FORZA
Minimizza la soggettività
nell’interpretazione degli studi individuali
Evidenzia la coerenza dei risultati tra gli
studi
Fornisce un risultato più generalizzabile
tra i diversi ambienti
Può aiutare a velocizzare l’introduzione
di un intervento efficace nella pratica
clinica

METANALISI
PUNTI DI
DEBOLEZZA
Richiede competenze
statistiche
Devono essere
disponibili un certo tipo
di dati negli studi
La validità della meta-
analisi dipende da quella
degli studi inclusi
(GIGO: garbage in,
garbage out)
I risultati possono
comunque essere
inconcludenti
I bias di pubblicazione
possono gonfiare i
risultati
Può dare una falsa
impressione di certezza
dei risultati e trascurare
elementi soggettivi del
processo
Può mascherare
differenze importanti
tra gli studi

COMPONENTI DI
UNA METANALISI
La stima dell’effetto del
trattamento
Le misure di incertezza
intorno alla stima
dell’effetto del trattamento

TIPI DI
METANALISI
• Outcome dicotomici (vivo/morto)
• Outcome continui (peso)
• OutcomeTime to event (tempo di
sopravvivenza totale)
• Altri (accuratezza diagnostica)
Meta-analisi sui dati
aggregati
• Raccolta dei dati di singoli pazienti dai trial
originali e rianalisi dei risultati
Meta-analisi per dati
individuali

OUTCOME
DICOTOMICI
Misure più comuni
Odds ratio (OR)
Odds gruppo A / Odds gruppo B
Rischio relativo (RR)
Rischio gruppo A / Rischio gruppo B
Rischio attribuibile (RA)
Rischio gruppo A – Rischio gruppo B

OUTCOME
CONTINUI
Misure più comuni
Differenza tra medie (gli studi hanno outcome con misure
confrontabili: stesse scale)
• Media gruppo A – Media gruppo B
Differenza delle medie standardizzata (gli studi hanno
outcome misurati in modo diverso: differenti scale)
• Media gruppo A – Media Gruppo B / Media ponderata
della DS del gruppo A e del gruppo B

OUTCOME TIME
TO EVENT
Misure
Due tipi di informazioni
• Se un evento ha avuto luogo
• Punto nel tempo dove avviene l’evento o se il
paziente è uscito dallo studio
Due tipi di approcci meta analitici
• Riassuntivo con hazard ratio (HR)
• Tenere conto dei censurati e includere tutti i dati
• Convertire i dati in outcome binari
• Necessita i dati di tutti i partecipanti al punto
definito nel tempo (p.e. sopravvivenza a un anno).
Non bisogna tener conto dei censurati

PESO
Ai diversi studi viene attribuito
un peso differente a seconda
della numerosità del campione
studiato.
Più è grande uno studio e più
esso influenzerà il risultato
globale della meta-analisi

ETEROGENEITÀ
Per eterogeneità si intende la variabilità negli effetti del trattamento
tra gli studi. Può essere:
Statistica: sono stati utilizzati metodi
statistici differenti nei vari studi
Clinica: differenze relative ai pazienti,
metodologie di somministrazione dei
trattamenti o dei controlli,
valutazione degli esiti.
Il principale presupposto di una meta analisi è che gli studi siano
sufficientemente simili per poter combinare i risultati ovverosia che
non siano eterogenei. Se gli studi sono eterogenei i risultati
potrebbero non essere significativi. Se la differenza tra gli studi non è
dovuta solo al caso, la combinazione dei trial potrebbe non essere la
risposta giusta al quesito posto.

ETEROGENEITÀ
IDENTIFICAZIONE
Ispezione visiva dei dati
• Le stime dovrebbero essere sullo stesso lato
Valutazione della eterogeneità
• Cochran’s chi square (X2) o Q test
• Inforna sulla presenza di eterogeneità
• Criterio comune per un’eterogeneità significativa:
p<0.10
• I2 (Inconsistenza)
• Informa su quanta eterogeneità c’è (% della
variabilità che è dovuta alla eterogeneità piuttosto
che al caso)
• Criterio comune per una eterogeneità significativa
(>50%)

ETEROGENEITÀ
ISPEZIONE VISIVA
Come sono distribuite le linee
• Accordo tra gli studi
Gli intervalli di confidenza dovrebbero sovrapporsi
• Se si sovrappongono il caso rimane una spiegazioni plausibile
delle differenze nella stima puntuale.
• Se non si sovrappongono il caso è una spiegazione
improbabile.
• Intervalli di confidenza molto separati fanno pensare alla
presenza di un’importante variabilità che richiede una
spiegazione.

VALUTAZIONE
DELL'ETEROGENEITÀ
TEST Q DI COCHRAN
Per prima cosa bisogna calcolare i gradi di libertà (df)
che corrispondono al numero degli studi inclusi nella
meta-analisi – 1.
Se il test è superiore ai gradi di
libertà risulta respinta l’ipotesi
nulla (c’è eterogeneità).
Se il test è inferiore ai gradi di
libertà risulta accettata l’ipotesi
nulla (non c’è eterogeneità).
Il test valuta se le differenze tra i risultati degli studi
sono compatibili solo con il caso o sono dovute a
eterogeneità reale.

TEST Q DI COCHRAN
(SIGNIFICATIVITÀ
STATISTICA)
Confrontare i gradi di libertà e il valore del test nelle
tavole di distribuzione χ2
Se il test Cochran χ2 è statisticamente significativo
(generalmente p<0,1) c’è eterogeneità in modo certo.
Il livello di significatività per χ2 è spesso stabilito a 0,1
per il basso potere che questo test ha di individuare
l’eterogeneità.
Come test per valutare l’eterogeneità ha un basso
potere soprattutto se il numero di studi e piccolo
Ha invece troppo potere quando il numero degli studi è
alto.

INCONSISTENZA
I valori vanno da 0% a 100% dove 0 indica nessuna
eterogeneità osservata.
0 - 40 potrebbe
non essere
importante
30 - 60 può
rappresentare
un’eterogeneità
moderata
50 - 90 può
rappresentare
eterogeneità
75 - 100
considerevole
eterogeneità
Valuta il grado di influenza della eterogeneità sulle
conclusioni della meta analisi.
I2 = 100x(Q-df)/Q
Q è la Q di Cochran, il test di eterogeneità, e df i suoi gradi di libertà

OPZIONI IN
CASO DI
ETEROGENEITÀ
Ignorarla e usare il modello a effetti fissi
Fare un test e non procedere alla meta-analisi se c’è
eterogeneità
Incorporarla e usare il modello a effetti random
Spiegarla facendo analisi per sottogruppi o meta
regressioni

MODELLI DI METANALISI
Due modelli principali per la sintesi dei risultati degli studi
• Modello a effetti fissi: si ipotizza che ci sia un vero valore generale uguale per
ogni studio. La variabilità dei risultati fornita dalla meta-analisi è influenzata solo
dal caso.
• Modello a effetti random: si ipotizza che ogni singolo studio abbia il proprio
vero effetto e permette di analizzare le differenze tra gli studi
• Gli approcci differiscono su come combinano e pesano gli studi

QUALE MODELLO USARE
• I risultati sono simili quando vi sono piccole differenze nei risultati degli studi
• I risultati possono essere molto differenti quando ci sono pochi studi e/o le
dimensioni degli studi sono molto diverse
• Spesso i risultati sono simili ma quelli del modello a effetti random hanno degli
intervalli di confidenza più ampi.
• Alcuni autori ritengono che la eterogeneità sia inevitabile per cui dovrebbe sempre
essere usato un modello a effetti random. Altri autori dicono che solo il modello a
effetti fissi abbia senso e se non si può dare una spiegazione all’eterogeneità, non
bisognerebbe fare la metanalisi
• Se non si è sicuri potrebbe essere utile fare tutti e due
• La decisione dovrebbe essere assunta a priori

ANALISI PER
SOTTOGRUPPI
Metanalisi separate su sottogruppi sono condotte
per
• Caratteristiche dei partecipanti
• Caratteristiche del trattamento e dell’intervento
• Modalità di conduzione dello studio
• Qualità metodologica dello studio
L’analisi per sottogruppi dovrebbe essere pianificata
in anticipo per evitare I bias

EFFECT SIZE
(ES)
DIMENSIONE
DELL’EFFETTO
• L’effect size è la misura statistica della dimensione di un
effetto che può essere relativo alla differenza
tra gruppi o alla associazione tra variabili.
• Può essere calcolato:
• sulle medie (raw unstandardized mean difference;
standardized mean difference: Cohen’s d e Hedges’s g;
responses ratios);
• sui dati binari (risk ratio; odds ratio; risk difference);
• sulle correlazioni (r).
In logopedia e fisioterapia si usa spesso la Hedges’s g
perché corregge il problema del campione piccolo (i
campioni grandi sono rari)

DIMENSIONE DELL’EFFETTO
X1 –X2
SMD= --------------------------
S within
Numeratore= differenza tra le medie di due
gruppi
Denominatore=differenza deviazione
standard dei due gruppi

DIMENSIONE DELL’EFFETTO
dimensione dell'effetto Standardized mean difference Riferimento
Molto piccolo 0.01 Sawilowsky, 2009
Piccolo 0.20 Cohen, 1988
Medio 0.50 Cohen, 1988
Grande 0,80 Cohen, 1988
Molto grande 1.20 Sawilowsky, 2009
Enorme 2.0 Sawilowsky, 2009
dimensione dell'effetto Correlation coefficient Riferimento
Nessun effetto 0.00 Cohen, 1988
Grande 0.40 Cohen, 1988
dimensione dell'effetto Odds ratio Riferimento
Nessun effetto 1.00 Cohen, 1988
Grande 4.30 Cohen, 1988

FOREST PLOT
• La presentazione grafica dei risultati di una metanalisi si basa sulla forest plot
• La linea verticale che indica il punto di equivalenza dell’efficacia dell’intervento
sui pazienti randomizzati a ricevere il trattamento, rispetto ai controlli; quando
infatti il rischio relativo è uguale a 1, vi è lo stesso numero di eventi nel gruppo
di controllo e in quello sperimentale e pertanto l’effetto del trattamento
sperimentato è stato nullo.
• Se l’intervallo di confidenza di uno studio incrocia tale linea verticale si deve
affermare che i risultati dello studio non raggiungono la significatività statistica
(p> 0.05), mentre, se non attraversa tale linea, esiste un 95% di probabilità che
ci sia una reale differenza del numero di cadute nell’anziano tra i due gruppi

FOREST PLOT
• La scala numerica in basso. Indica il rapporto tra gli odds (rischio) di eventi dei
trattati (numeratore) e gli odds di eventi tra i soggetti di controllo (denominatore):
cioè l’OR (Odds Ratio); se il trattamento in sperimentazione è in grado di
dimezzare il rischio di eventi, il valore dell’OR è di 0.5. Se con il trattamento il
rischio di eventi raddoppia, il suo valore sale a 2.0.
• Un cerchio o un quadrato attraversati da una linea orizzontale sono la
rappresentazione grafica ell’OR e dei suoi intervalli di confidenza. L’area del
quadrato descrive la quantità di informazione fornita da ciascuna sperimentazione: a
quadrati più grandi corrispondono gli studi che influsicono di più sul risultato finale.
Gli intervalli di confidenza hanno invece un significato opposto.A intervalli di
confidenza più larghi corrispondono studi di minore dimensione (meno pazienti)
con meno eventi, dai risultati meno chiari e che quindi influiscono poco sul risultato
finale della metanalisi.

ODDS RATIO E
INTERVALLO DI CONFIDENZA
• La significatività statistica e clinica possono essere riassunte in un’unica misura: l’intervallo di confidenza
(IC), che esprime il grado di incertezza del beneficio clinico ottenibile con un intervento. Supponiamo che
una sperimentazione clinica ottenga come risultato una Odds Ratio (OR) di 0.82, con un IC al 95% di 0.62-
0.99.
• Ciò significa che trasferendo nella pratica clinica l’intervento sperimentato, con 95 probabilità su 100
(P<0.05) l’effetto reale potrebbe non corrispondere ad una riduzione del rischio pari al 18% (100-82) ma
variare tra una riduzione degli interventi minima e clinicamente insignificante, pari all’1% (100-99) ed una
riduzione cospicua, pari al 38% (100-62).Anche se statisticamente significativo (perché tutti i valori sono
inferiori ad 1), questo risultato lascia un considerevole margine di incertezza sull’esistenza di un beneficio
ottenibile con l’intervento sperimentato.
• Intervallo di confidenza: se si ripete la stessa sperimentazione per 100 volte, 95 volte su 100 i risultati
cadrebbero nel range 0.62-0.99. In breve, gli intervalli di confidenza indicano la precisione dei risultati di una
sperimentazione clinica, cioè quanto si può confidare nell’esistenza di un effetto clinicamente significativo e
la sua significatività statistica.

ANALISI DI
SENSIBILITA’
Risultati coerenti tra loro rafforzano l'evidenza e la generalizzabilità dei
risultati osservati
Ricalcolare la stima globale di effetto escludendo i fattori che
potrebbero avere un’influenza particolare sul risultato della metanalisi
Uno studio di grosse
dimensioni
Studi di bassa qualità (non
c’è randomizzazione, alto
rischio di bias)
Uno studio con risultati
molto diversi dagli altri Sottogruppi di pazienti
Misura la forza dei risultati in rapporto a problemi fondamentali
contenuti negli studi

FOREST PLOT
La linea rappresenta l'intervallo di confidenza
del risultato L’.intervallo di confidenza
rappresenta il range entro cui è probabile che
si collochi il vero effect size. L’intervallo di
confidenza esprime il livello di precisione
associato alla stima di un parametron. La
lunghezza della linea attorno alla stima
puntuale è proporzionale all'incertezza che ha
la stima puntuale di quello studio.
STIMA
PUNTUALE
Rappresentazione grafica
in cui sono riportati, per
ogni studio primario incluso
nella meta-analisi i valori
relativi all’effect size e
all’intervallo di confidenza.
Nel forest plot viene anche
riportato l’effect size medio
e il suo relativo intervallo di
confidenza.

Quando uno studio ha solo pochi pazienti il
risultato è molto incerto e ciò si può vedere
dalla lunghezza della linea (che sarà lunga) e
dalla dimensione della stima puntuale nel
centro (che sarà piccola).
Linea del non effetto
Quando la linea dello studio tocca o
attraversa la linea perpendicolare del
"nessun effetto" il risultato non è
convenzionalmente statisticamente
significativo
Il quadratino in mezzo alla linea indica la stima
di effetto che può essere riassunta con diversi
tipi di misure (rischio relativo, odds ratio,
differenza di rischio
FOREST PLOT

FOREST PLOT
Il diamante rappresenta il risultato cumulativo della metanalisi.
Il diamante è il risultato complessivo della metanalisi, cioè il valore somma
dei dati aggregati di tutti gli studi che rappresenta la stima finale dell’effetto

FOREST PLOT
Calcolo eterogenità

METODO
GRADE
Il Grades of Recommendation,Assessment,
Development, and Evaluation (abbreviato con
l’acronimo GRADE) è un metodo per valutare la
qualità delle prove di efficacia e la forza delle
raccomandazioni.
Il GRADE
(http://www.gradeworkinggroup.org/index.htm) è
un metodo per sviluppare raccomandazioni che
orientano le decisioni dei professionisti sanitari
nella pratica clinica.

IL METODO GRADE
si caratterizza per
un percorso
esplicito a più fasi
che devono essere
rigorosamente
seguite rispettando
una sequenzialità
definizione del quesito clinico sul quale deve essere formulata la raccomandazione
individuazione di tutti gli outcome relativi al quesito clinico e valutazione della loro
importanza relativa per una adeguata valutazione dell’intervento specifico
ricerca dei dati relativi agli effetti positivi o negativi dei diversi interventi oggetto
di valutazione
sintesi delle prove per singolo outcome ritenuto “essenziale” o “importante”
valutazione della qualità delle prove per ciascun outcome
valutazione della qualità globale delle prove
bilancio tra benefici e danni attribuibili all’intervento
definizione della forza della raccomandazione
formulazione della raccomandazione
implementazione e verifica di impatto

CLASSIFICAZIONE DEGLI OUTCOME
PROPOSTA DAL METODO GRADE
Rating
(mediana del voto)
Importanza Incluso in
789
outcome importanti ed
essenziali
tabelle sulla qualità delle prove:
SÌ
raccomandazione: SÌ
456
outcome importanti ma non
essenziali
SÌ
raccomandazione: NO
123 outcome non importanti
NO
raccomandazione: NO

GRADUAZIONE DELLA QUALITÀ DELLE PROVE
PROPOSTA DAL METODO GRADE
Livello di qualità Significato Conseguenza
Alta
Alto grado di confidenza nei
risultati
È molto improbabile che ulteriori studi
possano cambiare la fiducia nella stima di
effetto
Moderata
Discreto grado di confidenza nei
risultati
È probabile che ulteriori studi possano
confermare o cambiare la fiducia nella stima di
effetto
Bassa I risultati sono poco credibili
È necessaria ulteriore ricerca per ottenere
stime affidabili sugli effetti positivi e negativi
dell’intervento
Molto bassa
I dati esaminati sono totalmente
inaffidabili
Non è possibile fare affidamento sulle stime di
effetto disponibili

METODO GRADE
Metodo GRADE (Cochrane Handbook 2008, Furlan
2009).
Domini che vengono considerati per stabilire il peso
dell’efficacia
1. Il disegno dello studio
2. Il rischio di bias (CAT)
3. Coerenza (almeno 75%
accordo)/eterogeneità
4. Generalizzabilità (popolazione, interventi e
misure di outcome simili a quelli presenti nella
clinica)
5. Precisione (dati sufficienti es: numero di studi, il
numero di pazienti)
6. Comunicazione dei risultati degli studi
(Reporting Bias)

Rischio di
bias
Coerenza
Generalizzabilità
Precisione
SINTESI QUALITATIVA: METODO GRADE

SINTESI DEI
DATI
• Alta qualità delle prove di efficacia: è molto improbabile che ulteriori
ricerche cambino la stima dell'effetto. Esistono risultati consistenti tra il 75%
degli RCT con basso rischio di bias che sono generalizzabili alla popolazione.
Esistono dati sufficienti, con intervalli di confidenza stretti. Non esistono
note o sospetti di reporting bias. (Tutti i domini sono soddisfatti)
Qualità moderata di prove di efficacia: è probabile che ulteriori
ricerche abbiano un impatto importante sulla stima dell’effetto e che
possano modificarla (Uno dei domini non è soddisfatto.)
• Bassa qualità delle prove di efficacia: è molto probabile che ulteriori
ricerche abbiano un impatto importante sulla stima dell’effetto che è
destinata a cambiare. (Due dei domini non sono rispettati)
Qualità molto bassa delle prove di efficacia: Siamo molto incerti su la
stima dell’effetto. (Tre dei domini non sono rispettati.)

PRISMA
STATEMENT 2009
Checklist degli item da includere nel reporting di revisione sistematica o meta-analisi
Discussione
Sintesi delle
evidenze
24 Riassumere i principali risultati includendo la forza delle evidenze
per ciascun outcome principale; considerare la loro rilevanza per
categorie rilevanti di stakeholders (es. professionisti sanitari,
pazienti e policy-makers)
Limiti 25 Discutere i limiti a livello di studio e di outcome (es. il rischio di
bias) e a livello di revisione (es. reperimento parziale degli studi
identificati, reporting bias)
Conclusioni 26 Fornire un interpretazione generale dei risultati nel contesto delle
altre evidenze, e riportare le implicazioni per la ricerca futura
Finanziamento
Fonti di
finanziamento
27 Elencare le fonti di finanziamento della revisione sistematica e altri
eventuali supporti (es. la fornitura di dati) e il ruolo dei
finanziatori per la revisione sistematica

DISCUSSIONE
• Nella discussione dei risultati, si devono mettere in rilievo i punti essenziali, che
devono poi permettere di arrivare alle raccomandazioni per la pratica e la
ricerca futura e alle conclusioni.
• Compito fondamentale della discussione è quello di correlare i risultati con le
premesse introduttive e la domanda di revisione di cui possono essere o meno
la conferma.
• I dati, raccolti con la maggior accuratezza possibile, devono essere valutati con
la massima obiettività e confrontati con le conoscenze della letteratura. Il loro
significato deve essere messo chiaramente in rilievo, ma con discrezione e
evitando ogni inferenza non basata sui dati.

DISCUSSIONE
• Sottolineate solo aspetti nuovi e/o
importanti
• Confrontate le vostre conclusioni con
quelle
• di altri studi importanti e/o noti
• Presentate
SI
• Non ripetete i dati osservati, i risultati dei
singoli studi o i materiali o i metodi usati
• Evitate di trarre conclusioni non supportate
• da vostri dati (dati degli studi revisionati)
NO

LIMITI DELLA
REVISIONE
SISTEMATICA
Reporting bias
Inadeguatezza della ricerca
primaria: la qualità degli studi
è di importanza cruciale.

TIPI DI REPORTING BIAS
Bias di pubblicazione La relazione incompleta o assente in merito ad
alcuni risultati e non altri in base alla natura e alla
direzione dei risultati
Bias di ritardo (time lag bias) La relazione rapida o ritardata di alcuni risultati e
non altri in base alla natura e alla direzione dei
risultati
Bias di pubblicazione multipla La pubblicazione multipla di alcuni risultati e non
altri in base alla natura e alla direzione dei risultati
Bias di citazione La citazione o non citazione di alcuni risultati in
base alla natura e alla direzione dei risultati
Bias di lingua La pubblicazione in una lingua di alcuni risultati in
base alla natura e alla direzione dei risultati
Bias nel riportare gli esiti Il riportare in modo selettivo alcuni esiti invece di
altri in base alla natura e alla direzione dei risultati

STUDI NON
PUBBLICATI L’inclusione nella revisione
può introdurre bias
Studi non pubblicati
possono essere di minore
qualità metodologica
rispetto a quelli pubblicati

BIBLIOGRAFIA
Riportare la bibliografia usando lo stile Harvard o APA.
La ricerca e la selezione mirata delle fonti bibliografiche
per sviluppare un determinato argomento oggetto di
studio sono aspetti fondamentali nella valutazione
accademica di qualsiasi elaborato scritto.
La revisione della letteratura e il processo di redazione di
una lista completa degli elementi di ogni fonte consultata
giocano un ruolo importante nel processo di ricerca.
Un elenco incompleto o inaccurato di riferimenti
bibliografici incide sulla qualità del lavoro e può svalutarne
l'impatto.

RIFERIMENTO BIBLIOGRAFICO
• Il riferimento bibliografico è l’insieme di dati o elementi che descrivono un
documento, di solito pubblicato (ad esempio un libro di testo, una rivista, una tesi),
o parte di un documento (ad esempio un capitolo di libro, un articolo di rivista, un
documento elettronico), sufficientemente precisi e dettagliati da rendere possibile
ad un potenziale lettore la sua identificazione e localizzazione con un minimo
sforzo.
• Tutte le affermazioni, dati, informazioni, opinioni, conclusioni ecc. prese dal lavoro
di un altro autore dovrebbero essere indicate, sia che il lavoro sia stato citato
letteralmente che parafrasato o riassunto.
• Nell’era digitale la distinzione tra bibliografia e sitografia è superata e tutti i
riferimenti bibliografici vanno riportati nel capitolo/paragrafo «Bibliografia»
secondo le indicazioni dello stile bibliografico scelto (nel nostro caso Harvard o
APA).

RIFERIMENTO BIBLIOGRAFICO
I riferimenti bibliografici devono essere sempre citati in due punti
differenti.
Nel punto del testo nel quale viene fatto riferimento
alla fonte; successivamentenell’elenco al termine del
lavoro denominato riferimenti bibliografici o bibliografia
(in inglese sono le References distinte dalla Bibliography)

TEMPO NECESSARIO
PER UNA REVISIONE
E META- ANALISI
1139 ore (range 216-2518 ore)
7 mesi (range 1-16 mesi)
Tempo così ripartito:
• 52% per definizione ipotesi, sviluppo
protocollo, ricerca e recupero articoli, preparazione
della matrice dei dati, estrazione dati, valutazione critica
studi
• 13% analisi statistiche
• 18% preparazione del report
• 17% altro (gestione della revision, formazione, ecc.)

REFERENZE
• Aromataris E, Munn Z (Editors) (2017). Joanna Briggs Institute Reviewer's Manual. The Joanna Briggs Institute.
Disponibile su: https://reviewersmanual.joannabriggs.org/ Ultimo accesso: 3 maggio 2020
• Higgins JPT,Thomas J, Chandler J, Cumpston M, Li T, Page MJ,WelchVA (editors) (2019). Cochrane Handbook for
Systematic Reviews of Interventions version 6.0 (updated July 2019). Disponibile su www.training.cochrane.org/handbook.
Ultimo accesso: 3 maggio 2020
• Jemma Skeat & Hazel Roddam (2019) The qual-CAT:Applying a rapid review approach to qualitative research to
support clinical decision-making in speech-language pathology practice, Evidence-Based Communication Assessment
and Intervention, 13:1-2, 3-1
• Marshall J, Goldbart J, Pickstone C, Roulstone S (2010) Application of systematic reviews in speech-and-language
therapy, International Journal of Language & Communication Disorders DOI: 10.3109/13682822.2010.497530
• Moher D, Liberati A,Tetzlaff J,Altman DG,The PRISMA Group (2009). Preferred Reporting Items for Systematic Reviews
and Meta-Analyses: The PRISMA Statement. PLoS Med 6(7): e1000097. doi:10.1371/journal.pmed1000097
• SalaV, Moja L, Moschetti, I Bidoli S, PistottiV, Liberati A (2006) Revisioni sistematiche - Breve guida all’uso. Centro
Cochrane Italiano Disponibile su: www.cochrane.it › public › uploads › guidausorevisioni Ultimo accesso: 3 maggio
2020

2. Il report della revisione sistematica parte 2

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to 2. Il report della revisione sistematica parte 2

Similar to 2. Il report della revisione sistematica parte 2 (20)

More from MariaFabiani

More from MariaFabiani (14)

2. Il report della revisione sistematica parte 2