Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
診断精度研究のメタ分析 
-  入  門  - 
横光健吾 
公益財団法人たばこ総合研究センター 
臨床疫学研究における報告の質向上のための統計学の研究会 
第17回研究集会 「診断精度研究のメタ分析」 
2014/10/25(土) 14:30...
 発表の構成 
■ 診断検査について 
■ 診断検査精度のメタアナリシス 
■ メタアナリシスの実際-統合と異質性- 
■ 診断検査精度のメタアナリシスの結果をうけて 
1
診断検査について2 
 診断検査について 
■ 診断検査 
■ 診断検査における重要な概念 
■ 新たな診断検査が持つ役割
診断検査について 
 診断検査(Diagnostic Test) 
■ history examination(現病歴) 
physical examination(身体検査) 
  imaging test(画像検査) 
  psycholo...
診断検査について 
 診断検査 
■ 求められる診断検査は… 
  ・ more accurate 
  ・ less invasiveness 
  ・ easier to do 
  ・ less risky 
  ・ less uncom...
診断検査について 
 診断検査における重要な概念 
Test Indicator 
感度(Sensitivity = true positive rate: TPR) 
特異度(Specificity = true negative rate:...
診断検査について 
 診断検査における重要な概念 
■ 感度 = TP / (TP + FN) 
 対象疾患有群における、陽性結果の割合 
■ 特異度 = TN / (FP + TN) 
 対象疾患無群における、陰性結果の割合 
■ 精度 = ...
診断検査について 
 診断検査における重要な概念 
■ 感度 = 90 / (90 + 10) = 0.9 
 対象疾患有群における、陽性結果の割合 
■ 特異度 = 60 / (40 + 60) = 0.6 
 対象疾患無群における、陰性結果...
診断検査について 
 診断検査における重要な概念 
■ 陽性的中率(PPV)=TP / (TP + FP) 
陽性とみなされた群における、疾患有の割合 
■ 陰性的中率(NPV)=TN / (FN + TN) 
  陰性とみなされた群における、...
診断検査について 
 診断検査における重要な概念 
■ 陽性尤度比(+ve LR)=感度/1-特異度 
  対象疾患無群における陽性結果に対する 
      対象疾患有群における陽性結果の割合 
  陽性尤度比>10の場合、 
       ...
診断検査について 
 診断検査における重要な概念 
Glas et al. (2003). J Clin Epidem, 56, 1129 - 1135. 
研究対象群の有病 
率に影響される 
妥当性のある指標として、 
確立されているわけで...
診断検査について 
 診断検査における重要な概念 
■ 診断オッズ比(DOR) 
  対象疾患無群における陰性・陽性結果の割合と 
    対象疾患有群における陰性・陽性結果の割合の比 
   
  = 
感度/ ( 1 
- 
感度) 
= ...
診断検査について 
 診断検査における重要な概念 
■ ROC曲線 (receiver operating characteristic curves) 
  横軸に1 – 特異度、縦軸に感度をプロットしたもの。 
■ AUC (the are...
診断検査について 
 新たな診断検査の位置づけ 
■ replacement 
 ・既存の検査に取って代わる新しい検査として開発 
■ triage 
 ・既存の検査の前に使用できる検査として開発 
 ・目的:侵襲的で、煩雑で、高価な検査の使用...
診断検査について 
 診断検査のまとめ 
■ 診断検査は、医療従事者のアクションにつながる 
  情報を提供する。 
■ 情報の一つである「精度(accucary)」を示すものが、 
  感度、特異度…etc 
■ 新しい検査が作成されるときに...
診断検査について 
 なぜ、診断精度のメタアナリシスをするのか 
■ どの検査の診断精度が優れているか 
 ・複数の検査の比較、どの検査がより精度が高いか 
We explored the diagnostic performances of ...
診断検査について 
 なぜ、診断精度のメタアナリシスをするのか 
■ ある特定の検査の現時点における評価 
  ・感度と特異度の総合的な評価 
  ・特定の検査が、狙いとした診断経路にあるか 
The aim of this study was...
診断検査について 
 なぜ、診断精度のメタアナリシスをするのか 
■ 診断精度が、対象研究の特徴とどう関係するか 
  ・サブグループ解析の実施… 
   (参加者、研究手続き) 
 It is not clear whether……, or ...
診断検査精度のメタアナリシス 
 メタアナリシスの実際 
White et al. (2011). Synthesizing Evidence of Diagnostic Accuracy. Chapter 4. 
19
診断検査精度のメタアナリシス 
 メタアナリシスを実施するためのデータ抽出 
■ 集めた論文(診断検査精度研究)から必要なデータ 
を抽出する 
参加者セッティングメタ分析を実施するために 
必要な統計量 
・年齢 
・性別 
・サンプルサイズ...
診断検査精度のメタアナリシス 
 論文に記載されている情報から算出 
■ アルコール使用障害を特定 
するための1項目の質問の精 
度に関するメタアナリシス… 
の研究の1つ。 
test outcome disease status 
Smi...
診断検査精度のメタアナリシス 
 論文に記載されている情報から算出 
 The single-question screen was 81.8 % sensitive and 
79.3 % specific for the detection...
診断検査精度のメタアナリシス 
 データの統合 
■ 推奨されている5ステップ 
■ メタアナリシスで使用される指標 
■ メタアナリシスの実際 
   
Harbord et al. (2008). J Clin Epidem, 61 , 1...
診断検査精度のメタアナリシス 
 推奨されている5ステップ 
■ 個々の研究結果の提示 
■ 異質性 and/or 閾値効果の有無を検討 
■ 異質性への対処 
■ 適切な統計的統合方法を決定 
■ 統計的統合の実施 
Higgins & Gr...
診断検査精度のメタアナリシス 
 メタアナリシスで使用される指標 
■ The summary sensitivity and specificity ( sum ) 
・simple pooling 
・separate random-eff...
診断検査精度のメタアナリシス 
 メタアナリシスで使用される指標 
■ simple pooling (sum) 
固定効果モデルを用いたメタアナリシス 
  感度と特異度の相関を無視、研究間の異質性を考慮していない 
■ separate r...
診断検査について 
Tang et al. (2010). J Gambl Stud, 26, 145-158. 
27
診断検査精度のメタアナリシス 
 メタアナリシスで使用される指標 
■ Bivariate random-effects meta-analysis (BRM) 
  感度と特異度の相関を考慮、研究間の異質性を考慮 
   (Reitsma e...
診断検査精度のメタアナリシス 
 データの比較 
Harbor et al. (2008). J Clincal Epidemiology, 61, 1095-1103. 
Harbor et al. (2009). Stata Journal...
診断検査精度のメタアナリシス 
 先行研究で公表されている結果の推移 
Wills et al. (2011). BMC Med Res Meth. 
http://www.biomedcentral.com/1471-2288/11/27 
...
診断検査精度のメタアナリシス 
 メタアナリシスを実施する前に 
■ メタアナリシスに含まれる研究からの抽出データ   
 ・研究間によって、異なる閾値を用いている可能性 
  (感度と特異度のトレードオフな関係のため 
 ・研究間の異質性が存...
診断検査精度のメタアナリシス 
 メタアナリシスの実際 -データの統合― 
■ Review Managerを使って 
  ・インストールする 
  
http://tech.cochrane.org/revman/download 
Step...
診断検査精度のメタアナリシス33 
 メタアナリシスの実際 -データの統合― 
■ Review Managerを使って 
  ・はじめる 
診断検査精度のメタアナリシス34 
 メタアナリシスの実際 -データの統合― 
■ Review Managerを使って 
 
診断検査精度のメタアナリシス35 
 メタアナリシスの実際 -データの統合― 
■ Review Managerを使って 
   
診断検査精度のメタアナリシス36 
 メタアナリシスの実際 -データの統合― 
■ Review Managerを使って 
  ・目的に応じたタイトルを決める
診断検査精度のメタアナリシス37 
 メタアナリシスの実際 -データの統合― 
■ Review Managerを使って
診断検査精度のメタアナリシス38 
 メタアナリシスの実際 -データの統合―
診断検査精度のメタアナリシス39 
 メタアナリシスの実際 -データの統合―
診断検査精度のメタアナリシス40 
 メタアナリシスの実際 -データの統合―
診断検査精度のメタアナリシス41 
 メタアナリシスの実際 -データの統合―
診断検査精度のメタアナリシス42 
 メタアナリシスの実際 -データの統合―
診断検査精度のメタアナリシス43 
 メタアナリシスの実際 -データの統合―
診断検査精度のメタアナリシス44 
 メタアナリシスの実際 -データの統合―
診断検査精度のメタアナリシス45 
 メタアナリシスの実際 -データの統合―
診断検査精度のメタアナリシス46 
 メタアナリシスの実際 -データの統合―
診断検査精度のメタアナリシス47 
 メタアナリシスの実際 -データの統合―
診断検査精度のメタアナリシス49 
 メタアナリシスの実際 -データの統合―
診断検査精度のメタアナリシス50 
 メタアナリシスの実際 -データの統合―
診断検査精度のメタアナリシス51 
 メタアナリシスの実際 -データの統合―
診断検査精度のメタアナリシス 
 メタアナリシスの実際 -データの統合― 
メタアナリシスの目的に応じて 
選択 
検査の比較をする場合は 
Multiple tests analysis を選択 
52
診断検査精度のメタアナリシス53 
 メタアナリシスの実際 -データの統合―
診断検査精度のメタアナリシス54 
 メタアナリシスの実際 -データの統合― 
■ Shuetzのデータを使って…forest plotとSROC
診断検査精度のメタアナリシス55 
 メタアナリシスの実際 -データの統合― 
■ Shuetzのデータを使って…
診断検査精度のメタアナリシス56 
 メタアナリシスの実際-madaパッケージ― 
## パッケージの読み込み 
library(mada) 
## 記述統計量の算出(shuetz.csvのMRIデータを使 
用)madad(data) 
ρが...
診断検査精度のメタアナリシス 
 メタアナリシスの実際 -madaパッケージ― 
## 記述統計量のグラフ化(MRIデータを使用) 
forest(madad(data), type=“sens”) 
forest(madad(data), t...
診断検査精度のメタアナリシス 
 メタアナリシスの実際 -madaパッケージ― 
## メタアナリシス(simple pooling と separate Ran Effe) 
madauni(data, method =“ ”, type=“...
診断検査精度のメタアナリシス 
 メタアナリシスの実際 -madaパッケージ― 
## Littenberg-Moses SROCを描く 
mslSROC(data) 
59
診断検査精度のメタアナリシス 
 メタアナリシスの実際 -madaパッケージ― 
## メタアナリシス(Reitsma et al.(2005) ‘s BRM ) 
reistma(data) 
60 
BRMは感度と特異 
度の共分散 
を、...
診断検査精度のメタアナリシス 
 メタアナリシスの実際 -madaパッケージ― 
## BRMを用いて2つのSROCを比較する:MRIとCTのデータ 
61
診断検査精度のメタアナリシス 
 メタアナリシスの実際 -madaパッケージ― 
## BRMを用いて2つのSROCを比較する:MRIとCTのデータ 
62
診断検査精度のメタアナリシス63 
 メタアナリシスの実際 -データの統合― 
■ RevManとRの連動
メタアナリシスの実際-統合と異質性- 
 診断精度と臨床的有用性 
■ 臨床的有用性とは 
  診断精度を量的に評価する指標 
  Clinical Utility Index calculator 
(http://www.psycho-on...
診断検査精度のメタアナリシスの結果をうけて65 
 メタアナリシスの結果を評価する(qualifying) 
■ メタアナリシスに含まれた研究の評価 
  結果の一貫性、研究の質(QUADAS-2) 
■ レビューそのものの評価 
  文献収集...
診断検査精度のメタアナリシスの結果をうけて 
 診断検査精度のメタアナリシスの結果から 
■ 実践への示唆 
■ 研究への示唆 
Bossuyt et al. (2013). Chapter 11 Interpreting results an...
診断検査精度のメタアナリシスの結果をうけて67 
 実践への示唆 
■ 実際の診断経路において、どこに位置づけられるか 
 the initial application of one or two questions followed by ...
診診断断検検査査精精度度ののメメタタアアナナリリシシススのの結結果論をうけて68 
 研究への示唆 
■ 質の高い研究等の実施 
The findings highlight the lack of clinical test accuracy...
 参考文献 
69
70 
 参考文献 
・Harbord et al. (2008). An empirical comparison of methods 
for meta-analysis of diagnostic accuracy showed hie...
 良い診断検査とは… 
  ・ accuracy 
  ・ invasiveness 
  ・ difficulty to do 
  ・ risk 
  ・ discomfort for patients 
  ・ time-consumin...
Upcoming SlideShare
Loading in …5
×

「診断精度研究のメタ分析」の入門

6,792 views

Published on

2014/10/27

Published in: Health & Medicine

「診断精度研究のメタ分析」の入門

  1. 1. 診断精度研究のメタ分析 -  入  門  - 横光健吾 公益財団法人たばこ総合研究センター 臨床疫学研究における報告の質向上のための統計学の研究会 第17回研究集会 「診断精度研究のメタ分析」 2014/10/25(土) 14:30~17:40 東京医科歯科大学湯島キャンパス1号館西7階 
  2. 2.  発表の構成 ■ 診断検査について ■ 診断検査精度のメタアナリシス ■ メタアナリシスの実際-統合と異質性- ■ 診断検査精度のメタアナリシスの結果をうけて 1
  3. 3. 診断検査について2  診断検査について ■ 診断検査 ■ 診断検査における重要な概念 ■ 新たな診断検査が持つ役割
  4. 4. 診断検査について  診断検査(Diagnostic Test) ■ history examination(現病歴) physical examination(身体検査)   imaging test(画像検査)   psychological test(心理検査)など…    ■ 診断検査は、医療従事者のアクションにつながる  患者に特定の疾患や病気の有無に関する情報を得る  ために用いられる。   …医療従事者のアクション     更なる検査、治療の開始・中断・修正 Bossuyt et al. (2003). Radiology, 226, 24-28; (2006). BMJ, 332, 1089-1092. 3
  5. 5. 診断検査について  診断検査 ■ 求められる診断検査は…   ・ more accurate   ・ less invasiveness   ・ easier to do   ・ less risky   ・ less uncomfortable for patients   ・ quicker to yield results   ・ more easily interpreted Bossuyt et al. (2006). BMJ, 332, 1089-1092. 4
  6. 6. 診断検査について  診断検査における重要な概念 Test Indicator 感度(Sensitivity = true positive rate: TPR) 特異度(Specificity = true negative rate: TNR ) 精度(Accuracy) 陽性的中率(Positive predictive value: PPV) 陰性的中率(Negative predictive value: NPV) 陽性尤度比(Likelihood ratio of a positive test result: LR+) 陰性尤度比(Likelihood ratio of a negative test result: LR-) ヨーデン指標(Youden’s index) 診断オッズ比(diagnostic odds ratio: DOR ) Glas et al. (2003). J Clin Epidem, 56, 1129 - 1135. 5
  7. 7. 診断検査について  診断検査における重要な概念 ■ 感度 = TP / (TP + FN)  対象疾患有群における、陽性結果の割合 ■ 特異度 = TN / (FP + TN)  対象疾患無群における、陰性結果の割合 ■ 精度 = (TP + TN) / (TP + FP + TN + FN)  対象疾患を正確に特定する割合 test outcome disease status diseased nondiseased positive TP FP negative FN TN Note. T = true, F = false, P = positive, N = negative 6
  8. 8. 診断検査について  診断検査における重要な概念 ■ 感度 = 90 / (90 + 10) = 0.9  対象疾患有群における、陽性結果の割合 ■ 特異度 = 60 / (40 + 60) = 0.6  対象疾患無群における、陰性結果の割合 ■ 精度 = (90 + 60) / (90 + 10 + 40 + 60) = 0.75  対象疾患を正確に特定する割合 test outcome disease status diseased nondiseased positive 90 40 negative 10 60 7
  9. 9. 診断検査について  診断検査における重要な概念 ■ 陽性的中率(PPV)=TP / (TP + FP) 陽性とみなされた群における、疾患有の割合 ■ 陰性的中率(NPV)=TN / (FN + TN)   陰性とみなされた群における、疾患無の割合 test outcome disease status diseased nondiseased positive TP FP negative FN TN Note. T = true, F = false, P = positive, N = negative 8
  10. 10. 診断検査について  診断検査における重要な概念 ■ 陽性尤度比(+ve LR)=感度/1-特異度   対象疾患無群における陽性結果に対する       対象疾患有群における陽性結果の割合   陽性尤度比>10の場合、        疾患を抽出することに長けている ■ 陰性尤度比(-ve LR) =1-感度/特異度   対象疾患無群における陰性結果に対する       対象疾患有群における陰性結果の割合   陰性尤度比<0.1の場合、        疾患を除外することに長けている Grimes et al. (2005). Lancet, 365, 1500-1505. Davidson. (2002). Australian J of Physiotherapy, 48, 227-232. 9
  11. 11. 診断検査について  診断検査における重要な概念 Glas et al. (2003). J Clin Epidem, 56, 1129 - 1135. 研究対象群の有病 率に影響される 妥当性のある指標として、 確立されているわけではない Test Indicator 感度(Sensitivity = true positive rate: TPR) ) 特異度(Specificity = true negative rate: TNR ) 精度(Accuracy ) 陽性的中率(Positive predictive value: PPV ) 陰性的中率(Negative predictive value: NPV ) 陽性尤度比(Likelihood ratio of a positive test result: LR+) 陰性尤度比(Likelihood ratio of a negative test result: LR-) ヨーデン指標(Youden’s index)(感度+特異度-1) 診断オッズ比(diagnostic odds ratio: DOR ) 10
  12. 12. 診断検査について  診断検査における重要な概念 ■ 診断オッズ比(DOR)   対象疾患無群における陰性・陽性結果の割合と     対象疾患有群における陰性・陽性結果の割合の比      = 感度/ ( 1 - 感度) =  TP / FN - /   数値が大きいほど、より高い識別力をもつ検査   DOR < 1は、不適切な検査   DORは、有病率の影響をうけない   ※DOR=50は、うつ病患者群において陽性を検出する割合が、    うつ病のない群で陽性を検出する割合の50倍であることを示す Glas et al. (2003). J Clin Epidem, 56, 1129 - 1135. FP TN 特異度/特異度 (1 ) 11
  13. 13. 診断検査について  診断検査における重要な概念 ■ ROC曲線 (receiver operating characteristic curves)   横軸に1 – 特異度、縦軸に感度をプロットしたもの。 ■ AUC (the area under the curve) Park et al. (2004). Korean J of Radiol, 5, 11-18. 12
  14. 14. 診断検査について  新たな診断検査の位置づけ ■ replacement  ・既存の検査に取って代わる新しい検査として開発 ■ triage  ・既存の検査の前に使用できる検査として開発  ・目的:侵襲的で、煩雑で、高価な検査の使用を減らす。 ■ add-on  ・既存の検査後に使用   する検査として開発  ・目的:既存の診断経路   の感度を高める。 Bossuyt et al. (2006). BMJ, 332, 1089-1092. 13
  15. 15. 診断検査について  診断検査のまとめ ■ 診断検査は、医療従事者のアクションにつながる   情報を提供する。 ■ 情報の一つである「精度(accucary)」を示すものが、   感度、特異度…etc ■ 新しい検査が作成されるときには、既存の診断経路に   おいて、どの位置づけにあたるかを考慮する。 Sijbrandij et al. (in press). The Cochrane Collaboration, Protocol. 14
  16. 16. 診断検査について  なぜ、診断精度のメタアナリシスをするのか ■ どの検査の診断精度が優れているか  ・複数の検査の比較、どの検査がより精度が高いか We explored the diagnostic performances of and statistically compared the Asthma Control Test and Asthma Control Questionnaire. …Clinicians urgently need to know which questionnaire is better for assessing asthma control in real-world settings. (Jia et al. (2013). J Allergy Clin Immunol, 131, 695-703.) Macaskill et al. (2010). Chapter 10 Analysing and presenting results. Cochrane Handbook for Systematic Reviews of Diagnostic Test Accuracy. 15
  17. 17. 診断検査について  なぜ、診断精度のメタアナリシスをするのか ■ ある特定の検査の現時点における評価   ・感度と特異度の総合的な評価   ・特定の検査が、狙いとした診断経路にあるか The aim of this study was to find out whether very simple one and two question screening might prove an accurate and acceptable screening method in primary care using quantitative meta-analysis. (Mitchell et al. (2014). British J of General Practice, DOI: 10.3399/bjgp14x680497) Macaskill et al. (2010). Chapter 10 Analysing and presenting results. Cochrane Handbook for Systematic Reviews of Diagnostic Test Accuracy. 16
  18. 18. 診断検査について  なぜ、診断精度のメタアナリシスをするのか ■ 診断精度が、対象研究の特徴とどう関係するか   ・サブグループ解析の実施…    (参加者、研究手続き)  It is not clear whether……, or whether accuracy of screening instruments varies between groups of trauma-exposed individuals. Sijbrandij et al. (in press). The Cochrane Collaboration, Protocol. 17
  19. 19. 診断検査精度のメタアナリシス  メタアナリシスの実際 White et al. (2011). Synthesizing Evidence of Diagnostic Accuracy. Chapter 4. 19
  20. 20. 診断検査精度のメタアナリシス  メタアナリシスを実施するためのデータ抽出 ■ 集めた論文(診断検査精度研究)から必要なデータ を抽出する 参加者セッティングメタ分析を実施するために 必要な統計量 ・年齢 ・性別 ・サンプルサイズ ・罹患率 etc ・サンプリング  地域  測定時期  etc   ・TP, FP, TN, FN これらの指標は掲載されていない   こともある。 →著者に直接訪ねる(失敗することも …)  or論文に記載された情報から算出 指標検査 (index test) 参照基準 ・1項目の質問(例) ・カットオフポイント(理由も含む) ・診断基準 (DSM) (例) Buntinx et al. (2009). The Evidence Base of Clinical Diagnosis: Theory and Methods of Diagnostic Research. 2nd ed. Chapter 10. サブグループ解析 を行う場合、全て の サブグループ White et al. (2011). Synthesizing Evidence of Diagnostic Accuracy. Chapter 4, 66p. で算出 20
  21. 21. 診断検査精度のメタアナリシス  論文に記載されている情報から算出 ■ アルコール使用障害を特定 するための1項目の質問の精 度に関するメタアナリシス… の研究の1つ。 test outcome disease status Smith et al. (2009). J Gen Intern Med, 24 , 783 - 788 21 diseased nondiseased positive negative total 33 253
  22. 22. 診断検査精度のメタアナリシス  論文に記載されている情報から算出  The single-question screen was 81.8 % sensitive and 79.3 % specific for the detection of unhealthy alcohol use. It was slightly more sensitive (87.9 %) and was less specific (66.8 %) for the detection of a current alcohol use disorder. The longer AUDIT screen was slightly less sensitive (73.9%) for the detection of unhealthy alcohol use and slightly more specific (82.8%) for the detection of an alcohol use disorder, but …… test outcome disease status diseased nondiseased positive 29 negative total 33 253 Smith et al. (2009). J Gen Intern Med, 24 , 783 - 788 84 169 4 22
  23. 23. 診断検査精度のメタアナリシス  データの統合 ■ 推奨されている5ステップ ■ メタアナリシスで使用される指標 ■ メタアナリシスの実際    Harbord et al. (2008). J Clin Epidem, 61 , 1095 - 1103 23
  24. 24. 診断検査精度のメタアナリシス  推奨されている5ステップ ■ 個々の研究結果の提示 ■ 異質性 and/or 閾値効果の有無を検討 ■ 異質性への対処 ■ 適切な統計的統合方法を決定 ■ 統計的統合の実施 Higgins & Green. (2008). Cochran Handbook for Systematic Reviews of Interventions. Chapter 9, p281. 24 介入研究のメタアナリシスの場合,統 計的統合方法の選択はstatistical test for heterogeneity に基づいてなされる べきではない (Higgins & Green, 2008) Buntinx et al. (2009). The Evidence Base of Clinical Diagnosis: Theory and Methods of Diagnostic Research. 2nd ed. Chapter 10, p195.    異質性:個々の研 究間における違い (対象者、手続き 、使用尺度など) 閾値:カットオフ ポイントが個々の  研究間において  異なるために生 じる差異
  25. 25. 診断検査精度のメタアナリシス  メタアナリシスで使用される指標 ■ The summary sensitivity and specificity ( sum ) ・simple pooling ・separate random-effects meta analysis of    sensitivity and specificity (based on their logit-       transforms) ・Bivariate random-effects meta-analysis (BRM) ・Hierarchical SROC (HSROC) model   ■ SROC curves (sro)   ・separate random-effects meta analysis of    sensitivity and specificity   ・Littenberg-Moses summary ROC curve (SROC) ・Bivariate random-effects meta-analysis (BRM) ・Hierarchical SROC (HSROC) model    Harbord et al. (2008). J Clin Epidem, 61 , 1095 - 1103 25
  26. 26. 診断検査精度のメタアナリシス  メタアナリシスで使用される指標 ■ simple pooling (sum) 固定効果モデルを用いたメタアナリシス   感度と特異度の相関を無視、研究間の異質性を考慮していない ■ separate random-effects meta analysis of   sensitivity and specificity (based on their logit-      transforms)   感度と特異度の相関を無視、研究間の異質性を考慮したモデル ■ Littenberg-Moses summary ROC curve (SROC) (sro)   感度と特異度の相関を考慮、統計量のバラつきを考慮していない   (Mose, Shapiro, & Littenberg (1993). Statistics in Medicine, 12 1293 -1316.) Harbord et al. (2008). J Clin Epidem, 61 , 1095 - 1103 26
  27. 27. 診断検査について Tang et al. (2010). J Gambl Stud, 26, 145-158. 27
  28. 28. 診断検査精度のメタアナリシス  メタアナリシスで使用される指標 ■ Bivariate random-effects meta-analysis (BRM)   感度と特異度の相関を考慮、研究間の異質性を考慮    (Reitsma et al. (2005). J Clin Epide, 58, 982 - 990.) ■ Hierarchical SROC (HSROC) model   感度と特異度の相関を考慮、研究間の異質性を考慮    ※BRMは感度と特異度の共分散を、     HSROCは精度と閾値(θ)の共分散をモデルに含む。  (Harbord et al.(2007). Biostatistics, 8, 239-251.) Harbord et al. (2008). J Clin Epidem, 61 , 1095 - 1103 28
  29. 29. 診断検査精度のメタアナリシス  データの比較 Harbor et al. (2008). J Clincal Epidemiology, 61, 1095-1103. Harbor et al. (2009). Stata Journal, 9, 211-229. 29
  30. 30. 診断検査精度のメタアナリシス  先行研究で公表されている結果の推移 Wills et al. (2011). BMC Med Res Meth. http://www.biomedcentral.com/1471-2288/11/27 30
  31. 31. 診断検査精度のメタアナリシス  メタアナリシスを実施する前に ■ メタアナリシスに含まれる研究からの抽出データ    ・研究間によって、異なる閾値を用いている可能性   (感度と特異度のトレードオフな関係のため  ・研究間の異質性が存在する      Harbor et al. (2008). J Clincal Epidemiology, 61, 1095-1103. 31
  32. 32. 診断検査精度のメタアナリシス  メタアナリシスの実際 -データの統合― ■ Review Managerを使って   ・インストールする   http://tech.cochrane.org/revman/download Step 1: Download the installation file RevMan exists in two editions based on different versions of the Java platform. The two editions have identical functionality, but the Java 6 edition is somewhat faster and has a bet er 'look and feel'. Download the file that matches your operating system: *** Note: We have discovered some issues running RevMan under Java 7, so you should only instal this version if the Java 6 version doesn't work. Windows Linux Mac OS X Download 32 bit version - will work on all Windows machines Download64 bit version - will only work on 64 bit Windows machines Download Download Java 7 version for OS X 10.7.2 (Lion) and higher with bundled Java 7 ***. Download Java 6 version for OS X 10.5 (Leopard) on Intel CPU or 10.6 (Snow Leopard). 32
  33. 33. 診断検査精度のメタアナリシス33  メタアナリシスの実際 -データの統合― ■ Review Managerを使って   ・はじめる 
  34. 34. 診断検査精度のメタアナリシス34  メタアナリシスの実際 -データの統合― ■ Review Managerを使って  
  35. 35. 診断検査精度のメタアナリシス35  メタアナリシスの実際 -データの統合― ■ Review Managerを使って    
  36. 36. 診断検査精度のメタアナリシス36  メタアナリシスの実際 -データの統合― ■ Review Managerを使って   ・目的に応じたタイトルを決める
  37. 37. 診断検査精度のメタアナリシス37  メタアナリシスの実際 -データの統合― ■ Review Managerを使って
  38. 38. 診断検査精度のメタアナリシス38  メタアナリシスの実際 -データの統合―
  39. 39. 診断検査精度のメタアナリシス39  メタアナリシスの実際 -データの統合―
  40. 40. 診断検査精度のメタアナリシス40  メタアナリシスの実際 -データの統合―
  41. 41. 診断検査精度のメタアナリシス41  メタアナリシスの実際 -データの統合―
  42. 42. 診断検査精度のメタアナリシス42  メタアナリシスの実際 -データの統合―
  43. 43. 診断検査精度のメタアナリシス43  メタアナリシスの実際 -データの統合―
  44. 44. 診断検査精度のメタアナリシス44  メタアナリシスの実際 -データの統合―
  45. 45. 診断検査精度のメタアナリシス45  メタアナリシスの実際 -データの統合―
  46. 46. 診断検査精度のメタアナリシス46  メタアナリシスの実際 -データの統合―
  47. 47. 診断検査精度のメタアナリシス47  メタアナリシスの実際 -データの統合―
  48. 48. 診断検査精度のメタアナリシス49  メタアナリシスの実際 -データの統合―
  49. 49. 診断検査精度のメタアナリシス50  メタアナリシスの実際 -データの統合―
  50. 50. 診断検査精度のメタアナリシス51  メタアナリシスの実際 -データの統合―
  51. 51. 診断検査精度のメタアナリシス  メタアナリシスの実際 -データの統合― メタアナリシスの目的に応じて 選択 検査の比較をする場合は Multiple tests analysis を選択 52
  52. 52. 診断検査精度のメタアナリシス53  メタアナリシスの実際 -データの統合―
  53. 53. 診断検査精度のメタアナリシス54  メタアナリシスの実際 -データの統合― ■ Shuetzのデータを使って…forest plotとSROC
  54. 54. 診断検査精度のメタアナリシス55  メタアナリシスの実際 -データの統合― ■ Shuetzのデータを使って…
  55. 55. 診断検査精度のメタアナリシス56  メタアナリシスの実際-madaパッケージ― ## パッケージの読み込み library(mada) ## 記述統計量の算出(shuetz.csvのMRIデータを使 用)madad(data) ρが負の相関の場合、 閾値効果がある可能性
  56. 56. 診断検査精度のメタアナリシス  メタアナリシスの実際 -madaパッケージ― ## 記述統計量のグラフ化(MRIデータを使用) forest(madad(data), type=“sens”) forest(madad(data), type=“spec”) Forest plot Study 1 Study 2 Study 3 Study 4 Study 5 Study 6 Study 7 Study 8 Study 9 Study 10 Study 11 Study 12 Study 13 Study 14 Study 15 Study 16 Study 17 Study 18 Study 19 0.94 [0.60, 0.99] 0.78 [0.54, 0.92] 0.83 [0.64, 0.93] 0.85 [0.73, 0.92] 0.88 [0.67, 0.96] 0.80 [0.60, 0.92] 0.64 [0.41, 0.82] 0.89 [0.77, 0.95] 0.87 [0.72, 0.95] 0.93 [0.83, 0.97] 0.89 [0.70, 0.97] 0.69 [0.50, 0.83] 0.91 [0.69, 0.98] 0.84 [0.60, 0.95] 0.97 [0.78, 1.00] 0.93 [0.80, 0.98] 0.82 [0.69, 0.90] 0.88 [0.60, 0.97] 0.93 [0.79, 0.98] 0.41 0.70 1.00 Forest plot Study 1 Study 2 Study 3 Study 4 Study 5 Study 6 Study 7 Study 8 Study 9 Study 10 Study 11 Study 12 Study 13 Study 14 Study 15 Study 16 Study 17 Study 18 Study 19 0.50 [0.13, 0.87] 0.30 [0.07, 0.70] 0.88 [0.40, 0.99] 0.94 [0.83, 0.98] 0.81 [0.47, 0.96] 0.71 [0.49, 0.86] 0.80 [0.65, 0.89] 0.33 [0.17, 0.53] 0.50 [0.29, 0.71] 0.42 [0.29, 0.57] 0.54 [0.35, 0.72] 0.64 [0.49, 0.77] 0.70 [0.30, 0.93] 0.57 [0.33, 0.78] 0.71 [0.59, 0.81] 0.57 [0.33, 0.78] 0.90 [0.80, 0.95] 0.83 [0.51, 0.96] 0.81 [0.64, 0.91] 0.07 0.53 0.99 57
  57. 57. 診断検査精度のメタアナリシス  メタアナリシスの実際 -madaパッケージ― ## メタアナリシス(simple pooling と separate Ran Effe) madauni(data, method =“ ”, type=“ ”) type DOR = diagnostic odds ratio (診断オッズ 比) posLR = 陽性尤度比( > 10) negLR = 陰性尤度比( < 0.1) method MH = fixed effect モデル DSL = random effect モデル 58 0-40%: might not be important 30-60%: may represent moderate 50-90%: may represent substantial 75-100%: considerable heterogeneity Higgins & Green. (2008). Cochran Handbook for Systematic Reviews of Interventions. Chapter 9, p278.
  58. 58. 診断検査精度のメタアナリシス  メタアナリシスの実際 -madaパッケージ― ## Littenberg-Moses SROCを描く mslSROC(data) 59
  59. 59. 診断検査精度のメタアナリシス  メタアナリシスの実際 -madaパッケージ― ## メタアナリシス(Reitsma et al.(2005) ‘s BRM ) reistma(data) 60 BRMは感度と特異 度の共分散 を、HSROCは精度 と閾値(θ)の共分 散をモデルに含む。
  60. 60. 診断検査精度のメタアナリシス  メタアナリシスの実際 -madaパッケージ― ## BRMを用いて2つのSROCを比較する:MRIとCTのデータ 61
  61. 61. 診断検査精度のメタアナリシス  メタアナリシスの実際 -madaパッケージ― ## BRMを用いて2つのSROCを比較する:MRIとCTのデータ 62
  62. 62. 診断検査精度のメタアナリシス63  メタアナリシスの実際 -データの統合― ■ RevManとRの連動
  63. 63. メタアナリシスの実際-統合と異質性-  診断精度と臨床的有用性 ■ 臨床的有用性とは   診断精度を量的に評価する指標   Clinical Utility Index calculator (http://www.psycho-oncology.info/cui.html)   CUI+=感度×PPV CUI-=特異度×NPV ■ 評価基準   excellent utility >= 0.81  good utility >=0.64  fair utility >=0.49 poor utility < 0.49  very poor utility < 0.36 Mitchell (2012). http://www.psycho-oncology.info/cui.html Mitchell (2011). Eur J Epidemiol, 26, 251-252. Mitchell (2014). British J Gen Prac, DOI: 10.3399/bjgp14x680497 64
  64. 64. 診断検査精度のメタアナリシスの結果をうけて65  メタアナリシスの結果を評価する(qualifying) ■ メタアナリシスに含まれた研究の評価   結果の一貫性、研究の質(QUADAS-2) ■ レビューそのものの評価   文献収集、データ抽出 ■ 先行研究との比較   自身のレビューとこれまでのレビューとの差異   (質的な差異、メタアナリシスの結果の差異)    Bossuyt et al. (2013). Chapter 11 Interpreting results and drawing conclusions. Cochrane Handbook for Systematic Reviews of Diagnostic Test Accuracy.
  65. 65. 診断検査精度のメタアナリシスの結果をうけて  診断検査精度のメタアナリシスの結果から ■ 実践への示唆 ■ 研究への示唆 Bossuyt et al. (2013). Chapter 11 Interpreting results and drawing conclusions. Cochrane Handbook for Systematic Reviews of Diagnostic Test Accuracy. 66
  66. 66. 診断検査精度のメタアナリシスの結果をうけて67  実践への示唆 ■ 実際の診断経路において、どこに位置づけられるか  the initial application of one or two questions followed by the longer AUDIT…, then the brief screens are both accurate and efficient. ■ メタアナリシス結果と検査の役割の関係 a cautious recommendation from the authors can be given for one or two verbal question as a screening test for alcohol-use disorder in primary care, but only when paired with a longer screening tool… Mitchell et al. (2014). British J of Gen Practice, DOI: 10.3399/bjgp14X680497.
  67. 67. 診診断断検検査査精精度度ののメメタタアアナナリリシシススのの結結果論をうけて68  研究への示唆 ■ 質の高い研究等の実施 The findings highlight the lack of clinical test accuracy data to support the use of history and physical examination to diagnose ALC injury. Most diagnostic studies on this topic contain methodological flaw which can overestimate the diagnostic accuracy of clinical tests. (Swain et al. (2014). Chirop & Man Thera, http://www.chiromt.com/content/22/1/25) The most promising tasks may be tested in large-scale population studies. Irrespective of the design used, future studies may employ independent test administration and blinding. (Pawlowska (2014). J Speech Lang Hear Res doi: 10.1044/2014_JSLHR-L-13-0189)
  68. 68.  参考文献 69
  69. 69. 70  参考文献 ・Harbord et al. (2008). An empirical comparison of methods for meta-analysis of diagnostic accuracy showed hierarchical models are necessary. Journal of Clinical Epidemiology, 61, 1095-1103. ・Reitsma et al. (2005). Bivariate analysis of sensitivity and specificity produces informative summary measures in diagnostic reviews. Journal of Clinical Epidemiology, 58, 982-900. ・Wills & Quigley (2011). Uptake of newer methodological developments and the deployment of meta-analysis in diagnostic test research: a systematic review. BMC Medical Research Methodology, 11, 27. ・Gatsonis & Paliwal (2006). Meta-analysis of diagnostic and screening test accuracy evaluations: Methodologic primer. American Journal of Roentgenogy, 187, 271- 281. ・Macaskill (2004). Empirical bayes estimates generated in a hierarchical summary ROC analysis agreed colsely with those of a full bayesian analysis. Journal of Clinical Epidemiology, 57, 925-932. ・Glas et al. (2003). The diagnostic odds ratio: A single indicator of test performance. Journal of Clinical Epidemiology, 56, 1129 – 1135. ・Meta-analysis of diagnostic accuracy with mada. (Doelbler & Holling) ・Package ‘mada’ (Doelbler) ・Package ‘HSROC’ (Schiller & Denbukuri)
  70. 70.  良い診断検査とは…   ・ accuracy   ・ invasiveness   ・ difficulty to do   ・ risk   ・ discomfort for patients   ・ time-consuming to yield results   ・ difficulty to interpret Bossuyt et al. (2006). BMJ, 332, 1089-1092. を改変 71

×