SRDTAにおける統計解析方法
記述的な方法、階層モデル、異質性
の評価と診断テスト間比較
小野薬品工業株式会社
小谷 基
2
本日の内容
 第1部
 メタアナリシスの基礎と記述的な方法
 実習:RevManでSROC曲線を描こう!
 第2部
 階層モデル、異質性の評価、テスト間比較
 実習:統計ソフトウェアの結果を用いて
SROC曲線を描こう!
3
第1部
メタアナリシスの基礎と記述的な方法
4
メタアナリシスの目標
 感度及び特異度という診断の正確度の指標に
焦点を当て、一つまたは複数の診断テスト間で
感度及び特異度を定量化し比較すること
 意思決定者が診断テストを合理的に選択し
使用することをサポート
5
メタアナリシスとは?
 二つ以上の研究結果を統合する統計的手法
 診断テストの平均的な正確度の推定
 平均の不確実性
 推定値周りの研究間のばらつき
 異質な研究結果の原因を理解することが可能
 偶然によるばらつき
 研究の特性の違いによる異質性
6
メタアナリシスとは?
 感度及び特異度の推定精度の向上
 研究間のばらつきを定量化することによる
研究結果の一貫性の評価
 推定精度の向上による診断テスト間の差に
関する検出力の向上
 個々の研究では直接比較されていない診断
テストの正確度を比較する枠組みを提供
7
メタアナリシスの統計モデル
 固定効果モデル
 各研究結果は同一の正確度をもつ(均質性)
 未知の正確度を推定すべきパラメータと
して各研究結果がその周辺にばらつく
 ランダム効果モデル
 各研究結果には本質的にはある程度の差
 被験者の特性、テストの方法、研究デザイン
などの違い
8
介入研究のメタアナリシスとの違い
 二つの要約統計量(感度及び特異度)を一つ
ずつではなく同時に取扱う必要あり
 陽性と陰性を定義する閾値が異なる研究の
統合を可能とする方法論の整備
 研究間のばらつきは想定されるものとして、
ランダム効果モデルを適用
 感度と特異度の関連、研究間のばらつきを
考慮するために階層モデルを適用
9
グラフによる結果提示
 Summary ROC(SROC)plots
 ROCの平面に、個々の研究の感度-特異度
の点をプロット
10
グラフによる結果提示
 Coupled forest plots 感度 特異度
11
グラフによる結果提示
 ランダムなばらつきと異質性を視覚的に正確
に評価することは困難
 詳細な統計解析の前に、個々の研究からの
推定値の精度や、感度や特異度に異質性が
観察されるかなどを視覚的に確認することは
重要
12
メタアナリシスによる要約
 共通の閾値における感度及び特異度の推定
 個々の研究は報告された閾値によって
複数の推定に寄与し得る
 複数の閾値におけるROC曲線の推定
(SROC曲線)
 一つの研究あたり一つの閾値を選択
13
メタアナリシスによる要約
 解析方法の選択
 閾値のばらつきに依存(共通の閾値を選択
できるか?)
 可能であれば、感度及び特異度の期待値と
SROC曲線の両方を推定することが合理的
 異質性にはランダム効果モデルで対応
 診断テストの平均的な正確度を推定し、
そのばらつきを評価
14
Moses-Littenberg法
 SROC曲線を導出するためのモデル
 固定効果モデルに類似(研究間の異質性を
推定できない)
 RevManで実行可能
 RevManからデータを抽出する必要なく
SROC曲線に基づく探索的解析が可能
Moses et al., 1993
15
Moses-Littenberg法
 ステップ1:個々の研究からの感度及び特異度
の推定値をlogit変換し、以下のD及びSを算出
 D = logit(感度)-logit(1-特異度)
 S = logit(感度)+logit(1-特異度)
 D:診断オッズ比の自然対数(正確度)
 S:陽性割合に関連する量。陽性割合が
増加すればSも増加するので、Sは閾値の
代替として捉えられる
16
Moses-Littenberg法
 ステップ2:Dを目的変数、Sを説明変数とした
単回帰モデルのあてはめ
 D = α+βS+誤差
 ステップ3:αとβの推定値を用いて、感度の
推定値を算出(DとSの式を変形して導出)
 E(感度) = 1/[1+exp(-[α+(1+β)logit(1-特異度)]/(1-β))]
 通常特異度はデータの範囲内に限定して
SROC曲線を描く(外挿はしない)
17
Moses-Littenberg SROC曲線の特性
 β= 0のとき、対角線に関して左右対称
 左右対称のSROC
曲線について、曲線
上のすべての点に
おいて診断オッズ比
(の対数)は共通
α= 3
β= -0.35, 0, 0.35
18
Moses-Littenberg SROC曲線の特性
 RevManにおいて、重み付け推定も可能
 対数診断オッズ比の分散の逆数で重み
 説明変数Sの誤差を考慮できていない
 研究間の異質性を適切に扱えない
 予備的な探索的解析のために用いるべき
19
実習
RevManでSROC曲線を描こう!
20
第2部
階層モデル、異質性評価、テスト間比較
21
階層モデル
 本日紹介するのは2段階モデル
 1段階目:個々の研究における2×2分割表
のセル度数をモデル化
 2段階目:研究間の異質性を説明するため
にランダム効果モデルを想定
 二変量モデルと階層SROCモデル
 RevManでは解析の実行が不可能
Harbord et al., 2007
22
(参考)階層モデル
k ,...,1 :研究ごとの真の効果
交換可能
ある分布からのランダム
サンプルと想定
共通の事前分布 1 k
…
1Y kY

23
階層モデル
 二変量モデル
 感度、特異度及びその相関を直接モデル化
 階層SROCモデル
 感度及び特異度の関数をモデル化
 これらのモデルからのパラメータ推定値が
得られれば、SROC曲線や感度、特異度の
要約値及びその95%信頼(予測)領域を算出
することが可能
24
二変量モデル
 1段階目:個々の研究において、疾病ありの
対象者における陽性の対象者数、疾病なしの
対象者における陰性の対象者数が二項分布
に従うとしてモデル化
 2段階目:logit変換した感度(特異度)がそれ
ぞれ共通の正規分布に従うとし、二変量正規
分布を用いて同時にモデル化することによって
感度、特異度間の相関を導入
Reitsma et al., 2005
25
二変量モデル
 推定すべきパラメータ
 logit変換した感度(特異度)の平均及び
分散とそれらの間の相関(共分散)の5つ
 モデルに相関を導入する意義
 研究間で閾値が異なることによる感度と
特異度のトレードオフを許容
 相関は負であることが期待される
26
二変量モデル
 黒点:感度、特異度の要約値
 点線:信頼領域、予測領域
 外れ値に対する感度解析が
必要かもしれない
27
階層SROCモデル
 背後に個々の研究のROC曲線があると想定
 パラメータとして、α:正確度(対数診断
オッズ比)、β:曲線の非対称性をもつ
 αとθ:閾値が研究間で異なると想定
 それぞれが共通の正規分布に従うと想定
 Moses-Littenberg法と類似した設定
 一つの研究あたり一つの閾値を解析に使用
Rutter and Gatsonis, 2001
28
階層SROCモデル
 感度、特異度の推定値にばら
つきあり ← 閾値のばらつき
 SROC曲線による要約が適切
 パラメータ推定値を得ると、
SROC曲線を描くことができる
29
異質性の評価
 研究間の異質性は観察されることが普通
 階層モデルに反映(ランダム効果モデル)
 診断テストの平均的な正確度を推定
 異質性は被験者の特性、テストの方法、研究
デザインなどの違いによって生じることもある
 それぞれのサブグループごとにSROC曲線
を描くなどによって、探索的な評価は可能
30
異質性の評価
 研究レベルの共変量を階層モデルに加える
ことによって、診断の正確度に関連する要因を
特定することが可能
 二変量モデルでは感度、特異度の値が
どのように変化するか、階層SROCモデル
では曲線の位置や形状がどのように変化
するか
 Ecological fallacyの問題
← メタ回帰
31
異質性の評価
 アッセイの違いによる異質性を
評価
 信頼領域にほぼ重複なし
 アッセイによって感度に差
32
形状の異なるSROC曲線
 曲線が交差
 特異度の値によって、相対
的な正確度が異なる
 Group 1の曲線が常に上
 形状に関する異質性はなし
 正確度の差を示唆
33
異質性の評価(SROC曲線)
 実験系の違いによる異質性を
評価
 若干LA法(赤線)が劣るように
見えるものの、実験系を区別
せずにSROC曲線を描くことが
合理的と考えられる
34
診断テスト間の比較
 一つもしくは両方のテストを評価したすべての
研究のデータを使用するアプローチ
 両方のテストを評価した研究のみのデータを
使用するアプローチ
 後者のほうがバイアスが小さいと考えられる
が、直接比較した研究が少なければ、解析の
実行が不可能になる可能性あり
35
診断テスト間の比較
 一つもしくは両方のテストを評価したすべての
研究のデータを使用するアプローチ
 解析に使用する研究数の最大化
 異質性を大きくする可能性大
 (データが得られていれば)交絡要因を調整
した上で、診断テストを階層モデルに含めて
テスト間の比較を実施
 両モデルともに利用可能
36
二変量モデルを用いた比較
 一貫した閾値が用いられた研究において
診断テスト間の比較を実施
 異なった閾値では結果が異なり得ることに
留意すべき
 階層SROCモデルを用いた比較も異質性の
評価と同様の手順で実施することが可能
37
二変量モデルを用いた比較
 CT(黒四角)とMRI(赤ひし形)
の比較
 CTとMRIに関する信頼領域に
重複はなく、CTはMRIよりも
感度、特異度ともに高い
38
診断テスト間の比較
 両方のテストを評価した研究のみのデータを
使用するアプローチ
 十分な研究数があれば、バイアスが小さく
理想的
本データにはモデルの
適用は困難か?
39
まとめ
 診断精度研究の系統的レビューに必要な統計
解析の方法を紹介
 グラフによる要約
 Moses-Littenberg法と階層モデル
 異質性の評価と診断テスト間の比較
 診断精度研究の系統的レビューに関する統計
解析は介入研究よりも複雑
40
実習
統計ソフトウェアの結果を用いて
SROC曲線を描こう!
41
参考文献
• Harbord RM, Deeks JJ, Egger M, Whiting P, Sterne JA. A
unification of models for meta-analysis of diagnostic
accuracy studies. Biostatistics 2007; 8: 239-251.
• Macaskill P, Gatsonis C, Deeks JJ, Harbord RM,
Takwoingi Y. Chapter 10: Analysing and Presenting
Results. In: Deeks JJ, Bossuyt PM, Gatsonis C (editors),
Cochrane Handbook for Systematic Reviews of
Diagnostic Test Accuracy Version 1.0. The Cochrane
Collaboration, 2010.
42
参考文献
• Moses LE, Shapiro D, Littenberg B. Combining
independent studies of a diagnostic test into a summary
ROC curve: data-analytic approaches and some
additional considerations. Statistics in Medicine 1993;
12: 1293-1316.
• Reitsma JB, Glas AS, Rutjes AW, Scholten RJ, Bossuyt
PM, Zwinderman AH. Bivariate analysis of sensitivity and
specificity produces informative summary measures in
diagnostic reviews. Journal of Clinical Epidemiology 2005;
58: 982-990.
• Rutter CM, Gatsonis CA. A hierarchical regression
approach to meta-analysis of diagnostic test accuracy
evaluations. Statistics in Medicine 2001; 20: 2865-2884.
43
付録
44
診断テストに関する2×2分割表
Disease status
(reference standard result)
Test outcome
(index test)
Diseased
(D+)
Non-diseased
(D-)
Total
Index test
positive (T+)
True positives
(a)
False positives
(b)
Test positives
(a+b)
Index test
negative (T-)
False negatives
(c)
True negatives
(d)
Test negatives
(c+d)
Total Disease
positives (a+c)
Disease
negatives (b+d)
N
(a+b+c+d)
45
感度及び特異度
 感度:The probability that the index test
result will be positive in a diseased case
 推定値 = a/(a+c)
 特異度:The probability that the index test
result will be negative in non-diseased
 推定値 = d/(b+d)
 False positive rate = 1-特異度(b/(b+d))
 Youden’s index = 感度+特異度-1
46
的中率
 陽性的中率:The probability that a case with
a positive index test result is diseased
 推定値 = a/(a+b)
 陰性的中率:The probability that a case with
a negative index test result is non-diseased
 推定値 = d/(c+d)
47
尤度比
 陽性尤度比:
 P(T+/D+)/P(T+/D-) = 感度/(1-特異度)
 診断テストが有用であれば1を超える
 陰性尤度比:
 P(T-/D+)/P(T-/D-) = (1-感度)/特異度
 診断テストが有用であれば1を下回る
48
診断オッズ比
 陽性尤度比/陰性尤度比
= (感度×特異度)/(1-感度)×(1-特異度)
 ○一つの指標にまとまっている
 ×臨床的な解釈が困難
 個々の研究で要約統計量として使用される
ことはまれ
 メタアナリシスのモデル構築に重要な要素
診断テストの閾値
 二値の診断テストの結果は閾値の設定に
よって変わる
 感度と特異度のトレードオフ
49
50
ROC曲線
 いくつかの閾値で診断テストが評価される
研究においてROC曲線を提示
 すべて取り得る値で閾値を設定したときの、
感度と特異度の値から得られる曲線
 感度と1-特異度をプロット
 Area Under the Curve(AUC)の計算
 すべての特異度の値についての平均的な
診断テストの感度とも解釈できる
51
ROC曲線の例
(1) (2)
(3) (4)
52
ROC曲線と診断オッズ比の関連
 左右対称のROC曲線について、曲線上の
すべての点において診断オッズ比は共通
 個々の研究において、
この関連が言及される
ことはないが、ROCに
に基づくメタアナリシス
モデルの基礎となる
53
記法(階層SROCモデル)
 yi1:i番目の試験での疾病ありの対象者に
おける陽性の対象者数
 yi2:i番目の試験での疾病なしの対象者に
おける陽性の対象者数
 nij:i番目の試験での疾病グループjにおける
被験者数
 πij:i番目の試験での疾病グループjにおける
陽性確率
54
階層SROCモデル
 yij ~ B(nij, πij) :二項分布
 階層SROCモデル:
 logit(πij) = (θi+αidisij)exp(-βdisij)
 disij:真の疾病の状態
(疾病あり = 0.5 or なし = -0.5)
 θi:閾値の代替となるパラメータ
(Moses-Littenberg法におけるS/2と等価)
 βは固定効果としてモデルに含まれる
55
階層SROCモデル
 推定すべきパラメータ
 正確度(α)に関する平均(Λ)及び分散、
閾値(θ)に関する平均(Θ)及び分散、β
 1-特異度の値の範囲を選択し、Λ及びβの
推定値を用いて、感度の推定値を算出
 感度 = 1/[1+exp(-(Λe-0.5β+logit(1-特異度)e-β))]
 β= 0 のとき、SROC曲線は左右対称

6診断精度のメタアナリシス