Yasuyuki Okumura, profile picture
Uploaded byYasuyuki Okumura
8,094 views

バリデーション研究の入門

臨床疫学研究における報告の質向上のための統計学の研究会 第35回研究集会 2019/9/7 (⼟) 13:15~14:25 東京医科⻭科⼤学

Embed presentation

Downloaded 84 times
バリデーション研究の⼊⾨ 臨床疫学研究における報告の質向上のための統計学の研究会 第35回研究集会 2019/9/7 (⼟) 13:15~14:25 東京医科⻭科⼤学 奥村泰之 公益財団法⼈ 東京都医学総合研究所 精神⾏動医学研究分野 ⼼の健康プロジェクト
発表の構成 はじめに 研究デザイン 主要４指標の計算と例数設計 予測モデルに基づく⽅法 誤分類の種類 適格基準に関する誤分類の影響 ⾮差異的誤分類によるバイアス 差異的誤分類によるバイアス 2
データベース研究，腸切除術施⾏患者に 対するアルビモパン処⽅の有⽤性 3Steele SR et al: Dis Colon Rectum. 2018 Dec;61(12):1418-1425.
データベースによりPECO+Cを特定 注. ⼀般に⾚字の精度は⻘字よりも悪い 4 Patient: 腸切除術を受けた18歳以上 Exposure: アルビモパン処⽅あり Control: アルビモパン処⽅なし Outcome: 術後の病態 Covariate: 年齢，性別，⼈種，保険者 Steele SR et al: Dis Colon Rectum. 2018 Dec;61(12):1418-1425.
術後の病態の定義 注. ⼀般に⾚字の精度は⻘字よりも悪い 5 病名 種類 ICD-9-CM ⿇痺性腸閉塞 診断 560.1 腸閉塞 診断 537.3, 552.3, 560.81, 560.89, 560.9, 777.1 ⾮経⼝栄養 診療⾏為 99.15,96.6 術後の経⿐胃管 診療⾏為 96.07 胃痛 診断 787.3 Steele SR et al: Dis Colon Rectum. 2018 Dec;61(12):1418-1425.
誤分類(misclassification) 6 参照基準 (reference standard) 陽性 陰性 インデックス 検査 (index test) 陽性 A (真陽性) C (偽陽性) 陰性 B (偽陰性) D (真陰性) データベースに おける定義 カルテ等における 定義
Patient: 腸切除術を受けた18歳以上 Exposure: アルビモパン処⽅ Outcome: 術後の病態 Covariate: 年齢，性別，⼈種，保険者 誤分類は， 研究疑問の各要素で⽣じうる 7
⼀般的な誤分類の原因 ① 未受診 (例. 8割が未受診のADHD発症を特定) ② 診断・診療⾏為の不正確な記録 (例. 保険病名における統合失調症) ③ 診断・診療⾏為を表現するのに不⼗ 分なコード (例. 包括算定における検査) ④ 保険外の診療 (例. ⾃由診療) 8Chubak J et al: J Clin Epidemiol. 2012 Mar;65(3):343-349.
医薬品における誤分類の原因 保険対象外の医薬品(例. ⾃由診療・治験) 包括算定の医薬品 服薬アドヒアランスの不良 残薬の服⽤ 市販薬の服⽤ 9
誤分類の定量化 ＝バリデーション研究 10 Patient: カナダのプライマリケア64施設の受診者 Index test: レセプト情報等のうつ病診断(ICD-10) Reference standard: カルテレビューのうつ病診断 Doktorchik C et al: BMC Psychiatry. 2019 Jan 7;19(1):9. doi: 10.1186/s12888-018-1990-6 参照基準 (reference standard) 陽性 陰性 インデックス 検査 (index test) 陽性 A (真陽性) C (偽陽性) 陰性 B (偽陰性) D (真陰性)
3362例のコホート研究 11 35歳以上の プライマリケア受診者 カルテレビューによる うつ病診断 レセプト情報等による うつ病診断 陽性 陰性 無作為抽出 すべての参加者に 参照基準 Doktorchik C et al: BMC Psychiatry. 2019 Jan 7;19(1):9. doi: 10.1186/s12888-018-1990-6
アルゴリズムの精度を⽐較 12 インデックス検査 感度 特異度 陽性 適中率 陰性 適中率 1つの診療所で診断 79% 87% 55% 95% 2つの診療所で診断 64% 94% 68% 92% ⼊院で診断 5% 100% 76% 83% 限 定 的 な 基 準 Doktorchik C et al: BMC Psychiatry. 2019 Jan 7;19(1):9. doi: 10.1186/s12888-018-1990-6
研究デザイン 13
診断精度研究，７つのデザイン ① 横断的コホート研究(cross-sectional cohort study) ② 包括的診断研究法(comprehensive diagnostic study design) ③ 層別抽出法(stratification design) ④ ⼆段抽出法(two-phase design) ⑤ 検査陰性症例の未確証法(comparing two tests without screened negative verification) ⑥ コホート内症例対照研究(nested case-control study) ⑦ 症例対照研究(two-gate case-control study) 14Holtman GA et al: J Clin Epidemiol. 2019 May 28;114:38-48. 医療データベースの バリデーション研究では あまり使われない
①横断的コホート研究 15 連続登録の集団 参照基準 インデックス検査 陽性 陰性 すべての参加者に インデックス検査 すべての参加者に 参照基準 Wu JW et al: Pharmacoepidemiol Drug Saf. 2018 Oct 4. doi: 10.1002/pds.4641. Brooks GA et al: JCO Clin Cancer Inform. 2019 May;3:1-19. doi: 10.1200/CCI.18.00156.
①’⾼リスク群に基づく⽅法* *横断的コホート研究の変法 16 ⾼リスク群の 連続登録の集団 参照基準 インデックス検査 陽性 陰性 すべての参加者に インデックス検査 すべての参加者に 参照基準 Brandenburg NA et al: Pharmacoepidemiol Drug Saf. 2019 Feb;28(2):256-263. Culpepper WJ et al: Neurology. 2019 Mar 5;92(10):e1016-e1028.
②包括的診断研究法 17 連続登録の集団 複数疾患の参照基準 複数疾患のインデックス検査 陽性 陰性 すべての参加者に インデックス検査 すべての参加者に 参照基準 Durand M et al: Pharmacoepidemiol Drug Saf. 2015 Sep;24(9):943-50. doi: 10.1002/pds.3808. Mu Y et al: PeerJ. 2018 Jul 27;6:e5284. doi: 10.7717/peerj.5284.
③層別抽出法 18 低リスク群 参照基準 インデックス検査 陽性 陰性 ⾼リス ク群 低リスク群 ⾼リス ク群 連続登録の集団 陽性となるリスクの ⾼い群と低い群に層化 ⾼リスク群から 多めに無作為抽出 低リスク群から少なめに 無作為抽出 すべての抽出された参加者に インデックス検査 すべての抽出された参加者に 参照基準 Delate T et al: Cancer Epidemiol Biomarkers Prev. 2012 Apr;21(4):673-80. Kadhim-Saleh A et al: J Am Board Fam Med. 2013 Mar-Apr;26(2):159-67.
層別抽出法における層の事例 19 研究 層 参照基準 [1] 年齢 (60歳以上 vs 60歳未満) 診療録における糖尿病，⾼⾎圧， 変形性関節症，COPD，うつ病の 診断 [2] 在院⽇数 (6⽇以上 vs 6⽇未満) ICUの利⽤ (利⽤ vs. 未利⽤) 診療録における敗⾎症の診断 [3] 虚⾎性⼼疾患の既往 (あり vs な し) 無症候性⼼筋梗塞の診断 [4] 来院時診断で肺動脈⾼⾎圧症の 疑い (あり vs なし) 肺動脈⾼⾎圧の診断 [1] Kadhim-Saleh A et al: J Am Board Fam Med. 2013 Mar-Apr;26(2):159-67. [2] Fleischmann-Struzek C et al: PLoS One. 2018 Jul 30;13(7):e0198847. [3] Obuchowski NA, Zhou XH: Biostatistics. 2002 Dec;3(4):477-92. [4] Papani R et al: Pulm Circ. 2018 Apr-Jun;8(2):2045894018759246.
③ʼAll possible casesに基づく⽅法* *層別抽出法の変法 20 連続登録の集団 ⾼リスク群 陽性となるリスクの ⾼い群と低い群に層化 参照基準 陽性陰性陰性 インデックス検査 低リスク群 低リスク群には 陽性がいないと仮定 Krysko KM et al: Mult Scler. 2015 Feb;21(2):217-24. Widdifield J et al: Mult Scler. 2015 Jul;21(8):1045-54. ⾼リスク群の 全例に参照基準 すべての参加者に インデックス検査
④⼆段抽出法 21 連続登録の集団 参照基準 インデックス 検査陽性 陽性 陰性 インデックス検査陰性 すべての検査陽性の 参加者に参照基準 すべての参加者に インデックス検査 すべての抽出された 参加者に参照基準 検査陰性の参加者から 無作為抽出して参照基準 Burke JP et al: Autism. 2014 Apr;18(3):321-30. Gruschow SM et al: J Atten Disord. 2016 Oct 1:1087054716672337. doi: 10.1177/1087054716672337.
⑤検査陰性症例の未確証法 22 連続登録の集団 参照基準 陽性 陰性 インデックス 検査陽性 インデックス検査陰性 すべての参加者に インデックス検査 すべての検査陽性の 参加者に参照基準 すべての検査陰性の 参加者に参照基準の確証をしない Green CA et al: Pharmacoepidemiol Drug Saf. 2017 May;26(5):509-517. doi: 10.1002/pds.4157. Gil M et al: Pharmacoepidemiol Drug Saf. 2019 Feb;28(2):209-216. doi: 10.1002/pds.4686.
参照基準に関する情報源の事例 23 研究 情報源 参照基準 [1] 被保険者台帳 死亡による保険離脱 [2] がんの症例レジストリ 乳がんによる死亡 [3] 電⼦カルテ情報 糖尿病の診断 [4] コホート調査 ⾻折の診断 [5] 質問紙調査 うつ病による抗うつ薬の使⽤ [6] カルテレビュー 多発性硬化症の診断 [1] Reps JM et al: Drug Saf. 2019 May 3. doi: 10.1007/s40264-019-00827-0. [2] Langner I et al: BMJ Open. 2019 Jul 26;9(7):e026834. [3] Lipscombe LL et al: BMC Health Serv Res. 2018 May 2;18(1):316. [4] Wright NC et al: J Bone Miner Res. 2019 Jun 6. doi: 10.1002/jbmr.3807. [5] Havard A et al: Pharmacoepidemiol Drug Saf. 2019 Mar;28(3):354-361. [6] Culpepper WJ et al: Neurology. 2019 Mar 5;92(10):e1016-e1028. ⾼ コ ス ト
参照基準の測定が⾼コストかつ有病率が 低い場合の研究デザインの優先順位 24Holtman GA et al: J Clin Epidemiol. 2019 May 28;114:38-48. 順位 研究デザイン コメント 1 ⼆段抽出法 必要症例数が⼤きく減るこ とは少ない 2 検査陰性症例の未確証法 感度・特異度を求められな い 3 層別抽出法 層ごとにインデックス検査 の精度が等しいという困難 な仮定が必要
主要４指標の計算と例数設計 25
指標 感度 特異度 陽性適中率 陰性適中率 26
27 感度 A/(A+B) 特異度 D/(C+D) 感度＝病気ありを当てる割合 特異度＝病気なしを当てる割合 参照基準 (reference standard) 陽性 陰性 インデックス 検査 (index test) 陽性 A (真陽性) C (偽陽性) 陰性 B (偽陰性) D (真陰性)
28 陽性適中率 A/(A+C) 陽性適中率＝検査陽性の内，正しい割合 陰性的中率＝検査陰性の内，正しい割合 参照基準 (reference standard) 陽性 陰性 インデックス 検査 (index test) 陽性 A (真陽性) C (偽陽性) 陰性 B (偽陰性) D (真陰性) 陰性適中率 D/(B+D)
指標の重要性， インデックス検査の使い⽅に依存 指標 インデックス検査の使い⽅ 感度  割合の⾼い曝露の定義 特異度  アウトカムの定義  割合の低い曝露の定義 陽性適中率  患者の選択基準 陰性適中率  患者の除外基準 29Chubak J et al: J Clin Epidemiol. 2012 Mar;65(3):343-349
Rによる4指標の計算* *横断的コホート研究の場合 epiR::epi.tests(dat) dat…分割表 30 4指標 Joseph RM et al: Pharmacoepidemiol Drug Saf. 2019 Feb;28(2):179-186.
Rによる例数設計* *横断的コホート研究の場合 sample.se(se,p,L) se…感度 p…有病率 L…感度の信頼区間の幅 31Hajian-Tilaki K: J Biomed Inform. 2014 Apr;48:193-204. 感度80%，有病率10%・5%・1%， 信頼区間の幅±10%における必要症例数
標本抽出法により計算式は違う 32 Obuchowski NA, Zhou XH: Biostatistics. 2002 Dec;3(4):477-92. 岩上ら: http://www.jspe.jp/committee/pdf/validationtrr120180523.pdf
予測モデルに基づく⽅法 33
予測モデルの構築事例 34 Patient: ⽶国の⺠間医療保険から離脱した⼈ Index test: 保険離脱1年以内のレセプト情報(2097変数) Reference standard: 離脱理由が死亡(vs 保険変更) n=1,000,000 n=390076 Optum DOD (⺠間保険) n=457,359 Medicare (公的保険) n=290,859 Medicaid (公的保険) MarketScan (⺠間保険) n=410,238 外的妥当性の検討 Reps JM et al: Drug Saf. 2019 May 3. doi: 10.1007/s40264-019-00827-0.
35 モデル構築の流れ 変数選択(88514変数→2097変数) モデル推定 (ロジスティック回帰分析) モデルの評価(AUC) 予測値の値ごとの診断精度 (感度/特異度) 外的妥当性の評価(AUC) Reps JM et al: Drug Saf. 2019 May 3. doi: 10.1007/s40264-019-00827-0. 予測値 感度 特異度 >0.9 26% 100% >0.5 62% 99% >0.1 90% 98% 年齢，⼊院歴，循環器 病・がんの診断など
予測モデルの利点 多数の説明変数を重みづけながら， インデックス検査の定義を機械的に 決められる 診断精度の向上につながる 36Beachler DC et al: Pharmacoepidemiol Drug Saf. 2019 Feb;28(2):171-178.
予測モデルにおけるインデックス検査と 参照基準の事例 37 研究 インデックス検査 (抜粋) 参照基準 [1] 保険離脱⽇から1年以内の⼊院歴，循 環器病・がんの診断 保険の離脱理由 (死亡 vs そ の他) [2] 調査⽇から30⽇以内の三環系抗うつ 薬の処⽅，6か⽉以内の精神科利⽤ 抗うつ薬の処⽅理由 (うつ 病 vs その他) [3] 死亡⽇から28⽇以内の退院時の循環 器病診断，外来の循環器病診断 死亡の理由 (循環器病 vs そ の他) [4] 化学療法の開始⽇から前後3か⽉以内 の，肺切除術，放射線治療の状況， 外来受診回数 肺がんの重症度 (ステージ IV vs I~III) [1] Reps JM et al: Drug Saf. 2019 May 3. doi: 10.1007/s40264-019-00827-0. [2] Havard A et al: Pharmacoepidemiol Drug Saf. 2019 Mar;28(3):354-361. [3] Xie F et al: Pharmacoepidemiol Drug Saf. 2018 Jul;27(7):740-750. [4] Brooks GA et al: JCO Clin Cancer Inform. 2019 May;3:1-19. doi: 10.1200/CCI.18.00156.
誤分類の種類 38
参照基準 (reference standard) 陽性 陰性 インデックス 検査 (index test) 陽性 A (真陽性) C (偽陽性) 陰性 B (偽陰性) D (真陰性) 双⽅向的誤分類(bi-directional misclassification) 39 陽性の⼈と陰性の⼈ 双⽅に誤分類が⽣じる Graham DJ, Smith CR: Am J Prev Med. 1988;4(2 Suppl):15-24.
参照基準 (reference standard) 陽性 陰性 インデックス 検査 (index test) 陽性 A (真陽性) C (偽陽性) 陰性 B (偽陰性) D (真陰性) 単⽅向的誤分類(uni-directional misclassification) 40 陽性の⼈だけに 誤分類が⽣じる (偽陰性) 参照基準 (reference standard) 陽性 陰性 インデックス 検査 (index test) 陽性 A (真陽性) C (偽陽性) 陰性 B (偽陰性) D (真陰性) 陰性の⼈だけに 誤分類が⽣じる (偽陽性) Graham DJ, Smith CR: Am J Prev Med. 1988;4(2 Suppl):15-24.
⾮差異的誤分類(non-differential misclassification) アウトカムの⾮差異的誤分類 アウトカムの感度と特異度は，曝露群と⾮ 曝露群との間で等しい 曝露の⾮差異的誤分類 曝露の感度と特異度は，アウトカムイベン トの発現群と未発現群との間で等しい 41Graham DJ, Smith CR: Am J Prev Med. 1988;4(2 Suppl):15-24.
アウトカムの⾮差異的誤分類 42 参照基準 (reference standard) 陽性 陰性 インデック ス検査 (index test) 陽性 16 0 陰性 4 80 参照基準 (reference standard) 陽性 陰性 インデック ス検査 (index test) 陽性 80 0 陰性 20 900 感度=0.8; 特異度=1.0 感度=0.8; 特異度=1.0 曝露群 ⾮曝露群 イベント数 全体 イベント数 全体 真の分布 20 100 100 1000
差異的誤分類(differential misclassification) アウトカムの差異的誤分類 アウトカムの感度と特異度は，曝露群と⾮ 曝露群との間で等しくない 曝露の差異的誤分類 曝露の感度と特異度は，アウトカムイベン トの発現群と未発現群との間で等しくない 43Graham DJ, Smith CR: Am J Prev Med. 1988;4(2 Suppl):15-24.
アウトカムの差異的誤分類 44 参照基準 (reference standard) 陽性 陰性 インデック ス検査 (index test) 陽性 16 0 陰性 4 80 参照基準 (reference standard) 陽性 陰性 インデック ス検査 (index test) 陽性 50 0 陰性 50 900 感度=0.8; 特異度=1.0 感度=0.5; 特異度=1.0 曝露群 ⾮曝露群 イベント数 全体 イベント数 全体 真の分布 20 100 100 1000
差異的誤分類の発⽣要因  医薬品の処⽅を受けている⼈は，医薬品の処⽅を受けて いない⼈と⽐べ，診察を受け続けているため，診断に関 するアウトカムが正確に記録されやすい[1]  有害事象のリスク増⼤が疑われる医薬品の処⽅を受けて いる⼈は，その他の医薬品の処⽅を受けている⼈と⽐ べ，検査頻度が上昇するため，有害事象の発現が正確に 記録されやすい[2]  慢性⾝体疾患を有する⺟親から⽣まれた⼦は，その他の ⼦と⽐べ，専⾨医による診察を受けやすいため，先天性 奇形の診断が正確に記録されやすい[3] 45 [1] Cox E et al: Value Health. 2009 Nov-Dec;12(8):1053-61. [2] Funk MJ, Landi SN: Curr Epidemiol Rep. 2014 Dec;1(4):175-185. [3] Copeland KT et al: Am J Epidemiol. 1977 May;105(5):488-95.
適格基準に関する誤分類の影響 46
0.0 0.2 0.4 0.6 0.8 1.0 020406080100 感度 陽性適中率(%) 有病率 50% 10% 5% 1% 0.1% 0.90 0.92 0.94 0.96 0.98 1.00020406080100 特異度 陽性適中率(%) 有病率 50% 10% 5% 1% 0.1% 有病率×精度による選択基準の精度 47 感度の影響は⼩さい (特異度100%の場合は影響なし) 有病率が低いと 特異度の影響が甚⼤ (例: ⼀般外来の統合失調症) (図左: 特異度99%，図右: 感度100%) Chubak J et al: J Clin Epidemiol. 2012 Mar;65(3):343-349
0.0 0.2 0.4 0.6 0.8 1.0 020406080100 感度 陰性適中率(%) 有病率 50% 10% 5% 1% 0.1% 0.0 0.2 0.4 0.6 0.8 1.0020406080100 特異度 陰性適中率(%) 有病率 50% 10% 5% 1% 0.1% 有病率×精度による除外基準の精度 48 感度の影響は⼩さい (特異度100%の場合は影響なし) 特異度の影響は⼩さい (感度100%の場合は影響なし) (図左: 特異度99%，図右: 感度99%) Chubak J et al: J Clin Epidemiol. 2012 Mar;65(3):343-349
有病率0.1%，感度50%の場合 特異度 陽性適中率 100% 100% 99.9% 67% 99.5% 29% 99.0% 17% 98.0% 9% 95.0% 4% 49 有病率0.1%では代表性が微妙になる ➡有病率の低い病気を同定する研究への懸念
選択基準の誤分類は代表性の問題 Patient: 過量服薬診断を有する⼊院 Exposure: 精神科コンサルあり Control: 精神科コンサルなし Outcome: 過量服薬による再⼊院 50 全病床に占める有病率は 0.2%なので， 陽性適中率が悪いかも Okumura Y, Nishi D: Neuropsychiatr Dis Treat. 2017 Mar 2;13:653-665.
適格基準の誤分類評価関数 ppp.npv(se, sp, p) se…感度 sp…特異度 p…有病率 51 感度90%，特異度90%， 有病率1・5・10%の場合に おける陽性・陰性適中率 Chubak J et al: J Clin Epidemiol. 2012 Mar;65(3):343-349
⾮差異的誤分類によるバイアス 52
曝露の精度によるバイアス 53 注) 真のリスク⽐が2.0で，曝露に⾮差異的誤分類が⽣じる場合 (図左: 特異度100%，図右: 感度100%) Chubak J et al: J Clin Epidemiol. 2012 Mar;65(3):343-349 割合の⾼い曝露では 感度の影響が⼤きい (例: ICUのせん妄， 外来⾼齢者のNSAIDs服⽤) 割合の低い曝露では 特異度の影響が⼤きい (例: ⼀般外来の統合失調症) 0.5 0.6 0.7 0.8 0.9 1.0 -50-40-30-20-100 感度 リスク比の減少率(%) 曝露の割合 1% 10% 50% 80% 0.5 0.6 0.7 0.8 0.9 1.0-50-40-30-20-100 特異度 リスク比の減少率(%) 曝露の割合 1% 10% 50% 80%
曝露の誤分類バイアス評価関数 exp.bias(p, se, sp, I.ctr, I.exp) p…曝露の割合 se…曝露の感度 sp…曝露の特異度 l.ctr…⾮曝露群におけるイベント発⽣率 I.exp…曝露群におけるイベント発⽣率 54Chubak J et al: J Clin Epidemiol. 2012 Mar;65(3):343-349
感度・特異度の合計が1以上の場合 55 曝露の割合10・30・50%， 感度50%，特異度100%， 真のリスク⽐2.0の場合における リスク⽐のバイアス Chubak J et al: J Clin Epidemiol. 2012 Mar;65(3):343-349 効果の⼤きさは1に近づく (bias toward the null)
56 曝露の割合10・30・50%， 感度20%，特異度60%， 真のリスク⽐2.0の場合における リスク⽐のバイアス Chubak J et al: J Clin Epidemiol. 2012 Mar;65(3):343-349 「感度＋特異度<100%」の場合 効果の⽅向性が反対になりうる (switcheover bias) 感度・特異度の合計が1未満の場合
57 真のリスク⽐が1の場合 曝露の割合10・30・50%， 感度20%，特異度60%， 真のリスク⽐1.0の場合における リスク⽐のバイアス 効果の⼤きさ・⽅向性は変わらない (unbiased)
0.0 0.2 0.4 0.6 0.8 1.0 -50-40-30-20-100 感度 リスク比の減少率(%) アウトカムの発生率 50% 20% 10% 1% 0.90 0.92 0.94 0.96 0.98 1.00 -50-40-30-20-100 特異度 リスク比の減少率(%) アウトカムの発生率 50% 20% 10% 1% アウトカムの精度によるバイアス 58 注) 真のリスク⽐が2.0で，アウトカムに⾮差異的誤分類が⽣じる場合 (図左: 特異度99%，図右: 感度100%) Chubak J et al: J Clin Epidemiol. 2012 Mar;65(3):343-349 感度の影響は⼩さい (特異度100%の場合は影響なし) 発⽣率の低いアウトカムでは 特異度の影響が甚⼤ (例: ⼀般外来の統合失調症)
曝露群のアウトカムの発⽣率0.1%， 真のリスク⽐2，感度50%の場合 特異度 観察される リスク⽐ 100% 2.0 99.9% 1.2 99.5% 1.0 59 発⽣率0.1%のアウトカムでは関連の検出が困難 ➡安全性を評価する研究への懸念
低い有病率≠特異度100% 60 研究 患者 参照基準 N 有病率 感度 特異度 [1] 成⼈ 膵臓がん発症 1200万 0.1% 97.5% 99.8% [2] ⼩児 脳性⿇痺 16万 0.1% 65.5% 99.9% [3] ⼩児 糖尿病 26万 0.2% 94.2% 99.9% [1] Wu JW et al: Pharmacoepidemiol Drug Saf. 2018 Oct 4. [2] Oskoui et al: CMAJ Open. 2017 Jul 18;5(3):E570-E575. [3] Dart AB et al: Diabetes Care. 2011 Apr;34(4):898-903
アウトカムの誤分類バイアス評価関数 out.bias(p, se, sp, I.ctr, I.exp) p…曝露の割合 se…アウトカムの感度 sp…アウトカムの特異度 l.ctr…⾮曝露群におけるイベント発⽣率 I.exp…曝露群におけるイベント発⽣率 61Chubak J et al: J Clin Epidemiol. 2012 Mar;65(3):343-349
感度・特異度の合計が1以上の場合 62 感度30%，特異度98%， 曝露の割合10%， 真のリスク⽐2.0の場合における リスク⽐のバイアス イベント発⽣率が低いと バイアスが⼤きい
⾮差異的誤分類バイアスの特徴  多く場合に誤分類バイアスは，効果の⼤きさが1 に近づく(bias toward the null)[1]  精度が⾮常に悪い場合(感度+特異度<100%)の誤分 類バイアスは，効果の⽅向性が反対になる (switcheover bias)[1]  アウトカムの誤分類バイアスは，感度によるリ スク⽐への影響は⼩さいが，リスク差への影響 は⼤きい[2]  曝露が3⽔準以上の場合における曝露の誤分類バ イアスは，効果の⽅向性は，どちらにでもなる (bias in any direction)[2] 63 Chen et al: Am J Public Health. 2013 May;103(5):e67-73. Funk MJ, Landi SN et al: Curr Epidemiol Rep. 2014 Dec;1(4):175-185.
差異的誤分類によるバイアス 64
真のオッズ⽐が>1の場合 65 種類 感度 特異度 バイアスの⽅向性 1 ⾮曝露群 < 曝露群 ⾮曝露群 = 曝露群 Bias in any direction 2 ⾮曝露群 = 曝露群 ⾮曝露群 > 曝露群 Bias in any direction 3 ⾮曝露群 > 曝露群 ⾮曝露群 = 曝露群 Swithover bias Bias toward the null 4 ⾮曝露群 = 曝露群 ⾮曝露群 < 曝露群 Swithover bias Bias toward the null 5 ⾮曝露群 > 曝露群 ⾮曝露群 < 曝露群 Swithover bias Bias toward the null 6 ⾮曝露群 < 曝露群 ⾮曝露群 > 曝露群 Bias in any direction 7 ⾮曝露群 < 曝露群 ⾮曝露群 < 曝露群 Bias in any direction 8 ⾮曝露群 > 曝露群 ⾮曝露群 > 曝露群 Bias in any direction Chen et al: Am J Public Health. 2013 May;103(5):e67-73.
真のオッズ⽐が<1の場合 66 種類 感度 特異度 バイアスの⽅向性 1 ⾮曝露群 < 曝露群 ⾮曝露群 = 曝露群 Swithover bias Bias toward the null 2 ⾮曝露群 = 曝露群 ⾮曝露群 > 曝露群 Swithover bias Bias toward the null 3 ⾮曝露群 > 曝露群 ⾮曝露群 = 曝露群 Bias in any direction 4 ⾮曝露群 = 曝露群 ⾮曝露群 < 曝露群 Bias in any direction 5 ⾮曝露群 > 曝露群 ⾮曝露群 < 曝露群 Bias in any direction 6 ⾮曝露群 < 曝露群 ⾮曝露群 > 曝露群 Swithover bias Bias toward the null 7 ⾮曝露群 < 曝露群 ⾮曝露群 < 曝露群 Bias in any direction 8 ⾮曝露群 > 曝露群 ⾮曝露群 > 曝露群 Bias in any direction Chen et al: Am J Public Health. 2013 May;103(5):e67-73.
真のオッズ⽐が1の場合 67 種類 感度 特異度 バイアスの⽅向性 1 ⾮曝露群 < 曝露群 ⾮曝露群 = 曝露群 Away from the null with OR >1 2 ⾮曝露群 = 曝露群 ⾮曝露群 > 曝露群 Away from the null with OR >1 3 ⾮曝露群 > 曝露群 ⾮曝露群 = 曝露群 Away from the null with OR <1 4 ⾮曝露群 = 曝露群 ⾮曝露群 < 曝露群 Away from the null with OR <1 5 ⾮曝露群 > 曝露群 ⾮曝露群 < 曝露群 Away from the null with OR <1 6 ⾮曝露群 < 曝露群 ⾮曝露群 > 曝露群 Away from the null with OR >1 7 ⾮曝露群 < 曝露群 ⾮曝露群 < 曝露群 Unbiased Away from the null 8 ⾮曝露群 > 曝露群 ⾮曝露群 > 曝露群 Unbiased Away from the null Chen et al: Am J Public Health. 2013 May;103(5):e67-73.
バイアスの影響評価関数 68 bias.impact(mat, se.exp, se.ctr, sp.exp, sp.ctr) mat…観察された (誤分類がある) 曝露とアウトカムの 分割表 se.exp…曝露群におけるアウトカムの感度の範囲 se.ctr…⾮曝露群におけるアウトカムの感度の範囲 sp.exp…曝露群におけるアウトカムの特異度の範囲 sp.ctr…⾮曝露群におけるアウトカムの特異度の範囲 Chen et al: Am J Public Health. 2013 May;103(5):e67-73.
バイアスの影響評価関数 69 返り値 minimum…真の (誤分類がない) オッズ⽐の最⼩値 maximum…真のオッズ⽐の最⼤値 pattern…すべての感度と特異度の組み合わせでの，真 のオッズ⽐ Chen et al: Am J Public Health. 2013 May;103(5):e67-73.
分割表の準備 70 交通事故の原因 (アウトカム) 薬物 薬物以外 年齢 (曝露) 若年層 575 3150 ⾼齢層 1315 11107 Chen et al: Am J Public Health. 2013 May;103(5):e67-73. 観察されたオッズ⽐ =1.53 アウトカムの精度 (95%信頼区間) 曝露群の感度: 68~75% ⾮曝露群の感度: 61~65% 両群の特異度: 97~98% バリデーション研究による情報
1つのパターンの場合 71 曝露群の感度75%・特異度98%， ⾮曝露群の感度61%・特異度97%， 観察されたオッズ⽐1.53の場合における， 真のオッズ⽐ Chen et al: Am J Public Health. 2013 May;103(5):e67-73.
複数のパターンの場合 72 曝露群の感度68~75%・特異度97~98%， ⾮曝露群の感度61~65%・特異度97~98%， 観察されたオッズ⽐1.53の場合における， 真のオッズ⽐ Chen et al: Am J Public Health. 2013 May;103(5):e67-73.
差異的誤分類バイアスの特徴 効果の⽅向性は，どちらにでもなる(bias in any direction) ⾮差異的誤分類の仮定から少し逸脱する だけで，⼤きなバイアスが⽣じることが ある 73Chubak J et al: J Clin Epidemiol. 2012 Mar;65(3):343-349.
本資料のRプログラム 74Yasuyuki Okumura: http://rpubs.com/yachu93/523989
Take Home Messages 主要研究デザインは５種類 指標の重要性は研究疑問に依存 稀な疾患の同定は代表性に難あり 稀なイベントの関連は検出困難 ⾮差異的誤分類の仮定は⾮現実的 差異的誤分類バイアスは厄介 75

More Related Content

PDF
データベース研究の報告
byYasuyuki Okumura
 
PPTX
観察研究の必須事項
byYoshitake Takebayashi
 
PDF
明日から読めるメタ・アナリシス
byYasuyuki Okumura
 
PDF
臨床疫学研究における傾向スコア分析の使い⽅ 〜観察研究における治療効果研究〜
byYasuyuki Okumura
 
PDF
臨床的有意性の書き方
byYasuyuki Okumura
 
PDF
NDBを用いた臨床疫学研究の留意点
byYasuyuki Okumura
 
PPTX
観察研究の質の評価
byYoshitake Takebayashi
 
PDF
効果測定入門 Rによる傾向スコア解析
byaa_aa_aa
 
データベース研究の報告
byYasuyuki Okumura
 
観察研究の必須事項
byYoshitake Takebayashi
 
明日から読めるメタ・アナリシス
byYasuyuki Okumura
 
臨床疫学研究における傾向スコア分析の使い⽅ 〜観察研究における治療効果研究〜
byYasuyuki Okumura
 
臨床的有意性の書き方
byYasuyuki Okumura
 
NDBを用いた臨床疫学研究の留意点
byYasuyuki Okumura
 
観察研究の質の評価
byYoshitake Takebayashi
 
効果測定入門 Rによる傾向スコア解析
byaa_aa_aa
 

What's hot

PPTX
自己対照研究デザインの概要
byHideaki Miyachi
 
PDF
曝露がアンカーとなるデザイン
byYasuyuki Okumura
 
PDF
ロジスティック回帰分析の書き方
bySayuri Shimizu
 
PPTX
GEE(一般化推定方程式)の理論
byKoichiro Gibo
 
PDF
コンジョイント分析の書き方 Slideshare
bySayuri Shimizu
 
PPTX
項目反応理論による尺度運用
byYoshitake Takebayashi
 
PDF
一般化線形混合モデル入門の入門
byYu Tamura
 
PDF
比例ハザードモデルはとってもtricky！
bytakehikoihayashi
 
PPTX
データベース時代の疫学研究デザイン
byKoichiro Gibo
 
PDF
傾向スコア：その概念とRによる実装
bytakehikoihayashi
 
PDF
傾向スコアの概念とその実践
byYasuyuki Okumura
 
PDF
JMDC Claimsデータベースとレセプト情報・特定健診等情報データベースを活用した臨床疫学研究の事例と留意点
byYasuyuki Okumura
 
PDF
明日から読める無作為化比較試験: 行動療法研究に求められる統計学
byYasuyuki Okumura
 
PPTX
ネットワークメタ分析入門
bySenshu University
 
PPTX
20161222 srws第五回 Risk of Bias 2.0 toolを用いた文献評価
bySR WS
 
PPTX
STARD2015に学ぶ「診断精度の分析」の書き方
byYoshitake Takebayashi
 
PDF
Rによるやさしい統計学第20章「検定力分析によるサンプルサイズの決定」
byTakashi J OZAKI
 
PDF
「傾向スコア分析」　報告事例
bySayuri Shimizu
 
PDF
エビデンスの統合から推奨の作成
byYasuyuki Okumura
 
PDF
英語での論文執筆の基礎② 方法・結果・考察・結論
byYasuyuki Okumura
 
自己対照研究デザインの概要
byHideaki Miyachi
 
曝露がアンカーとなるデザイン
byYasuyuki Okumura
 
ロジスティック回帰分析の書き方
bySayuri Shimizu
 
GEE(一般化推定方程式)の理論
byKoichiro Gibo
 
コンジョイント分析の書き方 Slideshare
bySayuri Shimizu
 
項目反応理論による尺度運用
byYoshitake Takebayashi
 
一般化線形混合モデル入門の入門
byYu Tamura
 
比例ハザードモデルはとってもtricky！
bytakehikoihayashi
 
データベース時代の疫学研究デザイン
byKoichiro Gibo
 
傾向スコア：その概念とRによる実装
bytakehikoihayashi
 
傾向スコアの概念とその実践
byYasuyuki Okumura
 
JMDC Claimsデータベースとレセプト情報・特定健診等情報データベースを活用した臨床疫学研究の事例と留意点
byYasuyuki Okumura
 
明日から読める無作為化比較試験: 行動療法研究に求められる統計学
byYasuyuki Okumura
 
ネットワークメタ分析入門
bySenshu University
 
20161222 srws第五回 Risk of Bias 2.0 toolを用いた文献評価
bySR WS
 
STARD2015に学ぶ「診断精度の分析」の書き方
byYoshitake Takebayashi
 
Rによるやさしい統計学第20章「検定力分析によるサンプルサイズの決定」
byTakashi J OZAKI
 
「傾向スコア分析」　報告事例
bySayuri Shimizu
 
エビデンスの統合から推奨の作成
byYasuyuki Okumura
 
英語での論文執筆の基礎② 方法・結果・考察・結論
byYasuyuki Okumura
 

Similar to バリデーション研究の入門

PDF
Diag test.shiraishi.2
byAtsushi Shiraishi
 
PPTX
20161106予測指標の作り方当日1031 配布版
bySR WS
 
PDF
Evidence-Based Diagnostic approach(2008/02/17)
byenango
 
PPT
「診断精度研究のメタ分析」の入門
byyokomitsuken5
 
PDF
診断研究メタアナリシス報告事例
byTakashi Fujiwara
 
PDF
医療データベース研究における バイアスと交絡への対処法
byTakashi Fujiwara
 
PPTX
不明熱
by帝京大学ちば総合医療センター
 
PPTX
MCID（最小臨床重要差）20200906
byHidemichi Yuasa
 
PPTX
インフルエンザの診断2018
byNaoki Nago
 
PPTX
Influ dx
byNaoki Nago
 
PDF
The GATE (2003/11/08)
byenango
 
PPTX
130401 TMDU M5 lecture database
byenango
 
PDF
患者報告式アウトカム尺度における 臨床的意味のある変化の定め方
byYasuyuki Okumura
 
PDF
書き方V1.4
byShinji Yamagata
 
PPTX
20171112予測指標の作り方セミナー事前学習
bySR WS
 
PDF
20170301_Epidemiological index_RakuwakaiOtowaGim
byTakanori Hiroe
 
PPT
臨床推論入門
byAYAKO SHIBATA
 
PDF
内容的妥当性，構造的妥当性と仮説検定の評価
byYoshitake Takebayashi
 
PPTX
20161106予測指標の作り方セミナー事前学習
bySR WS
 
PPTX
2016.9.24診断精度の系統的レビューワークショップ事前課題 "質の評価とアウトカム"
bySR WS
 
Diag test.shiraishi.2
byAtsushi Shiraishi
 
20161106予測指標の作り方当日1031 配布版
bySR WS
 
Evidence-Based Diagnostic approach(2008/02/17)
byenango
 
「診断精度研究のメタ分析」の入門
byyokomitsuken5
 
診断研究メタアナリシス報告事例
byTakashi Fujiwara
 
医療データベース研究における バイアスと交絡への対処法
byTakashi Fujiwara
 
不明熱
by帝京大学ちば総合医療センター
 
MCID（最小臨床重要差）20200906
byHidemichi Yuasa
 
インフルエンザの診断2018
byNaoki Nago
 
Influ dx
byNaoki Nago
 
The GATE (2003/11/08)
byenango
 
130401 TMDU M5 lecture database
byenango
 
患者報告式アウトカム尺度における 臨床的意味のある変化の定め方
byYasuyuki Okumura
 
書き方V1.4
byShinji Yamagata
 
20171112予測指標の作り方セミナー事前学習
bySR WS
 
20170301_Epidemiological index_RakuwakaiOtowaGim
byTakanori Hiroe
 
臨床推論入門
byAYAKO SHIBATA
 
内容的妥当性，構造的妥当性と仮説検定の評価
byYoshitake Takebayashi
 
20161106予測指標の作り方セミナー事前学習
bySR WS
 
2016.9.24診断精度の系統的レビューワークショップ事前課題 "質の評価とアウトカム"
bySR WS
 

More from Yasuyuki Okumura

PDF
バリデーション研究の計画・報告・活用
byYasuyuki Okumura
 
PDF
臨床疫学研究におけるNDBの利活用
byYasuyuki Okumura
 
PDF
大規模医療データベースを活用した治療効果研究の計画と報告
byYasuyuki Okumura
 
PDF
処方箋データとNDBを用いた処方動向調査
byYasuyuki Okumura
 
PPTX
過量服薬の再発予防に向けた臨床疫学研究
byYasuyuki Okumura
 
PDF
高齢者への向精神薬処方に関する研究
byYasuyuki Okumura
 
PDF
非劣性試験の入門
byYasuyuki Okumura
 
PDF
臨床疫学研究からみた 不適切かもしれない向精神薬使用
byYasuyuki Okumura
 
PDF
Lancet特集号の理解: 研究の価値を高め無駄を減らす
byYasuyuki Okumura
 
PDF
介入研究と観察研究の必要事項
byYasuyuki Okumura
 
PDF
研究の質を評価する重要性
byYasuyuki Okumura
 
PDF
万延する研究報告の質の低さの問題への 総合的対策
byYasuyuki Okumura
 
PDF
うつ病への集団認知行動療法の有効性と認容性: 系統的展望とメタ・アナリシス
byYasuyuki Okumura
 
PDF
狩人研究の紹介
byYasuyuki Okumura
 
PDF
無作為化比較試験の方法の批判的な読み方
byYasuyuki Okumura
 
PDF
生存時間分析の書き方
byYasuyuki Okumura
 
PDF
循環器病関連疾患と精神疾患の併発による生活支出に占める医療費の自己負担額の増分
byYasuyuki Okumura
 
PDF
非薬物療法の介入研究の必須事項
byYasuyuki Okumura
 
バリデーション研究の計画・報告・活用
byYasuyuki Okumura
 
臨床疫学研究におけるNDBの利活用
byYasuyuki Okumura
 
大規模医療データベースを活用した治療効果研究の計画と報告
byYasuyuki Okumura
 
処方箋データとNDBを用いた処方動向調査
byYasuyuki Okumura
 
過量服薬の再発予防に向けた臨床疫学研究
byYasuyuki Okumura
 
高齢者への向精神薬処方に関する研究
byYasuyuki Okumura
 
非劣性試験の入門
byYasuyuki Okumura
 
臨床疫学研究からみた 不適切かもしれない向精神薬使用
byYasuyuki Okumura
 
Lancet特集号の理解: 研究の価値を高め無駄を減らす
byYasuyuki Okumura
 
介入研究と観察研究の必要事項
byYasuyuki Okumura
 
研究の質を評価する重要性
byYasuyuki Okumura
 
万延する研究報告の質の低さの問題への 総合的対策
byYasuyuki Okumura
 
うつ病への集団認知行動療法の有効性と認容性: 系統的展望とメタ・アナリシス
byYasuyuki Okumura
 
狩人研究の紹介
byYasuyuki Okumura
 
無作為化比較試験の方法の批判的な読み方
byYasuyuki Okumura
 
生存時間分析の書き方
byYasuyuki Okumura
 
循環器病関連疾患と精神疾患の併発による生活支出に占める医療費の自己負担額の増分
byYasuyuki Okumura
 
非薬物療法の介入研究の必須事項
byYasuyuki Okumura
 

バリデーション研究の入門