認知•行動療法学会第40回大会＠富山国際会議場 自主企画シンポジウム 「失敗しない研究計画入門:研究の「質」を評価する国際基準の理解」 2014年11月2日

1. 認知・行動療法学会第40回大会自主企画シンポジウム
失敗しない研究計画入門：
研究の「質」を評価するための国際基準の理解
観察研究の質の評価
竹林由武
情報・システム研究機構
統計数理研究所
リスク解析戦略研究センター
医療・健康科学プロジェクト
2014年11月2日富山国際会議場
COI: なし

2. 発表内容
• 観察研究のエビデンスの位置づけ
• 観察研究の評価方法の開発動向
• 評価項目の詳細(RoBANS scale)
2

3. 観察研究
エビデンスの位置づけ
3

4. 観察研究(observational study)
無作為割り付けを行わない研究の総称
コホート研究
(cohort study)
症例対照研究
(case control study)
横断的研究
(cross sectional study)
暴露アウトカム
暴露アウトカム
過去将来
調査(開始)
時点
4

5. 5
観察研究のエビデンスレベル
レベルエビデンスの種類
1++ 質の高いメタ・アナリシス，RCTの系統的展望，バイアスのリスクが非
常に小さいRCT
1+ 良くできたメタ・アナリシス, RCTの系統的展望, バイアスのリスクが小
さいRCT
無作為化比較試験
1- メタ・アナリシス, RCTの系統的展望, バイアスのリスクが大きいRCT
2++ バイアスのリスクが非常に小さい観察研究の系統的展望
2+ バイアスのリスクが小さい観察研究
2- バイアスのリスクが大きい観察研究
3 症例シリーズ研究
4 専門家の意見
バイアスのリスクを小さくしないと、観察研究は無意味
AHRQ: http://www.guideline.gov/content.aspx?id=39324
観察研究

6. 6
測定の基本原則:
真の値= 測定値+誤差
誤差を小さくするのが、研究の質向上のキモ
偶然誤差(RE): 方向性を持たない偶然による誤差
random error
系統誤差(SE): 一定の方向性をもった誤差
systematic error
=バイアス
RE小SE小RE小SE大RE大SE大RE大SE小

7. GRADEシステムによるエビデンスの質
7
研究デザインエビデンスの質
無作為化比較試験高
観察研究低
その他非常に低い
グレードダウン
研究の限界(= risk of bias)
結果の非一貫性
エビデンスの非直接性
不正確なデータ
出版バイアス
グレードアップ
強い関連性
交絡因子による効果減弱
容量反応勾配
※グレードアップはバイアスのリスクが低いことが前提
7

8. 観察研究における
risk of biasの評価方法の必要性
システマティックレビューの文脈から
「RCTだけではなく、観察研究も含めたレビューが必要」
• 無作為化が倫理的にできない要因の場合
• 長期的な効果や有害事象はコホート研究で評価
• RCTだけでは研究数が少ない場合
⇒ 観察研究のrisk of biasを客観的に評価するツール必要
Higgins, J. P. (Ed.). (2008). Cochrane handbook for systematic
reviews of interventions (Vol. 5). Chichester: Wiley-Blackwell.
8

9. 観察研究の「質」の評価方法:
開発動向

10. 観察研究の「質」の評価方法
Sanderson et al. (2007)の系統的レビュー
• 86個の非無作為化研究の評価ツール開発
• ゴールドスタンダード不在
• 使用に耐えうる尺度は２つ
Downs and Black instrument (Downs, 1998)
Newcastle-Ottwa Scale (Wells,2008)
Sanderson, S., Tatt, I. D., & Higgins, J. P. (2007). Tools for assessing quality and susceptibility to bias in
observational studies in epidemiology: a systematic review and annotated bibliography. International
journal of epidemiology, 36(3), 666-676.
10

11. 観察研究の「質」の評価方法
Downs and Black instrument (Downs, 1998)
• 29項目
• 症例対照研究に不適な項目が含まれる
• 疫学の専門家向き、実施に時間かかる
Newcastle-Ottwa Scale (Wells,2008)
• コクラン共同計画推奨
• 信頼性に難あり
Sanderson, S., Tatt, I. D., & Higgins, J. P. (2007). Tools for assessing quality and susceptibility to bias in
observational studies in epidemiology: a systematic review and annotated bibliography. International
journal of epidemiology, 36(3), 666-676.
11

12. 観察研究の「質」の評価方法
最近の開発状況
健康保険審査評価院(韓国)
ROBANS scale
医療研究品質機構(米国)
RTI item bank
コクラン共同計画
ACROBAT-NRSI
2013年1月
2013年8月
2014年9月new!!
12

13. RoBANS
Risk of Bias Assessment tool for Nonradomized Studies
• 開発プロセス
非無作為化研究のバイアスのリスク評価
ツールを概観
概観したもの
非無作為化比較研究の質の評価ツールの系統的レビュー
英国国立医療技術評価機構(NICE)が使用するツール
米国予防医療専門委員会(USPSTF)が使用するツール
Kim, S. Y., Park, J. E., Lee, Y. J., Seo, H. J., Sheen, S. S., Hahn, S., ... & Son, H. J. (2013). Testing a tool for
assessing the risk of bias for nonrandomized studies showed moderate reliability and promising
validity. Journal of clinical epidemiology, 66(4), 408-414.
13

14. バイアスのリスクの位置づけ
正確性
精度妥当性
偶然誤差
内部妥当性外部妥当性
バイアス結果の非一貫性
エビデンスの非直接性
データの正確性
のリスク
14

15. RoBANS
Risk of Bias Assessment tool for Nonradomized Studies
1- 非無作為化研究の全ての研究デザインに
適用可能
2-GRADE systemに適応できる
3-コクランの評価ツールとcompatible
15

16. 観察研究の「質」の評価方法:
RoBANSの項目詳細
16

17. 17
ROBANS
バイアスのリスク評価項目
1) 参加者の選定方法
2) 交絡変数
3) 曝露の測定方法
4) アウトカムの評価の盲検化
5) 不完全なアウトカムデータ
6) アウトカムの選択的報告
−high risk ＋ low risk ? unclear
Kim, M. Y., Kim, J. H., Choi, I. K., Hwang, I. H., & Kim, S. Y. (2012). Effects of having usual source of
care on preventive services and chronic disease control: a systematic review. Korean journal of
family medicine, 33(6), 336-345.
17

18. 18
系統的レビューでの使用例
Kim, M. Y., Kim, J. H., Choi, I. K., Hwang, I. H., & Kim, S. Y. (2012). Effects of having usual source of
care on preventive services and chronic disease control: a systematic review. Korean journal of
family medicine, 33(6), 336-345.
18

19. RCTのバイアスのリスク評価項目との異同
観察研究(RoBANS) RCT (コクラン)
選択バイアス参加者の選択方法乱数生成
交絡変数割り付けの隠蔽化
実行バイアス曝露の測定患者と治療者の盲検化
検出バイアスアウトカム評価の盲検化アウトカム評価の盲検化
脱落バイアス不完全なアウトカムデータ不完全なアウトカムデータ
報告バイアスアウトカムの選択的報告アウトカムの選択的報告
選択•実行バイアスのリスク評価項目がRCTと異なる

20. 参加者の選択方法によるバイアス
(選択バイアス)
曝露
アウトカム
研究への参加
曝露やアウトカムが、研究参加に影響
20

21. 参加者の選定方法によるバイアス：選択バイアス
有名な選択バイアス
無回答者バイアス(nonresponse bias)
例) 喫煙と肺がんの関係を調べる調査に、喫煙者は参加しない傾向
健康労働者効果(healthy worker effect)
例) 事業所を対象とした調査では、不健康な人は休職•転職で調査
対象になりにくく、一般人口よりも健康度が高くなる
喫煙(曝露)
不健康(アウトカム)
研究への
参加−
21

22. 参加者の選定方法によるバイアス：選択バイアス
例) コホート研究(健康労働者バイアス)
High risk of bias
全社員を対象に曝露(仕事負荷、姿勢、ストレス)
を測定し、肩関節痛の発症を追跡
※勤続年数が長い人では健康度の高い人が多い可能性
Low risk of bias
新入社員を対象に、曝露(仕事負荷、姿勢、スト
レス)を測定し、肩関節痛の発症を追跡調査
Harkness, E. F., Macfarlane, G. J., Nahit, E. S., Silman, A. J., & McBeth, J. (2003). Mechanical and
psychosocial factors predict new onset shoulder pain: a prospective cohort study of newly employed
workers. Occupational and Environmental Medicine, 60(11), 850-857.
22

23. 参加者の選定方法によるバイアス：選択バイアス
RoBANSによる評価：コホート研究
Low risk High risk
曝露群と非曝露群の選択同一集団異集団
研究開始時のアウトカムなし未確認
コホート
同一集団から抽出
追跡
追跡前に
アウトカムの発生なし
追跡
現在の曝露状況
将来のアウトカム
23

24. 参加者の選定方法によるバイアス：選択バイアス
RoBANSによる評価：症例対照研究
Low risk High risk
症例群と対照群の選択類似集団非類似集団
症例群客観的な診断
自己報告データ
合成データ
対照群患者が含まれない患者の未確認
アウトカム以外の性質が類似
客観的な診断
患者が含まれない
過去の曝露状況現在のアウトカム24

25. 交絡によるバイアス
(選択バイアス)
反芻
曝露アウトカム
交絡要因
曝露とアウトカムの双方と関連する要因による
暴露とアウトカムの関係の過大or 過小評価
25
トラウマ体験抑うつ症状

26. 26
交絡によるバイアス
交絡以外の関係性
曝露アウトカム
X
曝露アウトカム
Ｘ
曝露アウトカム
Ｘ
曝露アウトカム
X
◯
×
×
×
交絡変数
媒介変数
独立変数
道具変数

27. 交絡によるバイアス
RoBANSによる評価
Low risk High risk
計画段階交絡変数の測定•制御
方法: 制限やマッチングありなし
解析段階交絡変数の制御
方法: 層化、傾向スコアありなし
⇒ 適切な指標で、想定されうる重要な交絡要因を測定し、
交絡要因の影響を調整していればlow risk of bias
27

28. 交絡によるバイアス
研究段階での制御
制限: 交絡要因を含まない対象に制限する
例) コーヒーと心疾患の関係を検討する時に、
非喫煙者を対象にする。
マッチング:
症例群と対照群の交絡変数のレベルを一致させる
例) 心疾患とコーヒーの関係を検討する時に、
その症例と同量の喫煙本数の人を対照としてマッチング
28

29. 交絡によるバイアス
解析段階での制御
層化
交絡要因のレベルに応じてサブグループ化し解析
統計学的補正
多変量解析
例) 曝露変数と交絡変数を重回帰分析で同時投入
傾向スコア(propensity score)
例) 複数の交絡変数から曝露要因への割り当て確率を
算出し、その値を利用してマッチングや回帰分析
29

30. 曝露の測定方法によるバイアス
(実行バイアス)
コホート研究
追跡
現在の曝露状況
将来のアウトカム
追跡
過去の曝露状況
現在のアウトカム
症例対照研究
曝露の誤分類によって、
曝露とアウトカムの関連
が歪む
30

31. 曝露の測定方法によるバイアス
Low risk High risk
診療記録•構造的面接
(客観指標)を使用
面接者を盲検化
自己報告指標や合成
変数を使用
面接者を非盲検化
RoBANSによる評価
31

32. 曝露の測定方法によるバイアス
想起バイアス
例) 過去の曝露状況を思い出して回答すると、
記憶が不正確なために結果が歪む
(自己報告は日が空くほどバイアスがかかる)
面接者バイアス
例) 研究目的を知っている研究者が面接者として、
曝露の測定を行うことで、アウトカムの発生頻度が高くなる
32

33. アウトカム評価の非盲検化によるバイアス
(検出バイアス)
追跡
コホート研究
現在の曝露状況
将来のアウトカム
追跡
過去の曝露状況
現在のアウトカム
症例対照研究
アウトカムの評価者が、
曝露状況について知っていると
曝露とアウトカムの関係が歪む
33

34. アウトカム評価の非盲検化によるバイアス
RoBANSによる評価以降はRCTと同様
Low risk High risk
アウトカム評価が盲検化され
ている
盲検化はされていないが、そ
のことがアウトカム測定にな
んら影響を与えないと判断さ
れている
(死亡率など)
盲検化が実施されていな
いか、または不完全
適切な盲検化がされてい
ないことがアウトカム測定
に影響を与えた可能性が
高いと考えられる。
アウトカムが自己報告だと盲検化はできない
34

35. 不完全なアウトカムデータによるバイアス
• 欠測データの扱いに関する不備に起因する
バイアス
35
コホート
追跡
追跡
現在の曝露状況
将来のアウトカム
35

36. 不完全なアウトカムデータによるバイアス
Low risk High risk
欠測値がない
欠測値を生じさせた原因が、研究
アウトカムに関係している
(コホート研究における死亡率など)
欠測値の数が、曝露群と対照群の
双方で類似した出来事による
欠測値が研究のアウトカムに
影響を及ぼす可能性がある
アウトカムへの影響が、曝露
群と対照群の間での欠測値
の違いによる
または重要な測定値が存在し
ないことが原因
RoBANSによる評価
36

37. 不完全アウトカムデータの扱い
RCT：
ITT解析がスタンダード
観察研究
スタンダードなし
⇒複数の方法を使って、結果の整合性を検討
LOCF, 多重代入, 完全情報最尤推定etc…
37
不完全なアウトカムデータによるバイアス
37

38. 選択的報告によるバイアス
研究成果の
都合の良い部分を抜粋して報告
奥村泰之: 万延する研究報告の質の低さの問題への総合的対策. 日本
心理学会第78回大会. 京都. 2014.9.11. シンポジウム(企画: 土屋政雄
先生) エビデンスの「質」を意識した研究計画への誘い
38

39. 選択的報告によるバイアス
Low risk High risk
実験プロトコルが入手可
能であり、事前に定義さ
れたアウトカムが報告さ
れている
事前に定義されたアウ
トカムと報告されてい
るアウトカムにずれが
ある
RoBANSによる評価
39

40. 観察研究でも
研究の事前登録•プロトコルの公開が必要
Williams, R. J., Tse, T., Harlan, W. R., & Zarin, D. A. (2010). Registration of observational studies: is it time?.
Canadian Medical Association Journal, 182(15), 1638-1642.
40
選択的報告によるバイアス

41. 選択的報告によるバイアス
研究の事前登録•プロトコルの公開がないと
選択的報告バイアス評価不可能
臨床試験登録プロトコルの公開
41 41
摂食障害の恐怖条件付けの全般化
症例対照研究: 30例でも試験登録!!
各国の主要登録機関で登録可能(UMINなど)
Williams, R. J., Tse, T., Harlan, W. R., & Zarin, D. A. (2010). Registration of observational
studies: is it time?. Canadian Medical Association Journal, 182(15), 1638-1642.

42. 第1位
仮説を支持する結果が報告される率
心理学者の仮説は概ね正しい×
⇒選択的報告？
Fanelli D (2010) “Positive” Results Increase Down the Hierarchy of the Sciences. PLoS
ONE 5(4): e10068. doi:10.1371/journal.pone.0010068
http://www.plosone.org/article/info:doi/10.1371/journal.pone.0010068
42
選択的報告によるバイアス？？？
精神医学
心理学領域

43. 選択的報告の例
• 主要なアウトカムを削除or 新設
• 主要アウトカムと副次アウトカムの入れ替え
• 主要アウトカムの評価時点の変更
• 複数の[ アウトカム、評価時点、効果量、
統計モデル、サブグループ] から選択
選択的報告の誘惑に負けないために、
研究プロトコルの事前登録!!
奥村泰之: 万延する研究報告の質の低さの問題への総合的対策. 日本
心理学会第78回大会. 京都. 2014.9.11. シンポジウム(企画: 土屋政雄
先生) エビデンスの「質」を意識した研究計画への誘い
43
選択的報告によるバイアス

44. RoBANSの補足
メリット
観察研究の質の大枠が把握できる
実施が10時間は10分程度で簡便
信頼性、妥当性も検討され概ね良好
デメリット
評価方法の詳細なマニュアルが未公開
疫学の方法論を学習済みの人向け(私見)
（未学習者だと判断が難しいかも）
44

45. チェックリスト妥当性
バイアス領域
ごとの評価
RoBANS ◯ ◯ ◯
RTI-item bank ◯ ◯ ×
Cochran ◯ 未◯
45
非無作為化研究の質評価ツール
スタンダード作りの熾烈な争い

46. 46
A Cochrane Risk Of Bias Asesment Tool: for Non-
Randomized Studies of Interventions
Domain related term
pre intervention
1
bias due to confouding
Selection bias as it is sometimes used in relation to clinical trials (and
currently in widespread use within the Cochran Collaboration);
Allocation bias; Case-mix bias; Channelling bias
2
bias in selection of participants into the study
selection bias as it is ususally used in relation to observational
studies and sometimes used in relation to clinical trials. Inception
bias; lead-time bias; immortal time bias. Of note, this bias specifically
excludes lack of external validity, which is viewed a failure to
generalize or transport an unbiased effect estimate to populations
other than the one from which the study population.
at intervention
3
bias in measurement of intervention
misclassification bias; information bias; recall bias; measurement bias;
observer bias.
post -intervention
4 bias due to departures from intended interventions performance bias; time varying confounding
5
bias due to missing data attrition bias; selection bias as it is sometimes used in relation to
observational studies
6
bias in measurement of outcomes detection bias; recall bias; information bias; misclassification bias;
observer bias; measurement bias
7 bias in selection of the reported result outcome reporting bias; analysis reporting bias
Pre-intervention r at-intervention
domains for which risk of bias
assessment is mainly distinct from
assessments of randomized trials
Post-intervention
domains for which
there is substantial
overlap with
assessments of
randomized trials
RoBANSと概ね一致

47. Take Home Message
1. 参加者が適切に選択されているか
2. 交絡変数が適切に評価•制御されているか
3. 曝露変数の測定が客観的な指標•盲検化されているか
4. アウトカムの測定が盲検化されているか
5. 欠測値が適切に制御されているか
6. プロトコル通りにアウトカム/曝露が報告されているか
47
バイアスのリスクの評価が
研究の質の評価の第一歩

48. ご清聴ありがとうございました
Contact to : ytake2 ism.ac.jp
48
https://sites.google.com/site/yoshitake2bayashi/