患者報告式アウトカム尺度の測定誤差と解釈可能性の評価入門

2,568 views

Published on

2014-08-02のREQUIRE勉強会での発表。
http://blue.zero.jp/yokumura/workshop.html

Published in: Education

患者報告式アウトカム尺度の測定誤差と解釈可能性の評価入門

  1. 1. 2014-08-02 患者報告式アウトカム尺度の 測定誤差と解釈可能性の評価入門 吉田和樹 ハーバード公衆衛生大学院 薬剤疫学博士課程 (9月より) 1 http://www.mycutegraphics.com/graphics/school/supplies/green-cartoon-ruler.html http://www.lisperati.com/logo.html
  2. 2. ✤ De Vet et al. Measurement in Medicine! ✤ 奥村2012 明日から使える臨床的有意性の指標! ✤ 竹林2012 内容的妥当性,構造的妥当性と仮説検定の 評価! ✤ 国里2013 反応性と解釈可能性の評価! ✤ 福原2008 リサーチクエスチョンの作り方 2 参考資料 http://www.slideshare.net/yoshitaket/cosmin-takebayashi-21816803 http://researchmap.jp/mup8ksmkp-51087/?action=multidatabase_action_main_filedownload&download_flag=1&upload_id=35024&metadata_id=29089 http://www.slideshare.net/YoshihikoKunisato/ss-37480140
  3. 3. 3
  4. 4. 4 COnsensus-based Standards for the selection of health Measurement INstruments http://www.cosmin.nl
  5. 5. 5 健康関連の測定尺度 の選択を改善するた めのとりくみ http://www.cosmin.nl
  6. 6. 6 http://www.esourceresearch.org/eSourceBook/ObjectiveMeasurementofSubjectivePhenomena/3TheConstructorCharacteristictoMeasure/tabid/696/Default.aspx 構成概念 測定尺度 (測定したい概念) (測定に使う方法) construct measurement instrument
  7. 7. 7 (測定に使う方法) http://www.esourceresearch.org/eSourceBook/ObjectiveMeasurementofSubjectivePhenomena/3TheConstructorCharacteristictoMeasure/tabid/696/Default.aspx 構成概念 測定尺度 (測定したい概念) そもそもしっかり測定できてい ないと量的研究が成立しない!
  8. 8. 8 http://www.esourceresearch.org/eSourceBook/ObjectiveMeasurementofSubjectivePhenomena/3TheConstructorCharacteristictoMeasure/tabid/696/Default.aspx 構成概念 測定尺度 (測定したい概念) (測定に使う方法) 妥当性(validity) 信頼性(reliability) 解釈可能性(interpretability) 反応性(responsiveness) 測定尺度の評価方法の標準化が必要
  9. 9. 9 妥当性(validity) 信頼性(reliability) 解釈可能性(interpretability) 反応性(responsiveness) 患者報告式アウトカムの評価軸 そこで、、 9
  10. 10. 10 妥当性(validity) 信頼性(reliability) 解釈可能性(interpretability) 反応性(responsiveness) 的はずれでなく測りたいも のを測れているかどうか 測定をくりかえ したときに再現 性があるか 測定誤差 測定対象が変化し た時に変化するか 患者報告式アウトカムの評価軸 数字に意味をもた せられるかどうか そこで、、 10 http://www.slideshare.net/yoshitaket/cosmin-takebayashi-21816803 今回はふれません。こちらを参考に→
  11. 11. 11 妥当性(validity) 信頼性(reliability) 解釈可能性(interpretability) 反応性(responsiveness) 的はずれでなく測りたいも のを測れているかどうか 測定をくりかえ したときに再現 性があるか 測定対象が変化し た時に変化するか 数字に意味をもた せられるかどうか 測定尺度の 質の指標 質の指標ではないが 有用性に影響する 測定誤差 11
  12. 12. 観察された変化 12 70 50 ∆= -20 (今回は主に”変化”について)
  13. 13. 観察された変化 13 70 50 ∆= -20 解釈可能か?
  14. 14. 観察された変化: 具体的な測定尺度 14 70 50 ∆= -20 減量介入前体重 減量介入後体重 kg kg kg の場合
  15. 15. 観察された変化: 具体的な測定尺度 15 70 50 ∆= -20 減量介入前体重 減量介入後体重 kg kg kg 単独の値も 変化の値も! 意味がわかる の場合
  16. 16. 観察された変化: 患者報告式アウトカム 16 70 50 ∆= -20 治療介入前 治療介入後 Fibromyalgia Impact Questionnaire (FIQ) の場合
  17. 17. 17 http://www.fibromyalgi.dk/upload/FIQ_Engelsk_udgave.pdf Fibromyalgia Impact Questionnaire (FIQ) これを集計して0-100の生活への影響度スコアにまとめる
  18. 18. 観察された変化: 患者報告式アウトカム 18 70 50 ∆= -20 治療介入前 治療介入後 Fibromyalgia Impact Questionnaire (FIQ) 単独の値も 変化の値も意味が! よくわからない の場合
  19. 19. 患者報告式アウトカム尺度 patient-reported outcome (PRO) measures 19
  20. 20. 患者報告式アウトカム尺度 ✤ “A PRO is any report of the status of a patient’s health condition that comes directly from the patient, without interpretation of the patient’s response by a clinician or anyone else.”! ✤ “Use of a PRO instrument is advised when measuring a concept best known by the patient or best measured from the patient perspective.” 20
  21. 21. 患者報告式アウトカム尺度 ✤ “A PRO is any report of the status of a patient’s health condition that comes directly from the patient, without interpretation of the patient’s response by a clinician or anyone else.”! ✤ “Use of a PRO instrument is advised when measuring a concept best known by the patient or best measured from the patient perspective.” 21 患者の生の声 患者が一番わかっているも のを測るとき有用
  22. 22. なぜFDAがPROを気にするか ✤ 患者にとって意味のある測定尺度で新規治療の評価を 行うことにつながる。! ✤ 検査値を良くする治療ではなく患者の生活をより良い ものにする治療が望ましい治療。! ✤ ただし、使うからには解釈可能な良い測定尺度である ことが求められる。FDAでは治験の結果に加えて、治 験で使われたPROの作成手順の評価も行なっている。 22
  23. 23. なぜFDAがPROを気にするか ✤ 患者にとって意味のある測定尺度で新規治療の評価を 行うことにつながる。! ✤ 検査値を良くする治療ではなく患者の生活をより良い ものにする治療が望ましい治療。! ✤ ただし、使うからには解釈可能な良い測定尺度である ことが求められる。FDAでは治験の結果に加えて、治 験で使われたPROの作成手順の評価も行なっている。 23 患者にとって意味が乏しい不適切な尺度をでっち あげて治験で”有効性”を示されるのを防ぎたい?
  24. 24. 24 http://www.fibromyalgi.dk/upload/FIQ_Engelsk_udgave.pdf Fibromyalgia Impact Questionnaire (FIQ) これを集計して0-100の生活への影響度スコアにまとめる 解釈の難しさが問題
  25. 25. 測定尺度の測定誤差 measurement error of measurement instrument 25
  26. 26. 測定誤差に関する評価項目 26
  27. 27. 測定誤差に関する評価項目 ✤ 同一の測定対象に独立して2回以上測定されたか! ✤ 測定の時間的間隔が述べられたか! ✤ その間は患者の状態(構成概念)は安定していたか! ✤ 同じように測定されたか! ✤ Smallest Detectable Changeとして表わされたか 27
  28. 28. 測定誤差に関する評価項目 ✤ 同一の測定対象に独立して2回以上測定されたか! ✤ 測定の時間的間隔が述べられたか! ✤ その間は患者の状態(構成概念)は安定していたか! ✤ 同じように測定されたか! ✤ Smallest Detectable Changeとして表わされたか 28測定誤差をサマライズする方法の一種と考えられる ほぼ同じ条件(患者の状態および測定のし かた)で二回以上測定しているかどうか
  29. 29. 測定誤差が小さい 29 体高を一日ごとに3回測定 100.0cm 100.9cm 99.3cm 安定状態と考えられかつ、測定値のばらつきが小さい 1年後120cmだったら成長しているといえるか?
  30. 30. 測定誤差が大きい 30 体高を一日ごとに3回測定 100cm 171cm 23cm 安定状態と考えられるが、測定値のばらつきが大きい 1年後120cmだったら成長しているといえるか?
  31. 31. 測定誤差を示すには ✤ Standard error of measurement! ✤ 3つの計算方法がある。測定のばらつきを定量化。! ✤ Smallest detectable change! ✤ Standard error of measurementより計算。測定のば らつきが解釈に与える影響を定量化。 31
  32. 32. Standard error of measurement計算法 ✤ 方法1: Intra-class correlation (ICC)を用いる! ✤ 方法2: 二時点間の変化の標準偏差を用いる! ✤ 方法3: (推奨されない) 32
  33. 33. Standard error of measurement計算法2 33 SD(change) = √2 × SE(single measurement) 2つの観測点が変化の計算に必要なので二倍になる Var(change) = 2 × Var(single measurement) 2つの観測点の個人内の差の分散 両辺の平方根をとる SD(change) / √2 = SE(single measurement) SE(single measurement) = SD(change) / √2 単一の観測点の分散(ばらつき)
  34. 34. Smallest detectable change ✤ 測定された変化は本物かどうか?! ✤ 測定誤差を上まわると考えられる最小の変化がSDC! ✤ 測定尺度の統計学的特徴(臨床的意味と完全に別個)! ✤ 分布から統計学的手法を用いて決定される 34
  35. 35. Smallest detectable change計算方法 ✤ SDC = Weight × (Standard error of measurement)! ✤ (Standard error of measurement)におさまる範囲より Weight倍大きければ本当の変化があったとみなす! ✤ Weightは状況により、1、1.96、2.77(=1.96×√2)など。 1.96×√2はBland-AltmanのLimit of Agreementに同じ 35Turner D et al. J Clin Epidemiol. 2010 Jan;63(1):28-36.
  36. 36. Smallest detectable change 36 d ± 1.96 × SD(change) − 0 ± 1.96 × SD(change) 系統的誤差 系統的誤差がない場合 p242 変化していないはずの構成概念の測定値の差の95%程度がこの範囲に収まる! →この範囲に収まるサイズの変化は偶然の誤差でも説明が付いてしまう Limits of Agreementと呼ぶ! これをSDCとして扱う d ± 1.96 ×√2 × Standard error of measurement − SD(change) = √2 × SE(single measurement) より Limits of Agreement 2.77(=1.96×√2) をWeightにした場合 (正規分布を仮定すると)
  37. 37. 実例: Bland & Altman血圧データ 37 Bland and Altman. Measuring agreement in method comparison studies. Stat Methods Med Res 1999 8: 135. 収縮期血圧の二回の測定を使用 一回目の測定 二回目の測定 MethCompパッケージのsbpデータセット
  38. 38. 実例: Bland & Altman血圧データ 38 Bland-Altman plot Y軸は二測定の差 X軸は二測定の平均 MethCompパッケージのBlandAltman()関数で描画 http://rpubs.com/kaz_yos/ba-plot
  39. 39. 実例: Bland & Altman血圧データ 39 d = -2.5mmHg − +20mmHg -25mmHg Bland-Altman plot d + 1.96 × SD(change) − d − d - 1.96 × SD(change) − 完全一致=0 系統的誤差 MethCompパッケージのBlandAltman()関数で描画 1.96×√2×SEM = 1.96×SD(change) = 1.96×11.41 mmHg = 22.4 mmHg +22.4 mmHg -22.4 mmHg Y軸は二測定の差 X軸は二測定の平均
  40. 40. 実例: Bland & Altman血圧データ 40Y軸は二測定の差 X軸は二測定の平均 d ± 1.96 × SD(change) − この範囲内の差は誤差(本当の差はない)とみなす d = -2.5mmHg − +20mmHg -25mmHg +22.4 mmHg -22.4 mmHg
  41. 41. 実例: Bland & Altman血圧データ 41Y軸は二測定の差 X軸は二測定の平均 偶然でこの外側に出てくる確率は誤差の正規分布を仮定すると5% d = -2.5mmHg − +20mmHg -25mmHg +22.4 mmHg -22.4 mmHg 血圧が個人内で±22.4 mmHg より大きな変化があれば前後 で変化があったと考えてよさ そう。これをsmallest detectable changeとする (Limit of Agreement法)
  42. 42. 測定誤差に関するまとめ ✤ 血圧のような具体的な測定尺度でも問題になる! ✤ 同一の測定対象に独立して2回以上測定して、Smallest detectable changeとして表すと理解しやすい 42
  43. 43. 測定尺度の解釈可能性 interpretability of measurement instrument 43
  44. 44. 解釈可能性に関する評価項目 44
  45. 45. 解釈可能性に関する評価項目 ✤ 測定値の分布はどのようか! ✤ 床(floor)/天井(ceiling)効果があるか! ✤ 特定の患者グループでの値や変化値があるか! ✤ Minimal important changeが知られているか 45
  46. 46. Minimal Important Change (MIC) ✤ 測定された変化は患者にとって意味があるか?! ✤ 臨床的な概念であり、統計学の話ではない! ✤ 臨床試験では、統計学的に有意かだけでなく、臨床的 に意味があるかが重要! ✤ 解釈しやすい外的な基準(anchor)を用いて決められる 46
  47. 47. 相互の関係 47 Smallest Detectable Change Minimal Important Change 測定誤差 解釈可能性 治療効果に臨床的に意味があるか測定誤差とは概念的に別個 測定誤差によってきまる 測定誤差を表す指標の一種と考えられる
  48. 48. 48 変化なし smallest! detectable! change minimal! important! change 測定誤差を超えて検出できる範囲 臨床的に意味のある変化 臨床的に意味のある変化はすべて検出可能な理想シナリオ 変化なし minimal! important! change smallest! detectable! change 測定誤差を超えて検出できる範囲 臨床的に意味のある変化 臨床的に意味のある変化の一部は測定誤差で検出不能なシナリオ
  49. 49. Anchor-based method ✤ 解釈しにくい測定尺度のMinimal important changeを 設定するため、より解釈しやすい他の測定尺度 (anchor)を使用して目印をつける! ✤ Mean change method! ✤ ROC method 49
  50. 50. 線維筋痛症 fibromyalgia 50 具体例の方がわかりやすいので
  51. 51. 線維筋痛症(Fibromyalgia) ✤ 広い範囲の慢性的な痛みを特徴とする。! ✤ heightened pain response(軽い刺激に対して過剰な痛 みが起る)! ✤ 末梢に痛みが生じるが末梢の客観的な検査は正常! ✤ 疾患の活動性を評価するのは患者自身の評価による他 ない 51
  52. 52. どうやって評価するか ✤ 日常臨床で使われている確立したものはない。! ✤ Tender point count! ✤ Fibromyalgia Impact Questionnaire*! 52*Bennet et al. J Rheumatol 2009;36:6. Wikipedia
  53. 53. 53 http://www.fibromyalgi.dk/upload/FIQ_Engelsk_udgave.pdf Fibromyalgia Impact Questionnaire (FIQ) これを集計して0-100の生活への影響度スコアにまとめる
  54. 54. Bennett et al.の研究 54 Changeのこと RQ: 治療前後でどれくら いFIQが改善したら患者 の生活にとって本当に意 味のある改善と言えるの かを知りたい。! ! FIQはすでに多くの研究 で使われていたが、この 点は2009年時点で十分検 討されていなかった様子 Bennet et al. J Rheumatol 2009;36:6.
  55. 55. Bennett et al.の研究: 方法 ✤ 既存の3つの薬剤臨床試験のデータを使用! ✤ すべての試験で治療前後のFIQが測定されていた! ✤ 解釈しやすい状態変化のanchorとしてはPatient Global Impression of Change (PGIC)が試験終了時に 測定されていた 55
  56. 56. Patient Global Impression of Change ✤ “very much improved”, “much improved”, ”minimally improved”, ”no change”, ”minimally worse”, ”much worse”, ”very much worse”の7段階で 患者に評価してもらう! ✤ 患者自身が痛みやその他の症状、また、治療の副作用 などをひっくるめて全体的にどう感じているのかの全 体的指標として用いられてきた 56
  57. 57. Bennett et al.の研究: 結果 57 だいたいFIQが20%改善(低下)していれ ば患者も少しは改善したと感じている 7つの改善度カテゴリごとにFIQの percentage変化の平均を出している →FIQの20%改善をFIQのMinimal important changeとみなす(mean change method)
  58. 58. ROC method ✤ Anchorで改善した群とそうでない群に分類し て”binary gold standard”とする! ✤ Minimal important changeを求めたい測定尺度を”検 査値”として扱う! ✤ ROCカーブを描いて、至適カットオフを求める 58
  59. 59. 人工データでROC法のデモ 59 http://rpubs.com/kaz_yos/mic-roc-method Patient Global Impression of Change (PGIC)風 変化のスコア ggplot2パッケージで”boxplot”を描画
  60. 60. 人工データでROC法のデモ 60 http://rpubs.com/kaz_yos/mic-roc-method 臨床的悪化群は データから落す 不変群 改善群
  61. 61. 人工データでROC法のデモ 61 http://rpubs.com/kaz_yos/mic-roc-method 不変群 改善群 この二群を分ける至適カットオフをROCで探る ? ? ? ? 臨床的悪化群は データから落す
  62. 62. 人工データでROC法のデモ 62 http://rpubs.com/kaz_yos/mic-roc-method スコアの-42.3の改善をMinimally important changeとすると特異度77% 感度85%で患者にとって意義のある改 善を見つけられる。 pROCパッケージroc()関数でROC作成、plot()関数でグラフ描画
  63. 63. まとめ ✤ 治療法の評価に患者の生の声を反映するのは重要!! ✤ 生の数字が直接意味を持たない患者報告式アウトカム の変化の数字の解釈には! ✤ Smallest detectable changeで表現される測定尺度の測定誤差と! ✤ Minimal important changeで表現される患者にとっての意義の! ✤ 両方の考慮が必要である。 63
  64. 64. まとめ ✤ Smallest detectable changeを超えない個人内の変化 は、そもそも本当の変化では可能性がある。! ✤ Minimal important changeを超えない変化は患者に とって意義深くない可能性がある。 64
  65. 65. 65 questions?

×