臨床的有意性の書き方

「臨床的有意性」の書き方
奥村泰之
一般財団法人医療経済研究・社会保険福祉協会
医療経済研究機構研究員
臨床疫学研究における報告の質向上のための統計学の研究会
第16回研究集会
2014/8/2 (土) 14:30~17:40
東京医科歯科大学湯島キャンパス1号館西7階口腔保健学科第3講義室

構成
臨床的有意性の特徴 (10 min)
測定誤差の求め方 (11 min)
分布に基づく方法 (5 min)
アンカーに基づく方法 (13 min)
累積分布関数 (3 min)
推薦資料 (1 min)
2

英語表記
 Minimal Clinically Important Difference (MCID)
 Subjectively Significant Difference (SSD)
 Minimal Important Difference (MID)
 Clinical Significance (CS)
 Clinically Important Differences (CID)
 Clinically Significant Change
 Minimally Important Change (MIC)
 Minimally Detectable Difference (MDD)
 Standard Error of Measurement (SEM)
 Minimum Detectable Change (MDC)
 Smallest Real Difference (SRD)
 Smallest Statistically Detectable Difference (SDD)
3King MT: Expert Rev Pharmacoecon Outcomes Res. 2011 Apr;11(2):171-84.
特徴測定誤差分布アンカー累積分布推薦資料

FDAによるPROの指針 (草稿)
臨床試験において，ある治療が有効である
と解釈できる，患者報告式アウトカム尺度
により観察された，治療群間の差や変化量
» Minimum important difference (MID) — The amount of difference or
change observed in a PRO <Patient-Reported Outcome> measure
between treatment groups in a clinical trial that will be interpreted as a
treatment benefit.
4
U.S. Department of Health and Human Services: Guidance for Industry: Patient-Reported Outcome
Measures: Use in Medical Product Development to Support Labeling Claims. 2006
(http://www.fda.gov/ohrms/dockets/98fr/06d-0044-gdl0001.pdf)
臨床的有意性の定義 (群間の差)

FDAによるPROの指針 (最終版)
標的集団において，事前に定められた期間
に，重要な治療の有効性が得られたと判断
できる，ある患者個人のある尺度の得点の
変化
» Responder definition — A score change in a measure, experienced by
an individual patient over a predetermined time period that has been
demonstrated in the target population to have a significant treatment
benefit.
5
臨床的有意性の定義 (個人の変化)
(http://www.ispor.org/workpaper/FDA%20PRO%20Guidance.pdf)

混乱した用語の使い分け
群間の差個人の変化事例
MID Responder [1-2]
MID MIC [3]
MCID MID [4]
MCID --- [5]
MCID [6]
注) MID = Minimal Important Difference; MIC = Minimally Important
Change; MCID = Minimal Clinically Important Difference
6
[1] U.S. Department of Health and Human Services: Guidance for Industry: Patient-Reported Outcome Measures: Use
in Medical Product Development to Support Labeling Claims. 2006 (http://www.fda.gov/ohrms/dockets/98fr/06d-
0044-gdl0001.pdf)
[2] U.S. Department of Health and Human Services: Guidance for Industry: Patient-Reported Outcome Measures: Use
in Medical Product Development to Support Labeling Claims. 2009
[3] de Vet HC et al: J Rheumatol. 2006 Feb;33(2):434-5
[4] Kirby S et al: J Biopharm Stat. 2010 Sep;20(5):1043-54.
[5] Chan LS: Am J Public Health. 2013 Nov;103(11):e24-5.
[6] Beaton DE et al: J Rheumatol. 2001 Feb;28(2):400-5.

群間の差の決定の難しさ
群間の差の重要性は，「疾患」「利用できる
治療法」「治療のリスクベネフィット比」な
ど，広いコンテクストを基にしなければ，決
定できない！
» ...(前略) the determination of the importance of group differences,
which can only be established in the broader context of the disease
being treated, the currently available treatments, and the overall risk-
benefit ratio of the treatment.
7Dworkin RH et al: J Pain. 2008 Feb;9(2):105-21.

事例: 群間の差
目的
臨床医の観点から，喘息患者への治療群と
プラセボ群の最小限の意味のある差を同定
研究法
デルファイ法
調査対象
臨床の時間は50％以上
3症例/週以上の喘息患者を治療
8Harding G et al: Curr Med Res Opin. 2009 Jun;25(6):1563-71.

評価項目
9
5040 60 70 80 90 100%3020100%
下の尺度で示すように，プラセボ群の25%の患者は，す
ぐに薬が効き始めたと感じたと報告しました。あなたの
臨床にとって意味のある効果になるためには，治療群の
何パーセント程度の患者が反応したと報告すれば良いか
答えて下さい。
全
患
者
が
反
応
な
し
全
患
者
が
反
応
プラセボ群
Harding G et al: Curr Med Res Opin. 2009 Jun;25(6):1563-71.

10
治療群の反応率
(プラセボ群: 25％)
Round 1, % Round 2, %
< 50 8 0
50-55 42 42
56-60 8 8
61-65 0 17
66-70 0 8
71-75 25 25
76-80 17 0
> 80 0 0
Harding G et al: Curr Med Res Opin. 2009 Jun;25(6):1563-71.
プラセボ群の2~3倍の反応率で
治療群は意味がある！

事例: 個人の変化
目的
肩の問題を主訴とした外来患者における，
アウトカム尺度の臨床的有意性を検討
研究法
コホート研究
評価項目
Simlpe Shoulder Test (SST) など
測定時点
基準時，6か月時
11van Kampen DA et al : J Orthop Surg Res. 2013 Nov 14;8:40.

アンカー
基準時と比べた変化の全体評定
• 1. 完全に改善
• 2. かなり改善
• 3. 少し改善
• 4. 不変
• 5. 少し悪化
• 6. かなり悪化
• 7. 以前より悪化
最小限の変化群

13
変化の全体評定 n 変化量の平均値
1. 完全に改善 14 2.9
2. かなり改善 37 2.9
3. 少し改善 23 2.2
4. 不変 43 -0.1
5. 少し悪化 5 -0.6
6. かなり悪化 6 -4.0
7. 以前より悪化 0 ―
van Kampen DA et al : J Orthop Surg Res. 2013 Nov 14;8:40.
SSTの最小限の変化は2.2

臨床的有意性の定め方 (個人の変化)
分布に基づく方法(distribution-based method)
アンカーに基づく方法 (anchor-based method)
累積分布関数 (cumulative distribution functions)
14
[1] McLeod LD et al: Expert Rev Pharmacoecon Outcomes Res. 2011 Apr;11(2):163-9.
[2] Wyrwich KW et al: Qual Life Res. 2013 Apr;22(3):475-83.

信頼性と妥当性の新しい国際基準(COSMIN)
による臨床的有意性の位置づけ
15
信頼性
内的一貫性
測定誤差
信頼性
反応性
反応性
妥当性
内容的妥当性
基準関連
妥当性
構成概念妥当性
表面的
妥当性構造的
妥当性
異文化間
妥当性
仮説検定
解釈
可能性
Mokkink LB et al: J Clin Epidemiol. 2010 Jul;63(7):737-45.
分布に基づく方法
アンカーに基づく方法

研究デザインの基本はコホート研究
16
測定
基準時
(t1)
介入後
(t2)
安定期
(t2+x日)
評価項目 ○ ○ ×
アンカー △ ○ ×
全患者
測定
基準時
(t1)
介入後
(t2)
安定期
(t2+x日)
評価項目 ○ ○ ○
アンカー △ ○ ○
一部の患者
分布に基づく方法

構成
17

測定誤差と信頼性の定義
測定値 = 真値 + 測定誤差
信頼性 = 真値の分散/測定値の分散
18
etx 
2
2
x
t


 

測定誤差の記載事項 (≒分布に基づく方法)
19
報告すべき点
1. 項目の欠測割合 (G) 7. 状態の安定性
2. 欠測値処理法 (G) 8. 実施間隔の適切性
3. 標本サイズの適切性 (G) 9. 実施の類似性
4. 二時点以上の測定 10. 重大な研究法の欠陥 (G)
5. 実施の独立性 11. 統計手法
6. 実施間隔
注) G = 共通項目; 赤字は記載事例を後述
Mokkink LN et al: COSMIN checklist manual. 2010
(http://www.cosmin.nl/images/upload/File/COSMIN%20checklist%20manual%20v6.pdf)

測定誤差の記載事例
方法 (二時点以上の測定/実施間隔)
» Using a web-based system at home, the patients completed an online
questionnaire containing the four different body part-specific PROMs
[Patient-Reported Outcome Measures] at three different time-points:
T1(baseline), T2 (2 weeks after baseline), and T3 (6-month follow-up).
方法 (実施の類似性)
» The given questionnaires were identical at all three time-points, except for
two anchor questions added at T3 (see ‘ Outcome measures ’ for details).
方法 (状態の安定性)
» Data from T1 and T2 were used to determine the measurement error. We
assumed that there would be no real change in a patient's functioning
within a 2-week interval (range, 1 to 4 weeks).

測定誤差の前段階，級内相関係数
①説明用データ
21de Vet et al: Measurement in medicine. Cambridge University Press. 2011
ID 時点1 時点2
1 88 90
2 57 54
3 82 68
4 59 53
5 75 80
6 70 45
ID 時点評定
1 1 88
1 2 90
2 1 57
2 2 54
3 1 82
3 2 68
4 1 59
4 2 53
5 1 75
5 2 80
6 1 70
6 2 45
縦もちに変換

②2因子変量モデルで分散成分を推定
被験者の分散成分 ( )
時点の分散成分 ( )
誤差の分散成分 ( )
2
eδ
2
tδ
2
pδ
2乗が分散成分

③級内相関係数 (Intraclass Correlation Coefficient: ICC)
一致性の級内相関係数 (ICCagreement)
• 時点間の系統誤差を考慮
一貫性の級内相関係数 (ICCconsistency)
)( 222
2
etp
p
agreement
δδδ
δ
ICC


)( 22
2
ep
p
yconsistenc
δδ
δ
ICC



3つの測定誤差の算出法
①分散成分による測定誤差の算出法
一致性の測定誤差 (SEMagreement)
• 時点間の系統誤差を考慮
一貫性の測定誤差 (SEMconsistency)
24de Vet HC et al: J Clin Epidemiol. 2006 Oct;59(10):1033-9.
22
etagreement δδSEM 
2
eyconsistenc δSEM 

②標準偏差による測定誤差の算出法
• SDdifference = 時点間の平均値差の標準偏差
2
difference
yconsistenc
SD
SEM 

③級内相関係数による測定誤差の算出法
• SDpool = 合併した2時点の標準偏差
yconsistencpoolyconsistenc ICCSDSEM  1
× 先行研究のICCの使用
× クロンバックのα係数の使用

方法 (統計手法)
» The reliability of the NDI-DV [Neck Disability Index-Dutch Version] was
assessed by rating test-retest reliability and measurement error [11]. The
test–retest interval was set at 10 days. As parameter of reliability of the
NDI-DV, the intra-class correlation coefﬁcient (ICCagreement) was computed
using a two-way random effects model (ICCagreement = σ2
p/[σ2
p +σ2
m +σ2
r]),
where the error variance consists of a component representing the
systematic difference between the two measurements (σ2
m) and a
component for the residual (random) error (σ2
r) [12]. σ2
p represents the
systematic differences between the ‘‘true’’ scores of patients.
27Ailliet L et al: Eur Spine J. 2014 May 17

方法 (統計手法)
» We quantiﬁed the measurement error by the Bland and Altman method
and by calculating the standard error of measurement (SEMagreement) from
the ICC formula, by taking the square root of the error variance (√[σ2
m
+σ2
r]).
結果 (級内相関係数/測定誤差)
» At the measurement time point of 6 months + 10 days, 155 patients
(60.5 %) provided the information used to assess the reliability. An intra-
class correlation coefﬁcient (ICCagreement) of 0.88 was found.
(中略)
» The SEMagreement was 1.95.
28Ailliet L et al: Eur Spine J. 2014 May 17

構成
29

分布に基づく方法の算出法
①検出可能な最小限の変化 (Minimum/Smallest
Detectable Change: MDC/SDC)
②効果量 (Effect Size: ES)
30
測定誤差と
関係する指標
Turner D et al: J Clin Epidemiol. 2010 Jan;63(1):28-36.

①検出可能な最小限の変化 (MDC)
MDC = weight × SEM [1,2]
weight = 1/1.96/2.77が慣例
SEM = 測定誤差
31
[1] Turner D et al: J Clin Epidemiol. 2010 Jan;63(1):28-36.
[2] Wyrwich KW et al: J Clin Epidemiol. 1999 Sep;52(9):861-73.

方法
» The smallest detectable change (SDC) was based on the SEMagreement. To be
95% conﬁdent that the observed change is not caused by measurement
error but can be considered real change, the SDC at individual level
(SDCind) was calculated as 1.96 × √2 × SEMagreement. The SDC expresses the
magnitude of change—with a probability of 5 %—that this change is due
to measurement error. Given this small probability, it is likely that a patient
whose score exceeds the SDC has changed [14].
結果
» The SEMagreement was 1.95. Based on this SEM, a SDC value of 5.40 was
found (calculated as 1.96 × √2 × SEMagreement).
32
①記載事例
Ailliet L et al: Eur Spine J. 2014 May 17

②効果量 (ES)
ES = weight × SD
weight = 0.2 (1/5), 0.3 (1/3), 0.5 (1/2), 0.8
(4/5) が慣例
SD = ベースラインの標準偏差
• 各測定時点のSDを求め，時点ごとのESを算出
し，その平均値を求めることもある
33
[1] Turner D et al: J Clin Epidemiol. 2010 Jan;63(1):28-36.
[2] Samsa G et al: Pharmacoeconomics. 1999 Feb;15(2):141-55.

②記載事例
方法
» The distribution-based MCID[Minimal Clinically Important Difference]
was estimated using the Cohen effect size benchmark. An effect size of
0.5 (i.e., 0.5 SD of the baseline score) indicated an important change
and was used as the minimum CID[Clinically Important Difference] in
this study.
34Lin KC et al: Res Dev Disabil. 2012 Mar-Apr;33(2):570-7.
0.5SD

構成
35

解釈可能性の記載事項 (≒アンカーに基づく方法)
36
報告すべき点
1. 項目の欠測割合 (G) 6. 最大値の人の割合
2. 欠測値処理法 (G) 7. 群ごとの尺度得点と変化量
の要約統計量
3. 標本サイズの適切性 (G) 8. MICかMIDの値
4. 尺度得点の分布 9. 重大な研究法の欠陥 (G)
5. 最小値の人の割合
注) G = 共通項目; MIC = Minimally Important Change; MID = Minimal
Important Difference; 赤字は記載事例を後述
Mokkink LN et al: COSMIN checklist manual. 2010
(http://www.cosmin.nl/images/upload/File/COSMIN%20checklist%20manual%20v6.pdf)
個人内の変化 (MIC) や群間の変化 (MID) の定め方の
コンセンサスはないので，COSMINでは基準を設けない！

患者報告式アウトカムが測定する構成概
念と，それと類似の概念をアンカー (頼
みの綱) により測定し，その関連を調べ
る方法
37Wyrwich KW et al: Qual Life Res. 2013 Apr;22(3):475-83.

3種類のアンカー
自己記入式評価指標
変化の全体的評定，健康状態の改善の程
度，機能障害の程度など
他者評定式評価指標
変化の全体的評定
客観的評価指標
復職，予定外の受診

自己記入式評価指標の事例
P: セルトラリン治療開始したうつ病
O: Patient Health Questionnaire-9
A: 治療開始12週間後の機能障害の程度
39
Löwe B et al: Psychosomatics. 2006 Jan-Feb;47(1):62-7.
ファイザー製薬: こころとからだの質問票 (http://cocoro-h.jp/depression/checksheet/file/checksheet.pdf)

他者評定式評価指標の事例
P: 統合失調症
O: Positive and Negative Syndrome Scale
A: Clinical Global Impressions-Change
40
0 = 評価不能
あなたの判断では，治療によって全般的にどの程度
改善，あるいは悪化しましたか？この治療にとりか
かる前の状態と比較して下さい。
4 = 不変
1 = 著明改善 5 = 軽度悪化
2 = 中等度改善 6 = 中等度悪化
3 = 軽度改善 7 = 著明悪化
Hermes ED et al: J Clin Psychiatry. 2012 Apr;73(4):526-32.

客観的評価指標の事例
P: 休職中の作業関連筋骨格系障害
O: Oswestry Disability Indexなど
A: リハビリ1年後の復職状況
復職群: パートタイム，時短，フルタイム
非復職群: その他
41Wilson HD et al: Spine (Phila Pa 1976). 2011 Mar 15;36(6):474-80.

アンカーの要件
直感的な意味を持つ
患者報告式アウトカムよりも解釈しやすい
患者報告式アウトカムと十分な関連がある
|r| = 0.3 or 0.5以上が推奨

アンカーに基づく方法の算出法
①変化量の平均値
②変化群と不変群の平均値差
③ROC曲線
④変化量の増分
43

43 5 6 721
＊＊の治療前と比べて，
いまの自分の状態を評価して下さい
少
し
改
善
完
全
に
改
善
不
変
少
し
悪
化
か
な
り
悪
化
以
前
よ
り
悪
化
か
な
り
改
善
①変化量の平均値
アンカーで「最小限の変化群」を定義
» The MIC was defined as the mean change score in the subcategory of
patients who were “slightly improved” according to the anchor scores,
and the CI was calculated [5,25].
44
最小限の変化群
van Kampen DA et al : J Orthop Surg Res. 2013 Nov 14;8:40.

①変化量の平均値
「最小限の変化群」における変化量の平
均値をMICとする

②変化群と不変群の平均値差
アンカーで「変化群」と「不変群」を定義
46
変化の全体評定定義
1. 悪化 Fontaine分類のIII度からIV度に変化，IV
度の患者の壊死や潰瘍が進行
2. 不変 Fontaine分類は不変，IV度の患者の潰瘍
数は不変
3. 改善 Fontaine分類のIV度からII-III度に変化，
III度からII度に変化
4. かなり改善 Fontaine分類のIII-IV度から末梢動脈疾患
の症状消失
Frans FA et al: Eur J Vasc Endovasc Surg. 2014 Feb;47(2):180-6.

群ごとに変化量の平均値を算出
» First, for each category (much improved ― improved ―unchanged ―
worse) the mean change in VascuQol[Vascular Quality of Life] sumscore
was calculated.
47Frans FA et al: Eur J Vasc Endovasc Surg. 2014 Feb;47(2):180-6.

「変化群」と「不変群」の変化量の平均
値差をMICとする
» Then the MID for improvement and the MID for deterioration was
calculated as the difference between the mean change in VascuQol
sumscore of the improved or deteriorated patients and the mean
change in VascuQol sumscore of the unchanged patients.
48Frans FA et al: Eur J Vasc Endovasc Surg. 2014 Feb;47(2):180-6.

③ROC曲線
アンカーで「変化群」と「不変群」を定義
» Patients that stated their overall satisfaction after treatment was either
“very satisfied” or “somewhat satisfied” were classified as satisfied. All other
patients were classified as being unsatisfied.
49London DA et al: Plast Reconstr Surg. 2014 Mar;133(3):616-25.
全体的な満足度
1. とても満足
2. まあまあ満足
3. 満足でも不満でもない
4. いくぶん不満
5. とても不満

③ROC曲線
アンカーを確定基準，変化量をインデック
ス検査とし，感度と特異度を最大化する変
化量のカットオフ値をMICとする
» Once we identified which subscales had discriminative ability, we then
determined the change in score (overall Michigan Hand Outcomes
Questionnaire and all subscales—the satisfaction subscale could only be
assessed by the “overall satisfaction” method) that provided the greatest
specificity and sensitivity in determining satisfaction by the minimum
distance method, and this resultant score was defined as the minimal
clinically important difference.

③ROC曲線
アンカーを確定基準，変化量をインデック
ス検査とし，感度と特異度を最大化する変
化量のカットオフ値をMICとする
» When satisfaction was defined strictly by patients’ answers to their level of
satisfaction with their overall hand function, 135 subjects were classified as
satisfied and 51 were classified as not satisfied, with an area under the
curve of 0.85 (95 percent CI, 0.80 to 0.91) and a minimal clinically important
difference of 11.5.

④変化量の増分
1単位の意味が明瞭なアンカーを測定
» One question assessed patient satisfaction with their pain relief (‘‘How
well did the surgery relieve pain in your affected joint?’’), and the other
assessed their satisfaction with their functional outcome (‘‘How well did
the surgery increase your ability to perform regular activities?’’). The
response to each of these questions was recorded using a 5-point Likert
scale: excellent, very well, well, fair, and poor.
52Clement ND et al: Knee Surg Sports Traumatol Arthrosc. 2014 Aug;22(8):1933-9.

④変化量の増分
アンカーを独立変数，変化量を従属変数
とした回帰式の偏回帰係数をMICとする
» Simple linear regression analysis was used to identify the MCID, using
the slope of the line for the change according to level of satisfaction, in
the OKS [Oxford knee score] and SF-12 PCS[physical component
summary] score for both pain and function.
» Simple linear regression identiﬁed the MCID for pain relief in the OKS to
be 5.0 (95 % CI 4.4–5.5) and for the SF-12 PCS to be 4.5 (95 % CI 3.9–
5.2).
53Clement ND et al: Knee Surg Sports Traumatol Arthrosc. 2014 Aug;22(8):1933-9.

Dennis Revickiの推奨
54
推奨事項
1. 複数のアンカーを使用すること
2. PROの変化量との相関が0.30-0.35以上のアンカーを選択すること
3. 臨床試験の結果を参照すること
4. 分布に基づく方法は参考程度にすること
5. 治療者の観点よりも患者の観点の臨床的有意性を重視すること
6. 複数の臨床的有意性の値を図示すること
7. 最終的な値は合意形成により決定すること
注) PRO = Patient Reported Outcome
Revicki D et al: J Clin Epidemiol. 2008 Feb;61(2):102-9.

構成
55

FDAによる累積分布関数の推奨
累積分布関数は，変化量をx軸，その変化を示
した患者の割合をy軸とする図である。この図
は，カテゴリカルな判断を与える臨床的有意
性よりも望ましい。多様な臨床的有意性の定
義は，累積分布反応曲線により同定できる。
» Such cumulative distribution displays show a continuous plot of the
percent change from baseline on the X-axis and the percent of patients
experiencing that change on the Y-axis. This display type may be
preferable to attempting to provide categorical definitions of
responders. A variety of responder definitions can be identified along
the cumulative distribution of response curve.
56

累積分布関数の記載事例
57Stockler MR et al: J Clin Oncol. 2014 May 1;32(13):1309-16.
変化量良い変化悪い変化
相
対
累
積
度
数

臨床的有意性の定め方ではない！
累積分布関数は，アンカーに基づく方法や分
布に基づく方によって，注意深く臨床的有意
性の値を定めることの代替策とはみなせない
» However, we do not see the cumulative distribution functions as a
replacement for the careful investigation of a PRO’s relevant responder
threshold using anchor-based methods, and supported by distribution-
based methods.

群間比較に臨床的有意性を利用するとき
に有用
この方法は，多様な臨床的有意性の定義を同
時に考慮するために，患者報告式アウトカム
の変化量の全ての水準にわたって，群間の相
違を描画できることが強みである
» This approach offers the benefit of visually comparing the separation
between groups across all levels of the PRO change score so that a
variety of responder definitions can be considered simultaneously.
59McLeod LD et al: Expert Rev Pharmacoecon Outcomes Res. 2011 Apr;11(2):163-9.

構成
60

推薦図書
61
COSMINに準拠
Measurement in Medicine

推薦論文
62
FDAの推奨に準拠
McLeod LD et al: Expert Rev Pharmacoecon
Outcomes Res. 2011 Apr;11(2):163-9.
最も丁寧な導入
Wyrwich KW et al: Qual Life Res.
2013 Apr;22(3):475-83.

臨床的有意性の書き方

More Related Content

What's hot

Viewers also liked

Similar to 臨床的有意性の書き方

More from Yasuyuki Okumura

臨床的有意性の書き方