Downloaded 68 times
![記載例:痛みの生活障害の項目バンク
• 14848名に対して痛みの生活障害に関する56項目を実施。以下のように項目
反応理論モデルの仮定を検討。
Unidimensional IRT models (as do CTT models) make the assumption that a
single latent construct drives the variance in scores.・・・The published PROMIS
analysis plan suggested the use of confirmatory factor analysis (CFA) in which a
unidimensional model is applied and fit statistic values are compared to prior
published criteria by Hu and Bentler [3,28,29], McDonald [37], and others
[6,33,62]. These criteria included: Comparative Fit Index (CFI) >0.95, Root Mean
Square Error of Approximation (RMSEA) <0.06・・・
→１次元性の仮定を確認
A second assumption of IRT models is local independence. ・・・To evaluate LD,
we examined the residual correlation matrix produced by the single factor
CFA.・・・
→局所独立性の仮定を確認
39
Amtmann et al. (2010). Development of a PROMIS item bank to measure pain interference. Pain,
150(1), 173-82.](https://image.slidesharecdn.com/promis-150726003026-lva1-app6891/85/PROMIS-IRT-39-320.jpg)
PROMISの取り組み（IRTを使った項目バンク作成）
- 1.
- 2. 患者報告式アウトカムとは？ • 患者から直接得られる患者の健康に関連した状態 に関する報告のことである。 生物学 的・生理 学的変数 Wilson &Cleary (1995) JAMA 全体的な 生活の質 症状の 状態 機能の 状態 全般的な 健康知覚 • 患者報告式アウトカムは、研究と日々の臨床の両 方で有用な情報をもたらすが、問題も多い。 →尺度の質がまちまち、尺度が異なると比較が難しい、 複雑、時間がかかるなど
- 3. PROMIS • Patient-Reported OutcomesMeasurement Information System (PROMIS)は、2004年末にNIH主 導で開始したプロジェクト。 ＜目的＞ ①患者報告式アウトカム尺度(PRO)の作成と運用に関 する方法論の整備 ②有用なPROの項目バンクの作成 ③PROを運用するソフトウェアの開発 →項目反応理論を用いて、幅広い疾患に使え、精度 の高い尺度を低コストで運用！
- 4.
- 5.
- 6. 胃痛の項目バンク 項目バンクとは？ • 項目バンクとは、１つのドメインを測定する項目をた くさん集めたもの。 • 項目バンクには、信頼性や妥当性などの尺度特性 を検討した項目が入る。 050 100 項目1 項目2 項目3 項目4 項目5 項目6 項目7 項目8 項目9 項目10 「胃に軽い痛みを感じる」 「痛みで仕事や家事に集中できない」 「痛みで寝たきりになっている」 弱 強
- 7. 項目バンクの作成と運用 ①ターゲット 概念と概念モ デルの定義 ③項目プールの構 成 ②項目の作成 ④項目バン クの性質の 決定 項目バンク ⑤検査形式 ⑥妥当性 ⑦信頼性 ⑧解釈可能性 ⑨翻訳と文化適合 Pjk (q) = 1 1+exp(-aj(q -bjk )) ＜質問紙の運用＞ ① 短縮版 ② プロフィール版 ③ コンピュータ適応テスト版 項目反応理論
- 8. 項目バンクと項目反応理論 • 項目への回答は、項目の特性（困難度や識別力）と 参加者の特性によって決まる。 • 項目反応理論では、項目の特性と参加者の特性を 別々に推定できるので、項目バンクが作成できる。 胃痛の項目バンク 050 100 項目1 項目2 項目3 項目4 項目5 項目6 項目7 項目8 項目9 項目10 「胃に軽い痛みを感じる」 「痛みで仕事や家事に集中できない」 「痛みで寝たきりになっている」 YES? YES No YES No No 易 難
- 9. PROMISで開発した項目バンクの利用 • 各ドメインを測定する検査を以下の３つの形式で 提供 ① 短縮版 ②プロフィール版（うつ、不安、疲労、身体機能、 睡眠障害、痛みによる生活障害などをプロ フィールで示す） ③ コンピュータ適応型テスト版（検査対象者の反 応に合わせて適した項目を実施し、短時間か つ精度の高い測定を行う） →年齢、測定したいドメイン、実施形式（紙かPCか）、 測定に使える時間、必要な精度から選択して使用 9
- 10.
- 11.
- 12. 項目バンクの作成と運用 ①ターゲット 概念と概念モ デルの定義 ③項目プールの構 成 ②項目の作成 ④項目バン クの性質の 決定 項目バンク ⑤検査形式 ⑥妥当性 ⑦信頼性 ⑧解釈可能性 ⑨翻訳と文化適合 Pjk (q) = 1 1+exp(-aj(q -bjk )) ＜質問紙の運用＞ ① 短縮版 ② プロフィール版 ③ コンピュータ適応テスト版 項目反応理論 12
- 13. ①ターゲット概念と概念モデルの定義 • ターゲット概念や概念モデルを定義し、その検査の PROMIS内の位置づけを明確にする。 • 概念モデルは、概念や検査の専門家、患者、臨床 家、エンドユーザー、（必要に応じて）利害関係者か らの情報を含んだ現存の文献に基づく必要がある。 社会的健康 社会的機能社会的関係 参加する 能力 参加によ る満足 ソーシャル サポートの 質 ソーシャル サポートの 量 13
- 14.
- 15.
- 16.
- 17. 記載例:①ターゲット概念と概念モデ ルの定義 社会的機能や社会的関係についての作成論文 Based on PROMISgoals and an extensive literature review, the Social Health Workgroup recognized that extant frameworks included two primary sub-domains: Social Function and Social Relationships (Fig. 1). Social Function often included some distinction between capability and satisfaction, and social relationships included concepts of social support and isolation. Hahn et al., (2010) Measuring social health in the patient-reported outcomes measurement information system (PROMIS): item bank development and testing, Qual Life Res19(7), 1035-1044 17 The workgroup focused first on Social Function and agreed to address Social Relationships (including possible expansion of its sub- domains) in a future initiative. We developed items covering four contexts: family, friends, work and leisure. ・・・ →文献レビューなどを通して、概念の定義やモ デルについて記載している。
- 18. 項目バンクの作成と運用 ①ターゲット 概念と概念モ デルの定義 ③項目プールの構 成 ②項目の作成 ④項目バン クの性質の 決定 項目バンク ⑤検査形式 ⑥妥当性 ⑦信頼性 ⑧解釈可能性 ⑨翻訳と文化適合 Pjk (q) = 1 1+exp(-aj(q -bjk )) ＜質問紙の運用＞ ① 短縮版 ② プロフィール版 ③ コンピュータ適応テスト版 項目反応理論 18
- 19. ②項目の作成 • 測定する概念に関する既存の尺度と項目を包括的 にレビュー • 項目は、対象概念を測定しているか、回答者にとっ て適切な読み書きのレベルか、明確、簡潔、感度が 高く、文法的に正しいか確認。 •多肢選択項目には、文脈（状況や時間枠）、本文、 反応がある（反応は本文と文法的におなじになるよ うにする）。 • 多言語に翻訳可能にする（複数の文化で使用でき るようにする）。 19
- 20.
- 21.
- 22. フォーカスグループ • 集団面接を行うために集められた、ある一定の基準 を満たした対象者のこと。 • ファシリテーターが中心となって、議論を誘導するが、 議論の仕方などは構造化されておらず、自由な発 言が促される（議論のための質問などは事前に用 意しておく）。 •プロミスでは、３グループ以上で、各グループが 6~12名で構成されることが望ましい。各グループに、 １名の主ファシリテーターと１名のノートテイカーが つく。 • 対象者は、年齢、性別、民族性において多様であり、 幅広い範囲の症状重症度をカバーしていることが望 ましい。 22
- 23. 認知的インタビュー • 項目は、認知的インタビューをとおして、①意図した ように理解されているか、②どのように反応するの かなどを調べる。 • 各項目について最低5名の参加者が精査する。もし 大きな改訂が生じたら、3~5名追加して精査する。精 査は、最初に項目を読んで回答してから、理解度を 問う形式が多い(Retrospectiveverbal probing法)。 • 少なくとも２名の参加者は、①教育歴が12年より少 ない（高校を出ていない）、②Wide Range Achievement Testの読みの下位尺度によって中学３ 年生以下の読みのレベル、③認知的障害に関連し た診断（外傷性脳損傷など）のうち１つ以上を満たす。23
- 24. 読み書き能力の検討 • 12歳程度(6th grade)の読み書き能力の者をターゲッ トにして項目は作成される(子どもの場合は、9歳くら いThirdgrade)。 • 一般的に使用される単語を選び、慣用的な例や俗 語を避ける。文は短く、シンプルにする。 • 何かの量が文章中にある場合は（例. 身長1.8以上）、 単位をつける（例. 身長180cm以上）。 ※英語の場合は、Lexile Analyzerを使って、使っている 語の共通度や構文の複雑さを評価できる。 24
- 25. 翻訳可能性と文化的調和 • PROMISでは、異なる言語への翻訳や多様な文化的 背景をもった対象者に対しても適切な回答が得られ るように項目の作成を行う。 • 翻訳するのが難しい、もしくは混乱が生じるような表 現は避ける（「Mychild looked upset」は、「私の子ど もは気が動転しているようだった」でも「私の子ども の顔は気が動転しているように見えた」でもいける） • 特定の国、文化圏、社会階層でのみ通用する表現 を避ける（「スキー」は特定の国や地域で可能な社 会的活動になるし、「ゴルフをする」は特定の社会経 済的地位で可能な活動になる）。 25
- 26. 回答選択肢の形式 • 尺度内で一貫した回答選択肢の形式を用いること が望ましい。 • PROMISでは、推奨される回答選択肢を設定してい る。もし、これらの回答選択肢を用いない場合は、そ の合理的な根拠を示して使用する。 カテゴリーセット１ セット２ 頻度 一度もない(Never) 一度もない(Never) まれに（Rarely) 週に１回以下(Once a week or less) ときどき(Sometimes) 数日に１回(Once every few days) しばしば(Often) １日に１回(Once a day) いつも(Always) 数時間に１回(Every few hours) 26
- 27. 回答選択肢の形式 カテゴリー セット１ セット２ 期間数分(A few minutes) なし(None) 数分から1時間(Several Minutes to an hour) 1日(1day) 数時間(Several hours) 2-3日(2-3days) 1-2日(1-2 days) 4-5日(4-5days) 2日以上(>2 days) 6-7日(6-7days) 強度 なし(None) 全くなし(Not at all) 軽度(Mild) 少し(A little bit) 中程度(Moderate) いくぶん(Somewhat) 重度(Severe) かなり(Quite a bit) 極めて重度(Very Severe) とても(Very much) 能力 困難なく(Without any difficulty) 少し困難あり(With a little difficulty) いくらか困難あり(With some difficulty) かなり困難あり(With much difficulty) 行うことができない(unable to do) 27
- 28.
- 29. 記載例：②項目の作成 がん患者の性機能と満足尺度 Focus Groups Weconducted 16 focus groups with 109 patients to establish the content validity of the PROMIS SexFS measures. Patient focus groups focused on physical and psychosocial impacts of cancer on sexual function and intimate relationships. We also discussed the clinical relevance of the proposed conceptual model with oncology researchers and clinicians and sought their views on how cancer and its treatment affected patients’ sexual health. We published our working conceptual measurement model and provide an adapted version to show the domains covered and how they may relate to each other. We wrote ~40 new items based on the results of these groups/discussions and added domains describing symptoms and other factors that interfere with sexual satisfaction. →109名の患者を対象に、16個のフォーカスグループを実施した(内容的妥当性 の検討)。がんによる、性機能や親密な関係への身体・心理面への影響について ディスカッションを行った。 →新たに40項目を追加し、性的満足を邪魔する症状や他の要因を記載するドメ インを追加した。 Flynn et al. (2013). Development of the NIH PROMIS® Sexual Function and Satisfaction Measures in Patients with Cancer. J Sex Med, 10, 43–52. 29
- 30. 記載例：②項目の作成 がん患者の性機能と満足尺度 Cognitive Interviews Toevaluate face validity, we tested items in cognitive interviews. Each of 83 candidate items was evaluated for clarity, sensitivity, and relevance by 5 or more participants, at least 2 of whom had less than a 9th grade education or reading level as tested by the Wide Range Achievement Test.The 39 participants (16 low literacy) were diverse with respect to sex and race as well as cancer type and stage. Items were revised based on results of the interviews. Substantially revised items were retested in additional interviews. →それぞれ83項目について５名以上の参加者に簡潔さ、感度、関連度の評価を させた（少なくとも２名はリテラシーの低い者がが参加）。 Other Qualitative Review The team responsible for translating all PROMIS measures reviewed all items and minor changes were made to reduce potential difficulty with translation to non-English languages. We also convened 7 additional clinical and academic experts on sexual function and cancer to review the conceptual model and item development to date. →翻訳可能性の検討とさらに専門家を追加しての概念と項目の精査を行う Flynn et al. (2013). Development of the NIH PROMIS® Sexual Function and Satisfaction Measures in Patients with Cancer. J Sex Med, 10, 43–52. 30
- 31. 項目バンクの作成と運用 ①ターゲット 概念と概念モ デルの定義 ③項目プールの構 成 ②項目の作成 ④項目バン クの性質の 決定 項目バンク ⑤検査形式 ⑥妥当性 ⑦信頼性 ⑧解釈可能性 ⑨翻訳と文化適合 Pjk (q) = 1 1+exp(-aj(q -bjk )) ＜質問紙の運用＞ ① 短縮版 ② プロフィール版 ③ コンピュータ適応テスト版 項目反応理論 31
- 32. ③項目プールの構成 • 項目プールはターゲット概念の全てをカバーしてい る必要がある（概念の側面をリスト化して全範囲が カバーされていることを示す）。 ターゲット概念（胃痛） 項目プール（胃痛） • ターゲット概念に文化的影響や発達的影響がどのくら いあるのか明確にする。 →項目プールレベルで文化的調和とライフコースの検討 •項目プールの項目の知的財産権についても確認 項目1 項目2 項目3 項目4 項目5 項目6 項目7 項目8 項目9 項目10 32
- 33.
- 34. 項目バンクの作成と運用 ①ターゲット 概念と概念モ デルの定義 ③項目プールの構 成 ②項目の作成 ④項目バン クの性質の 決定 項目バンク ⑤検査形式 ⑥妥当性 ⑦信頼性 ⑧解釈可能性 ⑨翻訳と文化適合 Pjk (q) = 1 1+exp(-aj(q -bjk )) ＜質問紙の運用＞ ① 短縮版 ② プロフィール版 ③ コンピュータ適応テスト版 項目反応理論 34
- 35. ④項目バンクの性質の決定 • 項目の測定に影響をあたえる重要なグループ（性別、 年齢、教育、診断など）を特定するために、特異項 目機能(Differential Itemfunctioning)も検討すべき。 項目プール 項目1 項目2 項目3 項目4 項目5 項目6 項目7 項目8 項目9 項目 10 項目 11 項目 12 項目バンク 項目1 項目2 項目4 項目5 項目6 項目7 項目9 項目 10 項目 11 対象母集団をもとに、 古典的テスト理論と 項目反応理論に よって項目の性質 を検討する 35
- 36.
- 37.
- 38.
- 39. 記載例:痛みの生活障害の項目バンク • 14848名に対して痛みの生活障害に関する56項目を実施。以下のように項目 反応理論モデルの仮定を検討。 Unidimensional IRTmodels (as do CTT models) make the assumption that a single latent construct drives the variance in scores.・・・The published PROMIS analysis plan suggested the use of confirmatory factor analysis (CFA) in which a unidimensional model is applied and fit statistic values are compared to prior published criteria by Hu and Bentler [3,28,29], McDonald [37], and others [6,33,62]. These criteria included: Comparative Fit Index (CFI) >0.95, Root Mean Square Error of Approximation (RMSEA) <0.06・・・ →１次元性の仮定を確認 A second assumption of IRT models is local independence. ・・・To evaluate LD, we examined the residual correlation matrix produced by the single factor CFA.・・・ →局所独立性の仮定を確認 39 Amtmann et al. (2010). Development of a PROMIS item bank to measure pain interference. Pain, 150(1), 173-82.
- 40.
- 41. 記載例:痛みの生活障害の項目バンク • We modeledresponses to the 41 items of the candidate PROMIS-PI items using Samejima‘s two parameter polytomous graded response model (GRM) with Multilog, Version 7.03. ・・・We report values of S-X2 (a Pearson X2 statistic) and S-G2 (a likelihood ratio G2 statistic)・・・ →パラメータの推定法(Samejimaの段階反応モデル)と用いた適合度指標。 41 Amtmann et al. (2010). Development of a PROMIS item bank to measure pain interference. Pain, 150(1), 173-82. • 各項目のパラメータ(識別力(a)と困難度 (b1-b4))を推定。 • T得点(一般母集団で平均50、標準偏差 10)にした上で、尺度情報曲線と頻度分 布をプロットしている（右図）。 →痛みが高めの者(T得点で55点から70点) において精度が高い。 →がん患者や慢性疼痛患者の平均値も示 してある。 Amtmann et al. NIH-PAAuthorManuscriptNIH-P
- 42.
- 43. 記載例:身体機能項目の年齢に関連 した特異項目機能 • 身体機能を測定する114項目を英語話者(1504名)と スペイン語話者(640名)に実施した。 43 Paz etal. Page 7 NIH-PAAuthorManuscriptNIH-PAAuthorManu Paz et al. (2013). Age-related Differential Item Functioning for the Patient- Reported Outcomes Information System (PROMIS®) Physical Functioning Items. Prim Health Care,3(131), 12086. • 114項目中30項目は、同じ身 体機能を有していても、50歳 以上と18~49歳で異なる機能 を持っていることが示された （右図）。
- 44. 項目のキャリブレーション • PROMISには1000項目以上あるので、全ドメインの全て の項目に回答するのは無理（１名150項目が限度） • FullBankデザイン：あるドメインの全ての項目に回答す るデザイン →一次元性の評価、あるドメイン（項目バンク）内のキャリ ブレーションが可能 →これまで使われている尺度(Legacy item)を含めて、これ まで使われている尺度とのキャリブレーションもできる。 • Block Administrationデザイン：複数のドメイン(項目バン ク)の一部の項目に回答するデザイン →ドメイン間の関係の評価が可能 44
- 45.
- 46.
- 47. 記載例:PHQ-9とPROMISうつ尺度 • 21７８名を対象に、これまでよく使用されているPHQ-9と PROMISのうつ尺度でキャリブレーションを実施 →PROMISのうつ尺度上のPHQ-9と合計得点のプロット（左： PHQ-9は過大評価気味）と測定誤差の比較（9項目のPHQ-9よ りPROMISの3項目版CATの方が誤差が小さい） 47 Gibbons etal. (2011) Migrating from a legacy fixed-format measure to CAT administration: calibrating the PHQ-9 to the PROMIS depression measures. Qual Life Res, 20(9), 1349-57.haracteristic curve shows the most likely PHQ-9 sum score (on the y-axis) Page 13 Fig. 2. Lowess curves for the standard error of measurement ( SEM) by depression symptom Gibbons et al. NIH-PAAuthorManuscript
- 48. 項目バンクの作成と運用 ①ターゲット 概念と概念モ デルの定義 ③項目プールの構 成 ②項目の作成 ④項目バン クの性質の 決定 項目バンク ⑤検査形式 ⑥妥当性 ⑦信頼性 ⑧解釈可能性 ⑨翻訳と文化適合 Pjk (q) = 1 1+exp(-aj(q -bjk )) ＜質問紙の運用＞ ① 短縮版 ② プロフィール版 ③ コンピュータ適応テスト版 項目反応理論 48
- 49.
- 50.
- 51.
- 52.
- 53.
- 54.
- 55.
- 56. 参考文献 PROMISのガイドラインと重要論文 • PROMIS® ValidityStandards Committee on behalf of the PROMIS Network of Investigators. (2012) The PROMIS® Instrument Development and Psychometric Evaluation Scientific Standards.pdf icon (unpublished document). • Cella et al. (2007). The Patient Reported Outcomes Measurement Information System (PROMIS): Progress of an NIH Roadmap Cooperative Group during its first two years. Medical Care, 45(5), S3–11. • DeWalt et al. (2007) Evaluation of Item Candidates –The PROMIS Qualitative Item Review. Med Care 2007; 45: S12–S21. • Cella et al.(2010). The Patient Reported Outcomes Measurement Information System (PROMIS) developed and tested its first wave of adult self–reported health outcome item banks: 2005–2008. Journal of Clinical Epidemiology, 63(11), 1179–94. ※PROMISで公開されているビデオ講座がわかりやすいです。 56