Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

PROMISの取り組み(IRTを使った項目バンク作成)

3,634 views

Published on

項目反応理論を使った項目バンク作成を行うプロジェクトのPROMISについてまとめました

Published in: Science
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

PROMISの取り組み(IRTを使った項目バンク作成)

  1. 1. PROMISの取り組み 専修大学人間科学部 国里愛彦 1 臨床疫学研究における報告の質向上のための統計学の研究会 第21回研究集会 2015年7月25日(土)13:30~17:40 東京医科歯科大学
  2. 2. 患者報告式アウトカムとは? • 患者から直接得られる患者の健康に関連した状態 に関する報告のことである。 生物学 的・生理 学的変数 Wilson & Cleary (1995) JAMA 全体的な 生活の質 症状の 状態 機能の 状態 全般的な 健康知覚 • 患者報告式アウトカムは、研究と日々の臨床の両 方で有用な情報をもたらすが、問題も多い。 →尺度の質がまちまち、尺度が異なると比較が難しい、 複雑、時間がかかるなど
  3. 3. PROMIS • Patient-Reported Outcomes Measurement Information System (PROMIS)は、2004年末にNIH主 導で開始したプロジェクト。 <目的> ①患者報告式アウトカム尺度(PRO)の作成と運用に関 する方法論の整備 ②有用なPROの項目バンクの作成 ③PROを運用するソフトウェアの開発 →項目反応理論を用いて、幅広い疾患に使え、精度 の高い尺度を低コストで運用!
  4. 4. PROMISのドメインの枠組み:成人(18歳以上) 身体的健康 PROMIS 成人用自己報告式健康尺度 身体的機能 痛みの強さ 痛みによる生活障害 疲労 睡眠障害 包括的健康 うつ 不安 社会的役割や活動に 参加する能力 疼痛顕示行動 痛みの質 睡眠関連障害 性的機能 胃腸症状 呼吸困難 怒り 認知機能 アルコール使用、結 果、期待 心理学的疾患のイン パクト 自己効力感 喫煙 社会的役割や活動へ の満足 社会的サポート 社会的孤立 交友関係 精神的健康 社会的健康 PROMISのプ ロフィールド メイン PROMISの追 加ドメイン 自己報告式の健康情報の特定のドメインに関する項 目バンクを開発する。
  5. 5. 身体的健康 PROMIS 小児用自己・代理人報告式健康尺度 可動性 上肢機能 痛みによる生活障害 疲労 包括的健康 うつ 不安 仲間関係 ぜんそくの影響 疼痛顕示行動 痛みの質 身体的活動 身体的ストレス経験 体力の影響 怒り 生活満足 意味と目的 ポジティブ感情 心理学的ストレス経 験 認知機能 家族への所属感 家族関与 精神的健康 社会的健康 PROMISのプロ フィール領域 PROMISの追 加領域 PROMISのドメインの枠組み:小児(8~17歳)と保 護者・代理人(5~17歳)
  6. 6. 胃痛の項目バンク 項目バンクとは? • 項目バンクとは、1つのドメインを測定する項目をた くさん集めたもの。 • 項目バンクには、信頼性や妥当性などの尺度特性 を検討した項目が入る。 0 50 100 項目1 項目2 項目3 項目4 項目5 項目6 項目7 項目8 項目9 項目10 「胃に軽い痛みを感じる」 「痛みで仕事や家事に集中できない」 「痛みで寝たきりになっている」 弱 強
  7. 7. 項目バンクの作成と運用 ①ターゲット 概念と概念モ デルの定義 ③項目プールの構 成 ②項目の作成 ④項目バン クの性質の 決定 項目バンク ⑤検査形式 ⑥妥当性 ⑦信頼性 ⑧解釈可能性 ⑨翻訳と文化適合 Pjk (q) = 1 1+exp(-aj (q -bjk )) <質問紙の運用> ① 短縮版 ② プロフィール版 ③ コンピュータ適応テスト版 項目反応理論
  8. 8. 項目バンクと項目反応理論 • 項目への回答は、項目の特性(困難度や識別力)と 参加者の特性によって決まる。 • 項目反応理論では、項目の特性と参加者の特性を 別々に推定できるので、項目バンクが作成できる。 胃痛の項目バンク 0 50 100 項目1 項目2 項目3 項目4 項目5 項目6 項目7 項目8 項目9 項目10 「胃に軽い痛みを感じる」 「痛みで仕事や家事に集中できない」 「痛みで寝たきりになっている」 YES? YES No YES No No 易 難
  9. 9. PROMISで開発した項目バンクの利用 • 各ドメインを測定する検査を以下の3つの形式で 提供 ① 短縮版 ② プロフィール版(うつ、不安、疲労、身体機能、 睡眠障害、痛みによる生活障害などをプロ フィールで示す) ③ コンピュータ適応型テスト版(検査対象者の反 応に合わせて適した項目を実施し、短時間か つ精度の高い測定を行う) →年齢、測定したいドメイン、実施形式(紙かPCか)、 測定に使える時間、必要な精度から選択して使用 9
  10. 10. 項目バンク作成と「その先」 項目バンクから、①短縮版質問紙、②プロフィール版質問 紙(複数のドメインのプロフィール)、③コンピュータ適応型テ ストを作成して運用できる。 <コンピュータ適応型テスト> 回答者の反応に合わせて、絞 り込みをかけるようにして質問 項目を呈示 →CAT(Computerized adaptive test)を可能にするには、様々な 項目を含んだ項目バンクが必 要になる。 3 2 1 0 -1 -2 -3 2 1 0 1 0 質問1: 範囲広い/精度低い 質問2: 範囲狭 い/精度高い 質問3: さらに範囲 狭い/精度高い
  11. 11. 「その先」は始まっている • PROMISと連動したプロジェクトのAssessment Center (https://www.assessmentcenter.net/)では、NIHの助 成を受けた研究者を対象に項目バンクを活用する ウェブベースのツールを提供している。
  12. 12. 項目バンクの作成と運用 ①ターゲット 概念と概念モ デルの定義 ③項目プールの構 成 ②項目の作成 ④項目バン クの性質の 決定 項目バンク ⑤検査形式 ⑥妥当性 ⑦信頼性 ⑧解釈可能性 ⑨翻訳と文化適合 Pjk (q) = 1 1+exp(-aj (q -bjk )) <質問紙の運用> ① 短縮版 ② プロフィール版 ③ コンピュータ適応テスト版 項目反応理論 12
  13. 13. ①ターゲット概念と概念モデルの定義 • ターゲット概念や概念モデルを定義し、その検査の PROMIS内の位置づけを明確にする。 • 概念モデルは、概念や検査の専門家、患者、臨床 家、エンドユーザー、(必要に応じて)利害関係者か らの情報を含んだ現存の文献に基づく必要がある。 社会的健康 社会的機能 社会的関係 参加する 能力 参加によ る満足 ソーシャル サポートの 質 ソーシャル サポートの 量 13
  14. 14. 概念モデルの定義の流れ 概念 モデル 最初に作業に取り組むための定義とPROMIS のドメインの枠組み内での位置づけを決める。 文献検索や既存データの分析 2. 専門家の精査による最初の 定義の改定 3.患者や回答者のフィードバッ クによる改定(項目作成時の FBから概念について再検討) 4.心理測定学的検討に 基づく改定(因子分析や モデル適合度から) 5.項目作成と尺度特 性検討後の専門家の 精査による改定 4以外は主に定性的 手法によって実施さ れる 14
  15. 15. 定性的手法 • 定性的手法は、デザイン、抽出方法、データ収集と 分析法による影響をうけやすいので、注意深く選択 <デザイン>フォーカスグループ(集団でのディスカッ ション)、個人面接、認知的インタビュー <抽出法>理論的/概念的に多様な母集団を含む、 適格/除外基準を明確に、事前に例数設計せず、デー タの飽和に基づく <データ収集と分析>訓練をうけたファシリテーター や面接者がデータ収集する。対象者に合わせてデー タ収集法や人数を設定する。2名のコーダーを用意し、 定性的分析を系統的に行う(適宜、Atlas-tiなどを使用)。15
  16. 16. 「①ターゲット概念と概念モデルの 定義」のチェックリスト 概念モデルが既存の文献によって支持され ている根拠を示す 概念と測定の専門家による精査(定性的手 法を使用) 臨床家、患者、エンドユーザーによる精査(定 性的手法を使用) PROMISのドメイン枠組みにおける検査の位 置づけを特定する 16
  17. 17. 記載例:①ターゲット概念と概念モデ ルの定義 社会的機能や社会的関係についての作成論文 Based on PROMIS goals and an extensive literature review, the Social Health Workgroup recognized that extant frameworks included two primary sub-domains: Social Function and Social Relationships (Fig. 1). Social Function often included some distinction between capability and satisfaction, and social relationships included concepts of social support and isolation. Hahn et al., (2010) Measuring social health in the patient-reported outcomes measurement information system (PROMIS): item bank development and testing, Qual Life Res19(7), 1035-1044 17 The workgroup focused first on Social Function and agreed to address Social Relationships (including possible expansion of its sub- domains) in a future initiative. We developed items covering four contexts: family, friends, work and leisure. ・・・ →文献レビューなどを通して、概念の定義やモ デルについて記載している。
  18. 18. 項目バンクの作成と運用 ①ターゲット 概念と概念モ デルの定義 ③項目プールの構 成 ②項目の作成 ④項目バン クの性質の 決定 項目バンク ⑤検査形式 ⑥妥当性 ⑦信頼性 ⑧解釈可能性 ⑨翻訳と文化適合 Pjk (q) = 1 1+exp(-aj (q -bjk )) <質問紙の運用> ① 短縮版 ② プロフィール版 ③ コンピュータ適応テスト版 項目反応理論 18
  19. 19. ②項目の作成 • 測定する概念に関する既存の尺度と項目を包括的 にレビュー • 項目は、対象概念を測定しているか、回答者にとっ て適切な読み書きのレベルか、明確、簡潔、感度が 高く、文法的に正しいか確認。 • 多肢選択項目には、文脈(状況や時間枠)、本文、 反応がある(反応は本文と文法的におなじになるよ うにする)。 • 多言語に翻訳可能にする(複数の文化で使用でき るようにする)。 19
  20. 20. 項目作成時に気をつける点 <ドメインの定義との一貫性> 項目内容は、ドメインの定義と一貫している必要がある <明瞭さ> 解釈が多様な表現、漠然とした表現、長い、複雑な表現、 俗語の使用は避けてシンプルな表現にする(8歳の子ど もが使用する単語や言葉を使う)。一般的な語彙(全て、 いつも、ない、一度もない)も避ける ダメな例)あなたは、よく病院を受診されていますか? <正確さ> ダブルバーレルや複数の例のある項目は避ける。 ダメな例)痛みや不安を感じますか? 20
  21. 21. 項目作成時に気をつける点 <一般適用性> 一般に使う上で狭すぎる内容の項目は避ける。 <患者への受け入れられやすさ> 患者が理解しやすい、適切な表現を用いる。 <想起の期間> • あまり長い期間を回想させて回答させるとバイアスが 生じるので、短い期間を回想させて回答させる。 • 回答者の記憶に負荷をかけたり、覚えてられない詳 細まで聞く項目は避ける。 21
  22. 22. フォーカスグループ • 集団面接を行うために集められた、ある一定の基準 を満たした対象者のこと。 • ファシリテーターが中心となって、議論を誘導するが、 議論の仕方などは構造化されておらず、自由な発 言が促される(議論のための質問などは事前に用 意しておく)。 • プロミスでは、3グループ以上で、各グループが 6~12名で構成されることが望ましい。各グループに、 1名の主ファシリテーターと1名のノートテイカーが つく。 • 対象者は、年齢、性別、民族性において多様であり、 幅広い範囲の症状重症度をカバーしていることが望 ましい。 22
  23. 23. 認知的インタビュー • 項目は、認知的インタビューをとおして、①意図した ように理解されているか、②どのように反応するの かなどを調べる。 • 各項目について最低5名の参加者が精査する。もし 大きな改訂が生じたら、3~5名追加して精査する。精 査は、最初に項目を読んで回答してから、理解度を 問う形式が多い(Retrospective verbal probing法)。 • 少なくとも2名の参加者は、①教育歴が12年より少 ない(高校を出ていない)、②Wide Range Achievement Testの読みの下位尺度によって中学3 年生以下の読みのレベル、③認知的障害に関連し た診断(外傷性脳損傷など)のうち1つ以上を満たす。23
  24. 24. 読み書き能力の検討 • 12歳程度(6th grade)の読み書き能力の者をターゲッ トにして項目は作成される(子どもの場合は、9歳くら いThird grade)。 • 一般的に使用される単語を選び、慣用的な例や俗 語を避ける。文は短く、シンプルにする。 • 何かの量が文章中にある場合は(例. 身長1.8以上)、 単位をつける(例. 身長180cm以上)。 ※英語の場合は、Lexile Analyzerを使って、使っている 語の共通度や構文の複雑さを評価できる。 24
  25. 25. 翻訳可能性と文化的調和 • PROMISでは、異なる言語への翻訳や多様な文化的 背景をもった対象者に対しても適切な回答が得られ るように項目の作成を行う。 • 翻訳するのが難しい、もしくは混乱が生じるような表 現は避ける(「My child looked upset」は、「私の子ど もは気が動転しているようだった」でも「私の子ども の顔は気が動転しているように見えた」でもいける) • 特定の国、文化圏、社会階層でのみ通用する表現 を避ける(「スキー」は特定の国や地域で可能な社 会的活動になるし、「ゴルフをする」は特定の社会経 済的地位で可能な活動になる)。 25
  26. 26. 回答選択肢の形式 • 尺度内で一貫した回答選択肢の形式を用いること が望ましい。 • PROMISでは、推奨される回答選択肢を設定してい る。もし、これらの回答選択肢を用いない場合は、そ の合理的な根拠を示して使用する。 カテゴリー セット1 セット2 頻度 一度もない(Never) 一度もない(Never) まれに(Rarely) 週に1回以下(Once a week or less) ときどき(Sometimes) 数日に1回(Once every few days) しばしば(Often) 1日に1回(Once a day) いつも(Always) 数時間に1回(Every few hours) 26
  27. 27. 回答選択肢の形式 カテゴリー セット1 セット2 期間 数分(A few minutes) なし(None) 数分から1時間(Several Minutes to an hour) 1日(1day) 数時間(Several hours) 2-3日(2-3days) 1-2日(1-2 days) 4-5日(4-5days) 2日以上(>2 days) 6-7日(6-7days) 強度 なし(None) 全くなし(Not at all) 軽度(Mild) 少し(A little bit) 中程度(Moderate) いくぶん(Somewhat) 重度(Severe) かなり(Quite a bit) 極めて重度(Very Severe) とても(Very much) 能力 困難なく(Without any difficulty) 少し困難あり(With a little difficulty) いくらか困難あり(With some difficulty) かなり困難あり(With much difficulty) 行うことができない(unable to do) 27
  28. 28. 「②項目の作成」のチェックリスト 認知的インタビューを実施 読み書き能力アセスメントの実施 翻訳可能性の精査を実施 文化的調和を扱う 既存のPROMIS項目形式の使用、もしくは項 目形式について合理的根拠を示す 28
  29. 29. 記載例:②項目の作成 がん患者の性機能と満足尺度 Focus Groups We conducted 16 focus groups with 109 patients to establish the content validity of the PROMIS SexFS measures. Patient focus groups focused on physical and psychosocial impacts of cancer on sexual function and intimate relationships. We also discussed the clinical relevance of the proposed conceptual model with oncology researchers and clinicians and sought their views on how cancer and its treatment affected patients’ sexual health. We published our working conceptual measurement model and provide an adapted version to show the domains covered and how they may relate to each other. We wrote ~40 new items based on the results of these groups/discussions and added domains describing symptoms and other factors that interfere with sexual satisfaction. →109名の患者を対象に、16個のフォーカスグループを実施した(内容的妥当性 の検討)。がんによる、性機能や親密な関係への身体・心理面への影響について ディスカッションを行った。 →新たに40項目を追加し、性的満足を邪魔する症状や他の要因を記載するドメ インを追加した。 Flynn et al. (2013). Development of the NIH PROMIS® Sexual Function and Satisfaction Measures in Patients with Cancer. J Sex Med, 10, 43–52. 29
  30. 30. 記載例:②項目の作成 がん患者の性機能と満足尺度 Cognitive Interviews To evaluate face validity, we tested items in cognitive interviews. Each of 83 candidate items was evaluated for clarity, sensitivity, and relevance by 5 or more participants, at least 2 of whom had less than a 9th grade education or reading level as tested by the Wide Range Achievement Test.The 39 participants (16 low literacy) were diverse with respect to sex and race as well as cancer type and stage. Items were revised based on results of the interviews. Substantially revised items were retested in additional interviews. →それぞれ83項目について5名以上の参加者に簡潔さ、感度、関連度の評価を させた(少なくとも2名はリテラシーの低い者がが参加)。 Other Qualitative Review The team responsible for translating all PROMIS measures reviewed all items and minor changes were made to reduce potential difficulty with translation to non-English languages. We also convened 7 additional clinical and academic experts on sexual function and cancer to review the conceptual model and item development to date. →翻訳可能性の検討とさらに専門家を追加しての概念と項目の精査を行う Flynn et al. (2013). Development of the NIH PROMIS® Sexual Function and Satisfaction Measures in Patients with Cancer. J Sex Med, 10, 43–52. 30
  31. 31. 項目バンクの作成と運用 ①ターゲット 概念と概念モ デルの定義 ③項目プールの構 成 ②項目の作成 ④項目バン クの性質の 決定 項目バンク ⑤検査形式 ⑥妥当性 ⑦信頼性 ⑧解釈可能性 ⑨翻訳と文化適合 Pjk (q) = 1 1+exp(-aj (q -bjk )) <質問紙の運用> ① 短縮版 ② プロフィール版 ③ コンピュータ適応テスト版 項目反応理論 31
  32. 32. ③項目プールの構成 • 項目プールはターゲット概念の全てをカバーしてい る必要がある(概念の側面をリスト化して全範囲が カバーされていることを示す)。 ターゲット概念(胃痛) 項目プール(胃痛) • ターゲット概念に文化的影響や発達的影響がどのくら いあるのか明確にする。 →項目プールレベルで文化的調和とライフコースの検討 • 項目プールの項目の知的財産権についても確認 項目1 項目2 項目3 項目4 項目5 項目6 項目7 項目8 項目9 項目10 32
  33. 33. 「③項目プールの構成」のチェックリスト 概念的観点から項目のサブセットや側面の追加と 削除の合理的根拠を示す。 最終版の項目プールの元のターゲット概念における 有効範囲の精査(最終版と元のターゲット概念の調 和を行う)。必要に応じてPROMISのドメインの枠組み の完成 ターゲット概念への文化的・発達的影響の適切な適 用範囲を明確にするために、項目プールレベルで 文化的調和とライフコースの検討を行う。 33
  34. 34. 項目バンクの作成と運用 ①ターゲット 概念と概念モ デルの定義 ③項目プールの構 成 ②項目の作成 ④項目バン クの性質の 決定 項目バンク ⑤検査形式 ⑥妥当性 ⑦信頼性 ⑧解釈可能性 ⑨翻訳と文化適合 Pjk (q) = 1 1+exp(-aj (q -bjk )) <質問紙の運用> ① 短縮版 ② プロフィール版 ③ コンピュータ適応テスト版 項目反応理論 34
  35. 35. ④項目バンクの性質の決定 • 項目の測定に影響をあたえる重要なグループ(性別、 年齢、教育、診断など)を特定するために、特異項 目機能(Differential Item functioning)も検討すべき。 項目プール 項目1 項目2 項目3 項目4 項目5 項目6 項目7 項目8 項目9 項目 10 項目 11 項目 12 項目バンク 項目1 項目2 項目4 項目5 項目6 項目7 項目9 項目 10 項目 11 対象母集団をもとに、 古典的テスト理論と 項目反応理論に よって項目の性質 を検討する 35
  36. 36. 「④項目バンクの性質の決定」の チェックリスト 項目バンクの項目の次元が適切な統計手法で評価 されている。 項目バンクの項目が、項目反応理論モデルに十分 に適合している(必要な統計的仮定を含む)。 項目や尺度のパフォーマンス特性が適切である。 重要な集団(性別、年齢、疾患、教育)における特異 項目機能が検討され、測定特性への影響が特定さ れている。 36
  37. 37. 具体的な手続き:古典的テスト理論 項目分析 ①反応頻度、平均、標準偏差、得点範囲、尖度、歪度 の検討 ②項目間相関行列、項目-尺度相関、項目減によるα 係数変化の検討 尺度分析 平均、標準偏差、得点範囲、尖度、歪度、内的一貫性 (α係数)の検討 37
  38. 38. 具体的な手続き:項目反応理論モデ ルの仮定の評価 一次元性 ポリコリック相関を用いた確証的因子分析(1因子と2 因子モデル)。確証的因子分析の適合度が悪い場合 は、探索的因子分析を行う。 局所独立性 因子分析で第一因子を除外後の残差相関行列を検討。 項目反応理論に基づいた局所独立性の検定 単調性 合計得点から項目得点を引いたものに対する項目平 均得点のプロット。(単調性の仮定をおかない)ノンパ ラメトリック項目反応理論モデルを使って確率曲線を 検討。 38
  39. 39. 記載例:痛みの生活障害の項目バンク • 14848名に対して痛みの生活障害に関する56項目を実施。以下のように項目 反応理論モデルの仮定を検討。 Unidimensional IRT models (as do CTT models) make the assumption that a single latent construct drives the variance in scores.・・・The published PROMIS analysis plan suggested the use of confirmatory factor analysis (CFA) in which a unidimensional model is applied and fit statistic values are compared to prior published criteria by Hu and Bentler [3,28,29], McDonald [37], and others [6,33,62]. These criteria included: Comparative Fit Index (CFI) >0.95, Root Mean Square Error of Approximation (RMSEA) <0.06・・・ →1次元性の仮定を確認 A second assumption of IRT models is local independence. ・・・To evaluate LD, we examined the residual correlation matrix produced by the single factor CFA.・・・ →局所独立性の仮定を確認 39 Amtmann et al. (2010). Development of a PROMIS item bank to measure pain interference. Pain, 150(1), 173-82.
  40. 40. 具体的な手続き:データへの項目反 応理論モデルの適用 項目反応理論モデルパラメータの推定 1次元性の多肢選択反応データにはSamejimaの段階 反応モデル モデル適合度の検討 観測反応頻度と期待反応頻度の比較、適合度指標(S- X2、BockのG2、Q1統計量)の検討 項目特性の評価 項目反応理論によるカテゴリー反応曲線、項目情報 曲線 尺度特性の評価 項目反応理論による尺度情報関数 40
  41. 41. 記載例:痛みの生活障害の項目バンク • We modeled responses to the 41 items of the candidate PROMIS-PI items using Samejima‘s two parameter polytomous graded response model (GRM) with Multilog, Version 7.03. ・・・We report values of S-X2 (a Pearson X2 statistic) and S-G2 (a likelihood ratio G2 statistic)・・・ →パラメータの推定法(Samejimaの段階反応モデル)と用いた適合度指標。 41 Amtmann et al. (2010). Development of a PROMIS item bank to measure pain interference. Pain, 150(1), 173-82. • 各項目のパラメータ(識別力(a)と困難度 (b1-b4))を推定。 • T得点(一般母集団で平均50、標準偏差 10)にした上で、尺度情報曲線と頻度分 布をプロットしている(右図)。 →痛みが高めの者(T得点で55点から70点) において精度が高い。 →がん患者や慢性疼痛患者の平均値も示 してある。 Amtmann et al. NIH-PAAuthorManuscriptNIH-P
  42. 42. 具体的な手続き:重要なデモグラフィック や臨床集団間の特異項目機能の評価 定性的分析と特異項目機能に関する仮説の生成 項目反応理論に基づいた方法で特異項目機能の存 在と影響の評価 →一般的な項目反応理論に基づいた尤度比検定、Raju 法とDFIT法 項目反応理論に基づかない方法で特異項目機能の 存在と影響の評価 →順序ロジスティック回帰、構造方程式モデリングを用 いたMulti-Group multiple-indicator, multiple cause(MIMC) モデル 42
  43. 43. 記載例:身体機能項目の年齢に関連 した特異項目機能 • 身体機能を測定する114項目を英語話者(1504名)と スペイン語話者(640名)に実施した。 43 Paz et al. Page 7 NIH-PAAuthorManuscriptNIH-PAAuthorManu Paz et al. (2013). Age-related Differential Item Functioning for the Patient- Reported Outcomes Information System (PROMIS®) Physical Functioning Items. Prim Health Care,3(131), 12086. • 114項目中30項目は、同じ身 体機能を有していても、50歳 以上と18~49歳で異なる機能 を持っていることが示された (右図)。
  44. 44. 項目のキャリブレーション • PROMISには1000項目以上あるので、全ドメインの全て の項目に回答するのは無理(1名150項目が限度) • Full Bankデザイン:あるドメインの全ての項目に回答す るデザイン →一次元性の評価、あるドメイン(項目バンク)内のキャリ ブレーションが可能 →これまで使われている尺度(Legacy item)を含めて、これ まで使われている尺度とのキャリブレーションもできる。 • Block Administrationデザイン:複数のドメイン(項目バン ク)の一部の項目に回答するデザイン →ドメイン間の関係の評価が可能 44
  45. 45. 項目のキャリブレーション 45 PROMISでは、イ ンターネット調査 と研究施設での 調査を組み合わ せている。
  46. 46. 具体的な手続き:項目バンク化のため の項目キャリブレーション キャリブレーションのためのデザイン →Full BankデザインかBlock Administrationデザインか? 標準化したシータ指標 →一般米国人において、平均0、標準偏差1となるように 標準化する(平均50、標準偏差10のT得点も使う。「記載 例:痛みの生活障害の項目バンク」を参照)。 項目バンク内のそれぞれの項目の特性を割り振る →Samejimaの段階反応モデルを用いて、識別力と困難 度をもったそれぞれの項目をキャリブレーションする。 CATアルゴリズムのためのパラメータをデザインするか特 定する。 46
  47. 47. 記載例:PHQ-9とPROMISうつ尺度 • 2178名を対象に、これまでよく使用されているPHQ-9と PROMISのうつ尺度でキャリブレーションを実施 →PROMISのうつ尺度上のPHQ-9と合計得点のプロット(左: PHQ-9は過大評価気味)と測定誤差の比較(9項目のPHQ-9よ りPROMISの3項目版CATの方が誤差が小さい) 47 Gibbons et al. (2011) Migrating from a legacy fixed-format measure to CAT administration: calibrating the PHQ-9 to the PROMIS depression measures. Qual Life Res, 20(9), 1349-57.haracteristic curve shows the most likely PHQ-9 sum score (on the y-axis) Page 13 Fig. 2. Lowess curves for the standard error of measurement ( SEM) by depression symptom Gibbons et al. NIH-PAAuthorManuscript
  48. 48. 項目バンクの作成と運用 ①ターゲット 概念と概念モ デルの定義 ③項目プールの構 成 ②項目の作成 ④項目バン クの性質の 決定 項目バンク ⑤検査形式 ⑥妥当性 ⑦信頼性 ⑧解釈可能性 ⑨翻訳と文化適合 Pjk (q) = 1 1+exp(-aj (q -bjk )) <質問紙の運用> ① 短縮版 ② プロフィール版 ③ コンピュータ適応テスト版 項目反応理論 48
  49. 49. 「⑤検査と検査形式」のチェックリスト • 検査形式(CAT、短縮版、プロフィール、スクリーニン グ)は、意図した使用や項目バンクの特性に基づい て適切に定義される。 適切な尺度/検査レベルでの性質を示す 測定尺度間の精度と検査の効率性を特定 検査のパフォーマンスパラメータを特定 回答者の負担を特徴づける(時間や項目数など) 異なるフォーマット(CATか短縮版か)での比較可能性 →「記載例:PHQ-9とPROMISうつ尺度」にて、異なる検査 形式での尺度特性を検討 49
  50. 50. 「⑥妥当性」のチェックリスト 構成概念妥当性を支持する根拠を示す →収束的妥当性(理論的に関連するものが実際に関 連)と弁別的妥当性(理論的に関連しないものが実際 に関連しない)に関する仮説を事前に立てて検証する 基準関連妥当性を支持する根拠を示す →ゴールドスタンダードとなる基準(もしくはLegacy尺 度)がある場合は、その基準との関連の強さに関する 仮説を事前にたてて検証する 50
  51. 51. 「⑥妥当性」のチェックリスト 内容的妥当性を支持する根拠を示す →最終版の検査は、専門家とエンドユーザーによって、 最初の定義と最終版の検査の間に一貫性があるか違 いがないか再検討される。 反応性を支持する根拠を示す →尺度が患者の変化をちゃんととらえているのか(反 応性)検討するには、代表的なサンプルを対象に適切 なアンカーに基づいた方法を行う 51 ※本研究会の「COSMIN」の回が参考になる (http://blue.zero.jp/yokumura/Rhtml/session10.html)。
  52. 52. 「⑦信頼性」のチェックリスト ターゲット概念の全範囲の信頼性を支持する根拠を 示す →尺度のさまざまな位置における情報と標準誤差(項 目反応理論) →尺度全体における信頼性と標準誤差(古典的テスト 理論) 再検査信頼性を支持する根拠を示す • 尺度の再現可能性を記載する(研究デザインの合 理性、対象集団が変化ないという想定が支持される 検査と再検査間の間隔) 52 ※古典的テスト理論や再検査信頼性に関しては、本研究会の「COSMIN」の 回が参考になる(http://blue.zero.jp/yokumura/Rhtml/session10.html)。
  53. 53. 「⑧解釈可能性」のチェックリスト 解釈するためのガイドライン(MIDやレスポンダー基 準)を支持する根拠を示す →解釈可能性については、COSMINの見解とは少し異 なる(今後両者の統合は進むかもしれませんが・・・)。 標準化データ、比較可能なデータ、参照となるデー タが提供されている 53 ※本研究会の「臨床的有意性」の回が参考になります。 (http://blue.zero.jp/yokumura/Rhtml/session16.html)
  54. 54. 「⑨翻訳と文化的適応」のチェックリスト 厳密な翻訳過程を用いた項目と反応選択肢 と教示の翻訳 →翻訳は、全ての項目、反応選択肢、教示に対 して翻訳・逆翻訳を行う(翻訳と逆翻訳は繰り返 し行う、バイリンガルの専門家のレビュー、認知 的インタビューによる検討)。 54 ※本研究会の「COSMIN」の回が参考になる (http://blue.zero.jp/yokumura/Rhtml/session10.html)。
  55. 55. 項目バンクは大変だけど・・・ • PROMISの取り組みは、地道かつ大変な作業になる が、短時間で測定できて、かつ精度の高い患者報 告式アウトカム尺度を作る上では必須になる。 生物学 的・生理 学的変数 全体的な 生活の質 症状の 状態 機能の 状態 全般的な 健康知覚 • 日本においても、PROMISのような取り組みが実施さ れることが今後望まれる。 55
  56. 56. 参考文献 PROMISのガイドラインと重要論文 • PROMIS® Validity Standards Committee on behalf of the PROMIS Network of Investigators. (2012) The PROMIS® Instrument Development and Psychometric Evaluation Scientific Standards.pdf icon (unpublished document). • Cella et al. (2007). The Patient Reported Outcomes Measurement Information System (PROMIS): Progress of an NIH Roadmap Cooperative Group during its first two years. Medical Care, 45(5), S3–11. • DeWalt et al. (2007) Evaluation of Item Candidates –The PROMIS Qualitative Item Review. Med Care 2007; 45: S12–S21. • Cella et al.(2010). The Patient Reported Outcomes Measurement Information System (PROMIS) developed and tested its first wave of adult self–reported health outcome item banks: 2005–2008. Journal of Clinical Epidemiology, 63(11), 1179–94. ※PROMISで公開されているビデオ講座がわかりやすいです。 56

×