Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.



Published on


第10回 患者報告式アウトカム尺度の評価法: 信頼性と妥当性の新しい国際基準COSMINチェックリストの使い方

Published in: Technology, Health & Medicine


  1. 1. 内容的妥当性,構造的妥当性と仮説検定の評価竹林由武広島大学総合学研究科 博士課程後期3年患者報告式アウトカム尺度の評価法:信頼性と妥当性の新しい国際基準COSMINチェックリストの使い方公益社団法人日本心理学会心理・医学系研究者のためのデータ解析環境Rによる統計学の研究会第10回研究集会2012/5/18 (土) 13:20~17:45東京医科歯科大学
  2. 2. 妥当性表面的妥当性構成概念妥当性仮説検定異文化妥当性構造的妥当性基準関連妥当性(併存•予測的)内容的妥当性構 成内容的妥当性(Box D)構造的妥当性(Box E)仮説検定(Box F)2
  3. 3. 妥当性表面的妥当性構成概念妥当性仮説検定異文化妥当性構造的妥当性基準関連妥当性(併存•予測的)内容的妥当性構 成内容的妥当性(Box D)構造的妥当性(Box E)仮説検定(Box F)表面的妥当性:尺度の項目が,目的とした構成概念を十分に反映しているように,確かに思える程度(項目の第一印象で明らかに的外れな項目がないか)内容的妥当性:尺度の内容が目的とした構成概念を十分に反映している程度3
  4. 4. 1. 全項目が構成概念の側面を反映しているか。e. g., 無駄な項目がないか2. 全項目が目的とする母集団と関連しているか。e. g., 年齢,性別,疾患の特性,国,セッティング3. 全項目が測定指標の目的と関連しているか。e. g., 他の疾患との鑑別, 重症度の評価,スクリーニング4. 構成概念が包括的に項目に反映されているか。e. g., 項目に漏れがないか評価項目 ※共通項目は除く内容的妥当性 構造的妥当性 仮説検証4
  5. 5. 1. 全項目が構成概念の側面を反映しているか。e. g., 無駄な項目がないか2. 全項目が目的とする母集団と関連しているか。e. g., 年齢,性別,疾患の特性,国,セッティング3. 全項目が測定指標の目的と関連しているか。e. g., 他の疾患との鑑別, 重症度の評価,スクリーニング4. 構成概念が包括的に項目に反映されているか。e. g., 項目に漏れがないか評価項目項目と概念の関連性項目と概念の包括性内容的妥当性 構造的妥当性 仮説検証5
  6. 6. 項目 Excellent Good Fair poor評価あり 記述が乏しい 評価なし10人以上で評価5-9人以上で評価5人以下で評価 評価なし評価あり目的記述なし推測可能 評価なし評価あり理論的背景なし 評価なし4件法で各項目を評定項目の評価1. 全項目が構成概念の側面を反映しているか。2. 全項目が目的とする母集団と関連しているか。3. 全項目が測定指標の目的と関連しているか。4. 構成概念が包括的に項目に反映されているか。内容的妥当性 構造的妥当性 仮説検証6
  7. 7. ① 概念モデルと母集団に関する情報の検討文献のレビュー② 測定指標の内容に関する情報の検討指標に関する全ての情報を開示すべき装置,測定方法/手続き,スコアリング法質問紙であれば全ての項目,教示,回答方式③ 専門家パネル (expert panel)の選択自己報告式アウトカムの場合,患者は疾患の専門家④ 測定指標の内容と構成概念の対応を評価検討手続き内容的妥当性 構造的妥当性 仮説検証7
  8. 8. 事例 慢性閉塞性肺疾患(COPD)者のQOL尺度Scale content was generated from qualitative, unstructured interviewsconducted with patients with COPD in the UK and focus groups with patientsin the USA. The interviewees and focus group participants were encouragedto talk at length about their experience of COPD and the impact of thedisease on all areas of their life.Audio recordings were made of the interviews and focus group discussions.These were transcribed, and each interview was subjected to content analysisby at least two experienced qualitative researchers to identify statementsexpressing the impact of LCOPD on patient’s lives.The needs-based model of QoL were employed for the LCOPD [13]. This modelasserts that QoL is dependent on an individual’s ability to fulfil his or herfundamental needs and that QoL is good when most needs are met and poorwhen they are not.モデルの選択⇒QOLの欲求ベースモデルを採用患者への面接による項目収集専門家の判断による項目の吟味McKenna SP et al: Qual Life Res (2011) 20:1043–1052内容的妥当性 構造的妥当性 仮説検証8
  9. 9. 事例 慢性閉塞性肺疾患(COPD)者のQOL尺度It was clear from the interviews that COPD has a considerable adverse impact onmany aspects of the lives of affected individuals. Figure 1 shows the conceptualframework for the LCOPD, illustrating how the issues raised during theinterviews relate to needs and quality of life impact.患者へのインタビューから,COPD患者のQOLモデルを構築Cognitive debriefing interviewswere conducted with 19 patientsin the UK and 16 in the USA.Demographic details of thesample are shown in Table 1. Thequestionnaires were wellreceived by participants whofound them relevant,comprehensible, easy and quickto complete.項目の関連性・包括性を患者が確認McKenna SP et al: Qual Life Res (2011) 20:1043–1052内容的妥当性 構造的妥当性 仮説検証9
  10. 10. 事例 患者の報告が包括性に重要Jonesa, P et al: Primary Care Respiratory Journal (2009); 18(3): 208-215文献レビューによる概念の定義専門家への電話面接によって患者の健康の指標となる項目を聴取患者のインタビューに基づく項目と専門家による項目の確認項目の作成手順内容的妥当性 構造的妥当性 仮説検証10
  11. 11. 妥当性表面的妥当性構成概念妥当性仮説検定異文化妥当性構造的妥当性基準関連妥当性(併存•予測的)内容的妥当性構 成内容的妥当性(Box D)構造的妥当性(Box E)仮説検定(Box F)構造的妥当性:尺度の得点が,目的とした構成概念の次元を妥当に反映している程度11
  12. 12. 1.reflective modelに基づいているか4. 解析に用いたサンプル数が適切か6. 古典的テスト理論:探索的 or 検証的因子分析が実施されたか7. 項目反応理論:IRTは項目の1次元性を決定するために実施されたか内容的妥当性 構造的妥当性 仮説検証12評価項目 ※共通項目は除く
  13. 13. 項目の評価:1.reflective modelに基づいているかformative model reflective modelライフストレスηY1: 将来の心配Y2: 睡眠への支障Y3:心拍の亢進ライフストレスηX1: 職の喪失X2:家族の死X3:離婚εεεεformative reflective因果 項目⇒概念 概念⇒項目測定モデル 主成分分析 CTT, IRT概念の変化は全ての項目に影響を与える概念の変化に,全ての項目の変化が寄与するとは限らない内容的妥当性 構造的妥当性 仮説検証13
  14. 14. 項目の評価:1.reflective modelに基づいているかformative model reflective modelライフストレスηY1: 将来の心配Y2: 睡眠への支障Y3:心拍の亢進ライフストレスηX1: 職の喪失X2:家族の死X3:離婚εεεεformative reflective因果 項目⇒概念 概念⇒項目測定モデル 主成分分析 CTT, IRT概念の変化は全ての項目に影響を与える概念の変化に,全ての項目の変化が寄与するとは限らない以下の項目はスキップ内容的妥当性 構造的妥当性 仮説検証14
  15. 15. 項目の評価:4. 解析に用いたサンプル数が適切か評価 サンプル数□Excellent 項目数×7かつ100以上□Good 項目数×5 かつ100以上項目数×7かつ100以下□Fair 項目数×5 かつ100以下□Poor 項目数×5以下内容的妥当性 構造的妥当性 仮説検証15
  16. 16. 項目の評価:6. 古典的テスト理論評価 サンプル数□Excellent 探索or検証的因子分析を実施かつその選択が適切□Good 検証的因子分析の方が適切だが探索的因子分析を実施している□Fair□Poor 因子分析なし内容的妥当性 構造的妥当性 仮説検証16
  17. 17. 共通因子因子負荷量観測変数独自因子因子分析モデル313132121211111FYFYFYY2Y1 Y3F1ε1 ε2 ε3λ11 λ21 λ31古典的テスト理論による前提①誤差の平均は0②独自因子間は無相関③共通・独自因子は無相関因子負荷量 共通因子から観測変数(項目得点)への影響独自因子 各独自因子から観測変数(項目得点)への影響内容的妥当性 構造的妥当性 仮説検証17
  18. 18. 因子分析モデルitem5item6item2item1item3item4f1 f2EFA・新しい尺度の開発・因子数・因子間相関の理論的根拠が弱い・項目の削減⇒短縮版の作成妥当性の検討という観点では,CFAの実施が適切CFAitem5item6item2item1item3item4f1 f2探索的因子分析 検証的因子分析因子構造の仮説生成が目的 因子構造の仮説検証が目的内容的妥当性 構造的妥当性 仮説検証18
  19. 19. ・事例Explanatory factor analysis (EFA)was used to examine thedimensionality of the item setmeasuring the underlying construct,because the results suggestedinsufficient model fit [27, 28].S. A. M. Stevelink et al: Qual Life Res (2013) 22:137–144(EFAとCFAの使い分け)CFAで理論に基づき因子構造を検討CFAの結果が不良EFAで探索的に検討内容的妥当性 構造的妥当性 仮説検証19
  20. 20. 構造方程式潜在変数→潜在変数観測変数→観測変数観測変数→潜在変数検証的因子分析・構造方程式モデリング (structural equation modeling)測定方程式に基づく因子分析+構造方程式に基づくパス解析測定方程式:潜在変数が観測変数に与える影響を記述を記述Y5Y4Y6F1ε4ε5ε6λ11λ21λ31Y2Y1Y3F2ε1ε2ε3λ12λ22λ32内容的妥当性 構造的妥当性 仮説検証20
  21. 21. 共分散構造分析観測データの共分散行列とモデルの共分散行列の相違を最小化するパス係数を求める(最尤推定法or加重最小二乗法)),(minSfパス係数(因子負荷量)の推定適合度の検討データのモデルに対するあてはまりの良さを評価するY2Y1 Y3F1ε1 ε2 ε3λ11 λ21 λ31データ内容的妥当性 構造的妥当性 仮説検証21
  22. 22. 共分散構造分析適合度指標絶対的指標: データとモデルの共分散行列の類似度(absolute indices)増分的指標: 独立モデルと比較して,分析モデルによって(incremental indices) データの適合が改善した度合い倹約的指標: モデルの複雑さを考慮した,モデルのデータ(parsimonious indices) に対する近似度指標 内容 基準SRMR モデルで説明できなかった分散の大きさ .08以下CFI 自由度を考慮した乖離度の改善の大きさ .95以上RMSEA 1自由度あたりの乖離度の大きさ .05以下Ralph, O et al (2008): The Reviewer‘s Guide to Quantitative Methods in the Social Sciences内容的妥当性 構造的妥当性 仮説検証22
  23. 23. 事例 (適合度指標)Four practical fit indices were used to evaluate model fit: theTucker-Lewis index (TLI), the comparative fit index (CFI), the rootmean square error of approximation (RMSEA), and the standardizedroot-mean-square residual (SRMR). Guidelines proposed by Huand Bentler (13) suggest that models with TLI and CFI close to0.95 or higher, RMSEA close to 0.06 or lower, and SRMR closeto 0.08 or lower are representative of good-fitting models.方法の節 (指標の適合基準の参照元を明示する)結果の節(他のモデルと比較して仮説モデルが妥当か評価)Thombs et al: Arthritis & Rheumatism Vol. 59, No. 3, March 15, 2008, pp 438–443内容的妥当性 構造的妥当性 仮説検証23
  24. 24. 事例 (高次(2次)因子モデルの適用)Thombs et al: Arthritis & Rheumatism Vol. 59, No. 3, March 15, 2008, pp 438–443hopefulgoodunfriendlydislikedenjoyhappyIP PA S/V DAsleepeffortGetgoingTalkedlessappetitebotjeredmindlonelyfearfulsadcrydepressedBluesfailureDepressivesymptom1次因子間の相関を少数の2次因子で説明適用ケース>上位概念が想定される場合>因子間相関が高い場合Second-order factors are globalfactors composed of all of the first-order factors (e.g., depressed affect,somatic/vegetative, (lack of) positiveaffect, and interpersonal) thatprovide a mechanism to test theplausibility that a single overarchingconstruct is being measured.方法の節 (高次因子分析)内容的妥当性 構造的妥当性 仮説検証24
  25. 25. 探索的因子分析・回転方法の選択5 621 3 4f1 f2直交回転(orthogonal rotation)5 621 3 4f1 f2斜交回転(oblique rotation)因子間相関を仮定因子間相関をしない斜交回転で検討し,因子間相関が低ければ直交回転で再検討(Henson et al: Educ Psychol Meas 66: 393-416, 2006 13)内容的妥当性 構造的妥当性 仮説検証25
  26. 26. 探索的因子分析・因子数の選択平行分析 (parallel analysis)実データの固有値>乱数データの固有値となる最大因子数最小平均偏相関 (Minimum average Partial Correlation: MAP)主成分分析の第一成分を統制変数とし,観測変数間の偏相関行列,偏相関係数の平均平方を繰り返しも求め,平均平方が最小となる主成分を因子数にする複数の因子数決定法を用いて因子数を判断すべきe.g. ) 平行分析+MAP+解釈可能性内容的妥当性 構造的妥当性 仮説検証26
  27. 27. 探索的因子分析library(psych)peason.cor<-cor(dat,use="complete.obs")fa.parallel(peason.cor,n.obs=1000)内容的妥当性 構造的妥当性 仮説検証27library(psych)fit1<-fa(dat, nfactors=2, fm="ml", rotate="promax")# nfactors=因子数# fm=推定法# rorate=回転法print(fit1, cutoff=0, sort=TRUE)library(psych)VSS(dat, n=10, plot=TRUE)# n=最大因子数1 2 3 4 5 Analysis Scree PlotsFactor NumbereigenvaluesofprincipalcomponentsandfactoranalysisPC Actual DataPC Simulated DataFA Actual DataFA Simulated Data平行分析最少平均偏相関2因子モデルのEFA(最尤法)
  28. 28. 探索的因子分析・事例 方法の節To minimize potential for over- or under-identification of factors,parallel analysis (e.g., Brown, 2006) and Velicer‘s MAP (Velicer,1976) were computed. Parallel analysis computes randomlygenerated data sets to specifications and compares the obtainedeigenvalues in the raw data to those obtained by chance (seeO’Connor, 2000; Brown, 2006). Velicer‘s MAP is a step-wiseprocess whereby components are partialed out of the correlationmatrix sequentially. The step corresponding to the lowest partialsquared correlation indicates the number of components (seeVelicer, 1976; O’Connor, 2000). Parallel analysis using normallydistributed random data generated 1000 datasets limited to the95th percentile with principal components analysis (O‘Connor,2000).N.T. Van Dam, M. Earleywine: Psychiatry Research 186 (2011) 128–132内容的妥当性 構造的妥当性 仮説検証28
  29. 29. 探索的因子分析・事例 結果の節N.T. Van Dam, M. Earleywine: Psychiatry Research 186 (2011) 128–132Parallel analysis suggested four roots with eigenvalues larger than what wouldbe obtained by chance. Velicers MAP revealed a smallest average squared partialcorrelation of 0.020 on step two suggesting two underlying components.Maximum Likelihood estimation using promax rotation limited to two-, three-,and four-factor solutions was used to explore factor loadings. Examination ofthe three- and four factor solutions revealed inconsistencies with theoreticalconsiderations and optimal psychometric properties (see Brown, 2006). Bothsolutions suggested a factor containing only three items (1, 5, 19) related to appetiteand sleep. This factor excluded another item related to sleep (11) and one relatedto weight changes (18), suggesting substantive inconsistencies.The two-factor solution was both theoretically and psychometrically consistent,suggesting one factor related to negative mood and another factor related tofunctional impairment.平行分析で4因子・MAPで2因子3・4因子は理論的と不一致2因子解が理論・統計的な一貫性が良い内容的妥当性 構造的妥当性 仮説検証29
  30. 30. 項目の評価:7. 項目反応理論:評価 サンプル数□Excellent 項目の次元性評価のためにIRTを実施している□Good□Fair□Poor 項目の次元性評価のためにIRTを実施していない内容的妥当性 構造的妥当性 仮説検証30
  31. 31. IRTにおける次元性の評価:IRTでは項目群の1次元性が前提 ( 1因子構造)IRTの統計モデル=質的変数の因子分析モデル質的変数の因子分析1.名義・順序尺度の相関行列に基づく2. 加重最小二乗法による推定 Y2Y1 Y3F1ε1 ε2 ε3λ11 λ21 λ31名称 変数の組み合わせ多分相関係数 (polychoric correlation) 順序変数 ー 順序変数重双相関係数 (polyserial correlation) 順序変数 ー 連続変数四部相関係数 (tetrachoric correlation) 2値変数 ー 2値変数内容的妥当性 構造的妥当性 仮説検証31
  32. 32. 質的変数の相関イメージ(テトラコリック相関)a bcdt1t2y1y2評定者2うつ病無 うつ病あり評定者1うつ病無 a b a+bうつ病あり c d c+da+c b+d 1③クロス集計表の実測値と近似する楕円の範囲を推定 (2段階最尤推定法)②2者の評定によるクロス集計表①名義(2値)尺度の背後に連続量を仮定In contrast to a classical CFA which uses thecovariance matrix, CFA uses the polychoriccorrelations. We used the weighted least squares(WLS) method of estimation.論文での記載事例(質的因子分析)Mokkink et al (2011): Multiple Sclerosis Journal 17(12) 1498–1503内容的妥当性 構造的妥当性 仮説検証32
  33. 33. カテゴリカル探索的因子分析library(polycor)poly.cor<-polychoric(dat2)poly.cor$rho内容的妥当性 構造的妥当性 仮説検証33library(psych)fit2<-fa(poly.cor$rho, nfactors=2,fm=“WLS”,rotate="promax")print(fit2, cutoff=0, sort=TRUE)ポリコリック相関2因子モデルのEFA
  34. 34. 妥当性表面的妥当性構成概念妥当性仮説検定異文化妥当性構造的妥当性基準関連妥当性(併存•予測的)内容的妥当性構 成内容的妥当性(Box D)構造的妥当性(Box E)仮説検定(Box F)仮説検定:尺度が目的とした構成概念を妥当に測定している前提から導かれる仮説と尺度の得点が一致している程度34
  35. 35. 仮説検証の主要な目的:収束的妥当性 (convergent validity)理論的に関連の強い構成概念を測定する指標と相関が高い弁別的妥当性 (discriminant validity)理論的に関連の弱い構成概念を測定する指標と相関が弱い群間で測定指標の得点に差がある内容的妥当性 構造的妥当性 仮説検証35
  36. 36. 3. 解析に用いたサンプルは適切か4. 相関・群間差に関する仮説が事前に設定されているか5. 仮説に相関・平均差の「方向性」が含まれているか6. 仮説に相関・平均差の「程度」が含まれているか7. 比較尺度が適切に記述されているか8. 比較尺度のプロパティが適切に記述されているか10. 仮説検証に適切な統計手法・計画が用いられているか内容的妥当性 構造的妥当性 仮説検証36評価項目 ※共通項目は除く
  37. 37. 項目の評価:3. 解析に用いたサンプル数が適切か評価 サンプル数□Excellent 各解析につき100以上□Good 各解析につき50-99以上□Fair 各解析につき30-49以上□Poor 各解析につき30以下内容的妥当性 構造的妥当性 仮説検証37
  38. 38. 項目の評価:4-6. 事前の仮説設定項目4□Excellent 複数の仮説を事前に定式化□Good 最小限の仮説を事前に定式化□Fair 仮説があいまい仮説設定なしだが演繹可能□Poor 予測が不明確項目5-6□Excellent 相関・差の方向性(程度)を仮説に含む□Good 相関・差の方向性(程度)を仮説に含まない□Fair 評価なし□Poor 評価なし内容的妥当性 構造的妥当性 仮説検証38
  39. 39. 相関・平均値差の大きさの基準基準検定 指標 小 中 大d 群 d, g, Δ .20 .50 .80r 群 r .10 .30 .50R2 .02 .13 .26η2 .01 .06 .14ω2 .01 .09 .25Cohen (1992)他
  40. 40. 項目の評価:7-8. 比較尺度の適切な記述項目7□Excellent 比較尺度の測定概念を適切に記述□Good 比較尺度の測定概念の大部分を適切に記述□Fair 比較尺度の概念の記述が乏しい□Poor 比較尺度の概念の記述なし項目8□Excellent 当該研究と同様の母集団における比較尺度の特性が適切に記述されている□Good 比較尺度の特性が適切に記述されているが,本研究の母集団への適用は不確か□Fair 何らかの母集団での尺度特性またはそのレファレンスに関する情報がある□Poor 比較尺度のプロパティに関する情報なし内容的妥当性 構造的妥当性 仮説検証40
  41. 41. 項目の評価:10. 計画・統計手法の適切性項目10□Excellent 統計的手法が適切に用いられている□Good 統計的手法の適切性を推測可能(e.g., ピアソンの相関を使用しているが得点の分布や平均や標準偏差は呈示されていない)□Fair 最適な統計手法が用いられていない□Poor 統計的手法が適切に用いられていない内容的妥当性 構造的妥当性 仮説検証41
  42. 42. ① 概念の記述② 仮説の定式化③ 比較尺度 or 対象群を記述④ データ収集⑤ 結果と仮説の整合性を評価⑥ 結果の説明検討手続き内容的妥当性 構造的妥当性 仮説検証42
  43. 43. ② 仮説の定式化: 事例The hypotheses were based on the literature and theoreticalconsiderations and were agreed on by all authors beforethey were tested. As in previous observations, we did notexpect to find correlation coefficients of more than 0.50. If arelationship was anticipated, we expected to find correlationcoefficients between 0.21 and 0.50. These cutoff values werearbitrarily chosen, but are in line with general recommendationsfor weak associations. 53,54仮説 (方向性・程度を含む)仮説 (方向性・程度を含む)Apeldoorn et al: Clin J Pain Volume 28, Number 4, May 2012程度の基準を明記内容的妥当性 構造的妥当性 仮説検証43
  44. 44. 事例:仮説設定Several studies have concluded that there is a link between highWaddell scores and depression,15,17,31,37,50 but 1 other study found noassociation.33 In this study, depression was measured with the Dutchtranslation of the Beck Depression Inventory (BDI).67,68 The BDIconsists of 21 graded items, ranging in severity from 0 to 3. It hasgood psychometric properties for the measurement of depression,but in patients with CLBP a confounding effect has been found for 3items measuring somatic symptoms.69 In this study, we expected tofind a positive association between high Waddell scores andelevated BDI scores.比較尺度の特性および仮説Apeldoorn et al: Clin J Pain Volume 28, Number 4, May 2012内容的妥当性 構造的妥当性 仮説検証44
  45. 45. 多特性・多方法行列(multitrait-multimethod matrix:MTMM)複数の特性を複数の方法で測定した尺度得点間の相関行列から,信頼性・収束的妥当性・弁別的妥当性をまとめて評価信頼性の指標通常相関係数は1なので,ここには信頼性係数(αなど)を代入する。同一概念・同一方法の相関併存的妥当性の指標同一概念・異方法の相関内容的妥当性 構造的妥当性 仮説検証Campbell, D. T. & Fiske, D.W. (1959). Convergent and discriminant validation bythe multitrait-multimethod matrix. Psychological Bulletin, 56, 81-10545
  46. 46. 複数の特性を複数の方法で測定した尺度得点間の相関行列から,信頼性・収束的妥当性・弁別的妥当性をまとめて評価弁別的妥当性の指標同一概念・異なる方法の相関よりも弱ければ良い異概念・異方法の相関異概念・同一方法の相関測定方法の影響性の指標(method factor)同一概念・異方法の相関よりも強いと測定方法による影響が強い多特性・多方法行列(multitrait-multimethod matrix:MTMM)内容的妥当性 構造的妥当性 仮説検証46
  47. 47. 多特性・多方法行列(multitrait-multimethod matrix:MTMM)内容的妥当性 構造的妥当性 仮説検証47Correlation plotC3B3A3C2B2A2C1B1A1A1 B1 C1 A2 B2 C2 A3 B3 C322 24 67 29 17 75 36 34 10020 64 15 26 64 24 39 100 3455 23 19 66 24 23 100 39 3622 28 68 19 9 100 23 24 7520 58 13 21 100 9 24 64 1759 24 21 100 21 19 66 26 2937 48 100 21 13 68 19 15 6729 100 48 24 58 28 23 64 24100 29 37 59 20 22 55 20 22-1-0.8-0.6-0.4- (cor.matrix,numbers=T)
  48. 48. SEMによるMTMMB1A1 C1trait AB2A2 C2trait BB3A3 C3trait Cmethod1method2method3model 1: 多特性・多方法モデル (加法モデル)freely correlated trait and method内容的妥当性 構造的妥当性 仮説検証Byrne, B. M. (2011). Structural Equation Modeling with Mplus: Basic Concepts, Applications,and Programming (Multivariate Applications Series). Routledge Academic 48
  49. 49. SEMによるMTMM (比較モデル)model 2: 特性を想定しないモデルno trait – freely correlated methodB1A1 C1 B2A2 C2 B3A3 C3method1method2method3内容的妥当性 構造的妥当性 仮説検証Byrne, B. M. (2011). Structural Equation Modeling with Mplus: Basic Concepts, Applications,and Programming (Multivariate Applications Series). Routledge Academic 49
  50. 50. SEMによるMTMM(比較モデル)model 3: 概念の弁別性を想定しないモデルperfectly correlated traits – freely correlated methodsB1A1 C1traitB2A2 C2 B3A3 C3method1method2method3内容的妥当性 構造的妥当性 仮説検証Byrne, B. M. (2011). Structural Equation Modeling with Mplus: Basic Concepts, Applications,and Programming (Multivariate Applications Series). Routledge Academic 50
  51. 51. SEMによるMTMM (比較モデル)model 4: 測定方法の違いを想定しないモデルfreely correlated traits – perfectly correlated methodsB1A1 C1trait AB2A2 C2trait BB3A3 C3trait Cmethod内容的妥当性 構造的妥当性 仮説検証Byrne, B. M. (2011). Structural Equation Modeling with Mplus: Basic Concepts, Applications,and Programming (Multivariate Applications Series). Routledge Academic 51
  52. 52. SEMによるMTMM>model 1 model 2収束的妥当性がある場合B1A1 C1trait AB2A2 C2trait BB3A3 C3trait Cmethod1method2method3B1A1 C1 B2A2 C2 B3A3 C3method1method2method3内容的妥当性 構造的妥当性 仮説検証52Langer et al. (2010). Child Psychiatry and HumanDevelopment, 41, 549–561.
  53. 53. SEMによるMTMM>弁別的妥当性がある場合model 1model 2model 3B1A1 C1traitB2A2 C2 B3A3 C3method1method2method3B1A1 C1trait AB2A2 C2trait BB3A3 C3trait CmethodB1A1 C1trait AB2A2 C2trait BB3A3 C3trait Cmethod1method2method3内容的妥当性 構造的妥当性 仮説検証53
  54. 54. B1A1 C1trait AB2A2 C2trait BB3A3 C3trait Ce1e2e3e4e5e6e7e8e9MTMM modelは”解が収束しない/不適解”がよく生じる代替法 ⇒ correlated uniqueness model(CUM)SEMによるMTMM内容的妥当性 構造的妥当性 仮説検証Kenny, D. A. & Kashy, D. A. Psychological Bulletin, Vol 112(1), Jul 1992, 165-172.54
  55. 55. SEMによるMTMM内容的妥当性 構造的妥当性 仮説検証55library(lavaan)model1<- ‘ m1=~1*A1+B1+C1m2=~1*A2+B2+C2m3=~1*A3+B3+C3t1=~1*A1+A2+A3t2=~1*B1+B2+B3t3=~1*C1+C2+C3m1~~ 0*t1m1~~ 0*t2m1~~ 0*t3m2~~ 0*t1m2~~ 0*t2m2~~ 0*t3m3~~ 0*t1m3~~ 0*t2m3~~ 0*t3‘fit.model1<-lavaan:::cfa(model1, data=dat)summary(fit.model1,fit.measures = TRUE)library(lavaan)model5<-t1=~1*A1+A2+A3t2=~1*B1+B2+B3t3=~1*C1+C2+C3A1~~ B1A1~~ C1B1~~ C1A2~~ B2A2~~ C2B2~~ C2A3~~ B3A3~~ C3B3~~ C3fit.model5<-lavaan:::cfa(model5, data=dat)summary(fit.model5,fit.measures = TRUE)CUMMTMM
  56. 56. SEMによるMTMM内容的妥当性 構造的妥当性 仮説検証56CUMの解析結果
  57. 57. 内容的妥当性の検討専門家パネル・患者の評価に基づき,概念モデルとの関連性・包括性が担保された項目で尺度が構成されているかチェック構造的妥当性の検討概念モデルの適合性を因子分析によってチェック仮説検証 (収束的・弁別的妥当性の検討)他の尺度との理論的関連性に基づき,事前に相関・差の方向性・程度に関する仮説を設定し,検証.Summary内容的妥当性 構造的妥当性 仮説検証57
  58. 58. Apeldoorn, A. T., Ostelo, R. W., Fritz, J. M., van der Ploeg, T., van Tulder, M. W., & de Vet, H. C. (2012). The cross-sectional construct validity of the Waddell score. Clinical Journal of Pain, 28, 309-17.Byrne, B. M. (2011). Structural Equation Modeling with Mplus: Basic Concepts, Applications,and Programming (Multivariate Applications Series). Routledge AcademicCampbell, D. T. & Fiske, D.W. (1959). Convergent and discriminant validation by the multitrait-multimethod matrix.Psychological Bulletin, 56, 81-105.Henson, R. K. & Roberts, J. K. (2006). Use of exploratory factor analysis in published research: common errors andsome comment on improved practice. Educational and Psychological Measurement, 66, 393-416.Jones, P., Harding, G., Wiklund, I., Berry, P., & Leidy, N. (2009). Improving the process and outcome of care inCOPD: development of a standardized assessment tool. Primary Care Respiratory Journal, 18, 208-215.Kenny, D. A. & Kashy, D. A. (1992). Analysis of the multitrait-multimethod matrix by confirmatory factor analysis.Psychological Bulletin, 112, 165-172.Langer, D. A., Wood, J. J., Bergman, R. L., & Piacentini, J. C. (2010). A Multitrait–Multimethod Analysis of theConstruct Validity of Child Anxiety Disorders in a Clinical Sample. Child Psychiatry and Human Development,41, 549–561.McKenna, S. P., Meads, D. M., Doward, L. C., Twiss, J., Pokrzywinski, R., Revicki, D., Hunter, C. J., &Glendenning, G. A. (2011) Development and validation of the living with chronic obstructive pulmonary diseasequestionnaire. Qualty of Life Research, 20, 1043–1052Mokkink, L. B., Knol, D. L., & Uitdehaag, B. M. J. (2011). Factor structure of Guys Neurological Disability Scale ina sample of Dutch patients with multiple sclerosis. Multiple Sclerosis Journal, 17, 1498–1503.Meuller R. O. & Hancock, G. R. (2010). Structural equation modeling. G. R. Hancock & R. O. Mueller (Eds.), Thereviewers guide to quantitative methods in the social sciences. New York: Routledge, Pp. 371-383.Stevelink, S. A. M., Terwee, C. B., Banstola, N., & van Brakel, W. H. (2013). Testing the psychometric properties ofthe Participation Scale in Eastern Nepal. Quality of Life Research, 22, 137–144.Thombs, T. B., Hudson, M., Schieir, O., Taillefer, S. S., & Baron, M. (2011). Reliability and validity of the center forepidemiologic studies depression scale in patients with systemic sclerosis. Arthritis Care & Research, 59, 438–443.Van Dam, N. T. & Earleywine, M. (2011). Validation of the Center for Epidemiologic Studies Depression Scale-Revised (CESD-R): pragmatic depression assessment in the general population. Psychiatry Research, 30, 128-132.Vet, H. C. W., Terwee, C. B., Mokkink, L. B., & Knol, D. J. (2011) Measurement in medicine. A practical guide.Cambridge: Cambridge University Press.Reference内容的妥当性 構造的妥当性 仮説検証58