Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Require研究会 第21回研究集会 @ 東京医科歯科大 2015.7.25
「項目反応理論を用いた尺度運用- PROMISの試みとその原理の理解」
項目反応理論を
用いた尺度運用
統計数理研究所
リスク解析戦略研究センター
竹林由武
本日の話題
❖ PROMISにおけるIRTの活用 (3分)
❖ IRTのパラメータの確認 (2分)
❖ DIFによる集団の異質性の検討法 (12分)
❖ IRTに基づいた尺度の等価法(12分)
❖ IRTに基づいた尺度構成と運用 (10分)
http://www.nihpromis.org/science/methodology
尺度開発と妥当性の科学的な基準を提供
1. 概念モデルの定義
2. 項目の構成
3. 項目プールの構成
4. 項目バンクの性質を決定
5. テスト, 尺度...
基準4. 項目バンクの性質を決定
1. バンクに含まれる項目の次元性は適切な統計手法で評価している
2. バンクに含まれる項目各々が,IRTに必要な前提をみたしてる
3. 適切な項目特性曲線とテスト情報曲線が示されている
4. 主要な集団間での...
基準5. テストと尺度フォーマット
1. 尺度の適切な(心理測定学的)性質が示されている
2. 測定指標間の精度や効率性が同定されている (等価)
3. 指標のパフォーマンスパラメータが同定されている
4. 回答の負担の特徴 (回答にかかる時間...
IRTに基づく尺度構成/運用のメリット
異質な集団間の得点を比較可能
異なる尺度間の得点を比較可能
測定精度を詳細に確認可能
特性値に応じて実施する尺度を制御可能
受験者ごとに最適な問題を瞬時に選び出題できる
豊田 (2012) 項目反応理論 ...
PROMIS尺度, 集団の異質性を考慮した対応表作
り
必要なIRT関連の知識:
特異項目機能
(Differential Item Function)
翻訳状況の一部
特異項目機能 (アメリカ vs ドイツ)
http://journals....
http://www.common-metrics.org/
http://psycnet.apa.org/journals/pas/26/2/513/
PROMIS尺度を軸に,既存の多様な尺度を比較可能にする
必要なIRT関連の知識:
等価 ...
PROMIS尺度で回答者に最適な問題を瞬時に選び出題できる
https://www.assessmentcenter.net/ac1/Default.aspx?SID=466F3173-C114-48D3-93EC-849B436D61E3
回...
本日の話題
❖ PROMISにおけるIRTの活用 (3分)
❖ IRTのパラメータの確認 (2分)
❖ DIFによる集団の異質性の検討法 (12分)
❖ IRTに基づいた尺度の等価法(12分)
❖ IRTに基づいた尺度構成と運用 (10分)
pj (qi ) =
exp[Daj (qi -bj )]
1+exp[Daj (qi -bj )]
回答が2値変数のモデル
❖ 2母数ロジスティックモデル
θ = 特性値
ability parameter
a = 識別度母数
discrim...
回答が2値変数のモデル
a = 識別度母数 b = 困難度母数
項目特性曲線の傾き 項目特性曲線の切片
項目への反応確率と特性値の関係
は, ロジスティック回帰モデルで
表現される
特性値困難度 (切片) 識別度 (傾き)
loge P(Xi ...
回答が順序変数のモデル
❖ 段階反応モデル
p*j (qi ) =
exp[Daj (qi -b*j )]
1+exp[Daj (qi -b*j )]
「あてはまる(4)」「少しあてはまる(3)」
「どちらでもない (2)」「あまりあてはまらな...
回答が順序変数のモデル
❖ 段階反応モデル
「あてはまる(4)」「少しあてはまる(3)」
「どちらでもない (2)」「あまりあてはまらない (1)」
「全然あてはまらない (0)」
a = 識別度母数 b = 困難度母数
項目特性曲線の傾き 項...
mirtパッケージのアプリ機能
library(mirt)
data(Anxiety)#lordifパッケージ内のデータ
res<-mirt(Anxiety[,4:32], 1)
itemplot(res, shiny=T)
スライダーでパラメ...
本日の話題
❖ PROMISにおけるIRTの活用 (3分)
❖ IRTのパラメータの確認 (2分)
❖ DIFによる集団の異質性の検討法 (12分)
❖ IRTに基づいた尺度の等価法(12分)
❖ IRTに基づいた尺度構成と運用 (10分)
特異項目機能:
differential item function (DIF)
❖ 特性尺度値が等しい受験者であっても,属する下位集団が異なると正答確
率が異なるという現象が特定の項目で生じている場合DIFが存在する。
http://www....
DIFの種類
Uniform DIF (交絡的な関係)
全ての特性値において,一方の群の
正答率が低い (or 高い)
non-Uniform DIF (修飾的な関係)
低特性者と高特性者で,
正答率の高い群が異なる。
例) 抑うつの得点(特性...
Uniform DIF (交絡的な関係)
群間で困難度β(切片)が異なる
non-Uniform DIF (修飾的な関係)
群間で識別度α (傾きが異なる)
http://www.restore.ac.uk/appliedpsychometri...
多値モデル
uniform
多値モデル
non-uniform
DIF検出に使用されるモデル
IRT に基づく方法:
(順序)ロジスティック回帰 ((ordinal) logistic regression (OLS))
尤度比検定: (likelihood ratio test)
構造方程式モデル (CF...
 
 
  groupFagroupaFabku
groupaFabku
Fabku
ki
ki
ki
*log
log
log
221
21
1


1) baseline model
3) non-uni...
尤度比 (χ2)検定 によるDIFの検出:
DIFのタイプ 比較するモデル
uniform DIF baseline model vs. uniform DIF
non-uniform DIF uniform DIF vs. non-unifo...
効果量 (DIFの程度)の指標:
pseudo R2 (擬似決定係数): 分散説明率R2の代替指標
Zumbo (1999) の基準 効果量の解釈
0.13未満 無視して良い(negligible)
0.13以上0.26未満 中程度 (mode...
MIMICモデルによるDIFの検出:
因子
1
項目1
項目2
項目3
項目4
因子
1
項目1
項目2
項目3
項目4
属性
変数
IRTモデル
(観測変数が順序・カテゴリ変数の因子分析)
MIMICモデル
(属性変数から項目へのパスがDIF...
MIMICモデルによるDIFの検出:
因子
1
項目1
項目2
項目3
項目4
属性
変数
MIMICモデル
(属性変数から項目へのパスがDIFを反映)
DIFの検討手順
① 属性変数から全項目への
パス係数を0に固定し推定
② 修正指数によっ...
ロジスティック回帰 vs
MIMIC
❖ 大抵MIMICモデルとOLSは同様の結果になる。
❖ 2値モデルでは, OLSよりMIMICモデルの方がやや良い。
❖ 多値モデルかつ標本サイズが小さい時は、MIMICモデルの方が良い
Stark, S...
記載例2
❖ 方法の節: IRTOLSの場合
Qual Life Res (2015) 24:1491–1501 DOI 10.1007/s11136-014-0870-
DIF was analyzed with the R software...
記載例2
Of the 132 tests performed (22 items by 6 confounding factors), 50 exhibited overall DIF (Table
4 ). Following Zumbo’...
記載例1
❖ 方法の節: MIMIC model
❖ 結果の節: MIMIC model
Another important assumption of CCFA is no differential item functioning (DIF...
特異項目機能が検出されたら
❖ DIFのある項目を尺度から除く (PROMISの方針)
❖ 等価手続きを利用して,得点を合わせる。
本日の話題
❖ PROMISにおけるIRTの活用 (3分)
❖ IRTのパラメータの確認 (2分)
❖ DIFによる集団の異質性の検討法 (12分)
❖ IRTに基づいた尺度の等価法(12分)
❖ IRTに基づいた尺度構成と運用 (10分)
PROMIS尺度を軸に,既存の多様な尺度を比較可能にする
多様なPROを統一指標化
するプロジェクト
うつ,不安,
痛み,身体機能
が出来てる
DOI: 10.1007/s11136-015-0987-6
DOI: 10.1007/s11606...
DOI: 10.1007/s11136-015-0987-6
DOI: 10.1007/s11606-015-3360-0
PROMIS尺度を軸に,
既存の多様な尺度を比較可能にする
PHQ-9の5点 = PROMISの52.5点 (T得点)
...
異なる尺度の項目母数が直接比較可能な状態
被験者の特性値の分布が等しい複
数の集団に,異なる尺度を実施し,
各々パラメタ推定した項目母数は,
直接比較可能 (等価済み)。
母集団
集団1
集団2
Random group equating de...
直接比較できないときには ….?
Common-item nonequivalent group:
異質な集団で測定された異なる尺度間で,共通する項目または被験者の推定
値から算出する等価係数を用いて,両尺度を直接比較可能にする。
異なる尺度が...
共通項目計画
subj item1 item2 item3 item4 item5
1
2
3
4
subj item3 item4 item5 item6
5
6
7
8
formX
formY
異なる被験者が
複数の質問紙への回答
項目に重...
共通被験者計画
subj item1 item2 item3 item4
1
2
3
4
5
subj item5 item6 item7 item8
3
4
5
6formX
formY
同じ被験者が異なる項目に回答
共通被験者の母数を利用し...
等価係数の算出
Y尺度をX尺度に等価
❖ 特性値 θXi = α*θYi +β
❖ 識別度 aXj = aYj/α
❖ 困難度 bXj = α*bYj + β
X尺度の特性値と等価になるよう,
Y尺度の特性値を線形変換
α (傾き)とβ (切片...
等価係数の推定法
推定法 特徴
平均/標準偏差法
mean / sigma method
困難度(b)母数から求める
平均/平均法
mean/mean method
識別度 (a)母数から求める
項目特性曲線法
item characteris...
平均/標準偏差法(mean / sigma method)
bXj - bX
s(bX )
=
bYj - bY
s(bY )
標準化した値は等しくなる
(どちらも平均=0, 標準偏差=1)
bXj =
s(bX )
s(bY )
*bYj +...
平均/平均法(mean / mean method)
a =
aY
aX
form X form Y
識別度
(a)
困難度
(b)
識別度
(a)
困難度
(b)
item3 1.20 -1.30 2.60 -1.15
item4 .60 -...
項目特性曲線法
❖ Haebara法
2つの尺度の項目特性曲線間の差が最小になるαとβを推定する
❖ Stocking & Lord法
SLdiff (qi ) pij (qXi;aXj,
j:V
å bXj )- pij (qXi;
aYj
...
等価係数による項目母数の等価
form X form Y
識別度
(a)
困難度
(b)
識別度
(a)
困難度
(b)
1.50 -1.10
2.20 -0.03
item3 1.20 -1.30 2.60 -1.15
item4 .60 -...
記載例1
❖ 結果の節: PROMIS尺度に他の尺度の項目母数を等価
Table 3 displays the legacy instrument item parameters obtained from the fixed-
paramet...
対応表の作成
等価な項目母数が得られたら,尺度得点の対応表を作成
T(q) = pjc (q)
c=0
C-1
å
j=1
å
真の得点 =
個々の項目特性曲線の合計
各尺度のテスト特性曲線
Σ
尺度A
尺度B
θ T(θ) form X T (θ) form Y
-1.1 3 1.1
-1.0 4 1.6
-0.8 5 2.1
-0.7 6 2.6
-0.6 7 3.0
-0.5 8 3.5
-0.4 10 4.2
-0.3 11 4.6
-0.2 ...
記載例
❖ 結果の節: 対応表
Figure 3 displays the linking functions for the CES-D,
PHQ-9, and BDI-II that map their raw summed
scores (the vertical ax...
本日の話題
❖ PROMISにおけるIRTの活用 (3分)
❖ IRTのパラメータの確認 (2分)
❖ DIFによる集団の異質性の検討法 (12分)
❖ IRTに基づいた尺度の等価法(12分)
❖ IRTに基づいた尺度構成と運用 (10分)
尺度構成:項目バンク
θ
項目バンク
0 10050
IRT (パラメータ推定、等価)
尺度A
(50項目)
尺度B
(30項目)尺度C
(20項目)
尺度D
(35項目)
・共通する尺度で評価可能な項目群
・低特性〜高特性まで広い範囲の特性を...
項目バンク(IRTで推定済)
項目1 項目2 項目3 項目4 項目5 項目6 項目7 項目8 項目9 項目10 項目11
θ
項目1: ベッドから出たり、入ったりできますか?
項目4: 平らな道を1ブロック歩けますか?
項目9: 2マイル走れま...
固定型テスト vs 適応型テス
ト
θ
身体機能の項目バンク
0 10050
固定型 (従来型)
呈示項目を固定
過去1週間にあてはまる
ものに○をしてください
あ
て
は
ま
ら
な
い
少
し
あ
て
は
あ
ま
る
ど
ち
ら
で
も
な...
固定型:垂直テスト vs 平行テスト
項目1 項目2 項目3 項目4 項目5 項目6 項目7 項目8 項目9 項目10 項目11
θ
垂直テスト:特性値対応型テスト
低特性者向け (例、一般成人向け)
中特性者向け (例、スクリーニング向け)
...
適応型テスト
広い範囲で特性を捉えられるが, 精度が低い尺度
精度が高いが、捉えられる特性値の範囲が狭い
10050
望ましい尺度 広い範囲で、精度高く特性値を推定可能
↓
適応型テスト
物足りない尺度1
物足りない尺度2
適応型テスト
質問1
0 321-1-2-3
21
21
質問2
質問3
広い範囲で、精度高く特性値を推定可能
回答ごとに特性値を推定し、特性値に応じた項目を呈示。
適応型テストのフロー
暫定的な能力値推定
次の項目の選択/提示
いいえ
第1項目の選択/提示
停止基準を
みたしたか?
項目提示の終了
推定値の確定
はい
反応パタンの更新
Magis, D., & Raîche, G. (2012). Ran...
① initial step: 第1項目の選
択
Magis, D., & Raîche, G. (2012). Random generation of response patterns under computerized adaptiv...
② test step: 能力値推定/項目提
示
Magis, D., & Raîche, G. (2012). Random
generation of response patterns under
computerized adaptiv...
能力値の推定法
・最尤推定法
・ベイズ推定法
最大事後確率推定 (MAP:maximum posterior probability)
期待事後推定 (EAP: expected a posterior)
② test step: 能力値推定/...
② test step: 能力値推定/項目提
示
最尤推定法 vs ベイズ推定
・ テスト項目が多い: 各推定法の結果は一致する。
・ テスト項目が少ない: 適切な事前分布を設定できれば,最尤法よりベイズ推定が安定
(事前分布は標準正規分布 N...
② test step: 能力値推定/項目提
示
ベイズ推定の入門的資料 (IRTには触れてない)
http://ytake2.github.io/bayes.github.io/#/
項目選択基準
② test step: 能力値推定/項目提
示
暫定的な能力値推定
次の項目の選択/提示
いいえ
第1項目の選択/提示
停止基準を
みたしたか?
はい
反応パタンの更新
尤度を利用を利用 (ベイズ推定による) 事後分布を利用
古...
・項目の提示数
最大提示項目数に達したら終了
最小提示項目数に達したら終了
・能力値の精度
暫定的な能力推定値の標準誤差が事前に設定した水準に達したら終了
・分類 能力値の信頼区間が特定の分類に収まったら終了
③ stopping step: ...
特性値の精度による停止
回答が進むにつれて、特性値の測定精度が向上
(この場合,標準誤差が小さくなる)
一定の基準を満たした時点で回答終了
(この場合,標準誤差0.3以下になったら終了)
グレーの領域が標準誤差の範囲
PROMIS-CATの性能評価
フルバン
ク
CAT (精度0.
3)
CAT (精度0.
4)
(平均) 回答項目数 389 12
(範囲7-22)
6
(範囲7-22)
平均回答時間 (分) 55.6 2.3
(範囲1.72-2.97)
―...
Take home message
1. 特異項目機能をロジスティック回帰やMIMICモデルで検討し,
集団間で反応の異なる項目がないか確認し,尺度項目を洗練。
2. 等価によって共通尺度を作成することで,(同一概念の)
異なる尺度間 (異なる...
Rコード
❖ 特異項目機能の検出
OLS: Lordif package
MIMIC: lavaan package
❖ 等価係数の算出, 対応表の作成
plink package
❖ 適応型テストの運用
mirt pacakge
Rコード: 特異項目機能
❖ 順序ロジスティックモデル: Lordif
packagelibrary(lordif) #パッケージの読み込み
data(“Anxiety”) #データの読み込み
head(Anxiety) #データ構造の確認
A...
Rコード: 特異項目機能
❖ 順序ロジスティックモデル: Lordif
packageageDIF <- lordif(resp.data=Resp, group=Age, criterion = "Chisqr", alpha =
0.01)...
Rコード: 特異項目機能
❖ 順序ロジスティックモデル: Lordif
package
plot(ageDIF, labels = c("Younger (<65)", "Older (65+)"))
DIF検出項目の項目特性曲線DIF検出項目...
Rコード: 特異項目機能
❖ MIMIC: lavaan package
library(lavaan)
model_mimic<-"f1 =~ R1+R2+R3+R4+R5+R6+R7+R8+R9+R10+
R11+R12+R13+R14+R...
Rコード: 特異項目機能
❖ MIMIC: lavaan package
library(lavaan)
model_mimic2<-"f1 =~
R1+R2+R3+R4+R5+R6+R7+R8+R9+R10+
R11+R12+R13+R14+...
Rコード: 等価
❖ plink package
#データの読み込み
formX<-read.csv("Xdat.csv",header=T)
formY<-read.csv("Ydat.csv",header=T)
#各尺度IRTパラメータの...
Rコード: 等価
❖ plink package
#等価後の項目母数を出力
link.pars(plink.out)
#等価後のテスト特性曲線のプロット
plot(plink.out$pars, drift =
"TCC",grp.names=...
Rコード: 等価
❖ plink package
#尺度の等価 (対応表)
conversion<-plink::equate(plink.out,method=c("TSE","OSE"))
ose_scores<-data.frame(co...
Rコード: 適応型テストの運用
❖ mirt package
library(mirtCAT)
options(stringsAsFactors = FALSE)
# 項目バンクのパラメータ推定
library(lordif)
data("An...
Rコード: 適応型テストの運用#質問項目と回答フォーマットの作成
nitems<-29 #項目バンクの項目数
questions <-character(nitems) #質問項目を入れる箱
questions<-c("過去一週間に, 怖い思い...
Rコード: 適応型テストの運用
# htmlのデザイン
shinyGUI<-
list(title=“PROMIS-Anxiety-CAT”, #タイトル
authors=“竹林由武@ISM”, #著者
instructions=c("Inst...
Rコード: 適応型テストの運用
#CATのセッティング,実行
result <- mirtCAT(df, mod,
method = ‘EAP’, #能力値の推定方法
criteria=“MI”, #項目選択基準
design = list(m...
Rコード: 適応型テストの運用
summary(res)
res<-round(print(result),2)
# 推定値から標準得点算出 (θ*10+50)
res<-cbind(res,summary(result)$final_esti...
Upcoming SlideShare
Loading in …5
×

項目反応理論による尺度運用

6,227 views

Published on

2015/07/25 REQUIRE研究会の発表資料です。他の発表者の資料と合わせてご覧いただけると、項目反応理論に基づいて尺度構成していくメリットが実感いただけるかと思います。

Published in: Technology
  • Be the first to comment

項目反応理論による尺度運用

  1. 1. Require研究会 第21回研究集会 @ 東京医科歯科大 2015.7.25 「項目反応理論を用いた尺度運用- PROMISの試みとその原理の理解」 項目反応理論を 用いた尺度運用 統計数理研究所 リスク解析戦略研究センター 竹林由武
  2. 2. 本日の話題 ❖ PROMISにおけるIRTの活用 (3分) ❖ IRTのパラメータの確認 (2分) ❖ DIFによる集団の異質性の検討法 (12分) ❖ IRTに基づいた尺度の等価法(12分) ❖ IRTに基づいた尺度構成と運用 (10分)
  3. 3. http://www.nihpromis.org/science/methodology 尺度開発と妥当性の科学的な基準を提供 1. 概念モデルの定義 2. 項目の構成 3. 項目プールの構成 4. 項目バンクの性質を決定 5. テスト, 尺度フォーマット 6. 妥当性 7. 信頼性 8. 解釈可能性 9. 翻訳,異文化への適応 IRTを活用
  4. 4. 基準4. 項目バンクの性質を決定 1. バンクに含まれる項目の次元性は適切な統計手法で評価している 2. バンクに含まれる項目各々が,IRTに必要な前提をみたしてる 3. 適切な項目特性曲線とテスト情報曲線が示されている 4. 主要な集団間での特異項目機能 (DIF)が評価され, 測定の性質に与える影響が同定されている (年齢,性別,社会経済状況など) Check list
  5. 5. 基準5. テストと尺度フォーマット 1. 尺度の適切な(心理測定学的)性質が示されている 2. 測定指標間の精度や効率性が同定されている (等価) 3. 指標のパフォーマンスパラメータが同定されている 4. 回答の負担の特徴 (回答にかかる時間や項目数) 5. 異なるフォーマット間での比較可能性 (短縮版やCAT) Check list
  6. 6. IRTに基づく尺度構成/運用のメリット 異質な集団間の得点を比較可能 異なる尺度間の得点を比較可能 測定精度を詳細に確認可能 特性値に応じて実施する尺度を制御可能 受験者ごとに最適な問題を瞬時に選び出題できる 豊田 (2012) 項目反応理論 [入門編] 第二版 朝倉書店
  7. 7. PROMIS尺度, 集団の異質性を考慮した対応表作 り 必要なIRT関連の知識: 特異項目機能 (Differential Item Function) 翻訳状況の一部 特異項目機能 (アメリカ vs ドイツ) http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0092367 http://www.pro-newsletter.com/images/PDF_articles/pronl47_keller.pdf
  8. 8. http://www.common-metrics.org/ http://psycnet.apa.org/journals/pas/26/2/513/ PROMIS尺度を軸に,既存の多様な尺度を比較可能にする 必要なIRT関連の知識: 等価 (equating, linking)
  9. 9. PROMIS尺度で回答者に最適な問題を瞬時に選び出題できる https://www.assessmentcenter.net/ac1/Default.aspx?SID=466F3173-C114-48D3-93EC-849B436D61E3 回答者の回答に合わせて, 自動的に項目を選定し提示, 能力 (特性値)を自動推定 webで手軽に回答, 結果をすぐにフィードバック 必要な知識: CAT (computer adaptive testing)
  10. 10. 本日の話題 ❖ PROMISにおけるIRTの活用 (3分) ❖ IRTのパラメータの確認 (2分) ❖ DIFによる集団の異質性の検討法 (12分) ❖ IRTに基づいた尺度の等価法(12分) ❖ IRTに基づいた尺度構成と運用 (10分)
  11. 11. pj (qi ) = exp[Daj (qi -bj )] 1+exp[Daj (qi -bj )] 回答が2値変数のモデル ❖ 2母数ロジスティックモデル θ = 特性値 ability parameter a = 識別度母数 discrimination parameter b = 困難度母数 difficulty or location parameter D = 1.7 (定数) constant ある特性値の人(θi)がある項目(j)に 「はい」と答える確率 「はい(1)」「いいえ(0)」 「正答 (1)」「誤答 (0)」
  12. 12. 回答が2値変数のモデル a = 識別度母数 b = 困難度母数 項目特性曲線の傾き 項目特性曲線の切片 項目への反応確率と特性値の関係 は, ロジスティック回帰モデルで 表現される 特性値困難度 (切片) 識別度 (傾き) loge P(Xi ) 1- P(Xi ) æ è ç ö ø ÷= b+ aFP(Xi =1) = eb+aF 1+eb+aF
  13. 13. 回答が順序変数のモデル ❖ 段階反応モデル p*j (qi ) = exp[Daj (qi -b*j )] 1+exp[Daj (qi -b*j )] 「あてはまる(4)」「少しあてはまる(3)」 「どちらでもない (2)」「あまりあてはまらない (1)」 「全然あてはまらない (0)」 ある特性値で,あるカテゴリに回答する カテゴリごとの確率 回答カテゴリごとの困難度 θ = 特性値 ability parameter a = 識別度母数 discrimination parameter b = 困難度母数 difficulty or location parameter
  14. 14. 回答が順序変数のモデル ❖ 段階反応モデル 「あてはまる(4)」「少しあてはまる(3)」 「どちらでもない (2)」「あまりあてはまらない (1)」 「全然あてはまらない (0)」 a = 識別度母数 b = 困難度母数 項目特性曲線の傾き 項目特性曲線の切片 豊田 (2012) 項目反応理論 [入門編] 第二版 朝倉書店 a=1.2, b1=3, b2=0, b3=-3 a=2.4, b1=3, b2=0, b3=-3 a=1.2, b1=3, b2=0, b3=-3 a=1.2, b1=5, b2=2, b3=-1
  15. 15. mirtパッケージのアプリ機能 library(mirt) data(Anxiety)#lordifパッケージ内のデータ res<-mirt(Anxiety[,4:32], 1) itemplot(res, shiny=T) スライダーでパラメタを動かすと、 一緒にプロットが動くので、 項目母数の性質が良く分かる
  16. 16. 本日の話題 ❖ PROMISにおけるIRTの活用 (3分) ❖ IRTのパラメータの確認 (2分) ❖ DIFによる集団の異質性の検討法 (12分) ❖ IRTに基づいた尺度の等価法(12分) ❖ IRTに基づいた尺度構成と運用 (10分)
  17. 17. 特異項目機能: differential item function (DIF) ❖ 特性尺度値が等しい受験者であっても,属する下位集団が異なると正答確 率が異なるという現象が特定の項目で生じている場合DIFが存在する。 http://www.jstatsoft.org/v39/i08/paper
  18. 18. DIFの種類 Uniform DIF (交絡的な関係) 全ての特性値において,一方の群の 正答率が低い (or 高い) non-Uniform DIF (修飾的な関係) 低特性者と高特性者で, 正答率の高い群が異なる。 例) 抑うつの得点(特性値)が高い場合, 高齢者は中年よりも「いつも通り働けない」という 項目に,「はい」と回答する確率が高いが,抑うつが 低い場合は,逆転 例 ) 抑うつの得点 (特性値)が同じでも, 男性は女性よりも「よく泣く」という 項目へのに「はい」と回答しずらい。 高齢者は若年・中年よりも,「体重が減少した」と いう 項目に「はい」と回答しずらい Psychol Sci Q. 2008 ; 50(4): 538. Psychol Sci Q. 2008 ; 50(4): 538. http://www.restore.ac.uk/appliedpsychometrics/Tutorial.materials/Measurement.invariance/DIF %20workshop%202012%20FINAL.pdf
  19. 19. Uniform DIF (交絡的な関係) 群間で困難度β(切片)が異なる non-Uniform DIF (修飾的な関係) 群間で識別度α (傾きが異なる) http://www.restore.ac.uk/appliedpsychometrics/Tutorial.materials/Measurement.invariance/DIF %20workshop%202012%20FINAL.pdf DIFの種類
  20. 20. 多値モデル uniform
  21. 21. 多値モデル non-uniform
  22. 22. DIF検出に使用されるモデル IRT に基づく方法: (順序)ロジスティック回帰 ((ordinal) logistic regression (OLS)) 尤度比検定: (likelihood ratio test) 構造方程式モデル (CFA)に基づく方法: 多重指標多重原因モデル (MIMIC model) 多母集団同時分析モデル (multigroup CFA) ノンパラメトリックなモデルに基づく方法 SIBTEST (non parametric model) どの手法が優れるかは一概に 言えないので, 複数の方法を感度解析として 併用するのが望ましい (PROMISでは,OLSを基本に MIMICやMG-CFAを併用)
  23. 23.       groupFagroupaFabku groupaFabku Fabku ki ki ki *log log log 221 21 1   1) baseline model 3) non-uniform DIF 2) uniform DIF 特性値と群の交互作用項 群の (主)効果 DIFの有無の判断: 1) モデル比較 → 尤度比 (χ2)検定 2) 効果量 → pseudo R2, Δβ サンプルサイズが大きいと些細な効果でも有意になるた め,検定と効果量を合わせて解釈する DIFの検討モデル:
  24. 24. 尤度比 (χ2)検定 によるDIFの検出: DIFのタイプ 比較するモデル uniform DIF baseline model vs. uniform DIF non-uniform DIF uniform DIF vs. non-uniform DIF total DIF baseline model vs. non-uniform DIF 1) baseline model 3) non-uniform DIF 2) uniform DIF       groupFagroupaFabku groupaFabku Fabku ki ki ki *log log log 221 21 1    特性値と群の交互作用項 群の (主)効果
  25. 25. 効果量 (DIFの程度)の指標: pseudo R2 (擬似決定係数): 分散説明率R2の代替指標 Zumbo (1999) の基準 効果量の解釈 0.13未満 無視して良い(negligible) 0.13以上0.26未満 中程度 (moderate) 0.26以上 大きい (large) Zumbo BD (1999). A Handbook on the Theory and Methods of Differential Item Functioning (DIF): Logistic Regression Modeling as a Unitary Framework for Binary and Likert-Type (Ordinal) Item Scores. Directorate of Human Resources Research and Evaluation, Department of National Defense, Ottawa, ON. Db = (bbaseline model - buniformn ) buniformn 10%以上が実用的 (practical)に意味のある効 果 (Crane et al. 2004) Δ β : 属性変数の回帰係数の変化率 Crane PK, van Belle G, Larson EB (2004). “Test Bias in a Cognitive Test: Differential Item Functioning in the CASI.” Statistics in Medicine, 23, 241–256.
  26. 26. MIMICモデルによるDIFの検出: 因子 1 項目1 項目2 項目3 項目4 因子 1 項目1 項目2 項目3 項目4 属性 変数 IRTモデル (観測変数が順序・カテゴリ変数の因子分析) MIMICモデル (属性変数から項目へのパスがDIFを反映)
  27. 27. MIMICモデルによるDIFの検出: 因子 1 項目1 項目2 項目3 項目4 属性 変数 MIMICモデル (属性変数から項目へのパスがDIFを反映) DIFの検討手順 ① 属性変数から全項目への パス係数を0に固定し推定 ② 修正指数によって,モデルの改善 が、予想されるパスを検討 (修正指数4以上) ③ パスを追加したモデルによって 適合度が改善するか検討 ④ 適合度が改善すればその項目に DIFを認める
  28. 28. ロジスティック回帰 vs MIMIC ❖ 大抵MIMICモデルとOLSは同様の結果になる。 ❖ 2値モデルでは, OLSよりMIMICモデルの方がやや良い。 ❖ 多値モデルかつ標本サイズが小さい時は、MIMICモデルの方が良い Stark, S., Chernshenko, O. S., & Drasgow, F. (2006). Detecting differential item functioning with confirmatory factor analysis and item response theory: Toward a unified strategy. Journal of Applied Psychology, 91(6), 1292–1306
  29. 29. 記載例2 ❖ 方法の節: IRTOLSの場合 Qual Life Res (2015) 24:1491–1501 DOI 10.1007/s11136-014-0870- DIF was analyzed with the R software package Lordif [31]. The Lordif utilizes an ordinal logistic regression framework, and the graded response (GR) model is used for IRT trait estimation [32]. Two criteria were considered to detect meaningful DIF in the current study: (1) < 0.13 pseudo R2 statistic [33] and (2) 10 % changes in beta [31, 34, 35]. もっと詳しく書くなら右も参考になる→ 使用したソフトウェア DIF検出に用いた統計モデル IRTの特性値の推定に使用した統計モデル DIFの検出基準 Qual Life Res (2014) 23:239–244
  30. 30. 記載例2 Of the 132 tests performed (22 items by 6 confounding factors), 50 exhibited overall DIF (Table 4 ). Following Zumbo’s DIF classification, no items were flagged for moderate or large DIF magnitudes. Some items were flagged for negligible DIF magnitudes: three items for gender (items 2, 3, and 4), … (中略)…, 18 items for geographical area (1–13, 15–17, 20, and 22). Given the negligible DIF magnitudes, all 22 items were preserved in the final item bank. Qual Life Res (2015) 24:1491–1501 DOI 10.1007/s11136-014-0870-x ❖ 結果の節: IRTOLSの場合 各項目の検定結果と効果量を, 検討したグループ変数ごとに表記 効果量を,基準に基づいて解釈
  31. 31. 記載例1 ❖ 方法の節: MIMIC model ❖ 結果の節: MIMIC model Another important assumption of CCFA is no differential item functioning (DIF). This assumption was tested for each item of the two PROMIS measures using the multiple indicator multiple cause (MIMIC) model [25 –28], in regard to gender and age, each adjusted for the other. The MIMIC model enables examining DIF even for a continuous variable (e.g., age) that has small within-group sample sizes [25 ]. Significant direct effect of a grouping variable (e.g., age, gender) on an item indicates DIF of the item. A DIF implies that a given item was not interpreted in a conceptually similar manner by respondents with different individual characteristics (e.g., age and gender). As the DIF tests for all the items were conducted simultaneously, there was no need to make adjustment for multiplicity of comparison. None of the DIF tests were statistically significant.
  32. 32. 特異項目機能が検出されたら ❖ DIFのある項目を尺度から除く (PROMISの方針) ❖ 等価手続きを利用して,得点を合わせる。
  33. 33. 本日の話題 ❖ PROMISにおけるIRTの活用 (3分) ❖ IRTのパラメータの確認 (2分) ❖ DIFによる集団の異質性の検討法 (12分) ❖ IRTに基づいた尺度の等価法(12分) ❖ IRTに基づいた尺度構成と運用 (10分)
  34. 34. PROMIS尺度を軸に,既存の多様な尺度を比較可能にする 多様なPROを統一指標化 するプロジェクト うつ,不安, 痛み,身体機能 が出来てる DOI: 10.1007/s11136-015-0987-6 DOI: 10.1007/s11606-015-3360-0
  35. 35. DOI: 10.1007/s11136-015-0987-6 DOI: 10.1007/s11606-015-3360-0 PROMIS尺度を軸に, 既存の多様な尺度を比較可能にする PHQ-9の5点 = PROMISの52.5点 (T得点) 異なる尺度の変換表を作成
  36. 36. 異なる尺度の項目母数が直接比較可能な状態 被験者の特性値の分布が等しい複 数の集団に,異なる尺度を実施し, 各々パラメタ推定した項目母数は, 直接比較可能 (等価済み)。 母集団 集団1 集団2 Random group equating design : 無作為抽出 X尺度 Y尺度 母集団 集団1 集団2 無作為抽出 X尺度 Y尺度 Y尺度 X尺度 Single group design with counterbalancing: 異なる尺度に同一の集団が回答する。 特性値の分布が等しい集団が、 それぞれの尺度に回答している。 直接比較可能 (等価済み)
  37. 37. 直接比較できないときには ….? Common-item nonequivalent group: 異質な集団で測定された異なる尺度間で,共通する項目または被験者の推定 値から算出する等価係数を用いて,両尺度を直接比較可能にする。 異なる尺度が異なる集団で実施された場合に, 各尺度の項目母数を直接比較可能な状態にする手続き 等価 ・共通項目計画 ・共通被験者計画
  38. 38. 共通項目計画 subj item1 item2 item3 item4 item5 1 2 3 4 subj item3 item4 item5 item6 5 6 7 8 formX formY 異なる被験者が 複数の質問紙への回答 項目に重複あり 共通項目の母数を利用して, 等価係数を算出 form X form Y 識別度 (a) 困難度 (b) 識別度 (a) 困難度 (b) item3 1.20 -1.30 2.60 -1.15 item4 .60 -.10 1.20 -0.55 item5 1.70 .90 3.40 -0.05
  39. 39. 共通被験者計画 subj item1 item2 item3 item4 1 2 3 4 5 subj item5 item6 item7 item8 3 4 5 6formX formY 同じ被験者が異なる項目に回答 共通被験者の母数を利用して, 等価係数を算出 form X form Y 識別度 (a) 困難度 (b) 識別度 (a) 困難度 (b) subj3 1.20 -1.30 2.60 -1.15 subj4 .60 -.10 1.20 -0.55 subj5 1.70 .90 3.40 -0.05
  40. 40. 等価係数の算出 Y尺度をX尺度に等価 ❖ 特性値 θXi = α*θYi +β ❖ 識別度 aXj = aYj/α ❖ 困難度 bXj = α*bYj + β X尺度の特性値と等価になるよう, Y尺度の特性値を線形変換 α (傾き)とβ (切片) ※段階反応モデルでは, ※識別度母数のカテゴリが増えるだけ 等価係数 (α, β) α = aYj /aXj,β = bXj – α*bYj 最も適したαとβを共通項目(被験者)データから推定
  41. 41. 等価係数の推定法 推定法 特徴 平均/標準偏差法 mean / sigma method 困難度(b)母数から求める 平均/平均法 mean/mean method 識別度 (a)母数から求める 項目特性曲線法 item characteristics curve method 項目特性曲線から推定する
  42. 42. 平均/標準偏差法(mean / sigma method) bXj - bX s(bX ) = bYj - bY s(bY ) 標準化した値は等しくなる (どちらも平均=0, 標準偏差=1) bXj = s(bX ) s(bY ) *bYj +(bX - s(bX ) s(bY ) *bY ) α β 困難度母数の平均 困難度母数の標準偏差 form X form Y 識別度 (a) 困難度 (b) 識別度 (a) 困難度 (b) item3 1.20 -1.30 2.60 -1.15 item4 .60 -.10 1.20 -0.55 item5 1.70 .90 3.40 -0.05 平均 1.17 -0.17 2.4 -0.58 標準偏差 0.55 1.10 1.11 0.55 α=1.10/0.55=2 β=-0.17-2*0.55 =-1.7
  43. 43. 平均/平均法(mean / mean method) a = aY aX form X form Y 識別度 (a) 困難度 (b) 識別度 (a) 困難度 (b) item3 1.20 -1.30 2.60 -1.15 item4 .60 -.10 1.20 -0.55 item5 1.70 .90 3.40 -0.05 平均 1.17 -0.17 2.4 -0.58 標準偏差 0.55 1.10 1.11 0.55 α=2.4/1.17=2.05 β=-0.17-2.05*0.55 =-1.30 b = bX -a *bY 識別度母数の平均からαを算出 mean/sigma法と同様にβを算出
  44. 44. 項目特性曲線法 ❖ Haebara法 2つの尺度の項目特性曲線間の差が最小になるαとβを推定する ❖ Stocking & Lord法 SLdiff (qi ) pij (qXi;aXj, j:V å bXj )- pij (qXi; aYj a , j:V å abYj + b) é ë ê ê ù û ú ú 2 Hcrit(qi ) = j:V å pij (qXi;aXj,bXj )- pij (qJi; aYj a ,abYj +b) é ë ê ù û ú 2 尺度Xの項目特性曲線 等価した尺度Yの項目特性曲線 尺度Xのテスト特性曲線 等価した尺度Yのテスト特性曲線 2つの尺度のテスト特性曲線間の差が最小になるαとβを推定する 基本的に,項目特性曲線に基づく方法が良いが, 複数の方法で感度解析的にやるのが良い
  45. 45. 等価係数による項目母数の等価 form X form Y 識別度 (a) 困難度 (b) 識別度 (a) 困難度 (b) 1.50 -1.10 2.20 -0.03 item3 1.20 -1.30 2.60 -1.15 item4 .60 -.10 1.20 -0.55 item5 1.70 .90 3.40 -0.05 3.60 -1.20 1.10 -0.50 form X form Y 識別 度 (a) 困難度 (b) 識別度 (a) 困難度 (b) item1 0.75 -0.5 item2 1.1 1.64 item3 1.20 -1.30 1.9 -1.225 item4 .60 -.10 0.9 -0.325 item5 1.70 .90 2.55 0.425 item6 1.8 -0.7 item7 0.55 0.7 識別度 aXj = aYj/α 困難度 bXj = α*bYj + β 共通項目の等価係数が推定できたら, 等価式を用いて,共通項目以外を等価 共通項目の母数は,二つの母数を平均 α=2 β=-1.7
  46. 46. 記載例1 ❖ 結果の節: PROMIS尺度に他の尺度の項目母数を等価 Table 3 displays the legacy instrument item parameters obtained from the fixed- parameter calibrations. For each instrument pair, the test characteristic curves (TCCs) of the separate calibrations using linking constants were nearly identical to the TCCs of the fixed calibrations. In fact, for each comparison between the TCCs, the expected raw score value differed by less than 1 point across thetas ranging from 4 to 4. Because of the close similarity of the different IRT solutions, we report only the results of the fixed-parameter estimates. 識別度 困難度
  47. 47. 対応表の作成 等価な項目母数が得られたら,尺度得点の対応表を作成 T(q) = pjc (q) c=0 C-1 å j=1 å 真の得点 = 個々の項目特性曲線の合計 各尺度のテスト特性曲線 Σ 尺度A 尺度B
  48. 48. θ T(θ) form X T (θ) form Y -1.1 3 1.1 -1.0 4 1.6 -0.8 5 2.1 -0.7 6 2.6 -0.6 7 3.0 -0.5 8 3.5 -0.4 10 4.2 -0.3 11 4.6 -0.2 13 5.3 -0.1 14 5.6 0.0 16 6.2 0.1 18 6.8 0.2 21 7.7 0.3 24 8.6 0.4 25 8.9 0.5 27 9.6 0.6 29 10.2 0.7 30 10.5 0.8 32 11.1 0.9 34 11.6 1.0 35 11.9 1.1 36 12.3 対応表の作成 cross walk function
  49. 49. 記載例 ❖ 結果の節: 対応表
  50. 50. Figure 3 displays the linking functions for the CES-D, PHQ-9, and BDI-II that map their raw summed scores (the vertical axis) to the PROMIS Depression metric (the horizontal axis). Traditional cutoff scores for the legacy measures are indicated on their respective functions and projected onto the PROMIS metric. Some of the thresholds for possible or moderate depression on the CES-D and BDI-II differ from one another. In fact, the threshold for moderate depression according to the CES-D (about 0.5 SD above the PROMIS population mean) was equivalent to the threshold for mild depression by the BDI-II. However, the thresholds for moderate depression for the BDI-II and PHQ-9 were very similar to each other (about 1 SD above the PROMIS population mean). This is validating the tentative threshold PROMIS has set on the Depression measure of 60, or 1 SD above the population mean (Cella et al., 2008). 記載例2
  51. 51. 本日の話題 ❖ PROMISにおけるIRTの活用 (3分) ❖ IRTのパラメータの確認 (2分) ❖ DIFによる集団の異質性の検討法 (12分) ❖ IRTに基づいた尺度の等価法(12分) ❖ IRTに基づいた尺度構成と運用 (10分)
  52. 52. 尺度構成:項目バンク θ 項目バンク 0 10050 IRT (パラメータ推定、等価) 尺度A (50項目) 尺度B (30項目)尺度C (20項目) 尺度D (35項目) ・共通する尺度で評価可能な項目群 ・低特性〜高特性まで広い範囲の特性を測定可能な項目群 ・項目が多いほど測定精度は高い ・項目バンクから、用途に応じた尺度を適宜構成できる 項目1 項目2 項目3………. ……..項目135
  53. 53. 項目バンク(IRTで推定済) 項目1 項目2 項目3 項目4 項目5 項目6 項目7 項目8 項目9 項目10 項目11 θ 項目1: ベッドから出たり、入ったりできますか? 項目4: 平らな道を1ブロック歩けますか? 項目9: 2マイル走れますか? 身体機能の項目バンク 0 10050
  54. 54. 固定型テスト vs 適応型テス ト θ 身体機能の項目バンク 0 10050 固定型 (従来型) 呈示項目を固定 過去1週間にあてはまる ものに○をしてください あ て は ま ら な い 少 し あ て は あ ま る ど ち ら で も な い 結 構 あ て は ま る あ て は ま る 1 緊張した 1 2 3 4 5 2 心配事が止まらなかった 1 2 3 4 5 3 恐怖でびくびくした 1 2 3 4 5 4 パニックになった 1 2 3 4 5 適応型 呈示項目をアルゴリズムに基づいて自動化
  55. 55. 固定型:垂直テスト vs 平行テスト 項目1 項目2 項目3 項目4 項目5 項目6 項目7 項目8 項目9 項目10 項目11 θ 垂直テスト:特性値対応型テスト 低特性者向け (例、一般成人向け) 中特性者向け (例、スクリーニング向け) 高特性者向け (例、患者向け) 身体機能の項目バンク 0 10050 平行テスト:別項目で同等テスト テストA (例、治療前) 項目1、3、5、7、9、11 テストB (例、治療後) 項目2、4、6、8、10
  56. 56. 適応型テスト 広い範囲で特性を捉えられるが, 精度が低い尺度 精度が高いが、捉えられる特性値の範囲が狭い 10050 望ましい尺度 広い範囲で、精度高く特性値を推定可能 ↓ 適応型テスト 物足りない尺度1 物足りない尺度2
  57. 57. 適応型テスト 質問1 0 321-1-2-3 21 21 質問2 質問3 広い範囲で、精度高く特性値を推定可能 回答ごとに特性値を推定し、特性値に応じた項目を呈示。
  58. 58. 適応型テストのフロー 暫定的な能力値推定 次の項目の選択/提示 いいえ 第1項目の選択/提示 停止基準を みたしたか? 項目提示の終了 推定値の確定 はい 反応パタンの更新 Magis, D., & Raîche, G. (2012). Random generation of response patterns under computerized adaptive testing with the R package catR. Journal of Statistical Software, 48(8), 1-31. initial step test step stopping step final step
  59. 59. ① initial step: 第1項目の選 択 Magis, D., & Raîche, G. (2012). Random generation of response patterns under computerized adaptive testing with the R package catR. Journal of Statistical Software, 48(8), 1-31. ・事前情報なし - 平均レベル(θ=0)の項目を提示 ・事前情報あり - 回答者の過去の受験結果に基づく能力値の項目 ・同様のテストの受験結果 ・練習問題の受験結果 - 回答者の属性 (e.g., 年齢・性別など)の平均値の項目 暫定的な能力値推定 次の項目の選択/提示 いいえ 第1項目の選択/提示 停止基準を みたしたか? はい 反応パタンの更新
  60. 60. ② test step: 能力値推定/項目提 示 Magis, D., & Raîche, G. (2012). Random generation of response patterns under computerized adaptive testing with the R package catR. Journal of Statistical Software, 48(8), 1-31. (a)直近の提示項目までの回答パタンで暫定的に能力値を推 定 (b)未提示の項目群から,暫定的な能力値と項目選択基準に 基づいて,次の提示項目を選択/提示 (c)反応パタンの更新 暫定的な能力値推定 次の項目の選択/提示 いいえ 第1項目の選択/提示 停止基準を みたしたか? はい 反応パタンの更新
  61. 61. 能力値の推定法 ・最尤推定法 ・ベイズ推定法 最大事後確率推定 (MAP:maximum posterior probability) 期待事後推定 (EAP: expected a posterior) ② test step: 能力値推定/項目提 示 暫定的な能力値推定 次の項目の選択/提示 いいえ 第1項目の選択/提示 停止基準を みたしたか? はい 反応パタンの更新
  62. 62. ② test step: 能力値推定/項目提 示 最尤推定法 vs ベイズ推定 ・ テスト項目が多い: 各推定法の結果は一致する。 ・ テスト項目が少ない: 適切な事前分布を設定できれば,最尤法よりベイズ推定が安定 (事前分布は標準正規分布 N(0,1)) (Seong et al., 1999; 豊田, 2002) ・ 最尤法だと,全問正答 or 誤答者の特性値を推定できない (無限大になる) ・ EAPは反復計算不要なのでMAPや最尤法よりも計算にかかるコストが低い(豊田, 2002) → ベイズ法の使用が一般的 (Magis & Raîche, 2012) → practical にはEAP がベター → RのIRT関連のパッケージでは,能力値の推定にML, MAP, EAPが選択可能なものが多 いので,ベイズの原理がよくわからなくても、とりあえず推定結果は得られる素敵な時代。
  63. 63. ② test step: 能力値推定/項目提 示 ベイズ推定の入門的資料 (IRTには触れてない) http://ytake2.github.io/bayes.github.io/#/
  64. 64. 項目選択基準 ② test step: 能力値推定/項目提 示 暫定的な能力値推定 次の項目の選択/提示 いいえ 第1項目の選択/提示 停止基準を みたしたか? はい 反応パタンの更新 尤度を利用を利用 (ベイズ推定による) 事後分布を利用 古典的 項目選択基準 最大情報量基準 (maximum information criterion) = テスト情報量が最大となる項目を選択 現代的 項目選択基準 尤度重み付き最大情報量基準 (maximum likelihood weighted information criterion) 事後重み付き最大情報量基準 (maximum posterior weighted information criterion) 最大期待情報量基準 (maximum expected criterion) 最小期待事後分散基準 (minimum expected posterior variace
  65. 65. ・項目の提示数 最大提示項目数に達したら終了 最小提示項目数に達したら終了 ・能力値の精度 暫定的な能力推定値の標準誤差が事前に設定した水準に達したら終了 ・分類 能力値の信頼区間が特定の分類に収まったら終了 ③ stopping step: 停止基準 暫定的な能力値推定 次の項目の選択/提示 いいえ 停止基準を みたしたか? 項目提示の終了 はい 反応パタンの更新
  66. 66. 特性値の精度による停止 回答が進むにつれて、特性値の測定精度が向上 (この場合,標準誤差が小さくなる) 一定の基準を満たした時点で回答終了 (この場合,標準誤差0.3以下になったら終了) グレーの領域が標準誤差の範囲
  67. 67. PROMIS-CATの性能評価 フルバン ク CAT (精度0. 3) CAT (精度0. 4) (平均) 回答項目数 389 12 (範囲7-22) 6 (範囲7-22) 平均回答時間 (分) 55.6 2.3 (範囲1.72-2.97) ― フルバンクとの相関 ( r ) r=.95 r=.92 フルバンクと比べるとごくわずかな項目で、 測定精度を保ったまま、 フルバンクへの回答と同等の回答が得られる
  68. 68. Take home message 1. 特異項目機能をロジスティック回帰やMIMICモデルで検討し, 集団間で反応の異なる項目がないか確認し,尺度項目を洗練。 2. 等価によって共通尺度を作成することで,(同一概念の) 異なる尺度間 (異なる集団間)の対応表ができ, 各尺度の解釈が促進される 1. IRTで項目バンクを整えて,適応型テストで症状評価することで, 短時間で精度の高い測定が可能になる。 コンピュータで評価が自動化されるので,採点者にも優しい。 IRTに基づく尺度運用は,研究/臨床の双方で有用
  69. 69. Rコード ❖ 特異項目機能の検出 OLS: Lordif package MIMIC: lavaan package ❖ 等価係数の算出, 対応表の作成 plink package ❖ 適応型テストの運用 mirt pacakge
  70. 70. Rコード: 特異項目機能 ❖ 順序ロジスティックモデル: Lordif packagelibrary(lordif) #パッケージの読み込み data(“Anxiety”) #データの読み込み head(Anxiety) #データ構造の確認 Age <- Anxiety$age #性別変数の格納 Resp <- Anxiety[paste("R", 1:29, sep = "")] #項目変数の格納
  71. 71. Rコード: 特異項目機能 ❖ 順序ロジスティックモデル: Lordif packageageDIF <- lordif(resp.data=Resp, group=Age, criterion = "Chisqr", alpha = 0.01) #resp.data=項目変数 #group=属性データ #alpha = 有意水準 #criterion=DIF検出基準 尤度比検定なら”Chisqr”, 効果量なら”R2” or “Beta” print(ageDIF$stats) #尤度検定 (chi), 効果量の出力 (beta, pseudo)※ pseudoは複数種類ありchi12=base model vs uniform chi23=uniform vs non-uniform pseduo12=base model vs uniformpseduo23=uniform vs non-uniform
  72. 72. Rコード: 特異項目機能 ❖ 順序ロジスティックモデル: Lordif package plot(ageDIF, labels = c("Younger (<65)", "Older (65+)")) DIF検出項目の項目特性曲線DIF検出項目のテスト特性曲線 DIF項目でTCCに大きな差はない
  73. 73. Rコード: 特異項目機能 ❖ MIMIC: lavaan package library(lavaan) model_mimic<-"f1 =~ R1+R2+R3+R4+R5+R6+R7+R8+R9+R10+ R11+R12+R13+R14+R15+R16+R17+R18+ R19+R20+R21+R22+R23+R24+R25+R26+ R27+R28+R29 # IRTモデル f1~~1*f1 #因子の分散を1に固定 f1 ~ gender # 性別から因子へのパス R1 ~ 0*gender ; R2 ~ 0*gender R3 ~ 0*gender ; R4 ~ 0*gender R5 ~ 0*gender ; R6 ~ 0*gender R7 ~ 0*gender ; R8 ~ 0*gender R9 ~ 0*gender ; R10 ~ 0*gender R11 ~ 0*gender; R12 ~ 0*gender R13 ~ 0*gender; R14 ~ 0*gender R15 ~ 0*gender; R16 ~ 0*gender R17 ~ 0*gender; R18 ~ 0*gender R19 ~ 0*gender; R20 ~ 0*gender R21 ~ 0*gender; R22 ~ 0*gender R23 ~ 0*gender; R24 ~ 0*gender R25 ~ 0*gender; R26 ~ 0*gender R27 ~ 0*gender; R28 ~ 0*gender R29 ~ 0*gender # 性別から項目へのパスを全て0に固定 " #推定 fit2<-lavaan( model_mimic, data=difdat, ordered=c("R1","R2","R3","R4","R5","R6","R7","R8","R9","R10", "R11","R12","R13","R14","R15","R16","R17","R18", "R19","R20","R21","R22","R23","R24","R25","R26", "R27","R28","R29"), estimator = "wlsmv") #修正指数の出力 modindices(fit2,minimum.value=4)
  74. 74. Rコード: 特異項目機能 ❖ MIMIC: lavaan package library(lavaan) model_mimic2<-"f1 =~ R1+R2+R3+R4+R5+R6+R7+R8+R9+R10+ R11+R12+R13+R14+R15+R16+R17+R18+ R19+R20+R21+R22+R23+R24+R25+R26+ R27+R28+R29 # IRTモデル f1~~1*f1 #因子の分散を1に固定 f1 ~ gender # 性別から因子へのパス R1 ~ 0*gender ; R2 ~ 0*gender R3 ~ 0*gender ; R4 ~ 0*gender R5 ~ 0*gender ; R6 ~ gender #性別からR6へのパスを追加 R7 ~ 0*gender ; R8 ~ 0*gender R9 ~ 0*gender ; R10 ~ 0*gender R11 ~ 0*gender; R12 ~ 0*gender R13 ~ 0*gender; R14 ~ 0*gender R15 ~ 0*gender; R16 ~ 0*gender R17 ~ 0*gender; R18 ~ 0*gender R19 ~ 0*gender; R20 ~ 0*gender R21 ~ 0*gender; R22 ~ 0*gender R23 ~ 0*gender; R24 ~ 0*gender R25 ~ 0*gender; R26 ~ 0*gender R27 ~ 0*gender; R28 ~ 0*gender R29 ~ 0*gender # 性別から項目へのパスを全て0に固定 " #推定 fit3<-lavaan( model_mimic2, data=difdat, ordered=c("R1","R2","R3","R4","R5","R6","R7","R8","R9","R10", "R11","R12","R13","R14","R15","R16","R17","R18", "R19","R20","R21","R22","R23","R24","R25","R26", "R27","R28","R29"), estimator = "wlsmv") #モデル適合の比較 library(semTools) compareFit(fit3,fit2) パスを追加しても適合に大差なし
  75. 75. Rコード: 等価 ❖ plink package #データの読み込み formX<-read.csv("Xdat.csv",header=T) formY<-read.csv("Ydat.csv",header=T) #各尺度IRTパラメータの推定 library(ltm) X_irt<-grm(formX[,2:21], IRT.param = TRUE) Y_irt<-grm(formY[,2:8], IRT.param = TRUE) #linking library(devtools) #plinkはcranにないのでgithubからインストール install_github("cran/plink") library(plink) #ltmによる推定結果を読み込み X<-read.ltm(X_irt) Y<-read.ltm(Y_irt) #共通項目を指定 common<-matrix(0,7,2) common[,1:2]<-1:7 colnames(common)<-c("form.X","form.Y”)" #共通項目を指定 plink.pars <- combine.pars(list(form.Y=X, form.X=Y), common = common) #Stock-lord法で等価 plink.out <- plink(plink.pars, rescale = "SL",D=1.7, grp.names=c("form.X","form.Y")) #等価係数の出力 summary(plink.out)
  76. 76. Rコード: 等価 ❖ plink package #等価後の項目母数を出力 link.pars(plink.out) #等価後のテスト特性曲線のプロット plot(plink.out$pars, drift = "TCC",grp.names=c("form.X","form.Y"))
  77. 77. Rコード: 等価 ❖ plink package #尺度の等価 (対応表) conversion<-plink::equate(plink.out,method=c("TSE","OSE")) ose_scores<-data.frame(conversion$ose$scores) tse_scores<-data.frame(conversion$tse) tse_scores #尺度スコア(等価後)のプロット plot(tse_scores[,2],tse_scores[,3], type="l",xlab="T(θ) for form X",ylab= "T(θ) for form Y",ylim=c(0,14))
  78. 78. Rコード: 適応型テストの運用 ❖ mirt package library(mirtCAT) options(stringsAsFactors = FALSE) # 項目バンクのパラメータ推定 library(lordif) data("Anxiety") #lordif packageのデータ mod<-mirt(Anxiety[,4:32],1) 質問文と回答フォーマットのデータフレームを作る
  79. 79. Rコード: 適応型テストの運用#質問項目と回答フォーマットの作成 nitems<-29 #項目バンクの項目数 questions <-character(nitems) #質問項目を入れる箱 questions<-c("過去一週間に, 怖い思いをした (I felt frightened)","過去一週間に,ゾッとした (I felt frightened)", "過去一週間に,緊張した時に怖かった (It scared me when I felt nervous)", "過去一週間に,不安を感じた (I felt anxious)", "過去一週間に,自分の不安のために助けが必要だと感じた (I felt like I needed help for my anxiety)", "過去一週間に,自分の精神的な健康が気になった (I was concerned about my mental health)", "過去一週間に,動揺した (I felt upset)","過去一週間に, 動悸があった (I had a racing or pounding heart)", "過去一週間に, 普段していることが妨げられると不安になった (I was anxious if my normal routine was disturbed)", "過去一週間に,突然にパニックを感じることがあった (I had sudden feelings of panic)", "過去一週間に,ちょっとしたことにビクビクした (I was easily startled)", "過去一週間に,物事に集中することが難しかった (I had trouble paying attention)", "過去一週間に, 公共の場や(公共での)活動を避けた (I avoided public places or activities)", "過去一週間に,落ち着かなかった (I felt fidgety)", "過去一週間に,何か恐ろしいことが起こる感じがした (I felt something awful would happen)", "過去一週間に, 心配を感じた (I felt worried)", "過去一週間に,ひどく恐ろしい思いをした (I felt terrified)", "過去一週間に, 私に対する他者の反応について心配した (I worried about other people's reaction to me)", "過去一週間に, 自分の不安なこと以外の全てのことに集中することは難しかった。(I found it hard to focus on anything other than my anxiety)", "過去一週間に, 心配事に圧倒された (my worries overwhelmed me)", "過去一週間に, 筋肉の痙攣やこわばりがあった (I had twitching or trembling muscles)", "過去一週間に, 緊張した/神経質になった (I felt nervous)", "過去一週間に, 優柔不断だった (I felt indecisive)", "過去一週間に,さまざまな状況で心配になった (Many situations made me worry)", "過去一週間に, よく眠れなかった (I had difficulty sleeping)", "過去一週間に, リラックスするのが難しかった (I had trouble relaxing)", "過去一週間に, 落ち着かなかった (I felt uneasy)", "過去一週間に, 緊張した (I felt tense)", "過去一週間に, 穏やかにいることが難しかった (I had difficulty calming down)”) choices <- matrix('', nitems, 5) #回答フォーマットを入れる箱 for(i in 1:nitems){ #回答フォーマットを入れる箱に回答フォーマットを格納 choices[i,] <-c("全くない","たまに","しばしば","よく", "いつも") } df <- data.frame(Questions=questions, Option=choices, Type='radio')
  80. 80. Rコード: 適応型テストの運用 # htmlのデザイン shinyGUI<- list(title=“PROMIS-Anxiety-CAT”, #タイトル authors=“竹林由武@ISM”, #著者 instructions=c("Instructions:","下のボタン「次へ」をクリックして下さい.", “次へ”), #教示 firstpage=list(h1(‘過去一週間に,n各質問項目がどれくらいあったかを選んで回答して下さい’), #最初のページ, 説明 など '質問への回答を始めるために,「次へ」をクリックして下さい'), demographics=list(selectInput(inputId = '性別', #属性データの選択肢追加 label = '性別を選択してください', choices = c('', '男性', '女性', 'その他'), selected = ‘’), selectInput(inputId ="年齢", #属性データの選択肢追加 label="年齢を選択してください", choice = c('',as.character(rep(1:100))), selected='') ), demographics_inputIDs= c('性別','年齢'), lastpage=list(h5("以上で質問は終了です.「次へ」をクリックしてください.")) )
  81. 81. Rコード: 適応型テストの運用 #CATのセッティング,実行 result <- mirtCAT(df, mod, method = ‘EAP’, #能力値の推定方法 criteria=“MI”, #項目選択基準 design = list(min_SEM=0.3), #終了基準 SE=0.3 shinyGUI=shinyGUI))
  82. 82. Rコード: 適応型テストの運用 summary(res) res<-round(print(result),2) # 推定値から標準得点算出 (θ*10+50) res<-cbind(res,summary(result)$final_estimates[1]*10+50) colnames(res)[4]<-"T-score" colnames(res)<-c("Answered items","θ","θ.SE","T-score") res plot(result)

×