第３回DARM勉強会資料

1. R・RStudioの導入
power and accuracy
DARM勉強会#2
2013.01.20
広島大学総合科学研究科
博士課程後期２年
竹林 由武

2. 本日の話題
検定力分析
効果量・信頼区間
正確度分析
例数設計に使用する解析
帰無仮説検定の問題

3. 帰無仮説検定
Null Hypotheses Significance Test

4. NHSTのおさらい
step1 帰無仮説と対立仮説を立てる
step2 検定統計量(T)と分布を決める
step3 有意水準αを決定し，棄却域を決め
る
step4 データを取得し検定統計量を算出
step5 仮説の棄却と採択

5. 3 4 5 6 7
0.00.30.6
T
5%
帰無仮説検定のおさらい
帰無仮説採択帰無仮説棄却
Frequency

6. 帰無仮説検定の問題
１. 論理における問題
２. 解釈における問題
３. 手続きにおける問題

7. 確率的な議論に不適なロジックの使用
論理における問題①
前提が真であれば，結論も真
前提が真でも， 結論が真とは
限らない
もしPならばQである(前提１)
Ｑである (前提２)
Pである (結論×)
もしPならばQである(前提１)
Ｑでない (前提２)
Pでない (結論○)
後件否定
後件肯定
(○雨降ったら，地面濡れる)
(×地面濡れてたら，雨が降った)

8. 論理における問題②
背理法を用いるので，直接仮説を確かめられ
ない
(後件肯定では，せいぜい帰無仮説が正しくないとわかるだけ)
帰無仮説は常に間違っている
尐なくとも小数点以下のどこかに必ず差がある
本当に知りたいのは帰無仮説が正しい確率
(p値の逆確率) ※p値=データが得られる確率
帰無仮説検定では，母数が定数のため逆確率を算出できない
①命題が成り立たないと仮定，②その時矛盾が起こることを導くことで
③命題が成り立つことを証明 背理法

9. 解釈・手続きにおける問題
① 有意差が重要な差であるのか分からない
有意水準やp値は，効果の大小，関係性の強さ
について一切情報を与えない
② 極端な２分法をとる
5%に「慣習」以上の意味はない
p=.049とp=.051に実質的に違いはない
(慣習上前者は有意，後者は有意じゃない)
③ 「差がない」という仮説を検証できない

10. 帰無仮説検定の問題を克服
① 有意差が重要な差であるのか分からない
効果量を報告する
② 極端な２分法をとる
信頼区間を報告する
③ 「差がない」という仮説を検証できない
検定力分析

11. APA Publication manual
(2009)
complete reporting of all tested hypotheses and
estimates of appropriate ESs and CIs are the
minimum expectation for all APA journals.
効果量と信頼区間による代替・補完を推奨

12. 効果量
Effect Size

13. 効果量 (ES)
母集団における、
①独立変数の従属変数に対する影響の度合い
②変数間の関係の大きさ
＝帰無仮説が正しくない程度を定量的に示す指標
検定統計量から標本に依存する部分の影響を排除した部分
)()( ESgNfT統計検定量
標本サイズの関数
効果量の関数

14. 効果量の種類
標準化された効果量
=標本の観測変数の単位に依存しない
不偏性
=母集団の効果量の推定量にバイアスがない (尐ない)
d 族 r 族
群間差 変数間の関係の大きさ
Cohen’d Hedge’s g Glass’s Δ Pearson’ r R2 η2 ω2

15. d族： 独立な２群の差の場合
母標準偏差の算出法によって３分類
Cohenのｄ :
Hedgesのg：
GlassのΔ ：
21
母効果量
母平均の差
母標準偏差
※S2=標本分散
21
2
22
2
11
nn
SnSn
Sp
pS
MM
d 21
2
)1()1(
21
2
22
2
11
nn
SnSn
sp
ps
MM
g 21
2
21
s
MM
Δ s2= 統制群の標準偏差

16. d族の各指標の特徴
特徴
Cohen’ d
記述的な効果量
報告例が多い (他の研究との比較が容易)
Hedges’ g
推測的効果量 (不偏性が高い)
g<d 標本サイズ大⇒gとdの差大
推奨する研究者が多い (Kline, 2004)
Glass’ Δ 1) 操作を行う実験群と統制群の比較する場合
2) ２群の等分散性が満たされない場合
t値やf値から算出できない(メタ分析に不向き)

17. g, Δの補正
※サンプルが20以上であれば，バイアスは無視してよい
(Hunter&Schmidt, 2004)
標本サイズが小さいと効果量が過剰推定される
補正式
g
nn
nn
g adj
25.2
3
21
21*
ΔΔ
54
3
1
2n
adj

18. 対応のある２群の差
① d, g, Δをそのまま使う
※群間の相関を無視してるので不適
② 差得点の効果量を使う（反復測定で推奨: Glass et al., 1981）
12
2
2
2
1 2ssssD
第一群の分散 第一群の分散 共分散
※①と②のうちどれを使用するか研究者によって意見が異なる
D
D
D
s
M
d
差得点の平均
差得点の標準偏差(分母がn-1)

19. r族の効果量
① pearsonの積率相関 （連続変数同士の相関）
② 点双列相関係数 （２値と連続変数の相関）
③ 決定係数・分散説明率 ：相関係数の２乗
yx
xy
ss
s
r
各変数の標準偏差
両変数間の共分散
21
21
qq
S
MM
rpb
データ全体の標準偏差
各群の比率
連続変数を２値変数で分割した各群の平均
1
1
2
)(
n
S
n
i
i xx

20. r族：1way between ANOVA
要因の平方和
全体の平方和
１要因分散分析における全分散
T
A
SS
SS
① η２
η２=
 要因の分散
 誤差の分散
n
i
i xxSS
1
2
)(

21. η2は真値を過剰推定する(特にnが尐ない時)
効果量の真値
＝.10
１条件につき，
10000階繰り返した時の
効果量の平均
r族：1way between ANOVA

22. r族：1way between ANOVA
要因の自由度
ω2≦ε2≦η２
T
EAA
SS
MSMSdf )( 誤差の平均平方
要因の平均平方
ET
EAA
MSSS
MSMSdf )(
② ε2
③ ω2
要因の自由度
i
i
df
SS
MS
バイアスを補正した効果量

23.  要因の分散
 被験者内の分散
 誤差の分散
１要因分散分析における全分散
η2 =
η2
p =
r族：1way within ANOVA
EsA
A
SSSSSS
SS
EA
A
SSSS
SS

24. ε2
ω2
ω2
p
ET
EAA
MSSS
MSMSdf )(
sT
EAA
MSSS
MSMSdf )(
sAAA
EAA
MSdfnMSdf
MSMSdf
)(
)(
r族：1way within ANOVA

25.  要因Aの分散
 要因Bの分散
 要因ABの交互作用の分散
 誤差の分散
２要因分散分析における全分散
η2 =
η2
p =
r族：2 way between ANOVA
EABBA
A
SSSSSSSS
SS
EA
A
SSSS
SS

26. r族：2 way between ANOVA
22222
2
2
2
2
)(
)(
)(
EABBAT
EE
EAB
BA
AB
EB
B
B
EA
A
A
MS
MSMS
abn
dfdf
MSMS
abn
df
MSMS
abn
df ω2
ω2
p
2
2
T
AB
22
2
EAB
AB
2
2
T
A
22
2
EA
A
交互作用
交互作用

27. 研究のデザインが異なると
η2 やη2
pを比較できない
η2：要因数が増えると小さな値を取りがち
１つの要因で説明できる母分散の割り合いが
相対的に減る
η2
p：被験者間より被験者内で大きな値をとる
被験者効果の分散を分母から除くため
一般化効果量

28. 一般化効果量
因の分散＋操作されていない要関心のある要因の分散
関心のある要因の分散2
G
２要因(A, B)の片方(A)を操作
要因Aの効果
要因Bの効果
η2と一緒 ω2と一緒
EABB
B
G
EABBA
A
G
SSSSSS
SS
SSSSSSSS
SS
2
2
EAT
EBB
G
ET
EAA
G
MSSSSS
MSdfSS
MSSS
MSdfSS
α
2
2

29. 効果量の解釈
基準
検定 指標 小 中 大
d 群 d, g, Δ .20 .50 .80
r 群 r .10 .30 .50
R2 .02 .13 .26
η2 .01 .06 .14
ω2 .01 .09 .25
Cohen (1992)他

30. 効果量の解釈
効果量が小さくても意味がある場合
双子と双子以外の２群におけるIQの差
15歳と16歳の女子身長の差
WAISの情報・絵画完成課題における性差な
ど
研究分野・目的によって，効果量の持つ意味は変わる

31. 信頼区間
Confidence Interval

32. 統計的推論
推定値
統計量
標本 標本 標本
無作為抽出
統計量 統計量
推定
点推定
(point estimation)
区間推定
(interval
estimation)
母集団

33. 3 4 5 6 7
0.00.30.6
平均
信頼水準
(95%)
0.25%0.25%
誤差範囲 誤差範囲
区間推定と点推定
区間推定
N
s
SE
信頼区間
・推定値の正確さと範囲
・観察された差がどのくらい
一般的に生じうるか
点推定

34. 母平均の信頼区間
criticalcritical tSEMCI
１標本の場合
平均=8
標準偏差=0.8
標本サイズ=48
t値=t(47)95%=2.01
23.00.801.2
48
8.0
0.8criticalCI
M = 8.0, 95% CI [7.77 8.23]
APAスタイル

35. 独立測定
反復測定
n
MS
tMCI E
criticalkcritical
母平均の信頼区間
※分散の等分散性が満たされている場合に限る
誤差の平均平方
条件kの平均値
各群の平均平方
N
MS
tMCI SA
criticalkcritical
被験者と要因Aの
交互作用(誤差)
の平均平方
標本サイズ
r
L
N
MS
tMCI SA
criticalkcritical
より複雑な反復測定デザインは，
Canadian Journal of Experimental Psychology 2009, Vol. 63, No. 2, 124–138
反復測定要因の水準数の積
要因Aの水準数
分散分析における誤差を使用
(Loftus & Masson, 1994; Masson & Loftus, 2003)

36. 母平均の信頼区間
繰り返しのある多要因計画
n
MS
tMCI SAB
criticalkcritical
SABSBSA
ABSBSA
SAB
dfdfdf
SSSSSSS
MS
※それぞれの要因や交互作用の分散が大きく異なる場合(２倍)に
要因ごとに誤差の平均平方を計算した方が良い
(Masson & Loftus, 2003)
３水準以上の条件を含む反復測定の留意点
Greenhouse-Geisserのεが0.75以下の場合
⇒関心のある２対比較を行い，それぞれについて
異なる信頼区間を求める
=プールした誤差

37. 母平均の信頼区間
混合計画
繰り返しのある要因とない要因で個別に計算
繰り返しのない要因
繰り返しある要因
※繰り返し要因が複数ある場合には，プールした誤差の平均平方
を使用しても良い
N
MS
tMCI SA
criticalkcritical
n
MS
tMCI E
criticalkcritical

38. 母平均の信頼区間
平均値差
対応なし： プールした標準偏差(s)を使用
対応あり
１標本の場合と同様
2
)1()1(
21
2
22
2
11
nn
snsn
s
21
11
nn
sSEdiff
criticaldiffcritical tSEMCI

39. 頻度の信頼区間
１標本
NppSE /)1(
SEZpCI critical
p=比率
特定の信頼水準に対応する
標準正規分布の値
信頼水準 Zcritical
.90 1.645
.95 1.96
.99 2.576

40. 頻度の信頼区間
２標本
対応なし
2
22
1
11 )1()1(
n
pp
n
pp
SEdiff
iffdcritical SEZppCI 21

41. 頻度の信頼区間
２標本
対応あり
CIの求め方は一緒だが，SEdiffの算出法が異
取りうる結果のパタンを考える
例) ある特性の有無の頻度を２回測定
iffdcritical SEZppCI 21
N
ts
ts
n
SEdiff
2
)(1
特性あり なし
第１回 r s
第２回 t u
p1=(r+s)/N
p2=(r+t)/N
p1-p2=(s-t)/N←比率の差

42. 相関の信頼区間
r
r
z e
1
1
log
2
1
ピアソン・スピアマン
rをz変換
zの標準誤差3/1 n
Z
zCI critical
1
1
1
1
2
2
z
z
e
e
CILL
1
1
2
2
2
2
z
z
e
e
CIUL
rに再変換
下限 上限

43. 回帰分析の信頼区間
単回帰直線の信頼区間(切片)
単回帰直線の信頼区間(傾き)
単回帰直線の予測区間
任意の信頼水準で，
回帰直線が引かれる範囲
新たな測定を行った時に予測
される値の推定範囲

44. 回帰分析の信頼区間
)(bSEtbCI critical
単回帰直線の信頼区間(傾き)
2
))(1( 222
n
sbsn
S
xy
res
1
)(
ns
s
bSE
x
res
1variablesNNdf
残差標準偏差傾きの標準誤差
自由度

45. 回帰分析の信頼区間
)(aSEtbCI critical
単回帰直線の信頼区間(切片)
2
))(1( 222
n
sbsn
S
xy
res2
2
)1(
1
)(
x
res
sn
x
n
saSE
残差標準偏差切片の標準誤差
認知のxの値に対応するyの値(yfit)の信頼区間
2
2
)1(
)(1
)(
x
o
resfit
sn
xx
n
sySE)(aSEtbCI critical
yfitの標準誤差
全てのxについて繰り返すと母集団の回帰係数の信頼区間が得られる

46. 回帰分析の信頼区間
)( icriticali SEtCI ββ
重回帰分析
標準偏回帰係数(β)の信頼区間
決定係数(R2)の信頼区間
2
2
Rcritical SEtRCI
)3)(1(
)1()1(4
2
2222
2
nn
knRR
SER
1variablesNNdfｔの自由度
R2の標準誤差

47. 効果量の信頼区間
dcritical SEtdCI
Cohenのｄの信頼区間
)2(2 21
2
21
21
nn
d
nn
nn
SEdｄの標準誤差

48. 効果量・信頼区間の算出に使用す
るRpackage
Rpsychi
http://blue.zero.jp/yokumura/index.html
http://cran.r-project.org/web/packages/rpsychi/rpsychi.pdf
作成者HP
※rpsychiでは，hedge’gやη2の信頼区間が出せる
MBESS
http://www3.nd.edu/~kkelley/site/Welcome.html
http://cran.r-project.org/web/packages/MBESS/MBESS.pdf
作成者HP

49. 実行例
dat <- data.frame(y = c(9,12,13,15,16,8,12,11,10,14),
x = rep(factor(c("a","b")), each=5)
)
ind.t.test(y~x, data=dat, correct=FALSE)
Rpsychi：対応のないt検定
hedge’s g

50. 実行例
dat <- data.frame(y = c(9,12,13,15,16,8,12,11,10,14),
x = rep(factor(c("a","b")), each=5)
)
ind.t.test(y~x, data=dat, correct=FALSE)
Rpsychi：1要因の分散分析
hedge’s g
η2

51. 実行例
dat <- data.frame(
y = c(2,3,4,1,3,1,3,4,5,5,6,6,6,7),
A = factor(c(rep("A1",5), rep("A2", 9))),
B = factor(c(rep("B1",3), rep("B2",2), rep("B1",2), rep("B2",7)))
)
ind.twoway(y~A*B, data=dat)
Rpsychi：２要因の分散分析
η2p

52. 実行例
multreg(salary~ pubs + cits, data=dat)
Rpsychi：重回帰
R2
β
B

53. 検定力分析
Power Analysis

54. ⇒ 検出力 .80が推奨されてい
る (Cohen, 1992)
検定力
研究結果
真の結果
効果なし (null=true) 効果あり (null=false)
効果なし (効果量=0) 正しい判断 (1-α) 第二種の過誤 （β）
効果あり (効果量≠0) 第一種の過誤 (α) 正しい判断 (1-β)
検定力
(1-β)
帰無仮説が偽の時に正しい帰無仮説を棄却する確率
検出力 .80が推
奨
(Cohen, 1992)

55. なぜ検定力分析が必要か
①研究結果の信頼性
帰無仮説検定では，第２種の過誤に関する情報が得られない
e.g. 結果：「有意差なし」←本当に差がない？第２種の過誤？
②経済性の観点
不必要に多いサンプル
取ったデータの検定力が低い場合
⇒ 時間，お金，人的資源を無駄にする
⇒ お蔵入りになってデータが無駄に

56. なぜ検定力分析が必要か
確証バイアス
自分の仮説(考え)に合致する証拠を重視，反証を軽視する
E K 4 7
Watsonの4枚カード問題
「方面が母音なら，もう方面は偶数」
上の規則が成り立っているか確かめるために
必ず確認しなければいけないカードはどれ？

57. 検定力分析
検定力 効果量
有意水準 標本サイズ
検定力分析
1) 一つが変化すると他の指標も変化する
2) 効果量，標本サイズ，有意水準のうち，２つが一定の場合
①有意水準が高くなると検定力も高くなる
②効果量が大きいと検定力も高い
③標本サイズが大きいと検定力も高い

58. 検定力
検定力が高すぎる場合
わずかな（無意味な）差でも検出されやすくなる
t df p 平均値差
-2.296 999998 .022 .00
100万人の対応のない t 検定 (Field & Wright, 2006)
検定力が低すぎる場合
第２種の過誤が生じる (医学領域では倫理的に問題)
効果の強い薬v.s弱い薬
検定力の低いテストで比較
⇒両者の差を検出できない
⇒ 弱い薬が効果が強いと誤認されて使用される危険性
差は0でも検定結
果は「有意差あ
り」!?!?

59. 適切な検定力
黄金の中庸 =極端は良くない，真ん中へんが一番
適切な検定力の基準
.80 (Cohen, 1988)
第一種の過誤(α)よりも４倍は厳しくする必要がある
α=.05⇒β=(.05×4)⇒β=.20⇒1-β=.80
.95 (Cashen & Geiger, 2004)
第一種の過誤と同程度にすべし
α=.05⇒β=.05⇒1-β=.95
研究の目的や仮説によって異なる
※最低限.50以上 (Kline, 2004)

60. 事前vs事後
検定力 効果量
有意水準 標本サイズ
検定力分析
事前にサンプル数決定
① 効果サイズ
(先行研究から，理論的に予測)
② 有意水準 α
③ 検定力
事後的に検定力を検討
(観察検定力, 標本検定力)
① 得られたデータの効果量
② 有意水準 α
③ サンプル数

61. 事後検定力分析の留意点
第２種の過誤に関してほとんど情報が得られない
P値が下がるほど，観察検定力は大きくなる(反比例)。
P=.05となる時，観察検定力は標本サイズに関わらず.50
になる。
観察検定力を計算するのは時間の無駄(Ellis, 2010)
※母集団の効果量に基づいて観察検定力を検討する場合
は有効

62. 検定力分析に使用するRpackage
Rpsychi
http://blue.zero.jp/yokumura/index.html
http://cran.r-project.org/web/packages/rpsychi/rpsychi.pdf
作成者HP
MBESS
http://www3.nd.edu/~kkelley/site/Welcome.html
http://cran.r-project.org/web/packages/MBESS/MBESS.pdf
作成者HP

63. 実行例
samplesize.d(delta=.20, power=.80, sig.level=.05) 394
samplesize.d(delta=.50, power=.80, sig.level=.05) 64
samplesize.d(delta=.80, power=.80, sig.level=.05) 26
Rpsychi：
cohen’s dに基づく検定力
samplesize.etasq(k=4, delta=.01, power=.80, sig.level=.05) 268
samplesize.etasq(k=4, delta=.06, power=.80, sig.level=.05) 44
samplesize.etasq(k=4, delta=.14, power=.80, sig.level=.05) 18
η2に基づく検定力
群の数
効果小
効果中
効果大
効果小
効果中
効果大
samplesize.rsq(delta=.02, n.ind=5, power = .80, sig.level=.05) 635
samplesize.rsq(delta=.13, n.ind=5, power = .80, sig.level=.05) 92
samplesize.rsq(delta=.26, n.ind=5, power = .80, sig.level=.05) 43
R2に基づく検定力
説明変数の数
効果小
効果中
効果大

64. 実行例
ss.power.R2(Population.R2=.02, alpha.level=.05, desired.power=.80, p=5)
MBESS：
R2に基づく検定力
ss.power.reg.coef(Rho2.Y_X=0.7826786, Rho2.Y_X.without.j=0.7363697,
p=5, alpha.level=.05, desired.power=.80)
βに基づく検定力
Rho2.Y_X=全ての説明変数と基準変数の決定係数(R2)
説明変数の数
Rho2.Y_X.without.j=関心のある変数以外の説明変数と基準変数
の決定係数

65. 正確度分析
Precision Anlasysis
(Accuracy In Parameter Estimation)

66. 正確度分析
信頼区間の区間幅(の期待値)や信頼限界比
に基づく例数設計 (豊田，2003)
1) 有意だけど不正確
2) 有意で正確
3) 有意じゃないし不正確
4) 有意じゃなくて正確
結果が有意であっても，パラメタの信頼区間が広いと，
母推定値が正確に推定できない
目的：母集団値の正確な推定を得ること

67. 標準化平均差の正確度
Kelly & Rauch. Psychological Methods 2006, Vol. 11, No. 4, 363–385
AIPEは効果サイズの大きさに影響を受けない

68. 標準化回帰係数の正確度
Kelly & Maxwell. Psychological Methods 2003, Vol. 8, No. 3, 305–321
AIPEは効果サイズの大きさに影響を受けない

69. 実行例
MBESS：
平均値差の正確度
ss.aipe.smd(delta=.20, conf.level=.95, width=.30) 344
ss.aipe.smd(delta=.50, conf.level=.95, width=.30) 353
ss.aipe.smd(delta=.80, conf.level=.95, width=.30) 369
R2の正確度
効果小
効果中
効果大
ss.aipe.R2(Population.R2=.02, conf.level=.95, width=.10, which.width=“Full”, p=5)
178
ss.aipe.R2(Population.R2=.13, conf.level=.95, width=.10, which.width="Full", p=5)
617
ss.aipe.R2(Population.R2=.26, conf.level=.95, width=.10, which.width="Full", p=5)
879