2019/3/19
2019/3/21
森口佑介(京都大学)
moriguchi.yusuke.8s@kyoto-u.ac.jp
発達心理学における再現性問題
発達心理学の再現性の問題
• 心理学の再現性問題
• 発達心理学では,主に乳児研究が標的
2019/3/19 2
発達心理学の現状
どれだけ早い時期にある能力が芽生えるか
2019/3/19 3
1歳半
(Onishi & Baillargeon、 2005)
7か月?
(Kovács et al、 2010)
4歳半
(Baron-Cohen et al.、 1985)
新生児模倣
実験1 N = 6
実験2 N = 12
2019/3/19 4
新生児模倣
• 当初から続々と追試失敗の報告が出版される
• Meltzoffらは技術的問題点を指摘する
2019/3/19 5
新生児模倣
大規模実験
2019/3/19 6
• 新生児模倣の存在は支持できない
• 当初の発見は,偶然の範囲内
乳児実験の正当性
• 分析,実験の進め方に関する,灰色もしくは
黒色の研究実践
• 出版されている乳児研究の正当性に疑問符
2019/3/19 7
ManyBabiesプロジェクト
• Frank教授を中心として,発達研究の再現性と
最善の研究実践を追求する共同プロジェクト
• 現在,乳児向け発話や心の理論に関するプロ
ジェクトが進行中
2019/3/19 8
「乳児は乳児向け発話を好む」を検証
2019/3/19 9
ManyBabiesプロジェクト
ManyBabiesプロジェクト
2019/3/19 10
全体的な流れ
• Frank教授らで刺激作成・予備実験
• Registered reportに投稿
• プロジェクト参加ラボを募集
• 参加ラボで,メーリス,webinar,slack, Google
docs等でプロトコル確定
ManyBabiesプロジェクト
2019/3/19 11
参加ラボがやること
• プロジェクト参入をウェブ登録
• 各ラボで倫理審査(証明書が必要)
• 実験セットアップをする(3種類の方法から選ぶ)
• ラボに関する質問紙に答える(リクルートの仕方
,どの月齢の乳児を集めるかなど)
• 実験について,調査のお迎え,実験の説明,実
験の様子をビデオで録画し,事務局に送付
• 実験開始!
ManyBabiesプロジェクト
• 68ラボ,17か国
• 最初のサンプル:2773
• 言語(モノリンガルに限る, 6%),早産(2%),
非定型(1%),セッションエラー(8%),試行エ
ラー(0%),除外ラボ(1%)は除外
• 最終サンプル: 2224 (80%)
2019/3/19 12
結論
1. IDSへの選好は通文化的にみられた。しかし
,先行研究のメタ部分析より効果が小さい
→ 出版バイアスの影響か
2. ヘッドターンパラダイムが一番効果が大きい
。また,結果に大きく影響を与える因子(親の
教育歴等)は見つからず
3. 月齢や言語経験の影響がみられた
2019/3/19 13
やってみた感想
• まず,マルチラボプロジェクトが乳児研究でもできたのはよか
った
• 時間とコストがかかりすぎる。2年かかってようやくresubmitの
状態
• 再現されたこと以外にわかったことは,「メタ分析より効果が
小さい」ことくらいか
• あらゆる研究でマルチラボは難しい。決着がつかないような
問題でマルチラボでやるのは必要。もしくはサンプルが極め
て確保しにくい研究では有効
2019/3/19 14
学会の動向
• Scientific integrity: active adherence to the ethical practices and
professional standards essential for the responsible practice of research”
• Transparency: accurate, and complete reporting of all components of
scientific research
• Openness: sharing of scientific resources, such as methods, measures, and
data, in order to further scientific advances
• Society publications will consider (though by no means require)
submissions reporting preregistered and replication studies
2019/3/19 15
ジャーナルの動向
• 発達系ジャーナルも,プレレジストレーション,
追試研究を考慮し始める
• データの公開も,いくつかのジャーナルで推
奨され始めるが,動きはやや鈍い
2019/3/19 16
透明性のあるデータピーキング?
• 事前に決めたサンプルサイズで有意にならない場合
に、プランBとしてサンプル追加してp値を訂正して報
告する案
2019/3/19 17
Schott et al., 2019 IBAD
発達研究でみられる例
2019/3/19 18
・中程度の効果量でサンプル
サイズ推定
・ひとまず実験。事前に決めて
いた変数やそれ以外の変数も
探索的に分析
・(プレレジして)狙った変数で
再実験
・(可能なら)自己追試
全く新しい研究
・先行研究の効果量でサンプ
ルサイズ推定
・ (できればプレレジして)まず
は先行研究の追試
・ (プレレジして)追試できたら,
条件を操作してみる
・(可能なら)自己追試
先行研究がある場合
個人的なぼやき
• 異なった分野間でどの程度同じルールでやる
べきなのか
• とにかく時間がかかるので,大学院生には酷
すぎるか
• この流れに乗じて,難癖をつけてくる編集者
や査読者が増えた
2019/3/19 19
まとめ
• 発達研究でも,再現性の担保は最も重要な問
題の一つである
• 研究の透明性を高めるために,プレレジ,デ
ータ公開,自己追試等できる限りの努力をす
るべき
• ただ,移行期ということもあり,個々が着目す
るポイントや解釈も違い,論文通すのが大変
2019/3/19 20

replication developmental psychology