Preregistration_JAEP2022_Kashihara.pdf
•
0 likes•201 views
日本教育心理学会第64回 (2022年) 総会の学会企画チュートリアル・セミナー「研究の再現性を高めるための事前登録の実際」で用いた発表資料です。 話題提供者として，心理学の研究計画のプレレジ (事前登録) を行った際の体験談をシェアしました。既存データの二次解析やメタ分析についてのプレレジが題材となっていますが，発表タイトルにある「プレレジは『不完全』でも良い」という気づき自体は，幅広い心理学研究に当てはまるものだと考えています。 プレレジをやろうと思いつつ踏ん切りがつかない方や，プレレジという研究慣習の意義を測りかねている方，その他プレレジに関心をお持ちの方の参考になれば幸いです！
Recommended
More Related Content
Similar to Preregistration_JAEP2022_Kashihara.pdf
Similar to Preregistration_JAEP2022_Kashihara.pdf (20)
More from Jun Kashihara
More from Jun Kashihara (20)
Preregistration_JAEP2022_Kashihara.pdf
- 2. 自己紹介 ◼ 樫原 潤 (1988年生) ◼ 専門：臨床心理学 • うつ病の潜在的スティグマとその解消策の検討 (Kashihara & Sakamoto, 2018) • 「新型うつ」の偏見についての実態調査 (Kashihara et al., 2019) • ネットワーク解析による心理療法のテイラー メイド化 (樫原, 2019; 樫原・伊藤, 2022) ※「多様性」が通底するキーワード 2/37
- 3. 今日お話しすること ◼ プレレジ体験の一覧・やってみた動機 ◼ プレレジ体験談 (メイン)： OSFでの「二次データ解析」プレレジ2件 ◼ プレレジ体験談 (サブ)： PROSPEROでの「メタ分析」プレレジ1件 ◼ 考察・まとめのメッセージ 3/37
- 4. まとめのメッセージ：先出し ◼ ユーザーに向けて • プレレジでも，「わからないなりの試行錯誤」はOK • プレレジして損することはあまりない • 「不完全」で良いので，試しにプレレジしてみると良いのでは ◼ 「学会レベルのテコ入れ」を図る研究者に向けて • 「プレレジ済み ≠ 方法・結果の再現性が高い」が大きな気づき • 「プレレジ推進の中長期ロードマップ」があるとありがたい • 編集・査読の段階でも「わからないなりの試行錯誤」を認める よう，テコ入れするべきでは 4/37
- 6. 樫原のプレレジ体験一覧 ◼ PROSPEROでの「メタ分析」プレレジ1件 • メルボルン大学のチームと，2019年11月6日公開 ◼ Open Science Framework (OSF) での「二次データ 解析」プレレジ2件 • 1件目：2019年12月11日公開，修正箇所を2020年2月27日公開 • 2件目：2022年2月8日公開 • いずれも，日本の共同研究チームと ※「一次研究のプレレジ」は未体験 6/37
- 7. 樫原がプレレジを始めた動機 ◼ 評価懸念：論文投稿したときの「低評価」が怖かった • メルボルン大学での「メタ分析ならプレレジ必須」という雰囲気 • 「お手本の論文は軒並みプレレジしている」という錯覚 ◼ ミーハー根性 • 「オープンサイエンスバッジ」がほしい • あこがれの研究者たちがやっている ※「再現性問題への関心から」ではない 7/37
- 8. ちなみに・・・ ◼ オープンサイエンスについて情報交換するコミュニティに 所属していたので，ハードルを低く感じていたのかも • Japanese Community for Open and Reproducible Science (JCORS; https://osf.io/z4cgu/) • オープンサイエンス自体には関心が強い • 「プレレジ必須」とは，今も昔も思っていない • 「再現性の危機」も，「危機」とまでは思わない (不確実性を伴うのが心理学では？改善は大事だが) 8/37
- 10. プレレジ体験談 (メイン) の概要 ◼ OSFでは，「二次データ解析」のプレレジ2件を体験 • いずれも，心理ネットワークアプローチを用いたもの ◼ 1件目：自由記述形式でプレレジ → 修正箇所も後日登録 ※ 当時は，「二次データ解析用のテンプレ」がOSFになかった ◼ 2件目：「二次データ解析用のテンプレ」を活用 ※ van den Akker et al. (2021) が提案したテンプレが，OSFに新たに 実装されていた 10/37
- 11. 補足：心理ネットワークアプローチとは？ 心理現象を一種の「ネットワーク (システム)」とみなす 実データを数理モデルに当てはめ， ネットワーク構造を可視化し，シス テムの理解や制御に役立てる 「特定の数理モデルへの当てはめ」 以降は，ほとんど探索的に進める ※ Epskamp et al. (2018) をもとに作図 11/37
- 14. 1件目：自由記述でのプレレジ ◼ 研究目的や解析手続きの「大まかな方向性を事前に宣言」 というコンセプトで執筆 • Ito et al. (2015) で報告済みの患者データを二次解析する • 患者1,521名を，症状のネットワーク構造の特徴に沿ってクラスタ に分類する • Rで解析，mixggmパッケージを用いる • 解析に用いる変数群を明記，「1項目＝1ノード」としてモデルに 投入することを宣言 ・・・など 14/37
- 15. プレレジ通りの解析を試みたものの… ◼ 「プレレジ通りでは解析結果が収束しない」と後から判明 • 「1項目＝1ノード」としてモデルに投入したことが原因 (※ リッカート尺度ではなく，連続量の変数を投入すべきだった) ◼ 仕方ないので，代替プランを話し合い，実行に移す前に 追加でプレレジ • 「1項目＝1ノード」 ではなく，「複数項目をまとめた因子得点＝ 1ノード」という形式に • その他，「やっぱりこういう解析も必要だよね」という新たな アイデアを明記 15/37
- 17. 「自由記述でプレレジした研究」のその後 ◼ 臨床系を中心に，トップジャーナルにまずは挑戦 • 最初の雑誌で，匿名査読者から「『1項目＝1ノード』が無理って， なんで事前にわかんなかったの？」と言われてむっとする • その後の雑誌で，憧れの研究者 (記名) から「ちゃんとプレレジし ており，手続きが丁寧」とほめられ大喜びする ◼ 最終的には，PLOS ONE で出版 Kashihara et al. (2021) 17/37
- 18. 2件目：二次解析テンプレでのプレレジ ◼ テンプレにある25の設問に回答する • 「本研究は該当しない」「仮説は特に設けていないが，しいて言 うならば…」なども含め，理論武装なしで正直に回答すればOK ◼ 回答を機に，「二次解析における恣意性 (研究者自由度)」 への意識が研ぎ澄まされていく • 二次解析のメンバーが，初めてデータにアクセスした年月日は？ • データについての事前知識は？メンバーごとに，具体的に？ • 同一データを用いた論文や発表のリストは？ ・・・など 18/37
- 20. 二次解析テンプレを用いた所感 ◼ 「リサーチクエスチョン (RQ)」や「解析手続きの詳細」 を中心に詳細に答えていくことで，解析の焦点が絞られる • 「RQは何個，各RQに対してこのモデルを適用」という対応関係 が明確に • 「各モデルにおいて，欠損値をどう処理するか」等の細かい部分 まで，事前に詰めておける ◼ 「設問ごとに自由記述」という形式なので，「選択肢を 残しつつの書き方」ができる • 記入例：mlVARモデルなど，縦断ネットワークモデルを… 20/37
- 21. 「テンプレでプレレジした研究」のその後 ◼ 案の定？実際にはプレレジ通りにはいかない • 100名弱のデータなので，帰無仮説検定ベースのモデルだときつい ⇒ ベイジアンネットワークモデルに活路を見出す • 追加プレレジは実施せず，論文内で「プレレジからの変更点」を 明記することに ◼ 以前と比べ，計画変更の話し合いがスムースに • 「各RQに答えるべく，最善だと思われる解析を実施する」という 基本からはそれずに話し合えた • メインの解析をほぼ終えることができた (※ 2022年7月末時点) 21/37
- 23. PROSPEROとは？ ◼ メタ分析を含む系統的レビューに特化した，プレレジの プラットフォーム • OSF同様に，テンプレに回答していく形式 (※ 詳細は割愛) • 計画変更だけでなく，進捗状況の更新を届け出ることが可能 ◼ 承認制をとる • 投稿後，体裁等のチェックが入り，承認されたもののみ公開 ◼ 「英国の医療発展に資すること」が至上命題 • 英国国立健康研究所とヨーク大学が運営 23/37
- 24. PROSPEROでプレレジしてみたが… ◼ 「精神疾患の潜在的スティグマ」に焦点を当てたメタ分析 について，プレレジを申請 ◼ 登録時から，「英国の研究を優先」と宣言される • 「20営業日中には返事します」の自動返信 ◼ 遅れに遅れ，申請から3か月後にようやく公開される • 状況確認でメールすると，「申請が殺到して大変なんだ！」 「急ぐならOSFでも使ってくれ！」と，殺気立った返信がくる (※ この返信だけはスピーディー) 24/37
- 25. PROSPEROのいま (2022年7月末時点) ◼ 窓口がいっそうパンク，運営者の悲痛な叫びが並ぶ • 「COVID-19のメタ分析を最優先」と宣言 • 「スコーピングレビューはやめて！」「本当に必要なとき以外 メールしないで！」との注意書き • 「30日以上待たせた案件は，自動チェックで処理」とも (※ 承認制とは・・・？) 25/37
- 27. プレレジが研究者にもたらす安心感 ◼ 見通しをもったうえで解析を進められる • 「何の目的のために，どの変数を用いて，どのアプローチに基づ いて解析するか」という基本がぶれずに済む • 基本が定まっているので，「実データを相手にした試行錯誤」の ときも，「迷走」にはならずに済む ◼ データに触れる前から，「論文を部分的に執筆できた」 かのような満足感を得られる • 解析で力尽きた後の「筆が全然進まない」問題を回避できる • 「共著者のプレレジ承認」が力になり，前向きに進んでいける 27/37
- 28. プレレジは「不完全」でも良い ◼ OSFなどは，制度設計上，「不完全なプレレジ」を許容 している • 自由記述でもテンプレでも，わかる範囲で書けばプレレジは完了 できる • 計画変更があった場合も，「追加プレレジ」「論文内での説明」 等の手段が使える ◼ 「不完全なプレレジ」で見通しを整えたからこそ，その後 の試行錯誤が楽しくなる • 「プレレジすると自由が奪われる」論は，単なる思い込みでは？ 28/37
- 29. 逆に…「完璧なプレレジ」は良いもの？ ◼ 完璧に計画通り ≠ 良い研究 • 「データに触る前から予見できる程度のことしかできていない」 という，面白みに欠ける研究かもしれない • 「計画通りに，信頼性の低い測定を実施」などもあり得るので， 結果の再現性を担保するものではない ◼ 「完璧なプレレジ」を演出しようとして，新手の研究不正 も横行しかねない • 「研究結果を得てからの『プレレジ』」の横行が懸念され， PARKingという用語まで生まれている (Parsons et al., 2022) 29/37
- 30. 学会レベルで必要だと思ったこと① ◼ 「何のためにプレレジを推進するのか」という目的意識は， 改めて明確化した方が良い • プレレジ後に試行錯誤があり得るので，「研究者自由度の 最小化」「方法の再現性の担保」が実現するとは限らない • プレレジ通りの研究でも，「結果の再現性」は担保できない ◼ 「質の高い心理学研究を増やす」という目的意識に回帰 すればうまくいくかも？ • プレレジは，質向上のための「ベターな手段の1つ」 • プレレジがもつ価値は，「再現性向上」以外にもあるのでは？ 30/37
- 31. 学会レベルで必要だと思ったこと② ◼ プレレジ推進の中長期ロードマップがあると良い • いきなり「プレレジの品質管理」に乗り出すのは無謀 • Psychological Scienceの取り組み (Bauer, 2022) を参考に，「プレ レジした研究の割合をとにかく増やす」から始めてみては？ 31/37
- 32. 学会レベルで必要だと思ったこと③ ◼ 「不完全なプレレジ」を含め，わからないなりの試行錯誤 を認める環境づくりが必要では？ • 心理学自体が過渡期で，プレレジに限らず，多くの人が試行錯誤 しているので・・・ ◼ 特に，査読・編集レベルでの意識改革が進んでほしい • 「オープンに，誠実に書く」ことを実践すると，揚げ足取りの ようなコメントを返す査読者がいる • 「査読者はこう言っているが，むしろ私は背中を押したい」と 言える気概が編集者にないと，なかなか進まないのでは？ 32/37
- 33. まとめのメッセージ ◼ ユーザーに向けて • プレレジでも，「わからないなりの試行錯誤」はOK • プレレジして損することはあまりない • 「不完全」で良いので，試しにプレレジしてみると良いのでは ◼ 「学会レベルのテコ入れ」を図る研究者に向けて • 「プレレジ済み ≠ 方法・結果の再現性が高い」が大きな気づき • 「プレレジ推進の中長期ロードマップ」があるとありがたい • 編集・査読の段階でも「わからないなりの試行錯誤」を認める よう，テコ入れするべきでは 33/37
- 34. 文献 Bauer, P. J. (2022). Psychological science stepping up a level. Psychological Science, 33(2), 179–183. https://doi.org/10.1177/09567976221078527 Epskamp, S., Borsboom, D., & Fried, E. I. (2018). Estimating psychological networks and their accuracy: A tutorial paper. Behavior Research Methods, 50(1), 195–212. https://doi.org/10.3758/s13428-017-0862-1 長谷川 龍樹・多田 奏恵・米満 文哉・池田 鮎美・山田 祐樹・高橋 康介・近藤 洋史 (2021). 実証的研究の事前登録の現状と実践―OSF 事前登録チュート リアル― 心理学研究, 92, 188–196. https://doi.org/10.4992/jjpsy.92.20217 Ito, M., Oe, Y., Kato, N., Nakajima, S., Fujisato, H., Miyamae, M., . . . Norman, S. B. (2015). Validity and clinical interpretability of Overall Anxiety Severity and Impairment Scale (OASIS). Journal of Affective Disorders, 170, 217–224. https://doi.org/10.1016/j.jad.2014.08.045 34/37
- 35. 文献 樫原 潤 (2019). 精神病理ネットワークの応用可能性―うつ病治療のテイラー化を 促進するために― 心理学評論, 62(2), 143–165. https://doi.org/10.24602/sjpr.62.2_143 樫原 潤・伊藤 正哉 (2022). 心理ネットワークアプローチがもたらす「臨床革命」 ―認知行動療法の文脈に基づく展望― 認知行動療法研究, 48(1), 35–45. https://doi.org/10.24468/jjbct.20-015 Kashihara, J., & Sakamoto, S. (2018). Reducing implicit stigmatizing beliefs and attitudes toward depression by promoting counterstereotypic exemplars. Basic and Applied Social Psychology, 40(2), 87–103. https://doi.org/10.1080/01973533.2018.1441714 Kashihara, J., Takebayashi, Y., Kunisato, Y., & Ito, M. (2021). Classifying patients with depressive and anxiety disorders according to symptom network structures: A Gaussian graphical mixture model-based clustering. PLOS ONE, 16(9), e0256902. https://doi.org/10.1371/journal.pone.0256902 35/37
- 36. 文献 Kashihara, J., Yamakawa, I., Kameyama, A., Muranaka, M., Taku, K., & Sakamoto, S. (2019). Perceptions of traditional and modern types of depression: A cross- cultural vignette survey comparing Japanese and American undergraduate students. Psychiatry and Clinical Neurosciences, 73(8), 441–447. https://doi.org/10.1111/pcn.12838 Parsons, S., Azevedo, F., Elsherif, M. M., Guay, S., Shahim, O. N., Govaart, G. H., ... & Aczel, B. (2022). A community-sourced glossary of open scholarship terms. Nature Human Behaviour, 6(3), 312–318. https://doi.org/10.1038/s41562-021-01269-4 van den Akker, O. R., Weston, S., Campbell, L., Chopik, B., Damian, R., Davis- Kean, P., ... & Bakker, M. (2021). Preregistration of secondary data analysis: A template and tutorial. Meta-psychology, 5, MP.2020.2625. https://doi.org/10.15626/MP.2020.2625 36/37
- 37. ※本発表は，JSPS KAKENHI (課題番号: 20K14171; 21H05068) の助成を受けて実施されたものです。 ※本発表について，開示すべき利益相反関連事項はありません。 Thank you！ 37/37