JPA 2020 若手の会シンポ平石＆中村スライド

大会論文てどうなの？研究平石界慶應義塾大学
中村大輝広島大学
日本心理学会第84回大会若手の会企画シンポジウム「若手が聞きたい再現可能性問題の現状とこれから」東洋大学online 2020年9月9日

（概要）科研申請書より
社会⼼理学の教科書に載るような知⾒の頑健性が疑われ
ると同時に、その背景に「問題のある研究慣習」のあるこ
とが指摘されている。科学としての社会⼼理学の進展のた
めに、それを⽀える「確実な知⾒」を確認する作業が必要
である。本研究は、国内学会⼤会発表という「研究の裾
野」において蓄積されて来た⼤量の情報のメタ分析を⾏う。
更に必要性が認められたテーマについて追試を実施し、全
てのデータを国内外に公開する。⽇本という独⾃の⽂化的
背景を持つ⺟集団についての、公刊バイアスの影響の⼩さ
い、⽇本語圏外に閉じられてきた情報を、整理・分析・追
試・公開することで、社会⼼理学の基盤の確認と再構築に
向けた国際的な動きに、独⾃性のある貢献を果たす。
平⽯界（慶應⼤）
三浦⿇⼦（⼤阪⼤）
樋⼝匡貴（上智⼤）
藤島喜嗣（昭和⼥⼦⼤）
須⼭巨基（慶應⼤）
中村⼤輝（広島⼤）

研究計画
第1段階国内で蓄積されてきた社会⼼理学の知⾒の全体像を捉える。
?どの研究分野で、メタ分析に堪えうる情報が提供されているのか。
第2段階選別した対象テーマについて、⼤会発表論⽂のメタ分析を⾏う。
?コーディング天国
第3段階事前登録つきの追試を実施する。
?メタ分析から頑健さが確認された知⾒をターゲットにする予定。
第4段階収集したデータの公開段階
?（投稿料を取らない英字誌に出そう。ほら、あそことか…）
①対象テーマ選出
②メタ分析 ③追試 ④公開 ②メタ分析 ③追試 ④公開
…
…
…

まずは裾野の状況を知ることだ
● 統計的メタ分析に耐えうる情報は報告されているのか。
○ 統計値は記述されているのか。
○ Nは記述されてるのか。サブグループのnはどうなのか。
○ 平均値、分散情報はどうなんだ。
○ pは報告されているのか。効果量はどうなんだ。

第⼀段階進⾏中
明確でない仮説。
追加される分析。
調整されないピーチ。
省略されるティーチ。
計算するしかない効果量。
パスワードのかかった
PDF。
・・・などなどと格闘中。

プロトコル作成
● PRISMA-Pに準じた形でプロトコルを整理
● Preferred Reporting Items for Systematic Review and Meta-Analysis Protocols
( Moher et al., 2015).
● もともとは医学研究におけるSystematic Reviewのガイドラインとして策定。
● ⼼理学系のガイドラインは必要か︖
● APA manual (7th edition)にもガイドライン的なものがあるが、⼈気はない。
● ⾃分たちでプロトコルを決めてからPRISMA-Pを⾒たら、ほぼ全て該当していた。
● 必要なのはCertaintyの評価ガイドラインでは︖
● GRADE (Grading of Recommendations, Assessment, Development and
Evaluations).
● GRADE has four levels of evidence – also known as certainty in evidence or
quality of evidence: very low, low, moderate, and high
(https://bestpractice.bmj.com/)

Methods
● Eligibility criteria
○ ⽇本⼼理学会（社会・⽂化分野）と⽇本社会⼼理学会の⼤会発表論⽂集に掲載
されたポスター発表が対象。
○ 2013年: Perspectives on Psychological Science誌の再現可能性特集号
○ 2018年:この間「⼼理学評論」における再現性特集号（2016年）などの刊⾏。
○ ⽅向性のある仮説をもつ実験研究に限定する。
○ いずれの情報もオンラインから全て収集可能。
● Selection process
○ 2⼈の独⽴したcoder。
○ 2018年度の499件のうち100件を2名が独⽴にレビューを実施。意⾒が不⼀致
であったものを全メンバーで検討して、coding ruleを設定した。
○ その後のコーディングは1件につき1coderが担当する。

⽅向性の定まった仮説︖
● Directed hypothesis
○ 要因A（2⽔準）と要因B（2⽔準）の計画
○ 要因AにおいてA1 > A2 の主効果が予測された。
○ 要因Aと要因Bの交互作⽤が予測された。B1におけるAの単純主効果が、B2における
それよりも弱まると予測された。
● Non-directed hypothesis
○ 要因A（2⽔準）と要因B（2⽔準）の計画
○ 要因Aにおける主効果が予測された（え、どっちが⼤きいの︖）
○ 要因Aと要因Bの交互作⽤が⽣じる可能性が考えられた（え、どういう交互作⽤︖）
○ どこかで何かが⽣じるかもしれないと考えられた。
● Nothing
○ 本当に何も仮説らしきものが⾒当たらないもの。
● 信頼ベースで分類
○ 書かれている通りに仮説が⽣成されたことを前提にします。

Data item
● 情報の有無を、ターゲットを絞って分類中。
○ サンプルサイズ
○ 統計量
○ ⾃由度
○ p value
○ 有意だったか否か
○ 効果量
● １報告に複数の調査、複数の効果が報告されていることも。
○ Study 1, Study 2…
○ Effect 1, Effect 2…

コーディング中の気づき１｜曖昧な仮説
やはり、仮説が書かれているかどうかの判断が難しい
● 〜という結果になるだろう（directed）
● 〇〇仮説を場⾯を変えて検証しよう（directed）
● Aと主張する研究とBと主張する研究があるので、
どちらが正しいか検証しよう（directed）
● 先⾏研究はこうなっていた。だから〜の実験をする。（non-directed）
● どちらが⾼いか分からないが、何かしら差があるかも（non-directed）
→読者が察することが前提の曖昧な仮説表現が多くみられる。

コーディング中の気づき２｜統計量の記載
● メタ分析に必要な情報の不⾜
○ 効果量
○ 条件ごとのn
○ 条件ごとの平均・分散
● p-curve analysis に必要な情報の不⾜
○ 明確な仮説
○ 仮説に対応するP値（×Alpha-level）
○ 統計量と⾃由度
● 限られたページ数の中で、将来の統合に向けてどのような情報を⽰して
おく必要があるかを共有していく必要があるかも

Syntesis
● 単純な集計結果
○ meta-analysisに耐えうる情報が、何割の
発表論⽂に報告されているか。
● P-curve analysis
○ selective reportingが⾏われていないかを
検討。
○ p を再計算できる情報が記載されているも
のに限定した場合。
○ p だけが記載されているものも含めた場合。
○ pを報告 vs. alphaを報告
● 研究テーマごとに...
○ 単純集計
○ p-curve analysis
ぎり5%!
ひゃっはー！

何がしたいの︖
● ⼤会論⽂をつっついて、⼀体何がしたいの︖
● ⼤会発表論⽂のプレゼンス
○ 「しょせん学会発表でしょ」はプロの視線。
○ 世間⼀般では、学会発表でもそれなりの“権威”が付与さ
れている実情（J-STAGEで公開、学⽣も⾒る︕）
● 救える／掬えるものは救う。
● 駄⽬だったものは反省して、改善する。
● そのための基礎データをまずは集める。
● 苦労を意味あるものとするために。
○ 知識の蓄積に貢献して、はじめて科学。
○ ⼤会論⽂を⼆次利⽤（”リサイクル“）可能なアーカイブ
として整備できたら。

Open Science
● 企画者からのコメント（意訳）
● 著者の年齢層や直近で刊⾏した論⽂数によるメタ回帰分析を⾏う予定は︖
● ⼤会優秀賞に選ばれた学会発表との違いなどが気になる…
● データの公開によって対応できたら
● 著者プロフィールとの対応は、技術を持っている⼈なら簡単にできるのかもしれず、それな
ら、そういう⼈にやっていただくのがベスト。そのためにもデータを公開する。
● 企画者からのコメント（意訳）
● 学会発表で⾒開き３〜４⾴などにする（ことで、裾野の状況を改善できるのでは）︖
● データ公開を推進するべきでは︖
● データ公開を原則とするような、⼼理学研究のための研究倫理指針が必要では︖（平⽯）
● synthetic dataset のように、同じ特徴を持ったランダムデータを公開する⽅法も（中村）

Prereg posters
● データが収集される前に、研究計画について学会で発表
する
● 発表者は参加者から研究の仮説、デザイン、分析⽅法に
関するフィードバックを受けることができる
● プレレジ・ポスターが、計画された研究についての議論
を促進し、オープンサイエンスを奨励し、若⼿研究者に
利益をもたらす（Brouwers et al., 2020）
https://doi.org/10.1038/s41562-020-0868-z

まとめ
● ⽇本⼼理学会、⽇本社会⼼理学会の⼤会論⽂のsystematic reviewを⽬指
して活動中。
● ⼤会発表は「蓄積可能な知識体系」に貢献するものとなっているのだろ
うか。
● ⼼理科学の発展を考えたときに、⼤会発表はどうあるべきだろうか。
● 発表内容のOpen化（Open material, data, code）の促進。
● 研究計画の検討の場としての学会発表を提案したい。
結果が分かってな
くても、いいじゃ
ない。

Funding, Collaborators
平⽯界（慶應⼤）
三浦⿇⼦（⼤阪⼤）
樋⼝匡貴（上智⼤）
藤島喜嗣（昭和⼥⼦⼤）
須⼭巨基（慶應⼤）
中村⼤輝（広島⼤）

Q & A Slidoでいただいた質問に
回答しました。

臨床⼼理学系データの場合はオープンデータが難しくなることがあり
ます。この点ではなかなかなじまないので⼆次分析も困難⽇と思いま
した。プレレジポスターは、臨床系の⼼理学（量的研究、質的研究）
でもあればいいですね。コメントで失礼しました。素晴らしいシンポ
の議論をありがとうございます。
l 有難うございます。研究アプローチ（質的・量的）に関わらず、⼀定の投資をしてしまう
前に、研究室外の⼈からも意⾒をもらえる場が設けられたら良いと思います。最近では、
お⾦を払って⾃分の研究にcriticalなコメントをしてもらうという試み（Red team）も⾏
われています。「やってしまう前の投資」を考えてみる必要があると思います。
Ø Leonid, L. D. T. (n.d.). The Red Team Challenge (Part 3): Is it Feasible in Practice? Retrieved
September 14, 2020, from http://daniellakens.blogspot.com/2020/07/the-red-team-
challenge-part-3-is-it.html
l 事前登録などは、より広くは研究の透明性の問題であると考えています。⼼理学者が⼈間
の認知（思考、記憶）に歪みがあると主張するなら、⼈間である⼼理学者が⾏う”科学的
研究”には、そうした歪みを取り除く仕組みが必要です。そして、仕組みを考える上での
基本的な発想が透明性の確保だと考えています。

平⽯先⽣・中村先⽣︓ プレレジポスターは、とても価値的な場であ
ると思う⼀⽅で、現在申請書等で学会発表が業績の⼀つに含まれてい
る現状を踏まえると、研究・解析まで⾏った学会発表と研究デザイン
までの学会発表の業績が同⼀に評価されるのはアンフェアーだと思う
のですが、こちらの点どのように切り分けができるのかについて伺い
たいです。
l 学会発表にせよ、論⽂にせよ、タイトルにそうした情報を含めることを
ルール化する（少なくともガイドラインで明⽰する）のが良いのではな
いかと考えています。
l 例えば、医学分野で系統的レビュー＆メタ分析のガイドラインとして提
唱されたPRISMA (Preferred Reporting Items for Systematic
Reviews and Meta-Analyses)では、タイトルに systematic review,
meta-analysis という⽂⾔を含めることを推奨しています。
l https://journals.plos.org/plosmedicine/article?id=10.1371/journal.pmed.100
0100
l 同様にプレレジポスターについては「事前登録」といった⽂⾔を含める
ことを、学会側として要求するのが良いのではないでしょか。

⼼理学って、分野が⼀丸となって問題視している
「ヒルベルト問題」みたいなものがほとんどないと
思うのですが、その現状で現実的な「分業」のあり
⽅についてご意⾒を伺いたいです。
l 平⽯個⼈としては、時代はもは「事前登録やる、やらない︖」な
どという時期は過ぎていて、⼼理学におけるヒルベルト問題の設
定、もしくは強い理論の確⽴という所に来ているのではないかと
考えています。
l https://twitter.com/chbergma/status/928960816589746182
l 「強い理論」については、池⽥・平⽯（2016）をご覧ください。
l 池⽥功毅, & 平⽯界. (2016). ⼼理学における再現可能性危機︓問題の構
造と解決策. ⼼理学評論, 59(1), 3–14.
https://doi.org/10.24602/sjpr.59.1_3

プレレジポスター、ぜひ発表してみたいと思いつつ、プレ
レジポスターで投稿された研究計画と同じ研究が他著者に
よって論⽂に掲載されるという可能性もあり、少し警戒す
る⼈もいるかもしれない…と思ってしまうところがありま
す。
l プレレジポスターとはつまり研究計画、アイディアの事前登録を学
会発表という形で⾏うわけですから、アイディアがパクられる危険
性は、むしろ低下するのではないかと思います。
l 実際、密室で⾏われている論⽂査読を通じてアイディアがパクられ
たという訴えは（その真偽はともかく）、時に⽿にするところです。
プレレジポスターによって透明性が⾼まることで、むしろunfairな
ことは減ると考えています。

オープンデータはどこまでを含めるのでしょうか︖分析対
象のローデータでOKですか︖実験者の判断が介在するデー
タの場合の対応を知りたいです。例えば，単語再⽣テスト
の正誤は，実験者の判断結果なのでバイアスを排除できま
せんが（どこまで誤字・脱字を正答とするかなど），
（紙）回答すべて（真のローデータ）をデジタル化も難し
いなと。
l 実験者の判断を透明に⽰すことがオープンデータの意味ですから、真の
ローデータを公開することが望まれます（スキャンPDFなど）。少なく
とも、明確な判断基準（プロトコル）を作成し、それとともに、電⼦化
されたデータを公開できると良いのではないでしょうか。

学会発表論⽂集⽤の注意書きに「平均値、SD
はできる限り報告してください」と⼀⾔ある
だけで、おそらく報告がぐんと増える気がし
ます。
l そうですね。平均などが該当しないデータ（名義尺度）
などもあるでしょうから、代表値、散布度の報告を求め
ると良いのでしょう。賛成です。

@平⽯先⽣・中村先⽣︓プレレジ・ポスターというのは有
益なアイデアだと思いました。ただ、学会発表は年に⼀度、
申し込んでから数か⽉後に発表という現在のスケジュール
感から考えると、業績を早く築かなければならない若⼿が
利⽤するのには困難があるようにも思えます。このあたり
をどのように解消すればよいでしょうか︖
l これは⼤会を開催する側の問題ですね。プレレジポスタ
ーについては、分野と⼤まかなテーマだけで申し込める
ようにするのが良いのではないでしょうか。つまり発表
する内容は、その時点での最新の計画ということです。
l ポスターを⾒る側としても、会場に⾏ってみるまでどん
なアイディアが陳列されているか予想がつかず楽しいの
ではないかと。

コーディング作業しやすかった論⽂集抄録は、具体
的にどのようなものでしょうか︖序論や考察は少な
めで、図も少なく数値が詳細に書かれてあるもので
しょうか︖研究内容のわかりやすさ、抄録としての
読みやすさとは両⽴しますか︖
l 仮説が明確に述べられていることが鍵かと思います。ここで「明確」と⾔ってい
るのは、⾃分たちがどこまで具体的な予測を持っているのか、もしくは持ってい
ないのかを、著者が明確に述べているということです。例えばAとBという条件
によって⽬的変数が影響を受けると⾔う仮説について、A > B なのか A < B な
のかは予測できていない（⽅向性を持った予測がない）時に、「⽅向性を持った
予測はない」と明確に述べてあることが重要です。（平⽯）
l 仮説に対応する検証的分析と後から追加された探索的な分析が明確に分けられて
いるものがコーディングしやすかったです。反対に、両者が明確に分かれていな
いものは、どの分析が仮説に対応するもので、どの分析が探索的に⾏われたもの
なのかが分かりづらかったです。（中村）

科学としてあるべき姿を探究する姿勢は⼤変共感と賛同をするもの
ですが、⼿続きやルールばかりが増えて、学部⽣などが研究の魅⼒
に気づく前にしんどさを感じてしまい、脱落していくことを危惧し
ます。将来的には、初学者向けのtodoリスト的なまとめられたマ
ニュアル的なものが公開されると嬉しいですね。
l 科学とは⼿続きやルールを定めることで、コミュニティで協⼒して知識を積み
上げる営みであると考えます。そのことの魅⼒をこそ学部⽣に伝えるべきでは
ないでしょうか。安易な⼿続きにもとづく「研究の魅⼒」なるものだけを学⽣
に味わわせるのであれば、科学リテラシーを社会に求めることなど、出来よう
はずもないと考えます。
l 初学者向けの to do リスト作成には⼤賛成です。その前段階として、⼼理学
教育で何を教えなければならないのか、⾒直しが必要です。例えば三浦先⽣の
書籍や、Beth Morling先⽣の論⽂が参考になる（今後の標準とならねばなら
ない）と考えています。
p 「なるほど︕ ⼼理学研究法」三浦⿇⼦北⼤路書房
http://www.kitaohji.com/topics/topi_basic.html
p Morling, B., & Calin-Jageman, R. J. (2020). What Psychology Teachers Should
Know About Open Science and the New Statistics. Teaching of Psychology , 47(2),
169–179. https://doi.org/10.1177/0098628320901372

⼤会発表論⽂の重要性もわかりますし，仮説など明⽰でき
ればいいとも思うのですが，⼀⽅で「字数制限のため，必
要事項さえも⼗全に書ききれない」ということはあると思
います。データ公開も理想的ではありますが，その分，学
会デビューの⼈を中⼼に負担は増えるのかなと。科学性の
担保と発表負担のバランスについては，どうお考えでしょ
うか︖
l 何らかのデータをもって研究報告を⾏うのであれば、報告内容のオ
ープン化に⼀定の責任を負うということを、学会発表を⾏うレベル
の学⽣には求めて良いのではないかと考えます。これまで⾃分が関
わってきた学⽣たちを思い返せば、学会発表できるレベルの学⽣な
ら、その程度のことには、きちんとアジャストできると思います。
l そして、それより少し⼿前の学⽣には、プレレジポスターという形
で学会デビューしてもらうのが、将来の研究者を育てることを考え
ると、良いのではないかと思っています。

JPA 2020 若手の会シンポ平石＆中村スライド

Recommended

Recommended

More Related Content

What's hot

What's hot (8)

Similar to JPA 2020 若手の会シンポ平石＆中村スライド

Similar to JPA 2020 若手の会シンポ平石＆中村スライド (20)