Recommended
More Related Content
What's hot
What's hot (20)
170707- bias
- 1. 集合知の理論的・実践的 改良案の検討 東京大学大学院 植田研究室 博士１年 藤崎 樹 共同研究者：本田 秀仁，植田 一博 第２回他者モデルと認知バイアス研究会
- 3. ここで扱う集合知 • Wisdom of crowds (Surowiecki, 2004) 「みんなの意見」をまとめ， 処理したものが極めて正確に –数値推定：平均値 –選択肢推論：多数決
- 7. ２つの問題点 • 理論的側面： 意見を集めるほど 不正確になるケース有 • 実践的側面： 実生活では， 普通利用できない 両者の改良案を検討 ともに，バイアスの解消が裏テーマ 研究① 研究②
- 10. 2. 流暢： Fluency heuristic (Hertwig et al., 2008) 甲府市 北杜市 流暢に 再認！ 甲府市 北杜市 馴染み 深い！ 1. 再認： Recognition heuristic (Goldstein & Gigerenzer 2002) 甲府市 北杜市 再認！ 3. 馴深： Familiarity heuristic (Honda et al., 2011)
- 11. ストラテジーの比較 (Honda, Matsuka & Ueda, 2017) 甲府市 北杜市 ４つのストラテジー 1. 再認 2. 流暢 3. 馴染 ＋ 知識 を利用した場合の 適応性を比較検討 (n = 107) ？ 全210問
- 12. 実験手続き 甲府市 北杜市 二択課題 再認 テスト 馴染み深さ の計測 北杜市 ◯ or ✕ 北杜市 1~100 もし参加者が◯◯のストラテジーを 使ったら……のデータget 人口数 推定 北杜市 人 (=知識)
- 13. Adaptive nature Some biased question 適応的性質 個人の推論結果 馴染 流暢 再認
- 14. Adaptive nature Some biased question 適応的性質 個人の推論結果 馴染 流暢 再認 一部バイアス
- 15. 馴染 流暢 再認 集団での意思決定（藤崎, 本田 & 植田, 採録決定） ※６人
- 16. 馴染 流暢 再認 集団での意思決定（藤崎, 本田 & 植田, 採録決定） ※12人
- 17. 馴染 流暢 再認 集団での意思決定（藤崎, 本田 & 植田, 採録決定） ※30人
- 18. 馴染 流暢 再認 集団での意思決定（藤崎, 本田 & 植田, 採録決定） ※60人
- 19. 集合知 馴染 流暢 再認 集団での意思決定（藤崎, 本田 & 植田, 採録決定） ※90人
- 20. 集合知 馴染 流暢 再認 集団での意思決定（藤崎, 本田 & 植田, 採録決定） ※90人 集合知の効果を弱める
- 22. 集合知系研究の知見 • 多様性 (diversity) が集合知の質を左右する 判断・意思決定分野 1. 推定値の多様性 –Krause et al.(2011) –Lorenz et al.(2011) 2. 探索された手がかりの多様性 –Luan et al.(2012)
- 24. 本研究の仮説 • 集団内での（適応的）ストラテジーの 多様性 例：Qxx 流暢 ・・ ◯✕ ✕ ◯ ◯ ◯ 個人 正答率 40% 100%馴染
- 25. 計算機シミュレーションの概要 • 個人の推論データ：Honda et al.(2017) 流暢・馴染・知識のどれかを利用 再認は除外 計算機上で集団意思決定 –グループサイズの操作： (1), 6, 12, 30, 60, 90人 –意思決定ルール： 多数決(Hastie & Kameda, 2005)
- 26. 条件：ストラテジーの多様性 1. 多様性ゼロ：6x条件 6人全員が共通のストラテジー 2. 多様性中 ：3x3y条件 3人があるストラテジー， もう3人が別のストラテジー 3. 多様性最大：2x2y2z条件 2人が流暢，2人が馴染，2人が知識 正答率の期待値を比較(1人では同じ値)
- 27. 全107名 ・・・ ・・・
- 28. 全107名 ・・・ ・・・①
- 29. 全107名 ・・・ ・・・① ストラテジー： 流暢 流暢 馴染 馴染 知識 知識 ②
- 30. 全107名 ・・・ ・・・① ストラテジー： 流暢 流暢 馴染 馴染 知識 知識 ② 【問題】 Q1 ◯ ◯ ◯ △ △ ✕③
- 31. 全107名 ・・・ ・・・① ストラテジー： 流暢 流暢 馴染 馴染 知識 知識 ② 【問題】 Q1 Q2 … Q210 ◯ ◯ ◯ △ △ ✕ ◯ ◯ △ △ ✕ ✕ ・ ・ ③ ✕ ✕ ✕ ✕ ✕ ✕
- 32. 全107名 ・・・ ・・・① ストラテジー： 流暢 流暢 馴染 馴染 知識 知識 ② 集団 意思決定 【問題】 Q1 Q2 … Q210 ◯ ◯ ◯ △ △ ✕ ◯ ◯ ◯ △ △ ✕ ✕ △ ・ ・ ③ ④ ✕ ✕ ✕ ✕ ✕ ✕ ✕ ・ ・
- 33. 全107名 ・・・ ・・・① ストラテジー： 流暢 流暢 馴染 馴染 知識 知識 ② 集団 意思決定 【問題】 Q1 Q2 … Q210 ◯ ◯ ◯ △ △ ✕ ◯ ◯ ◯ △ △ ✕ ✕ △ ・ ・ ③ ④ ⑤ ✕ ✕ ✕ ✕ ✕ ✕ ✕ ・ ・
- 34. 全107名 ・・・ ・・・① ストラテジー： 流暢 流暢 馴染 馴染 知識 知識 ② 集団 意思決定 【問題】 Q1 Q2 … Q210 ◯ ◯ ◯ △ △ ✕ ◯ ◯ ◯ △ △ ✕ ✕ △ ・ ・ ③ ④ ⑤ ×1000 ✕ ✕ ✕ ✕ ✕ ✕ ✕ ・ ・
- 35. 多様性が高いと正答率より上昇
- 36. 問題ごとの分析 • 多様性↑で正確になった問題を抽出 –比較：6xと2x2y2z –対象：90人で，0.1以上正確になった問題 –210問中32問 各ストラテジーの正答率の推移も あわせて表示
- 44. ひとりで集合知 • Wisdom of crowds in one mind (Rauhut & Lorenz, 2011) 推定１ 推定２ 平 均 化 ブレを引き出すよう働きかける！ 異なる推定は生まれにくい (Herzog& Hertwig, 2009)
- 45. 先行研究の手法 1. タイムスパン(Vul & Pashler, 2008) 推定１ 推定２ ２週間後
- 46. 先行研究の手法 1. タイムスパン(Vul & Pashler, 2008) 2. 教示(Herzog & Hertwig, 2009) 推定１ 推定２ 推定１ 推定２ ２週間後 • はじめに，最初の推定が的外れだったと思っ て下さい．次に，ではそれは なぜか，いくつか理由を考えて下さい． 3つめに，これらの考えが意味するものを想像 して下さい． • 最初の推定は小さすぎたのでしょうか， それとも大きすぎたのでしょうか？最後に，こ の新たな視点をもとに，2 回目の推定を行っ て下さい． [1回目の推定値を提示]
- 47. 先行研究の手法 1. タイムスパン(Vul & Pashler, 2008) 2. 教示(Herzog & Hertwig, 2009) 推定１ 推定２ 推定１ 推定２ ２週間後 • はじめに，最初の推定が的外れだったと思っ て下さい．次に，ではそれは なぜか，いくつか理由を考えて下さい． 3つめに，これらの考えが意味するものを想像 して下さい． • 最初の推定は小さすぎたのでしょうか， それとも大きすぎたのでしょうか？最後に，こ の新たな視点をもとに，2 回目の推定を行っ て下さい． [1回目の推定値を提示] 簡便な手法とは言いがたい 代替案の提唱が目的
- 49. 本研究の手法 • 他者の視点から推定させる –Perspective-taking （社会心理学など）： 他者視点だと印象・選好などが変わる！ • 他者：世間一般 推定１ 推定２ 他者の視点 以下の問に関して，世間一般の人は どのくらいに推定すると思いますか？ 世間一般の人がどのように推定するか， ということをよく考えた上で，回答してください．
- 50. なぜ「世間一般」か？ 1. 「世間と自分は違う！」という信念 (Svenson, 1981) 2. 推定に自信がある時もブレを引き出せる？ – 人は時に自信過剰に陥る(e.g., Koriat et al.,1980) 実験で検討 3. 人は視点が切り替わらない (Leboeuf et al., 2011)
- 51. なぜ「世間一般」か？ 1. 「世間と自分は違う！」という信念 (Svenson, 1981) 2. 推定に自信がある時もブレを引き出せる？ – 人は時に自信過剰に陥る(e.g., Koriat et al.,1980) 実験で検討 3. 人は視点が切り替わらない (Leboeuf et al., 2011) • Herzogらの手法 自身の推定を回答 ブレない？ • 本研究の手法 他者の推定を回答 ブレる？
- 52. Questions • 本研究の手法は，先行研究の手法に比べ… 1. 正確な推定を生むか？ 2. 認知的に容易か？ 3. 自信がある時もブレを引き出せるか？
- 53. 実験手続き • 同じ問題を２回推定 推定１ 自分自身 本研究の 手法群 先行研究の 手法群 統制群 • 「世間一般」の 視点から推定 • Herzogらの手法 １回目の推定が間違い だと仮定し，その理由を 考え，それが意味するも のを想像しetc. • 教示なしで 再度推定 • ベンチマーク として設置
- 54. 実験概要 • 課題：一般的な推定課題 • 実験１：Web調査 – 452名, 8問 （Vulらの研究と同一） • 実験２：実験室実験 – 77名, 20問 （8問 + 12問, Herzog & Hertwig, 2014と同一） 回答時間，推定の自信も記録 e.g.) 世界中の空港のうち， 何％がアメリカにありますか？ （正解：32.31%）
- 55. 1. 手法の正確性 分析 • 指標：平均化による誤差の減少率 –% MAD reduction averaging (Herzog & Hertwig, 2014) 推定１の誤差：10 平均値の誤差：6 減少分 例
- 56. 1. 手法の正確性 分析 • 指標：平均化による誤差の減少率 –% MAD reduction averaging (Herzog & Hertwig, 2014) 推定１の誤差：10 平均値の誤差：6 減少分 10 - 6 10 × 100 = 40% 例
- 57. 1. 手法の正確性 分析 • 指標：平均化による誤差の減少率 –% MAD reduction averaging (Herzog & Hertwig, 2014) 推定１の誤差：10 平均値の誤差：6 減少分 10 - 6 10 × 100 = 40% 平均値の誤差：12 増加分 例
- 58. 1. 手法の正確性 分析 • 指標：平均化による誤差の減少率 –% MAD reduction averaging (Herzog & Hertwig, 2014) 推定１の誤差：10 平均値の誤差：6 減少分 10 - 6 10 × 100 = 40% 平均値の誤差：12 増加分 10 - 12 10 × 100 = -20% 例
- 59. • 本研究の手法群は… 1. 個人内で集合知が生み出された （95%CIが正; web = [0.03, 4.98]; 実験室 = [0.75, 9.90]） 2. 統制群に比べ正確に (ps < .01) 3. 先行研究の手法群と少なくとも同等以上正確に (平均値がともに本研究＞先行研究; ps > .1) (検定はpairwise-Wilcoxonの順位和検定，Bonferroni法で調整) ※以後，エラーバーは95%CI ブートストラップ法 (1万回の繰り返しを許すリサンプリング) により算出
- 60. 2. 手法の認知的な容易さ 分析 • 指標：合計回答時間 ２回目の推定20問にかかった合計時間 を参加者ごとに算出 （※実験室実験のみ）
- 61. • 本研究の手法群は，合計回答時間が – 先行研究の手法群より短い (p < .05) – 統制群より長い (p < .001) (検定は対数変換しpairwise t-test, Bonferroni法で調整)
- 62. 3. 推定の自信とブレの関係 分析 • 仮説： 本研究の手法は，自分の推定の自信に かかわらずブレを引き出せる • 推定１の自信を回答 (1 ~ 100) 推定のブレ（推定１と２の差）との関係をみる 相関係数を参加者 ごとに算出 （※実験室実験のみ）
- 63. 1. 先行研究の手法群，統制群 – 95%CIが負 (順に[-0.30, -0.081]; [-0.21, -0.060]) 自信があるほど，ブレは小さく 2. 本研究の手法群 – 95%CIは負でない ([-0.040, 0.10]) 自信にかかわらず，ブレを引き出せる
- 64. まとめ • 本研究の手法 – 「世間一般」の視点から２回目の推定 1. 正確性 – 先行研究の手法に比べ，少なくとも同等以上 （平均化により誤差が減少） 2. 認知的な容易さ – 先行研究の手法に比べ，回答時間が短い 3. 手法の特徴 – 自信にかかわらずブレを引き出せる
- 65. まとめ • 本研究の手法 – 「世間一般」の視点から２回目の推定 1. 正確性 – 先行研究の手法に比べ，少なくとも同等以上 （平均化により誤差が減少） 2. 認知的な容易さ – 先行研究の手法に比べ，回答時間が短い 3. 手法の特徴 – 自信にかかわらずブレを引き出せる 有効な代替案を提唱できた
- 66. ２つの問題点 • 理論的側面： 意見を集めるほど 不正確になるケース有 • 実践的側面： 実生活では， 普通利用できない 両者の改良案を検討 ともに，バイアスの解消が裏テーマ 研究① 研究②
- 67. ２つの問題点 • 理論的側面： 意見を集めるほど 不正確になるケース有 • 実践的側面： 実生活では， 普通利用できない 両者の改良案を検討 ともに，バイアスの解消が裏テーマ 多様性↑ 研究②
- 68. ２つの問題点 • 理論的側面： 意見を集めるほど 不正確になるケース有 • 実践的側面： 実生活では， 普通利用できない 両者の改良案を検討 ともに，バイアスの解消が裏テーマ 多様性↑ ひとりで 集合知
Editor's Notes
- 藤崎樹と申します． よろしくお願いします． タイトルは，…」
- 私の専門は認知科学，その中でも意思決定科学という分野です． で，これまで集合知をテーマに研究してきました． 集合知というと問題解決とかゲーム理論とか，色んなジャンルで検討されている現象ですが， 意思決定の立場から切り込むと，いう形です．」
- 集合知，いくつかあるんですが， ここで扱うのは”wisdom of crowds”と呼ばれるものです． 右の「みんなの意見は案外正しい」という本によって有名になりました． これは，ある問題について，「みんなの意見」をまとめて， 処理を施すと極めて正確な推定が得られることがあると，いうものです． 処理というのは， 数値を答えさせる問題なら平均値， 選択肢であれば多数決， が有力な手法とされています．」
- 歴史は意外と古く，1907年まで遡ります． 牛の体重を当てるコンテストが行われた． で，正解が1198ポンドであったのに対し，推定の平均値が1197ポンドと極めて正確であったと． こうした現象がその後繰り返し確認されています， でこれ，なんでこうなるのかというと， この場合１人１人は知識不足とかバイアスによって結構不正確な推定をするんですが， この誤差が集団で相殺される，というのが一般的な説明です．」
- （ケース有） これは後ほど説明します．
- 修士課程で，両者の改良案を検討しました． で，今日は２つの研究まとめて発表するという形です． この２つ，一見関連が薄く見えるんですが， ともにバイアスの解消が陰に陽にテーマとなっています． なので両方紹介する意義もあるかなと考えています．」
- これまでの判断・意思決定研究では， たとえば甲府市と北杜市，どちらの人口が大きいかというような問題で， 私たちが使いうるヒューリスティック，経験則というのが，複数提案されています．」
- 主に３つです， この研究では「色々あるぞ」というのが重要で， 個々の中身はさほど大事ではないので，簡単に説明します． １番上が再認と，以下呼びます．正式名称はRecognition heuristic， これは２つの都市のうち１つ，この場合甲府を再認できた場合，そっちの人口が多いと推論すると． 真ん中が流暢, これは２つの都市どっちも再認はできるんですが、 一方をより流暢にできた場合，そちらを選択と． １番下は馴染みと． これもどっちも再認できて，しかし一方がより馴染み深い場合，そちらを選択と． このように，多様なヒューリスティックがあります．」
- 最近，これらを比較する研究が行われました． こういう都市の問題210問について， ４つのストラテジー， 先ほどの３つのヒューリスティックに加え， 人間は知識を使うこともあるぞという議論がありまして， 知識，この４つ これらを参加者が利用した場合の適応性を比較するというものです．」
- 実験手続き， この研究のデータを後ほどつかうので， 少し詳しくをお話します． まず２択課題，これに加えて幾つか課題をやります． 次が再認テスト．これは２択課題で使った都市を一つづつ呈示して， 再認できるか答えるというものです．この場合，北杜市と． 次に，なじみ深さの計測． 都市について，なじみ深さを100段階で回答と． で，最後，人口数を答えさせる課題． これは先ほどの知識に関係があります． で，この３つの課題，なにをやってるかというと， もし，ある参加者が再認を使ったらどう推論するか， とか，馴染だったらどうかとか， というのを予測するためのデータをとっていると，いうことです．」
- ３つのヒューリスティックを使った場合の，個人の推論結果について， バイオリンプロットを描くとこうなります． 横軸が各ヒューリスティック， で縦軸が正答率，210問あるわけですが，プロットしていく． で幅が太いところが，問題が密集しているということです． たとえば，馴染だと0.7くらい， 流暢だと0.55くらいに問題が集中してると． で，３つとも，平均的には正答率が0.5， チャンスレベルを上回っていると． こういうのを適応的な性質をもつとよくいいます． で，しかし・・」
- 一部の問題ではチャンスレベルを下回っていると． こういうのをバイアスといいます． で，ごく一部じゃないかというところなんですが， これが効いてくるケースというのがあります． それが・・」
- それが集団での意思決定. この場合６人を，計算機上でピックアップして意思決定をシミュレーションすると． たとえば左の馴染だと，６人全員が馴染を使うとどうなるか． シミュレーション，どうやったのか， というのは後ほど触れます． でいずれも，violinが上下にのびていると． で，さらに・・・」
- で，個人で正答率がチャンスレベルを上回った問題では 集団でさらに上昇していく，これがいわゆる集合知です． で，しかし・・・」
- バイアスを生み出してた問題では， 逆に正答率はどんどん減少していってますね． で，これらが集合知の効果を弱めるということはよく言われています． これがはじめにお話した， 集合知の理論的な問題点です」
- どうやるか，というので集合知研究の知見を参考にしました． 多様性というのが， 集合知の質を左右するんだとよく言われています． 多様性といっても色々定義があるんですが， 意思決定分野だと，たとえば 推定値の多様性，ばらつき，とか集団内で探索された手がかりの多様性 これらが大事だと言われています」
- 本研究の場合，先ほど見てきたストラテジー， この多様性が効いてくるのではないかと．仮説をたてました． 下は例です．ある問題で，流暢での正答率が40%だった． バイアスと． 集団では正答率は減少していくんですが・・」
- たとえば，馴染では全員正解だったとしようと． で，メンバーが多様なストラテジーを使う場合， たとえばが流暢，もう半分が馴染みを使ったとすると 個人正答率は７０％，バイアスが解消される格好となって， 集団での正答率は上昇していくと． で，こういうことが起きるのか，ということを シミュレーションで検討しました．」
- まず概要です． 個人の推論データは先ほどの先行研究から引っ張ってきました． で，参加者は３つのストラテジーのどれかを使うと． で，再認は除外しました． というのも，流暢や馴染が再認を包むストラテジーだからです． で，これをもとに，計算機上で集団意思決定を行うと． グループサイズは６段階，用意しました． カッコで１とありますが，個人の意思決定もあわせて記録しました． で，ルールは多数決です．
- 条件として，ストラテジーの多様性を操作する． ３つ条件を作りました． １つめが多様性ゼロ，以後6x条件と呼びます． ここでは最小グループサイズである6人が同じストラテジーを使うと． ２つめが多様性中(…) ３つめが多様性最大（…） で，これら３つの正答率の期待値を比較します． つまり，たとえば6xですと， Xに流暢・馴染・知識を代入して期待値求めると，いう形です． さきほどお話しした１人の意思決定では ３条件で同じ値をとることになります．」
- ここから意思決定のメンバーをピックアップすると． この場合６人．」
- 次にストラテジーを割り振ります． この場合，2x2y2z条件と」
- で問題，それぞれは独立に推論します． ◯が正解，✕が不正解， で△がストラテジーを使えず，こういうのがあります．
- 全210問，解いてもらいます．
- で，この結果をもとに，集団意思決定と． 先ほどの△，ストラテジー使えずの参加者は 意思決定に参加しないと仮定しました． なのでこの人達をぬかして，多数決というかたちです． 集団意思決定で△，◯と✕の数が同じ場合なんですが 半分の確率で正解すると仮定しました．」
- でこれを1000回， ある条件の，あるメンバー数について， それぞれ1000回ずつやるという形です．」
- で結果です． 問題をまとめて，条件で比較したグラフです． 縦軸が正答率，横軸がグループサイズです． どの条件でも，グループサイズが大きくなると正答率が高くなる， 集合知が生まれているぞと分かるんですが， その中でも，青の2x2y2z，多様性が高い時に 上がり幅がもっとも大きかったと． 仮説どおりの結果が得られました． この結果，どういうメカニズムなのかということで」
- 問題ごとの分析を行いました． 多様性が高い場合，より正確になる問題を抽出して，よく見てみようと． 簡単のため，6xと2x2y2zのみを比較します． で，グループサイズ最大の90人で，2x2y2zのほうが0.1以上正確になった問題を抽出と． この0.1というのは便宜上のもので，すごいちょっとだけ，0.01とか正確になったものを除外するためです． で結果，210問中32問が抽出されました． で6x,2x2y2zと，各ストラテジーをあわせて表示します．」
- で結果，正確になった問題の典型例を表示しました． 図は問題番号３８の推移です． で黒線は１つのストラテジーです． みてみると，１つバイアスがかかっていて， 正答率が減少していくのがわかります．」
- で赤，6xではこれが効く形となって 正答率が0.7くらいで頭打ちになっています． それに対して」
- 青，2x2y2zでは 仮説どおりバイアスが解消される格好になって 正答率が上昇を続けているのがわかります．」
- でこうした一つのストラテジーでバイアスがかかっているものは 72%を占めていました．というわけで典型例と． このように，仮説どおりストラテジーの多様性が バイアスを消す格好となり，集合知の効果の上昇に繋がることがわかりました． １つめは以上です．」
- （最後） 以前聞いて下さったかたもいらっしゃるんですが， 実験を追加したりしました．」
- （最後） これが実践的な問題点でした． でこれに対し・・・」
- ひとりで集合知を生み出す手法が提案されています． これは１人で複数回推定させて，平均化するというものです． で，日常的に使える手法であると．」
- 正式にはwis…と呼ばれています．」 で同じ問題なので，複数回推定といっても大体同じような値を答えてしまうんですが．」 ここでブレを引き出すよう働きかけると で，複数人，２人の推定をシミュレートするよう促すと」
- どうやるか．これまで主に２つ提案されています． １つめが，タイムスパン，２週間設ける． これで，ブレを引き出すと．」
- ２つめが教示， 推定２で与えて異なる考えを促します． 右が全文です． 最初の推定が的はずれだったと思って下さい． なぜか，いくつか理由を考えて下さい． などなど． これで異なる推定を生み出すと． で，２つともに，推定の平均値が正確になると，確認されているんですが」
- ともに簡便な手法とは言い難いと． そこで，代替案の提唱を目的として，研究を行いました．」
- 手法です． 他者の視点から２回目の推定を行わせると． で専門的にはPerspective-takingと呼ばれていまして， 他者視点をとることで，ある人に対する印象・選好などが変わるなどと言われています． で，この研究のような答えがある推定課題でも変化を促せると考えました．」
- 他者としては世間一般．というのを採用しました． 下が教示の全文です． 世間一般の人はどのくらいに推定すると思いますか と，比較的簡潔な教示を与えると．」
- なぜ「世間一般」か， いくつか狙いがあるんですが，２つあげます． １つめ，「世間と自分は違う！」という信念を世間の人はもっている． というのはよく知られていまして，ここから「世間一般」で自分と違う推定を促せると考えました」．
- ２つめ，推定に自信がある時もブレを引き出せると． 人は時に，自分の推定に自信過剰になるんですが．こうした時に， 左のHerzogらの，あの長い教示を与える手法は あくまで自分の推定を２回目答えさせるということで， ブレを引き出せないのではないか． それに対して，本研究では，他者，「世間一般」の推定を回答，ということで ブレを引き出せると考えました．これは実験で検討します．」
- （最後） この３点について，実験を通じで検討しました．
- 実験手続きです．同じ問題を２回推定してもらうと． まず一回目は，全参加者自分の推定を答える． で２回目で，参加者間で３群に分けます 本研究の手法群と，先行研究の手法群， そして，統制群，ここでは教示無しでもう一回推定させます． これらを比較すると．」
- （最後） 回答時間を測ったり，推定の自信を答えさせることで分析に使うと．」
- 一つ目，手法の正確性についてです． 指標として，平均化によってどれだけ誤差が減少したか，というのを計算しました． 例をご覧ください． 推定１の誤差が１０，平均値の誤差がそれより減って６と． この場合，」
- 減少分を推定１の誤差で割って100をかけると． この場合，40%減少したと．」
- 今度逆に，平均値の誤差が12，と増加した場合，」
- 計算すると-20%，20%誤差が増えたと． こうした形で参加者ごとにこの値を求め，群で比較します．」
- 結果です． Web調査，実験室実験，同じような結果なのでまとめて表示しました． 縦軸が誤差の減少率で，群ごとに表示と． 左の棒，本研究の手法群をご覧ください． どちらも95%信頼区間が正，平均化によって誤差が減少しているということで， 一つ目，個人内で集合知が生み出されたと． また，群で比較したところ， ２つ目，統制群に比べ正確になったと． ３つ目，先行研究の手法と比べ，有意な差はみられなかったのですが， 減少率の平均値がともに本研究のほうが高い． ということで，少なくとも同等以上の正確性が得られたと，考えています．」
- （最初） これは実験室実験での分析になります
- （先行研究の手法より短い） ということから，認知的に容易である， と示唆されたと考えられます． で，教示ナシの統制群よりは長いんですけれども，まあこういう結果が得られたと．
- （最初） これも実験室実験での分析になります． （最後） 下の図は例です． 横軸は自信，縦軸は推定のブレ． ある参加者が，こういった結果， 自信があるほどブレが若干小さくなっていたと． こういった形で， 相関係数を算出しました． １回めの回答時間は？
- 縦軸は相関係数です．で点がその平均値． エラーバーをご覧ください． １つめ，右２つ，先行研究と統制群では負になっていると． いうことで，自信があるほど，ブレは小さくなると． それに対して２つめ，１番左の本研究の手法群は正にかかっていて， 仮説どおり，自分の推定の自信にかかわらず，ブレを引き出せるということが分かりました．」
- 全体のまとめです． 最初のほうで集合知は２つの問題を抱えていると話しました． 研究１では理論的な側面の改良に取り組みました．」
- で，グループのメンバーが使う ストラテジーの多様性を増すことで， この点が改良されたと． で研究２，実践的な側面では，」
- ひとりで集合知を生み出す， 認知的に容易な手法を開発する， というアプローチから取り組みました． といった形です． 以上です．ありがとうございました．」