Successfully reported this slideshow.
Your SlideShare is downloading. ×

CHAIN公開セミナー20200817吉田発表資料

Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad

Check these out next

1 of 69 Ad
Advertisement

More Related Content

Slideshows for you (19)

Similar to CHAIN公開セミナー20200817吉田発表資料 (18)

Advertisement

More from Masatoshi Yoshida (20)

Recently uploaded (20)

Advertisement

CHAIN公開セミナー20200817吉田発表資料

  1. 1. CHAINウェビナー 第3回 日時:2020/8/17(月) 14:45~16:15 視覚サリエンスとはなにか? 神経科学、情報科学、人文知 からの解明 北海道大学 人間知・脳・AI研究教育センター 特任准教授 吉田 正俊
  2. 2. 1996-2003 東京大学医学部・生理学研究所 (プレドク) 「長期記憶についての神経科学 (ニホンザル) 」 2003 学位取得:博士(医学) 2003-2019 生理学研究所 (助教) 「意識、注意についての神経科学 (ニホンザル、マーモセット、ヒト) 」 (2010年 南カリフォルニア大学工学部 訪問研究者) 2020- 北海道大学 (特任准教授) 「意識の解明に向けた 学際的研究プロジェクト (マーモセット、ヒト) 」 Masatoshi Yoshida (吉田 正俊)
  3. 3. 私のストラテジー:神経現象学 Varela, F. J. (1999) The specious present: A neurophenomenology of time consciousness in Naturalizing phenomenology: Issues in Contemporary Phenomenology and Cognitive Science. pp 266–329 Varela, F. J. (1996) Neurophenomenology: a methodological remedy for the hard problem. Journal of Consciousness Studies 3, 330–349. 神経生物学 的な基盤 力学系による形式化 経験の構造についての 現象学的説明 相互に拘束条件を与える 意識経験を一人称的かつ誰でも同意できる形で説明する にはどうすればよいか?
  4. 4. 観察と介入 形式化と予測 経験の構造 機械学習(AI) => 自由エネルギー原理 科学と親和性のある 現在の現象学 操作脳科学 ヒト(fMRI,TMS)、動物(光遺伝学) 現在の水準にアップデートした神経現象学
  5. 5. 観察と介入 形式化と予測 経験の構造 吉田正俊 島崎秀昭 宮原克典
  6. 6. 視覚サリエンス 観察と介入 形式化と予測 経験の構造 CHAIN的な融合の題材としての視覚サリエンス
  7. 7. 目次 1. 神経生物学的アプローチ 1-1. 視覚サリエンスとは? 1-2. 計算アルゴリズム 1-3. 視覚サリエンスと脳 2. データ駆動型アプローチ 2-1. DNNによるend-to-endなモデル 3. 情報理論的アプローチ 3-1. ベイジアン・サプライズ 3-2. 自由エネルギー原理との関連
  8. 8. 目次 1. 神経生物学的アプローチ 1-1. 視覚サリエンスとは? 1-2. 計算アルゴリズム 1-3. 視覚サリエンスと脳 2. データ駆動型アプローチ 2-1. DNNによるend-to-endなモデル 3. 情報理論的アプローチ 3-1. ベイジアン・サプライズ 3-2. 自由エネルギー原理との関連
  9. 9. 夜の月は 目立つ (salient)。
  10. 10. 昼の月は目立たない(less salient).
  11. 11. 視覚サリエンス 視野内の物体が周りと比べて突出して 我々の注意を誘引する心理的、知覚特性 Laurent Itti (2007), Scholarpedia, 2(9):3327. http://www.scholarpedia.org/article/Visual_salience <=> 動機サリエンス (自分にとって意味がある、価値がある) 「サリエンス(顕著性)」の定義
  12. 12. 選択的注意 Selective attention 持続的注意 Sustained attention 注意の分類 覚醒度、集中力 一定の場所、特徴へ向けた注意 注意の源は何か • Bottom-up, stimulus-driven (pre-attentive, pop-out) • (Experience-dependent) • Top-down, goal-directed (context-dependent) 何が選択されるか • Position: spatial attention • Feature: feature-based attention 視覚サリエンスとは、選択的注意のうちbottom-up性注意が、 個々の場所に向けられる度合い
  13. 13. 視覚サリエンスはどのように処理されている? 簡単 - 「色」または「方位」 で周りよりも目立つ 難しい - 「色」「方位」の 組み合わせを探索 問題:ほかと違う要素を見つけてください =>色、方位といった視覚特徴は平行して処理される
  14. 14. 視覚特徴は脳内で並行処理される Kandel ER, Schwartz JH, Jessell TM 2000. Principles of Neural Science, 4th ed. McGraw-Hill, New York Image removed
  15. 15. Itti L, Koch C. Nat Rev Neurosci. 2001 Mar;2(3):194-203 Itti-kochのサリエンシー・マップ はじめての実用的な計算論的モデル Image removed
  16. 16. サリエンシー・マップは 「どこが目立つか」「どこに目が向くか」を予測できる 視覚刺激 サリエンシーマップ
  17. 17. 応用1: 視線分布の予測 サリエンシーマップは視線分布(fixation map) を予測できている Borji, Ali and Itti, Laurent (2015) "CAT2000: A Large Scale Fixation Dataset for Boosting Saliency Research" CVPR 2015; arXiv:1505.03581 Fixation map Saliency map Image フリービューイング中の視線データ から分布(fixation map)を作成 Image removed Image removed
  18. 18. 応用2: SEO、広告 https://multimedia.3m.com/mws/media/1575985O/3m-visual-attention-software-vas.pdf 3M社でのwebサービスの例 Image removed Image removed
  19. 19. 応用3: 産業での応用 COI感性イノベーション拠点による(株)マツダとの共同研究 https://www.mazda.co.jp/experience/stories/2020summer/featured/04_02/ 自動車工場で視覚サリエンスをモニター することで作業環境の改善に貢献 Image removed Image removed
  20. 20. 目次 1. 神経生物学的アプローチ 1-1. 視覚サリエンスとは? 1-2. 計算アルゴリズム 1-3. 視覚サリエンスと脳 2. データ駆動型アプローチ 2-1. DNNによるend-to-endなモデル 3. 情報理論的アプローチ 3-1. ベイジアン・サプライズ 3-2. 自由エネルギー原理との関連
  21. 21. Image (1) 特徴検出 輝度 色 傾き 動き (2) 特徴マップ feature-dependent (3) サリエンシー・マップ feature-independent parallel processing サリエンシー・マップの計算アルゴリズム
  22. 22. 側抑制 (Center-surround inhibition) 大脳皮質の側抑制 Itti L, Koch C. Vision Res. 2000;40(10-12):1489-506. DoGフィルタによるエッジ検出 DoGフィルタ + 整流 の繰り返し Image removed Image removed
  23. 23. Target detection using saliency-based attention Itti, L. and Koch, C. (1999) Proc. RTO/SCI-12 Workshop on Search and Target Acquisition (NATO Unclassified) . ノイズ混じりの画像で サリエンシーが高いものがある場合 サリエンシーの 高いところが生き残る ノイズ混じりの画像で サリエンシーが高いものがない場合 互いに打ち 消し合う DoG + 整流の繰り返し Image removedImage removed
  24. 24. Itti L, Koch C. Vision Res. 2000;40(10-12):1489-506. ガウシアンピラミッドの利用 人間の視覚特性に合わせたスケールでのサリエンス検出を実現 Image removed
  25. 25. Image (1) 特徴検出 輝度 色 傾き 動き (2) 特徴マップ feature-dependent (3) サリエンシー・マップ feature-independent center-surround inhibition sum across features parallel processing サリエンシー・マップの計算アルゴリズム
  26. 26. 目次 1. 神経生物学的アプローチ 1-1. 視覚サリエンスとは? 1-2. 計算アルゴリズム 1-3. 視覚サリエンスと脳 2. データ駆動型アプローチ 2-1. DNNによるend-to-endなモデル 3. 情報理論的アプローチ 3-1. ベイジアン・サプライズ 3-2. 自由エネルギー原理との関連
  27. 27. 視覚サリエンスは脳のどこにある? 網膜 視床 上丘 頭頂葉 第一次 視覚野 前頭葉 Veale, R., Hafed, Z. M., & Yoshida, M. (2017). Phil Trans Roy Soc B, 372(1714), 20160113. 特徴 マップ 特徴 + 注意ガイダンス 注意ガイダンス 特徴検出 注意ガイダンス サリエンシー 大脳と上丘で 別々にサリエンス計算?
  28. 28. 哺乳類以外の脊椎動物では, 視蓋(=上丘)が視覚の中枢 Image removed
  29. 29. Fig.1.3 in The Neuroethology of Predation and Escape, First Edition. Keith T. Sillar, Laurence D. Picton and William J. Heitler. 2016 John Wiley & Sons, Ltd. A bullfrog responds to moving stimuli Image removed
  30. 30. 上丘はサリエンス検出器? 上丘 汎方向性細胞 Goldberg ME, Wurtz RH. J Neurophysiol. 1972 Jul;35(4):542-59. 向きに依らずに 「動いているもの」を検出 上丘はサリエンスに特化? 大脳のサリエンスは副産物? 視覚皮質(MT野) 方向選択性細胞 Dubner R, Zeki SM. Brain Res. 1971 Dec 24;35(2):528-32. 「方向」という特徴を抽出 Image removedImage removed
  31. 31. Normal vision 盲視 Conscious vision 「なにかあるかんじ」 = サリエンス Saliency map 視覚的意識とサリエンスはべつもの? Inspired by: Yoshida M et. al. (2012) “Residual attention guidance in blindsight monkeys watching complex natural scenes.” Curr Biol. 22(15):1429-34
  32. 32. 神経生物学的 アプローチ データ駆動型 アプローチ 視覚サリエンスの計算の3つのアプローチ 神経科学的に、心理学的に妥当 であることが優先したモデル 画像と視線分布の対のデータで学習して 新しい画像での視線分布を予測 情報理論的 アプローチ 「目立つ」とはどういうことか、 ベイズ的に捉える
  33. 33. 神経生物学的 アプローチ データ駆動型 アプローチ 視覚サリエンスの計算の3つのアプローチ 神経科学的に、心理学的に妥当 であることが優先したモデル 画像と視線分布の対のデータで学習して 新しい画像での視線分布を予測 情報理論的 アプローチ 「目立つ」とはどういうことか、 ベイズ的に捉える
  34. 34. 目次 1. 神経生物学的アプローチ 1-1. 視覚サリエンスとは? 1-2. 計算アルゴリズム 1-3. 視覚サリエンスと脳 2. データ駆動型アプローチ 2-1. DNNによるend-to-endなモデル 3. 情報理論的アプローチ 3-1. ベイジアン・サプライズ 3-2. 自由エネルギー原理との関連
  35. 35. Deep neural net (DNN)とは M. Kümmerer, L. Theis, and M. Bethge Deep Gaze I: Boosting Saliency Prediction with Feature Maps Trained on ImageNet ICLR Workshop, 2015 HintonのImageNet Imageから名前(“orange”)を決める分類器を学習 End-to-end(明示的に特徴抽出しない)でCNNを学習させる CNN: convolutional NN (空間的近接での畳込み) Image removed
  36. 36. DNNによるデータ駆動型サリエンシー End-to-end Convolutional Network for Saliency Prediction Pan, Junting; Giró-i-Nieto, Xavier eprint arXiv:1507.01422 07/2015 https://www.slideshare.net/xavigiro/saliency-prediction-using-deep-learning-techniques ImageからFixation mapを予測するsaliency mapを学習 End-to-end(明示的に特徴抽出しない)でCNNを学習させる サリエンシー・マップでの側抑制と CNNでの空間的近接での畳込みは似たことをやってる Image removed
  37. 37. ベンチマークテスト: CAT 2000 Borji, Ali and Itti, Laurent (2015) "CAT2000: A Large Scale Fixation Dataset for Boosting Saliency Research" CVPR 2015; arXiv:1505.03581 Training (n=2000) Test (n=2000) 画像4000枚 (20カテゴリー)で24人分の視線分布を計測 Image removed Image removed
  38. 38. https://saliency.tuebingen.ai/results.html Z Bylinskii, T Judd, A Oliva, A Torralba, F Durand What do different evaluation metrics tell us about saliency models? arXiv preprint arXiv:1604.03605, 2016 ベンチマークテスト: CAT 2000 成績
  39. 39. Image removed 2020年段階でのstate-of-art Contextual encoder-decoder network for visual saliency prediction. Kroner A, Senden M, Driessens K, Goebel R. Neural Netw. 2020 Sep;129:261-270. Itti-Kochサリエンシーと比べるとずっと好成績 Fixation map Kroner 2020 Itti-Koch 1998
  40. 40. Image (1) 特徴検出 輝度 色 傾き 動き (2) 特徴マップ feature-dependent (3) サリエンシー・マップ feature-independent center-surround inhibition sum across features winner-take-all parallel processing そもそもサリエンシー・マップとは何だったか Action (Saccade) 視野内の物体が周りと比べて 突出して我々の注意を誘引す る心理的、知覚特性 Covert attention Overt attention
  41. 41. Koehler K, Guo F, Zhang S, Eckstein MP. J Vis. 2014 Mar 11;14(3):14. サリエンシーをどう測るべき? 一番目立つ 場所はどこ? 視線計測 ` フリー ビューイング(FV) 一番目立つ場所 は左右どっちに ある? マウスでクリック ` Itti-Kochサリエンシー・マップとの相関 高い 低い 根本的問題: Ground truthにfixation mapを使うのは妥当か? Image removed
  42. 42. 感度マップ (≠ サリエンシー・マップ) ”SmoothGrad: removing noise by adding noise” Smilkov, D., Thorat, N., Kim, B., Viégas, F., & Wattenberg, M. (2017). https://arxiv.org/abs/1706.03825 https://pair-code.github.io/saliency/ SmoothGrad DNNが画像認識をしたときに、その根拠となったピクセルを表示 Label: tricycle Label: cheetah 画像にノイズを加えて、 判別への影響を評価 画像の中で どこがinformativeなのか を表している Image removed Image removed
  43. 43. 神経生物学的 アプローチ データ駆動型 アプローチ 視覚サリエンスの計算の3つのアプローチ 神経科学的に、心理学的に妥当 であることが優先したモデル 画像と視線分布の対のデータで学習して 新しい画像での視線分布を予測 情報理論的 アプローチ 「目立つ」とはどういうことか、 ベイズ的に捉える
  44. 44. 神経生物学的 アプローチ データ駆動型 アプローチ 視覚サリエンスの計算の3つのアプローチ 神経科学的に、心理学的に妥当 であることが優先したモデル 情報理論的 アプローチ 画像と視線分布の対のデータで学習して 新しい画像での視線分布を予測 「目立つ」とはどういうことか、 ベイズ的に捉える
  45. 45. 目次 1. 神経生物学的アプローチ 1-1. 視覚サリエンスとは? 1-2. 計算アルゴリズム 1-3. 視覚サリエンスと脳 2. データ駆動型アプローチ 2-1. DNNによるend-to-endなモデル 3. 情報理論的アプローチ 3-1. ベイジアン・サプライズ 3-2. 自由エネルギー原理との関連
  46. 46. サリエンスとサプライズを統一的に評価する枠組み: => ベイジアン・サプライズ 視覚サリエンスとは 空間的な外れ値検出 時間的な外れ値検出が サプライズ Itti, L. & Baldi, P. Bayesian surprise attracts human attention. Vision Research 49, 1295–1306 (2009) そもそも視覚サリエンスとはなんだ? 両者とも「予想から外れる」ということが本質。 => ベイズ的枠組みが有効。
  47. 47. http://ilab.usc.edu/surprise/
  48. 48. http://ilab.usc.edu/surprise/
  49. 49. 砂嵐そのものがサプライズなわけではない。 - 砂嵐を見続けていれば退屈になる。 ニュース画面から砂嵐への変化がサプライズ。 -「いま私はニュースを見ている」 という信念が崩れたことがサプライズ。 なぜ私たちは砂嵐になったら驚くのだろう?
  50. 50. 感覚入力s (観測値) 外界の状態x (潜在変数) 外界の状態x の推測 生成過程 物理法則 ¯p(x, s) 生成モデル p(x, s) p(x|s) 外界についての知識 Agent外界 p(x|s) = p(s|x)p(x) p(s) ベイズ脳仮説 ベイズ脳仮説: Agentは外界の状態x (潜在変数)を 感覚入力s (観測値)を元にして、 事後分布として確率的に推定する MTV CNN BBC Snow MTV CNN BBC Snow prior posterior likelihood
  51. 51. 事後分布 に大きな変化なし これまでの感覚入力s 新しい感覚入力s 「外界にあるものはCNNニュースだ」という推測 P(x) P(x|s) x x 現在の外界の状態 についての推測 p(x)
  52. 52. 事後分布に大きな変化あり = サプライズ 「CNNニュースだ」という推測が外れる = サプライズ P(x) P(x|s) x x
  53. 53. 世界は再び退屈なものになる P(x|s) P(x|s) x x 事後分布 に大きな変化なし
  54. 54. priorposterior likelihood データsの観測によって 推測p(x)をアップデートする ベイズ更新過程 Itti, L. & Baldi, P. Bayesian surprise attracts human attention. Vision Research 49, 1295–1306 (2009) ベイジアン・サプライズ p(x|s) = p(s|x)p(x) p(s) ベイジアン・サプライズ =事前分布と事後分布の間のKL距離 DKL(p(x)∥p(x|s)) = ∑ x p(x)log p(x) p(x|s) P(x) P(x|s) x x
  55. 55. 時間的サプライズ 空間的サプライズ ベイズ更新過程を用いて 時間的・空間的に目立つ部分をそれぞれ別に計算 動画のベイジアン・サプライズの計算
  56. 56. 視線位置の予測において、ベイジアン・サプライズは Itti-Kochサリエンシーよりも高成績 動画での視線予測の成績 Itti, L. & Baldi, P. Bayesian surprise attracts human attention. Vision Research 49, 1295–1306 (2009) Image removed
  57. 57. 目次 1. 神経生物学的アプローチ 1-1. 視覚サリエンスとは? 1-2. 計算アルゴリズム 1-3. 視覚サリエンスと脳 2. データ駆動型アプローチ 2-1. DNNによるend-to-endなモデル 3. 情報理論的アプローチ 3-1. ベイジアン・サプライズ 3-2. 自由エネルギー原理との関連
  58. 58. 左下に視線があるとき、 右上にあるものは ぼんやりしていて なんだかわからない。 視線を右上に向けると、 これが蝶であること がより確かになった。 自由エネルギー原理FEP
  59. 59. 感覚入力s (観測値) 行動a 右上見る 左下見る 蝶がいる 外界の状態x (潜在変数) 蛾がいる 外界の状態x の推測 蝶がいる 蛾がいる 生成過程 物理法則 ¯p(x, s) 生成モデル p(x, s) q(x) 外界についての知識 Agent外界 F(q, s) = ∑ x {q(x)ln q(x) p(x, s) } 変分自由エネルギーF 1) 知覚: 推測q(x)を変える 2) 行動: 行動aで感覚入力sを変える 知覚と行動を統一的に説明 自由エネルギー原理FEP
  60. 60. 変分自由エネルギーF F(q) = 𝔼q(x)[ln q(x) − ln p(x, s)] Tschantz A, Seth AK, Buckley CL. (2020) Learning action-oriented models through active inference. PLoS Comput Biol. 16(4):e1007805. FEPの中でのベイジアン・サプライズ 知覚: 現在の自由エネルギーが最小化するq(x)に更新 xの期待値を計算 ベイジアンサプライズを最大化する行動aを選ぶと 情報量MI最大化を実現し、自由エネルギーGの最小化を実現。 期待自由エネルギーG G(a) = 𝔼q′a(x,s)[ln q′a(x) − ln pa(x, s)] 行動: 未来の自由エネルギーの期待値が最小化する行動aを選択 xだけでなくsの期待値を計算 ≈ 𝔼q′a(x,s)[ln q′a(x) − ln q′a(x|s) − ln p(s)] = 𝔼q′a(x,s)[ln q′a(x) − ln pa(x|s) − ln p(s)] = − 𝔼q′a(s) [DKL(q′a(x|s)∥q′a(x))] − 𝔼q′a(x,s)[ln p(s)] MIa(x′; s′) Instrumental value 仮定: 最適な知覚 q′a(x|s) ≈ pa(x|s) Bayesian surprise= 相互情報量 トップダウンのゴール =
  61. 61. FEPの中での視覚サリエンス s = 1 s = 2 s = 3 実際に行動してみないと、観測されるsはわからない。 しかし、あるactionでとりうるsの期待値から、 そのactionで期待される相互情報量MIが計算できる。 将来: 右上を見たときに 観測されるsの予測 現在: 左下を見ている。 s=1を観測している。 a1 (右上を見る)という行動をした ときに期待されるMI(a1) 「サリエンスが高い」 = 「そこを見る行動選択をすれば、平均的には情報が増える」 Friston K, Adams RA, Perrinet L, Breakspear M. (2012) Perceptions as hypotheses: saccades as experiments. Front Psychol. 3:151. 現在のこの部分の 視覚サリエンス =
  62. 62. FEPの中での視覚サリエンス 視覚サリエンスは、 画像の各ピクセルごとの特性というよりは、 いま注視していない場所についての agentが可能な行動についての特性。 => エナクティブな見方 / 反実仮想的予測 視覚サリエンスは、agentの生成モデルに依存している。 生成モデルとは、発達と進化の過程で獲得したもの。 よって視覚サリエンスには、生態学的価値が含まれている。 中心視と周辺視に視力の差がない生き物では サリエンシーの概念は不要。 => 知覚的サリエンスと動機サリエンスの統一的説明 顔が「目立つ」のは生存に役立つから。 輝度コントラストが「目立つ」のも同じ。
  63. 63. 神経生物学的 アプローチ データ駆動型 アプローチ 視覚サリエンスの計算の3つのアプローチ 情報理論的 アプローチ サリエンスとはなにか、 どう定量化するか、 という問いの深化
  64. 64. 視覚サリエンス 観察と介入 形式化と予測 経験の構造 CHAIN的な融合の一例としての視覚サリエンス • 神経生物学的アプローチ • データ駆動型アプローチ • 情報理論的アプローチ • サリエンスの変容経験
  65. 65. 目次 1. 神経生物学的アプローチ 1-1. 視覚サリエンスとは? 1-2. 計算アルゴリズム 1-3. 視覚サリエンスと脳 2. データ駆動型アプローチ 2-1. DNNによるend-to-endなモデル 3. 情報理論的アプローチ 3-1. ベイジアン・サプライズ 3-2. 自由エネルギー原理との関連 4. 今後の目標: サリエンスの変容経験
  66. 66. フッサールの受動的綜合とサリエンス 赤い円筒と青い円筒が現れたら、それらは形の点では互いに結び つくが、色の点ではコントラストを成す。これは「受動的綜合」 とよばれる原初的なはたらきに属する「連合」の現象 谷徹 (2009) 「現象学と間文化性」現代思想 2009年12月臨時増刊 37(16) p.131 感覚的なもの(…)は同質的な物同士がまとまり、異質的なものと のコントラストを生み出して(…)「際立って」くる。この際立ち が「私」を「触発」する(…)その触発が十分強ければ、「私」が いわば目覚めて、「感覚的なもの」を「意味」へと仕上げる 田口茂 (2014) 「現象学という思考」筑摩書房 p.112 無意識的(先反省的)なサリエンスの形成過程の分析。 知覚サリエンスと動機サリエンスとの繋がりを示唆。
  67. 67. 外的刺激や内的意味 のサリエンスを 過大評価することが 妄想、幻覚の 引き金となる Howes OD, Murray RM. Lancet (2014) を元に作成 陽性症状(妄想、幻覚)のaberrant salience仮説 サリエンスの変容経験: 統合失調症の場合 「全てのことになにか圧倒的なまでに意味深いものがあるように思えるの です」「私が入院をした頃には、窓枠の光や空の青さがあまりに重要な意 味を持つ…そんな覚醒状態にまで到達していました」 "Psychedelic" experiences in acute psychoses. Bowers MB Jr, Freedman DX. Arch Gen Psychiatry. 1966 Sep;15(3):240-8. 知覚および動機サリエンスの変容経験が陽性症状の本質かも。 Image removed
  68. 68. 視覚サリエンス 観察と介入 形式化と予測 経験の構造 CHAIN的な融合の題材としての視覚サリエンス • 神経生物学的アプローチ • データ駆動型アプローチ • 情報理論的アプローチ • サリエンスと意識経験 • 知覚サリエンスと動機サリエンス • サリエンスの変容経験: 統合失調症、離人症
  69. 69. End

×