Recommended
Recommended
More Related Content
Featured
Featured (20)
【輪読】Voxel to voxel predictive models reveal unexpected structure in unexplained variance.
- 1. 阿部 武 ¦ 2022/08/25 Voxel-to-voxel predictive models reveal unexpected structure in unexplained variance.
- 3. イントロダクション DCNN-based encoding modelによるBOLDの予測精度を向上させる要因を 明らかにしたい DCNNは他のモデルよりも高精度に人間の 視覚刺激に対する視覚野のBOLDを推定す ることができる一方で, 推定に原因不明の 誤差がある DCNNによる推定結果に存在する原因不明の 誤差が, ボクセル間や個々の脳, 網膜部位再 現, 視覚野の各領域で共有されているか調べた
- 4. イントロダクション DCNNによる推定結果に存在する原因不明の誤差の要因とその構造を明らかにしたい 1 推定誤差の原因となる特定のボクセル, または複数のボクセルが存在するのか 2 推定誤差は実験の被験者に固有のものなのか, 共通のものなのか 3 推定誤差の原因は網膜部位再現に対応したものなのか 4 推定誤差の原因は視覚野の階層的ネットワークで共有されたものなのか
- 5. 網膜部位再現とは 個々のV1(一次視覚野)ニューロンは視野内のごく限られた範囲の情報を処理しており, V1では網 膜上の2次元的な位置の連続性が再現されている(1対1に対応している). これを網膜部位再現 (retinotopic representation)という.
- 7. Stimulus-to-voxel AlexNetを用いて画像から抽出した特徴量に対して, ある点からガウス分布にし たがった周辺の特徴量の影響度の減衰を仮定したモデル ̂ rt = K ∑ k=1 wk ∫ D 2 −D 2 ∫ D 2 − D 2 g(x, y; ux, uy, σ)ϕk i(x)j(y)(St)dydx : 刺激(画像) St : k番目の特徴量マップに対する重み wk : ガウス動径基底関数 g : k番目の特徴量マップに対するpixelの値 ϕk i(x)j(y)
- 8. Voxel-to-voxel ターゲットとなるボクセルの値を他のボクセルの値を説明変数として 線形回帰(Ridge)するモデル ̂ rtarget t = W ̂ rsource t : ターゲット rtarget t : ボクセル ̂ rsource t
- 9. Pixel-to-pixel DCNNの全レイヤーから抽出した特徴量を用いてターゲットとなるピクセルの 値を線形回帰するモデル(脳活動を推定するモデルではない) ̂ ϕtarget t = W ̂ ϕsource t : ターゲット ̂ ϕtarget t : 全特徴量 ̂ ϕsource t
- 10. 1 推定誤差の原因となる特定のボクセル, または原因となる複数のボクセルが存在するのか Vox2Vox>Stim2Voxなら, その性能差は Stim2Voxがターゲットとなるボクセル以 外の脳活動を説明変数としていないことが 原因となる 実験結果からStim2Voxの推定誤差の原因 はターゲット以外のボクセル由来のもので ある Stim2vox(DCNN)が説明できない脳活動をVox2vox(Ridge)が説明できてい たため, Stim2voxの推定誤差の原因となるボクセルが存在する
- 12. 1 推定誤差の原因となる特定のボクセル, または原因となる複数のボクセルが存在するのか Vox2Vox(Ridge)の推定精度が高いのは測定機器の影響ではない可能性が高い 図1 脳活動の平均を推定結果(相関)としてStim2Voxと比較 図2 空の脳活動を引いたVox2VoxとStim2Voxの比較
- 13. 2 推定誤差は実験の被験者に固有のものなのか, 共通のものなのか 被験者S1の脳活動で学習させたVox2vox(Ridge)は, 被験者S2の脳活動をう まく説明できなかったため, Stim2Voxの推定誤差は被験者に固有のものである 1 2人の被験者間におけるVox2voxの推定精 度はStim2voxとほぼ変わらなかった 2 Stim2voxは複数の脳の活動に対する Vox2voxと同程度の精度を記録した
- 14. 2 推定誤差は実験の被験者に固有のものなのか, 共通のものなのか Stim2voxの推定誤差の原因は時間局所的なものである • 今までのVox2voxは複数のトライアル のデータに対して学習させたモデルで あった • 単一のトライアルのデータで訓練し たモデルと比較してみる 1. 同じトライアルのデータで訓練したVox2voxは Stim2voxより高精度を記録した 2. 違うトライアルのデータで訓練したVox2voxは Stim2voxより精度が低かった
- 15. 3 推定誤差の原因は網膜部位再現に対応したものなのか ターゲットボクセルの受容野の近くに受容野を持つボクセルは, 優先的に予測精 度の向上に寄与している(良い説明変数である) 視覚野を17 17にビニングして, 各 格子点のボクセルの活動を説明変数 とした回帰値のマップのこと Tuning Map Tuning Mapの単一の格子点を用い たVox2voxによる予測精度のこと Tuning Strength
- 17. 4 推定誤差の原因は視覚野の階層的ネットワークで共有されたものなのか 視覚野の各領域の関係性は線形ではないため, 各領域間のVox2vox(Ridge)に よるモデリングは一定の精度低下を示す 図1 被験者S1の脳活動 図2 被験者S2の脳活動
- 18. 4 推定誤差の原因は視覚野の階層的ネットワークで共有されたものなのか 高次領域(V3,V3ab,V4,LO)におけるフィードバック型の推定精度はほぼ一定に 分布した 図1 被験者S1の脳活動 図2 被験者S2の脳活動
- 19. 4 推定誤差の原因は視覚野の階層的ネットワーク共有されたものなのか 全ての場合においてラテラル型のモデルが最も高い精度を記録したが, 推定精度 は視覚野の領域がより高次になるにつれて低下していた 図1 被験者S1の脳活動 図2 被験者S2の脳活動
- 20. 4 推定誤差の原因は視覚野の視覚野の階層的ネットワークで共有されたものなのか 推定精度はフィードバック型のモデルの方がフィードフォワード型のモデルより も高くなる傾向にあった 図1 被験者S1の脳活動 図2 被験者S2の脳活動
- 21. 4 推定誤差の原因は視覚野の視覚野の階層的ネットワークで共有されたものなのか Pix2PixとVox2Voxはラテラルのモデルが一番推定精度が高く, 階層が離れる につれて推定精度が低下するという振る舞いは共通していた 図1 被験者S1の脳活動 図2 被験者S2の脳活動 図3 DCNN
- 22. 4 推定誤差の原因は視覚野の視覚野の階層的ネットワークで共有されたものなのか Vox2Voxはフィードバック型のモデルでは階層が離れても推定精度に大きな変 化はなかったが, Pix2Pixでは階層が離れるにつれて推定精度は低下していた 図1 被験者S1の脳活動 図2 被験者S2の脳活動 図3 DCNN
- 23. 4 推定誤差の原因は視覚野の視覚野の階層的ネットワークで共有されたものなのか Vox2Voxはラテラル型のモデルでは領域が高次になるにつれて推定精度は低下 していたが, Pix2Pixでは高次領域の方が推定精度が高かった 図1 被験者S1の脳活動 図2 被験者S2の脳活動 図3 DCNN
- 24. 4 推定誤差の原因は視覚野の視覚野の階層的ネットワークで共有されたものなのか Vox2Voxはフィードバック型の方が推定精度が高い傾向にあったが, Pix2Pix ではフィードフォワード型の方が推定精度が高い傾向にあった 図1 被験者S1の脳活動 図2 被験者S2の脳活動 図3 DCNN
- 25. 実験のまとめ 他のボクセルの活動の線形変換による予測(Vox2vox)の方が, 画像を非線形変 換による予測(Stim2vox)よりも高精度を記録した 1. 視覚野の各領域の関係性は非線形である 2. Vox2voxは入出力の両方のノイズを考慮 しなければならない一方で, Stim2voxは 出力のノイズのみ考慮すれば良い Stim2voxの方がVox2voxよりも推定精 度が高くなるはず Stim2voxの推定誤差には入力による情報 以上にBOLDを推定するにあたり必要な情 報が含まれているのではないか つまり 一方で 特に 1. 時間局所的である 2. 測定機器などによるものではない 3. 受容野からの距離に影響される 4. 視覚野の階層構造間の距離に影響される
- 28. 実験のまとめ DCNNによって抽出された特徴量と脳内で表現される特徴が違い, Vox2voxの方が 脳内の特徴量表現を直接用いることができるため精度が高くなる. 一方で, DCNNは 脳内にエンコードされた視覚情報の表現としてある一定の正確性があるのではないか 1 2人の被験者間におけるVox2voxの推定精 度はStim2voxとほぼ変わらなかった 2 Stim2voxは複数の脳の活動に対する Vox2voxと同程度の精度を記録した
- 29. より包括的なEncoding Modelを目指して 1 RNN-basedのモデル 進行中の脳活動も含めてモデリングをすることができるRNNをベースにしたモデルを 作る. 脳活動の内部状態と外部刺激を考慮した推定を行う. 2 視覚刺激以外の情報も入力できるDCNNのモデル 哺乳類の視覚野に強い影響がある運動量に関する変数や, 認知タスクに関連した変数も 入力できるようなDCNNのモデルを作る. 3 脳活動の不確実性も考慮できる生成モデル 決定論的な出力ではなく確率論的な出力を行う生成系ニューラルネットワークを用いる
- 30. Appendix
- 31. CNNにおける受容野とは CNNの各畳み込み層が見ている範囲は異なり, 一般に層が深くなるにつれて畳み込み層が見てい る範囲は大きくなる. CNNの各畳み込み層が見ている範囲を受容野(Receptive field)と呼ぶ.
- 32. 視覚野の階層的なネットワークとは V1 V1は網膜の部位局在を反映していている. V3, V4 にも出力するが, 主にV2に出力を行う. 隣接V1 ニューロンは視覚情報に対してある種の時空間 フィルタとして機能する. V2 入力の2/3がV1ニューロンからの出力である. V1 へ強いフィードバックをすると共に, V3, V4, V5 へ出力する. V1ニューロンよりも低い空間周波数 成分によく反応する V3 腹側部はV2から入力を受け, V4に投射する. ニュー ロンは色選択性を示す. 背側部はV2とV1から入力 を受け, V3a, V4, V5へ投射する. ニューロンは輝度 や奥行きに選択性を示すが、色選択性を示さない. V4 V2, V3, V3aから入力を受け, V1, V2, V3へフィー ドバック投射を行う. 多くの領域と結合しており, 多様な機能を持つ. 視覚前野の機能的な領野は階層的な結合関係を持ち, V1と高次視覚野の間で視覚情報の中間処理 を行う. 領野間のフィードフォワード投射に着目すると視覚情報の流れを階層的なネットワーク の枠組みで捉えることができる.
- 33. Stimulus-to-voxel 画像から抽出した特徴量に対して, ある点からガウス分布にしたがった周辺の特 徴量の影響度の減衰を仮定したモデル ̂ rt = K ∑ k=1 wk ∫ D 2 −D 2 ∫ D 2 − D 2 g(x, y; ux, uy, σ)ϕk i(x)j(y)(St)dydx : 刺激(画像) St : k番目の特徴量マップに対する重み wk : ガウス動径基底関数 g : k番目の特徴量マップに対するpixelの値 ϕk i(x)j(y)
- 34. Voxel-to-voxel ターゲットとなるボクセルの値を周辺のボクセルの値から線形回帰(Ridge) するモデル ̂ rtarget t = W ̂ rsource t : ターゲット rtarget t : ボクセル ̂ rsource t ̂ y1 ̂ y2 ⋮ ̂ yN = 1 x11 … x1D 1 x21 … x2D ⋮ ⋮ ⋱ ⋮ 1 xN1 … xND w0 w1 ⋮ wD ̂ y = Xw w = (XT X + αI)−1 XT y E = (y − Xw)⊤ (y − Xw) + αw⊤ w ∂E ∂w = − 2XT y + 2XT Xw + 2αw = 0