Recommended
More Related Content
More from Takuya Koumura
More from Takuya Koumura (20)
機械学習を用いた聴覚質感の研究
- 1. 機械学習を用いた聴覚質感の研究 上村卓也 NTT コミュニケーション科学基礎研究所 2018.05.09 慶應義塾大学 人間行動の神経制御 こうむら たくや スライドは後日ここに公開します。 http://cycentum.com/presentation/keio20180509/
- 2. 2018.05.09 Takuya KOUMURA p. 1 研究テーマ ⚫NTT コミュニケーション科学基礎研究所 ⚪聴覚神経系の計算機シミュレーション ⚪質感知覚 ⚫東大 ⚪トリのさえずり分析 ⚪さえずり聴取中の神経生理 ⚪生化学反応の計算機シミュレーション
- 3. 2018.05.09 Takuya KOUMURA p. 2 参考文献 ⚫ NTT コミュニケーション科学基礎研究所 ⚪ 聴覚神経系の計算機シミュレーション ⚫ Takuya Koumura, Hiroki Terashima, Shigeto Furukawa, 2018, "Cascaded Processing of Amplitude Modulation for Natural Sound Recognition", bioRxiv, p. 308999. ⚫ https://www.biorxiv.org/content/early/2018/04/27/308999 ⚪ 質感知覚 ⚫ Takuya Koumura, Shigeto Furukawa, 2017, "Context-Dependent Effect of Reverberation on Material Perception from Impact Sound", Scientific Reports, vol. 7(1), pp. 16455. ⚫ https://www.nature.com/articles/s41598-017-16651-4 ⚫ 東大 ⚪ トリのさえずり分析 ⚫ Takuya Koumura, Kazuo Okanoya, 2016, "Automatic Recognition of Element Classes and Boundaries in the Birdsong with Variable Sequences", PLoS ONE, vol. 11(7), pp. e0159188. ⚫ http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0159188 ⚪ さえずり聴取中の神経生理 ⚫ Takuya Koumura, Yoshimasa Seki, Kazuo Okanoya, 2014, "Local structure sensitivity in auditory information processing in avian song nuclei", NeuroReport, vol. 25(8), pp. 562--568. ⚫ http://cycentum.com/publications/pdf/paper/Koumura2014NeuroReport.pdf ⚪ 生化学反応の計算機シミュレーション ⚫ Takuya Koumura, Hidetoshi Urakubo, Kaoru Ohashi, Masashi Fujii, Shinya Kuroda, 2014, "Stochasticity in Ca2+ Increase in Spines Enables Robust and Sensitive Information Coding", PLoS ONE, vol. 9(6), pp. e99040. ⚫ http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0099040
- 4. 2018.05.09 Takuya KOUMURA p. 3 質感とは？ ⚫物体の素材、特性 ⚫周囲の環境、空気、雰囲気 ⚫～感、～っぽさ、～み (Aramaki, 2011, IEEE Trans Audio) (McDermott, 2011, Neuron) 質感知覚のメカニズムは？ 簡単にはわからない
- 5. 2018.05.09 Takuya KOUMURA p. 4 簡単にはわからない問題→機械学習！ ⚫今日の気温 23℃ ⚫今日の湿度 16% ⚫過去のデータ → 明日の天気？ ある日の 気温（℃） ある日の 湿度（%） 翌日の 天気 18 14 晴 25 27 雨 18 28 雨 3 38 雨 32 25 晴 33 19 晴 or ？ ・・・ ・・・ ・・・ （架空のデータ）
- 6. 2018.05.09 Takuya KOUMURA p. 5 今日の気温 ＆ 今日の湿度→明日の天気？ ？ ？ ？ 今日の湿度 今日の気温 30℃0℃ 40% 10% 晴 雨 直線で分けられる？
- 7. 2018.05.09 Takuya KOUMURA p. 6 今日の気温 ＆ 今日の湿度→明日の天気？ 今日の湿度 今日の気温 30℃0℃ 40% 10%
- 8. 2018.05.09 Takuya KOUMURA p. 7 今日の気温 ＆ 今日の湿度→明日の天気？ 今日の湿度 今日の気温 30℃0℃ 40% 10% ？ ？ ？ f = 0.05 − 0.15 + 3.00 f < 0 → 雨 f > 0 → 晴 f = 0
- 9. 2018.05.09 Takuya KOUMURA p. 8 未知の値を含んだデータ 気温 湿度 天気？ モデル f = 0.05 − 0.15 + 3.00 f > 0 → f < 0 → （直線） データ 気温 湿度 天気 データの関係を学習 未知の値を予測 w1 + w2 w0 機械学習の考え方 ⚫モデルを考える ⚫モデルを使ってデータの関係を学習 ⚫学習した関係を元に未知の値を予測
- 10. 2018.05.09 Takuya KOUMURA p. 9 未知の値を含んだデータ モデル データ 画像 音 質感 データの関係を学習 質感知覚のメカニズム？ 質感を説明するために学習された関係 →質感知覚のメカニズム？ 画像 音 質感 未知の値を予測 ？
- 13. 2018.05.09 Takuya KOUMURA p. 12 様々な打撃音 ×残響ありorなし ⚫同一残響条件 ⚪ 同じ残響・無残響の打撃音が繰り返される ⚫ランダム条件 ⚪ 残響の種類が毎回変化する 素材同定実験 三肢強制選択 or or 残響A 残響A 無残響 無残響 無残響・・・ ・・・ 残響B残響A 残響C 残響A 無残響 ・・・残響B 残響A 残響への順応が起こりやすい？ (Aramaki, 2011, IEEE Trans Audio)
- 14. 2018.05.09 Takuya KOUMURA p. 13 残響への順応？ ランダム条件 0.2 0.4 0.2 0.4 残響の効果 同一残響条件 ある素材の打撃音に残響が かかったとき、 素材同定反応が変化したか？ p < 0.05 (Wilcoxon signed rank test) 残響の効果 同一残響条件 < ランダム条件 同じ残響の打撃音を繰り返し聴く条件では、 素材同定が残響の影響を受けにくい → 残響への順応？ n = 22人
- 15. 2018.05.09 Takuya KOUMURA p. 14 残響への順応のメカニズムは？ 打撃音による素材知覚は、4種類の音響特徴量で説明できる ⚫立ち上がり時間 ⚫減衰速度 ⚫スペクトル幅 ⚫ラフネス (Aramaki, 2011, IEEE Trans Audio) 時刻（ms） 0 100 15050 200 周波数（kHz） 0 5 10 15 20 スペクトル 時間に関する特徴 スペクトルに関する特徴 残響への順応によって素材知覚が変化する →仮説：音響特徴量の使われ方が変化するから？
- 16. 2018.05.09 Takuya KOUMURA p. 15 モデル データ 残響への順応のメカニズムは？ 打撃音による素材知覚は、4種類の音響特徴量で説明できる ⚫立ち上がり時間 ⚫減衰速度 ⚫スペクトル幅 ⚫ラフネス (Aramaki, 2011, IEEE Trans Audio) 知覚される素材 −2 6 −4 2 知覚された素材を 最も良く分離する平面 寄 与 率 木 金属 ガラス
- 17. 2018.05.09 Takuya KOUMURA p. 16 音響特徴量の素材同定への寄与率 p < 0.01p < 0.05 p > 0.1p > 0.1 n = 22人 材質同定への寄与率 ⚫ スペクトル幅 同一残響条件 < ランダム条件 ⚫ ラフネス 同一残響条件 > ランダム条件 (Wilcoxon signed rank test) 残響へ順応すると、スペクト ルに関する特徴の使われ 方が変化 立ち上がり時間 0.0 0.6同一残響条件 0.0 0.6 ランダム条件 減衰速度 0.0 0.6同一残響条件 0.0 0.6 ランダム条件 スペクトル幅 0.0 0.6同一残響条件 0.0 0.6 ランダム条件 ラフネス 0.0 0.6同一残響条件 0.0 0.6 ランダム条件 残響への順応には、スペクトルに関する特徴が重要？
- 20. 2018.05.09 Takuya KOUMURA p. 19 音の振幅変調（AM） 実世界の音→豊富なAMパターン AM周波数が質感知覚に重要(Shannon 1995 Science) (Gygi 2004 J Acoust Soc Am)
- 21. 2018.05.09 Takuya KOUMURA p. 20 神経生理学によるAM表現の研究 ⚫AMの神経表現 ⚪AMへの追従（同期） → 時間coding ⚪平均活動強度 → 頻度coding AM刺激 神経活動 時間平均 0 400200 (ms) (Yin 2011 J Neurophysiol)
- 22. 2018.05.09 Takuya KOUMURA p. 21 AMの神経表現 同期性・平均発火頻度ともに、 特定のAM周波数に選択的に応答 AMへの追従（時間coding） 平均発火頻度（頻度coding） 同期性 平均発火頻度 (Huffman 1998 Hear Res`) AM周波数（Hz） AM周波数（Hz）
- 23. 2018.05.09 Takuya KOUMURA p. 22 末梢 中枢 聴覚神経系におけるAM表現 Cochlear nucleus (CN) Superior olivary complex (SOC) Nucleus of the lateral lemniscus (NLL) Medial geniculate body (MGB) Auditory cortex (AC) Inferior colliculus (IC) Auditory nerves (AN) (Kandel 2000)
- 24. 2018.05.09 Takuya KOUMURA p. 23 分布密度 時間coding 頻度coding AM周波数 聴覚神経系におけるAM表現 Best frequency Upper cutoff frequency AM 周波数 同期性・平均発火頻度 中枢 末梢同期するAM周波数が減少 頻度codingが途中から出現 AN CN SOC NLL IC MGB AC
- 25. 2018.05.09 Takuya KOUMURA p. 24 (Joris 2004 Physiol Rev) (Sharpee 2011 Curr Opin Neurobiol) 神経生理学によるAM表現の研究 発火の同期性 AMの表現様式 中枢 低いAM周波数 時間coding と 頻度coding の両方 末梢 高いAM周波数 時間codingのみ
- 28. 2018.05.09 Takuya KOUMURA p. 27 学習 ⚫実環境音の分類（カテゴリ数18） ⚫入力：約0.2 sの音波形 ⚫データセット: ESC-50の一部 53.9分 モデル カテゴリ ~ 0.2 s (Piczak 2015 ACMMM) • Dog • Rooster • Pig • Cow • Frog • Cat • Hen • Insects • Sheep • Crow • Rain • Sea waves • Crackling fire • Crickets • Chirping birds • Water drops • Wind • Thunderstorm
- 29. 2018.05.09 Takuya KOUMURA p. 28 モデル ⚫深層ニューラルネットワーク（DNN） ⚫13層のフィルタの積層 (van den Oord 2016 arXiv)
- 31. 2018.05.09 Takuya KOUMURA p. 30 AM刺激への応答（1変数の例） 同期性 → 時間coding 白色雑音× 正弦波AM 変数の出力値 AM周波数 平均 → 頻度coding 特定のAM周波数に選択的に応答
- 32. 2018.05.09 Takuya KOUMURA p. 31 Best & upper cutoff frequency 時間coding 頻度coding AM周波数 1層目 13層目 12層目 11層目 10層目 9層目 8層目 7層目 6層目 5層目 4層目 3層目 2層目 同期するAM周波数が減少 頻度codingが途中から出現 ピーク ×0.8 Best frequency Upper cutoff frequency AM 周波数 同期性・平均発火頻度
- 33. 2018.05.09 Takuya KOUMURA p. 32 分布密度 時間coding 頻度coding AM周波数 AN CN SOC NLL IC MGB AC 末梢 中枢 聴覚神経系におけるAM表現 Best frequency Upper cutoff frequency AM 周波数 同期性・平均発火頻度
- 38. 2018.05.09 Takuya KOUMURA p. 37 ⚫共同研究者 ⚪古川茂人 ⚪寺島裕貴 ⚫研究費 ⚪JSPS科研費JP15H05915 （新学術領域研究、多元質感知） ⚫スライドは後日ここに公開します ⚪ http://cycentum.com/presentation/keio20180509/ イラスト素材