音響学会サマーセミナー 2021.08.24

1. 2021.08.24
Takuya KOUMURA
p. 1
教師あり学習を用いた
聴覚系のモデリング
上村 卓也 Takuya Koumura
NTT コミュニケーション科学基礎研究所
音響学会サマーセミナー
2021.08.24
スライドは講演後ここに公開します。
http://cycentum.com/presentation/asj20210824/
本研究はJSPS科研費20H05957（学術変革領域研究（A） 深奥質感）の助成を受けたものです。

2. 2021.08.24
Takuya KOUMURA
p. 2
自己紹介
NTT コミュニケーション科学基礎研究所
 人間情報研究部（心理学・神経科学のラボ）
得意分野
 神経科学（電気生理・生化学反応）
 音の心理学（聴覚・発声）
 計算（シミュレーション・機械学習・データ解析）
（あまり活動していませんが）一応各種SNSアカウントあります
（最近はずっと在宅） (Google Map)

3. 2021.08.24
Takuya KOUMURA
p. 3
聴覚
鳥？
音
音 認識
脳
耳
聴神経
振動 神経活動
変換

4. 2021.08.24
Takuya KOUMURA
p. 4
日常的な環境では・・・
(Gaver 1933 Ecol Psychol)
前から車が近づいている
頭上に鳥が鳴いている
〇〇さんが話している
＋発話の内容
とても複雑！
動物はほぼ自動的にできる

5. 2021.08.24
Takuya KOUMURA
p. 5
我々のアプローチ
日常的な環境で聴こえる音はとても複雑！
ほぼ自動的に認識できる
→ どのように理解するか？
 日常環境に近い & コントロールされた 音を使って実験
 計算機上でシミュレーション
研究紹介
 教師あり学習を用いた聴覚系のモデリング(Koumura, Terashima, Furukawa, 2019, JNS)
古川 茂人 寺島 裕貴 上村 卓也
聴覚 質感 & モデリング チーム

6. 2021.08.24
Takuya KOUMURA
p. 6
音認識の機能を教師あり学習でモデリングする
音 音
認識 認識
計算機モデル
教師あり学習
で訓練

7. 2021.08.24
Takuya KOUMURA
p. 7
音認識の機能を教師あり学習でモデリングする
生理学的性質を比較
認識
認識
ニューラル
ネットワーク
（NN）
心理学的性質を比較
教師あり学習
で訓練
音 音

8. 2021.08.24
Takuya KOUMURA
p. 8
音を分類する計算機モデルを構築
訓練データ
 環境音＋動物の鳴き声
正答率＝62.6%
chance = 5.6%
human ~ 81.3%
(Piczak 2015 MM '15)

9. 2021.08.24
Takuya KOUMURA
p. 9
チューニングの特徴を比較
生理学的性質の比較
刺激
電極
(Liang 2002 J Neurophysiol)
神経活動
単一ユニット記録
振幅変調
時刻（s）
振幅
チューニング
刺激
単一ユニット記録
ある素子の活動
チューニング

10. 2021.08.24
Takuya KOUMURA
p. 10
チューニングの特徴の類似度
聴覚系と類似した
振幅変調チューニングが発現
聴覚系と類似するようにモデルを
設計/訓練したわけではない
→ 聴覚系における振幅変調の
表現も、音認識に適した性質
が進化してきた可能性？
Neural network layers
Tuning similarity
日常的な環境における聴覚の機能（音の認識）と
そのメカニズム（神経活動のチューニング）がつながった？

11. 2021.08.24
Takuya KOUMURA
p. 11
心理学的性質の比較
刺激
(Dau et al. 1997
JASA)
振幅変調
時刻（s）
振幅
振幅変調
検出
AM rate （Hz）
検出閾値
(dB)
検出閾値
（Imaginary data）
深さ
正答率
（%）
50
100
70.7
時間変調伝達関数
刺激
深さ (dB)
正答率
（%）
100
0
20
40
60
80
検出閾値
70.7
振幅変調検出
AM rate （Hz）
検出閾値
(dB)
比較

12. 2021.08.24
Takuya KOUMURA
p. 12
心理学的性質の比較
振幅変調検出感度の類似度
ヒトと類似した
振幅変調検出感度が発現
聴覚系と類似するようにモデルを
設計/訓練したわけではない
→ 聴覚系における振幅変調の
表現も、音認識に適した性質
が進化してきた可能性？

13. 2021.08.24
Takuya KOUMURA
p. 13
モデリング研究の２通りの方法
構成の再現
機能の再現
(Kriegeskorte & Douglas 2018 Nat Neurosci)
（神経活動など）
（音認識など）
我々のアプローチ