深層学習を用いた音源定位、音源分離、クラス分類の統合～環境音セグメンテーション手法の紹介～

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

深層学習を用いた音源定位、音源分離、クラス分類の統合
～環境音セグメンテーション手法の紹介～
2021/6/23
Tokyo BISH Bash #05
Honda Research Institute Japan
Research Divis...

2
自己紹介
周藤唯博士（工学）
略歴
- 2011年～2012年本田技研工業株式会社
- 2012年～2018年ホンダエンジニアリング株式会社
- 2018年～2021年東京工業大学博士後期課程
- 2019年～2020年株...

1．Honda Research Institute Japan（HRI-JP）の紹介
HRI-EU
HRI-JP
HRI-US
San Jose, California
Wako, Saitama
Offenbach, Germany
Hon...

4
取り組み紹介（ホンダコミュニケーションアシスタンスシステム）
HRI-JPで研究していた音声認識技術を応用し、
聴覚障がい者と健聴者のコミュニケーションをサポートする『ホンダコミュニケーションアシスタンスシステム』を開発

5
東京工業大学工学院システム制御系中臺研究室の紹介
ＡＩ・機械学習，ロボティクス，信号・音声処理といったバックグラウンドをベースに
「音」をキーワードに、基礎研究から応用研究まで広く扱っています。
https://www.nakadai...

6
目次
1. 背景、目的（環境音セグメンテーションとは）
2. 関連研究、技術課題
3. マルチチャンネル環境音セグメンテーション手法
4. まとめ

7
背景、目的
ロボットの実環境応用を目指し、環境認識手法が提案、実用化されている
マイクロフォンを用いることで、画像ベース手法ではとらえることのできないイベントが認識可能
アプリケーション：警備、搬送、自動運転
センサ：LRF, 3D LiD...

8
背景、目的
音源定位、区間検出、音源分離、クラス分類を統合された
環境音セグメンテーションタスクと定義し、全体最適な手法を研究
音声データを利用した環境認識における問題
- 複数音源のオーバーラップ、周囲のノイズ等
個別の機能が開発・評価さ...

9
アレイ信号処理ベースのカスケード手法
●アレイ信号処理ベースのカスケード手法[1][2]
- 個別のアレイ信号処理機能ブロックのカスケード構成
- 各ブロックで発生した誤差の蓄積による性能劣化
𝑦∗
= 𝑎𝑟𝑔 max
𝑦
𝑓(𝑿, 𝜽)
...

10
深層学習を用いたEnd-to-End手法
Deepでポン！
AIに食わせれば
できちゃうん
じゃないの？

11
シングルチャンネルベースの深層学習手法
● Universal Sound Separation [1]
- 混合時系列波形からConv TasNetを用いて音源分離とクラス分類を同時に行う
- シングルチャンネル手法であるため、オーバー...

12
シングルチャンネルベースの深層学習手法
● Learning to separate sounds from weakly labeled scenes [2]
- 混合音のスペクトログラムからCRNNを用いて音源分離とクラス分類を同時に...

13
マルチチャンネルベースの深層学習手法
[3] Adavanne, Sharath, et al. "Sound event localization and detection of overlapping sources using c...

14
マルチチャンネルベースの深層学習手法
SEDブランチ：
音響イベント検出
DOAブランチ：
音源到来方向推定
音源1
マイクアレイ
音源2
音源1は常に120°から到来？
音源2は常に30°から到来？
音源の移動や、マイクアレイの移動によ...

15
予備実験（空間特徴の効果検証）
入力特徴量:
- 1ch (振幅スペクトル)
- 8ch (振幅スペクトル+sinIPD, cosIPD)
モデル: U-Net, Deeplabv3+
データ数：1,000～10,000（3クラス）
損失...

16
予備実験（空間特徴の効果検証）
-2.0
-1.0
0.0
1.0
2.0
3.0
4.0
0 2000 4000 6000 8000 10000
RMSE
difference
The number of training data
D...

17
提案手法の概要
振幅スペクトル+sinIPD, cosIPD
振幅スペクトル+sinIPD, cosIPD
単一ブランチにすべて入力、同時に学習音源方向ごとに分離するブランチ
クラスごとに分離するブランチ
空間特徴を
用いた
音源定位
...

18
提案手法の概要
SSLSブランチ（Deeplabv3＋） SSSCブランチ（Deeplabv3＋）
マルチチャン
ネル入力
sinIPD, cosIPD
L (X, Yssls) = || f (X)◦Xmag – Yssls ||2
L...

19
評価方法
(d) SSLS + SSSC (提案手法)
(a) Single-loss single-network (b) Multi-loss single-network
(c) SSLS + Classification
SSLS...

20
アプローチ
ネットワーク
構造
音源定位音源分離クラス分類ネットワーク出力
(a)
完全な統合
Single-loss
single-network
(b)
Multi-loss
single-network
(c)
部分的に
分離...

21
データセット
混合音スペクトログラム
8000
6000
4000
2000
0
Frequency
Hz
コーパスリスト
1
0
0 1 2 3 4
Time s
コーパスクラス数
ATR音素バランス単語 2
RWCP実環境音声・音響...

22
実験結果
ネットワーク構造モデル Improvement
(a)
Single-loss
single-network
U-Net (1ch) (Baseline)
U-Net +0.1
Deeplabv3+ (1ch) (Baseli...

23
セグメンテーション結果例
(c) SSLS+Classification
(a) Single-loss single-network (b) Multi-loss single-network
Ground truth (d) SSLS...

24
各ブロックの出力結果
Ground truth
入力 SSLS出力 SSSC出力
SSSCでは分離できなかった音源を分離することが可能
SSLS SSSC
推定結果

25
まとめ
- 複数のタスクを深層学習で統合する場合、単純な統合を行うと
クラスとDOAの関係に過剰に結びついてしまうことがわかった
- SSLS ブロックと SSSC ブロックを明示的に分離することで、音源クラスと
DOA の関係への結びつ...

26
参考文献
[1] Kavalerov, Ilya, et al. "Universal sound separation." 2019 IEEE Workshop on Applications of Signal
Processing ...

Share Slideshare

LinkedIn
Facebook
Twitter

Embed

Size (px)

Show related Slideshows at end

WordPress Shortcode

Link

Share
Email

2024 Trend Updates: What Really Wor... by Search Engine Jou... 1033581 views
Storytelling For The Web: Integrate... by Chiara Aliotta 945137 views
Artificial Intelligence, Data and C... by OECD Directorate ... 865593 views
How to Leverage AI to Boost Employe... by SocialHRCamp 363144 views
2024 State of Marketing Report – by... by Marius Sescu 206375 views
Everything You Need To Know About C... by Expeed Software 226977 views

View on Slideshare

1 of 26 Ad

View on Slideshare

1 of 26 Ad