Music×Analytics Meetup Vol.7 での登壇資料です。 https://muana.connpass.com/event/234179/ ボイスパーカッションの音をリアルタイムで解析するためにどんなことをしてきたのかを簡単にまとめました。

1. ボイパの音声を
リアルタイムで解析！
リザバーコンピューティングを添えて
尾原 颯

2. ボイパの音声を
リアルタイムで解析！
リザバーコンピューティングを添えて
尾原 颯

3. 自己紹介
名前
尾原 颯（おはら そう）
好きなアーティスト
Anly、Aimer、JUNNA
趣味
テニス、アニメ
Twitter: @sun_hellsing

4. 必要な前提知識
ディープラーニング少し知ってる
音声解析少し知ってる
少しでもかじっている方であれば理解できる
発表になっていると思います！

5. アジェンダ
1. リザバーコンピューティングの紹介
2. 実験内容紹介
3. 結果
4. まとめ

6. リザバーコンピューティングとは？

7. リザバーコンピューティングって
聞いたことありますか？

8. リザバーコンピューティング
RNN の再帰部分の重みを固定して学習させる 1 つのアプローチ

9. リザバーコンピューティング
RNN の再帰部分の重みを固定して学習させる 1 つのアプローチ
リザバー
（学習の対象外）
リザバーコンピューティングで
よく使われるネットワークの名称
(Echo State Network)

10. リザバーコンピューティング
RNN の再帰部分の重みを固定して学習させる 1 つのアプローチ
学習は基本的に線形回帰
（or ロジスティック回帰）

11. リザバーが持っていてほしい性質2選
● Echo State Property (ESP)
● カオス性（厳密には Edge of Chaos)
経験則的に知られているもの

12. Echo State Property（ESP）
リザバーの内部の状態が、初期値にかかわらず同一の入力が与えられれ
ば同一の状態に漸近すること
実現方法
内部結合重み W のスペクトル半径を 1.0 未満に調整するアプローチが
よくとられる
リザバー部分が機能するための 1 つの性質

13. カオス性
初期値のわずかな差を時間と共に
指数関数的に拡大させる性質
巨大な言語モデルの ALBERT も内部
に遷移カオスを有している
リザバーが持っていると良いとされる性質の 1 つ
右図: ALBERT に文章を入力して 50 万ステップ以上計算
させたときの内部状態の推移(K.Inoue, et.al. 2020) link
LLE: ネットワークのカオス性を測るための
指標。0.0 以上だとカオスだと判定される

14. 実験内容

15. 実験でやりたかったこと
自分が演奏するボイパの音をリアルタイムで
解析したい！！
音の種類、グルーヴ、テンポ、ビートの種類....
（歌声とかを分析するアプリはあるけど、ボイパに焦点を当てたアプリは現状存在しない（はず））

16. 実験でやりたかったこと
自分が演奏するボイパの音をリアルタイムで
解析したい！！
音の種類、グルーヴ、テンポ、ビートの種類....
（歌声とかを分析するアプリはあるけど、ボイパに焦点を当てたアプリは現状存在しない（はず））
今回は音の種類判別に取り組む！

17. [実験手順] 一覧
1. データ収集
2. ネットワーク設計
3. 学習
4. ハイパーパラメータチューニング

18. [実験手順]データ収集
以下の音を 1 音ずつサンプリング
- バスドラム
- ハイハット
- スネアドラム
- K-スネア
- 無音
おうちで黙々と作業。。

19. [実験手順] 採用ネットワーク
2 種類用意
- ESN (with SAL)
- 標準的なネットワーク
- DeepESN (with SAL)
- リザバー部分が多層パーセプトロン
- 事前学習でネットワークのカオス性を
上げた (SAL)
標準的なアプローチと、変則的なもの 2 つを用意
SAL: Sensitivity adjust learning (K. Shibata, et.al. 2021 link)
右図: DeepESN の構造 (C. Sun, et.al. 2020 link)

20. SAL による効果の可視化
SAL を行う前のネットワークの活動状態
-7 (log scale)
-1 (log scale)

21. SAL による効果の可視化
SAL を行った後のネットワークの活動状態
-1.8 (log scale)
-0.6 (log scale)

22. SAL による効果の可視化
SAL を行った後のネットワークの活動状態
-1.8 (log scale)
-0.6 (log scale)
差分が縮まる度合いが
小さくなっている

23. [実験手順] 学習
学習データの設定
- 音声変換: メルスペクトログラム
- 各フレーム(タイムステップ) ごとに入力
- 音声: サンプリングした各種音声をランダムにつなぎあわせたもの
- 学習データ: ESN の各タイムステップの内部状態
- 各タイムステップに紐づいたラベル（音の種類）
デコーダーのモデル
- ロジスティック回帰で多クラス分類
リザバーの内部状態を入力とし、単純な多クラス分類として学習

24. [実験手順] 学習ステップ
リザバーの内部状態を入力とし、単純な多クラス分類として学習
リザバー
（RNN の再帰部分）
メルスペクトログラム
活性状態
ノード数
タイムステップ数
（フレーム数）
ラベル系列
この2つのデータで学習！

25. [実験手順] ハイパーパラメータチューニング
ハイパーパラメータ一覧
- leaky_rate: 直前のタイムステップの状態をどれぐらいの割合で保持
するか
- n_mels: メルスペクトログラムに変換する次元数
- n_fft: FFT を行うサンプル数
- net_dims: リザバー部分の大きさ（レイヤーの数も設定） etc..
思ったよりも多くなってしまった。。。
グリッドサーチで総当たり探索

26. 結果

28. まとめ

29. まとめ
- リザバーコンピューティングの導入
- RNN の再帰部分の重みを固定して学習させる 1 つのアプローチ
- ボイパの音をリアルタイムで解析するために行ったことを紹介した
- ある程度の音の分類はできていそう。
- サンプル数を増やしつつ、ほかのタスクにも応用できるように
改良していきたい。

30. コードなど公開してます！
● リポジトリ
○ https://github.com/wildgeece96/reservoir-mic-input
● 今回の改善を行う前の取り組みをまとめたブログ
○ Echo State Network を使ってボイパの音をリアルタイムで分類してみ
る (Python, Reservoir Computing) | 創造日記