Downloaded 12 times
![フォルマント周波数
• スペクトルと呼ばれる音声信号をフーリエ変換したもののピークをフォル
マントという。
• 周波数の低い方から、F1、F2。。。という。
• ホルマント周波数は母音ごとに非常に安定。よって音韻知覚の手掛かり
に用いられる。
F1 F2
30
20
10
0
40
0 1 2 3 4
相対パワー(dB)
周波数(kHz)
/a/
/i/
/u/
/e/
/o/
0.2 0.4 0.6 0.8 1.0 1.2 1.4
1.01.52.02.53.03.5
F1
F2
[kHz]
[kHz]](https://image.slidesharecdn.com/bci-150226034015-conversion-gate01/85/BCI-16-320.jpg)
![SSII2022 [OS3-03] スケーラブルなロボット学習システムに向けて](https://cdn.slidesharecdn.com/ss_thumbnails/ssii2022-os3-03-220607020929-1e2b15e8-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]Deep High-Resolution Representation Learning for Human Pose Estimation](https://cdn.slidesharecdn.com/ss_thumbnails/20190517hrnet-190517005504-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]VOICEFILTER: Targeted Voice Separation by Speaker-Conditioned Spectrog...](https://cdn.slidesharecdn.com/ss_thumbnails/20181116dlvoicefiltertargetedvoiceseparationbyspeaker-conditionedspectrogrammaskingver3-181116070937-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]An Iterative Framework for Self-supervised Deep Speaker Representatio...](https://cdn.slidesharecdn.com/ss_thumbnails/20220216dlaniterativeframeworkforself-superviseddeepspeakerrepresentationlearning-220218040109-thumbnail.jpg?width=640&height=640&fit=bounds)
サイレントシーズンBCI
- 1. サイレントシーズンBCI －HMMの性能評価－ ◯伊東 崇† 山口ひろみ† 山口 彩夏‡ 山﨑 敏正† 福住 伸一* 山ノ井 高洋** †九州工業大学 ‡日立システムズ *NEC **北海学園大学
- 2. BCI（BRAIN-COMPUTER INTERFACE） 脳神経細胞の活動を入力信号とし、それらを制御信号へと変換するシステム。 タスクとして動作イメージを用いるものが大半を占める。 → タスクが難しく、膨大な訓練時間を要する。 サイレントスピーチ（SS）を用いた研究が進められている。 BCI 思考 動作障害を持つ人との コミュニケーション 等に応用可能 脳波から予測 手足を使用しない制御
- 3. 過去のSSBCI研究 ・日本語の母音 →周波数領域が決まっている ・グー、パー、チョキ →/u/, /a/, /o/i/ ・サイレントスピーチ(SS)時脳波 →音声信号を推定 ・周波数領域にプロット →推移、母音領域に入る数で 認識を可能に 子音を含めた認識は不可能 Silent speech /gu/ Silent speech /pa/ Silent speech /tʃɔki/ 予測器 ”gu” 予測器 ”pa” 予測器 ” tʃɔki”
- 4. 目 的 子音を含めた認識は不可能 /haru/, /natsu/,/aki/, /huju/ 子音を含めた認識を可能に Silent speech /gu/ Silent speech /pa/ Silent speech /tʃɔki/ 予測器 ”gu” 予測器 ”pa” 予測器 ” tʃɔki”
- 5.
- 6. 実験タイムスケジュール ・モニタ ・13 ch 脳波 ・音声信号 ・筋電 3 s3 s2.5 s 2.5 s 1 trial 次の提示へ 注視点 ・被験者 季節を記憶 発話 / SS 筋電の立ち上がり 15:52:42 1-LR 25.0 2-LR 25.0 3-LR 25.0 4-LR 25.0 5-LR 25.0 6-LR 25.0 7-LR 25.0 8-LR 25.0 9-LR 25.0 10-LR 25.0 12-LR 25.0 13-LR 25.0 14-LR 25.0 EMG 25.0 EXT 500.0 1sec/div … 15:52:42 EMG 25.0 1sec/div -400 ms ~ 0 ms
- 7. 運動準備電位 ＜発話時の運動準備電位＞ (L. Deecke etal., 1986) Early BP：運動前野、補足運動野、ブローカ野 NS’ (Late BP)：運動前野、運動野、ブローカ野 (H. Shibasaki, M. Hallett, 2006) ＜運動準備電位＞
- 8.
- 9.
- 10.
- 11.
- 12.
- 13.
- 14. Wester (2006) ⇒サイレントスピーチ時の脳波計測 →運動野、Broca野、Wernicke野 LR ブローカ野： 運動性言語中枢として知られる。 音声の産出に関わる。 ダイポール推定
- 15.
- 16. フォルマント周波数 • スペクトルと呼ばれる音声信号をフーリエ変換したもののピークをフォル マントという。 • 周波数の低い方から、F1、F2。。。という。 •ホルマント周波数は母音ごとに非常に安定。よって音韻知覚の手掛かり に用いられる。 F1 F2 30 20 10 0 40 0 1 2 3 4 相対パワー(dB) 周波数(kHz) /a/ /i/ /u/ /e/ /o/ 0.2 0.4 0.6 0.8 1.0 1.2 1.4 1.01.52.02.53.03.5 F1 F2 [kHz] [kHz]
- 17.
- 18. 音声認識で広く使われている状態遷移モデル /h/a/r/u/, /n/a/ts/u/：それぞれ4音素 →開始と終了状態を含めた6 状態HMM 音声認識：あらかじめ単語単位の標準モデルを用意しておき、 未知入力音声と各モデルの比較からもっとも類似しているモデルを選択する。 HMMデザイン：Left-to-right型 Young S et al. (2009) The HTK Book (for HTK Version 3.4). Cambridge University Engineering Department. HMM （隠れマルコフモデル）
- 19. HMM （隠れマルコフモデル） N :Normal distribution(正規分布) 𝑏𝑖𝑗 𝒙 = 𝑘 𝐶𝑗𝑘N ( 𝒙 , 𝝁 𝑗𝑘 , 𝑈𝑗𝑘 ) 𝑓 𝒙 = 1 2𝜋 𝑛 2 𝜮 1 2 𝑒𝑥𝑝 − 1 2 𝑡(𝒙 − 𝝁 )𝜮−1(𝒙 − 𝝁 ) 【HMMにおける出現確率𝑏𝑖𝑗 𝒙 の初期値設定の計算式】 𝝁 𝑗𝑘 : F1,F2の平均 𝑈𝑗𝑘 : 分散共分散行列 𝐶𝑗𝑘 ： 比率 ○ 混合正規分布 複数の正規分布を混ぜ合わせたもの 𝒙 : 音声データ 𝝁 : 平均 𝜮 : 分散共分散 ※上式における𝜋は円周率を示す。 ※本研究では、２次元のため 𝑛 = 2 とした。 ※季節ごとに作成（haru-HMM、natsu-HMM）。 本研究では同時密度関数として、以下の式をとる。 /a/ /i/ /u/ /e/ /o/ 0.2 0.4 0.6 0.8 1.0 1.2 1.4 1.01.52.02.53.03.5 F1 F2
- 20.
- 21. KALMAN FILTER 𝑥𝑡 =𝐴𝑥𝑡−1 + 𝑤𝑡 𝑦𝑡 = 𝐶𝑥𝑡 + 𝑣𝑡 𝒙 𝑡 : 音声特徴量F1・F2から成るベクトル 𝒚 𝑡 : 時刻tにおける脳波から成るベクトル 𝐴 : 過去と将来のF1・F2の関係 𝐶 : F1・F2の集合が与えられた時の脳波の期待値 𝑤, v : ガウス分布に従う確率変数、誤差を示す 状態推定を行うフィルタで、発話時脳波とF1・F2の関係 性を学習する。
- 22.
- 23.
- 24. KALMAN FILTER 学習したKFにSS脳波を入力し、SS音声特徴量F1・F2を推定 𝑥𝑡 =𝐴𝑥𝑡−1 + 𝑤𝑡 𝑦𝑡 = 𝐶𝑥𝑡 + 𝑣𝑡 𝒙 𝑡 : 音声特徴量F1・F2から成るベクトル 𝒚 𝑡 : 時刻tにおける脳波から成るベクトル 𝐴 : 過去と将来のF1・F2の関係 𝐶 : F1・F2の集合が与えられた時の脳波の期待値 𝑤, v : ガウス分布に従う確率変数、誤差を示す
- 25.
- 26. HMM（隠れマルコフモデル） KFで推定されたSS時のF1・F2（予測音声信号）を入力し、モ デル毎に出力された尤度の比較を行う。 a45 b3(o4) 【Viterbi アルゴリズム】 𝑓′ 𝑖, 𝑡 = log𝜋𝑖 max 𝑗 𝑓′ 𝑖, 𝑡 − 1 + log 𝑎𝑗𝑖 𝑏𝑗 𝑜𝑡 対数尤度 (𝑡 = 1) (𝑡 = 2, 3, ⋯ , 𝑇) 𝐿 = max 𝑖,𝑞 𝑖∈𝐹 𝑓′(𝑖, 𝑇)
- 27. 結果：カルマンフィルタで予測された音声信号 haru-Kalman Filter 時間遷移 : natsu-KalmanFilter どちらとも、/a/ と /u/ を通過しているため「はる」と「なつ」の区別ができない。
- 28. 結 果：尤度の比較 Confusion matrixsilent speech /haru/ silent speech /natsu/ haru-HMM -2844.512 -5263851 natsu-HMM -2878.522 -5088.068 HMMを使うことで、子音を含めた認識が可能に＞ ＞ 精度を向上させる方法を検討 認識精度は、春 58%・夏 67%
- 29.
- 30. 平均化カルマンフィルタ そこで： すべての発話脳波とフォルマント周波数を使ってKFを学習する ダイポールがブローカ野に推定された独立成分 春18個・夏12個と、フォルマント周波数を使用 フォルマント 周波数１ haru-KFSS 脳波1 SS 脳波12 発話脳波18 natsu-KF SS 脳波1 SS 脳波9 発話脳波1 フォルマント 周波数18 フォルマント 周波数１ 発話脳波12 発話脳波1 フォルマント 周波数12 … … … … …… 認識精度は、春 83%・夏 67%
- 31. ま と め 従来手法では不可能であった子音認識を可能に サイレントシーズンの中でも母音の推移が 同一な春(/haru/)と夏(/natsu/) 発話脳波と音声信号でKF、HMMの学習 学習したKFとHMMでSS脳波の解読 目的 結 果 フォルマント周波数を使ってHMMと平均化KFの学習を行うと、 春 83%・夏 67%の精度で子音を含めた認識が可能になった。 解 析 タスク 今 後 秋（/aki/）と冬（/huju/）の拡張 音声特徴量メル周波数ケプストラム係数（MFCC）を用い て、認識精度を算出する。
- 32. 参考文献 • 山本圭一 (2013)サイレントスピーチBCI―Single-trial EEGs を利用したホルマント周波 数予測― 平成24年度修士論文. • Deecke L et al. (1986) Bereitschaftspotential preceding speech after holding breath. Experimental Brain Research 65:219-223. • Young S et al. (2009) The HTK Book (for HTK Version 3.4). Cambridge University Engineering Department. • Wu W et al. (2006) Bayesian population decoding of motor cortical activity using a Kalman filter. Neural Computation 18:80-118. • Kalman RE (1960) A New Approach to Liner Filtering and Prediction Problems. J. Basic Eng. 82:35-45.