Recommended
More Related Content
More from utsuro_lab
More from utsuro_lab (20)
Recently uploaded
Recently uploaded (14)
音声を検索するための索引付け方式の紹介（専門家向け）
- 2. 研究の背景 2
- 4. 音声認識 システム 音声データ 認識結果 テキストデータ ＜検索語を入力＞ 文字列検索 キーワードの 発言箇所を 特定 基本的なSTDの仕組み – まず，音声データを音声認識してテキストデータとして表現します． – このテキストデータをキーワード検索することで ，キーワードの 発言箇所を特定します． 研究の背景 4
- 8. • 音素遷移ネットワークとは – 単語の読みの単位(音素)のネットワークで，複数の音声認識結果を表現 – たとえば下図では，青いマスを辿ると 「nasihoogeN」＝梨方言 という認識 結果が表現されています． 未知語対策手法：音素遷移ネットワーク[名取13] (Phoneme Transition Network：PTN) k s @ h i o a n w g @ g o m @ q e p Nu a o @ k s @ h i o a n w g @ g o m @ q e p Nu a o @ 研究の背景 8
- 9. • 音素遷移ネットワークとは – 単語の読みの単位(音素)のネットワークで，複数の音声認識結果を表現 – たとえば下図では，青いマスを辿ると 「nasihoogeN」＝梨方言 という認識 結果が表現されています． • 音素遷移ネットワークを用いたキーワードの検索 – 検索したいキーワードの読みと類似した文字列をネットワークから探し， 検出します． – 多少の不一致を許容することで，認識結果からキーワードを幅広く検出 できる仕組みになっています． 未知語対策手法：音素遷移ネットワーク[名取13] (Phoneme Transition Network：PTN) k s @ h i o a n w g @ g o m @ q e p Nu a o @ k s @ h i o a n w g @ g o m @ q e p Nu a o @ 研究の背景 9
- 17. （マレーシアのクアラルンプールにキャンプのマネージャーがいて，） 照合コスト 0.131 マレーシア 照合コスト 0.718 照合コスト 0.522 照合コスト 0.288 照合コスト 0.779 クアラルンプール 照合コスト 0.199 照合コスト 0.625 照合コスト 0.750 照合コスト 0.692 キャンプ 照合コスト 0.343 照合コスト 0.492 照合コスト 0.08 マネージャー 照合コスト 0.534 照合コスト 0.232 照合コスト 0.241 照合コスト 0.534 例えば，４つのキーワードを検索すると，以下のように （PTN中の箇所数×4）個 の照合結果が得られます． 従来手法における検出の説明 17
- 18. （マレーシアのクアラルンプールにキャンプのマネージャーがいて，） 照合コスト 0.131 マレーシア 照合コスト 0.718 照合コスト 0.522 照合コスト 0.288 照合コスト 0.779 クアラルンプール 照合コスト 0.199 照合コスト 0.625 照合コスト 0.750 照合コスト 0.692 キャンプ 照合コスト 0.343 照合コスト 0.492 照合コスト 0.08 マネージャー 照合コスト 0.534 照合コスト 0.232 照合コスト 0.241 照合コスト 0.534 このうち，設定した照合コストの上限よりも照合コストが小さい照合結果を すべて検出します． 例えば コストの上限＝0.35 とすると・・・ 従来手法における検出の説明 18
- 23. （マレーシアのクアラルンプールにキャンプのマネージャーがいて，） 照合コスト 0.131 マレーシア 照合コスト 0.718 照合コスト 0.522 照合コスト 0.288 照合コスト 0.779 クアラルンプール 照合コスト 0.199 照合コスト 0.625 照合コスト 0.750 照合コスト 0.692 キャンプ 照合コスト 0.343 照合コスト 0.492 照合コスト 0.08 マネージャー 照合コスト 0.534 照合コスト 0.232 照合コスト 0.241 照合コスト 0.534 先ほどと同様に， 4つのキーワードで検索したときの照合結果がある場合を例に考えます． 提案手法のアイディア 23
- 24. （マレーシアのクアラルンプールにキャンプのマネージャーがいて，） 照合コスト 0.131 マレーシア 照合コスト 0.718 照合コスト 0.522 照合コスト 0.288 照合コスト 0.779 クアラルンプール 照合コスト 0.199 照合コスト 0.625 照合コスト 0.750 照合コスト 0.692 キャンプ 照合コスト 0.343 照合コスト 0.492 照合コスト 0.08 マネージャー 照合コスト 0.534 照合コスト 0.232 照合コスト 0.241 照合コスト 0.534 提案手法では， まず箇所ごとに照合結果をまとめます． 提案手法のアイディア 24
- 25. 照合コスト 0.131 マレーシア 照合コスト 0.718 照合コスト 0.522 照合コスト 0.288 照合コスト 0.779 クアラルンプール 照合コスト 0.199 照合コスト 0.625 照合コスト 0.750 照合コスト 0.692 キャンプ 照合コスト 0.343 照合コスト 0.492 照合コスト 0.08 マネージャー 照合コスト 0.534 照合コスト 0.232 照合コスト 0.241 照合コスト 0.534 次に，箇所のまとまりのうち，照合コストが最小の照合結果を見つけます． そして，この照合結果をその箇所に貼り付けます (= 索引付け)． マレーシア クアラルン プール キャンプ マネージャー 提案手法のアイディア 25
- 26. こうして貼り付けられたキーワードの系列を検索することで， キーワードの発言箇所を特定します． 照合コスト 0.131 マレーシア 照合コスト 0.718 照合コスト 0.522 照合コスト 0.288 照合コスト 0.779 クアラルンプール 照合コスト 0.199 照合コスト 0.625 照合コスト 0.750 照合コスト 0.692 キャンプ 照合コスト 0.343 照合コスト 0.492 照合コスト 0.08 マネージャー 照合コスト 0.534 照合コスト 0.232 照合コスト 0.241 照合コスト 0.534 マレーシア クアラルン プール キャンプ マネージャー 提案手法のアイディア 26
- 29. PTN方式STD （キーワード n） STD結果 1 STD結果 n Step2. STD結果の 競合集合の作成 Step3. 箇所ごとに最も 照合するキーワードを 索引付け テキスト形式での キーワード索引 ・ ・ ・ ・ ・ ・ PTN方式STD （キーワード 1） ・ ・ ・ ・ ・ ・ 音声データ キーワード1 キーワード2 ・ ・ キーワードn キーワード1 キーワード2 ・ ・ キーワードn 提案手法の流れ 29 Step1.キーワード集合の作成
- 31. PTN方式STD （キーワード n） STD結果 1 STD結果 n Step2. STD結果の 競合集合の作成 Step3. 箇所ごとに最も 照合するキーワードを 索引付け テキスト形式での キーワード索引 ・ ・ ・ ・ ・ ・ PTN方式STD （キーワード 1） ・ ・ ・ ・ ・ ・ 音声データ 提案手法の流れ 31 キーワード1 キーワード2 ・ ・ キーワードn キーワード1 キーワード2 ・ ・ キーワードn Step1.キーワード集合の作成
- 32. Step2．STD結果の競合集合の作成 時間[frame] 下図は，いくつかのキーワードのSTD照合結果を検出時間ごとに 示したものです。 このようにして“競合関係”を定義します． そして競合関係にある照合結果から，“競合集合”を作成します． スペクトル スペクトルパラメータ スペクトル パラメータ スペクトル スペクトルパラメータ パラメータ 例１ 例２ 例３ （直接的）競合関係 非競合関係 （推移的）競合関係 検出時間が 重複 検出時間に 重複なし 推移的な競合関係 提案手法の実現方法 32
- 33. PTN方式STD （キーワード n） STD結果 1 STD結果 n Step2. STD結果の 競合集合の作成 Step3. 箇所ごとに最も 照合するキーワードを 索引付け テキスト形式での キーワード索引 ・ ・ ・ ・ ・ ・ PTN方式STD （キーワード 1） ・ ・ ・ ・ ・ ・ 音声データ 提案手法の流れ 33 キーワード1 キーワード2 ・ ・ キーワードn キーワード1 キーワード2 ・ ・ キーワードn Step1.キーワード集合の作成
- 34. 0.28 – 0.06 = 0.22 Step3‐1．競合集合においてコスト幅内の照合結果を 候補として残す 競合集合 照合コスト 0.06 スペクトル スペクトルパラメータ スペクトル部 パラメータ 特徴パラメータ 照合コスト 0.22 照合コスト 0.12 照合コスト 0.28 照合コスト 0.10 ① この競合集合における 最小コストを見つけます ② (各コスト) – (最小コスト) = (コスト差) を計算 0.06 – 0.06 = 0 0.22 – 0.06 = 0.16 0.10 – 0.06 = 0.04 ③ コスト差が設定したコスト幅内の 結果を候補として残します 例：コスト幅 = 0.10 とすると 0.12 – 0.06 = 0.06 スペクトル スペクトルパラメータ パラメータ 競合集合 提案手法の実現方法 34
- 35. Step3‐2. 直接的競合組間において 最長フレーム照合結果を優先して索引付け スペクトル スペクトルパラメータ パラメータ コスト差 0 コスト差 0.06 コスト差 0.04 そして，索引付けされた箇所と 直接競合する照合結果を削除します． 競合集合 提案手法の実現方法 スペクトル スペクトルパラメータ パラメータ コスト差 0 コスト差 0.06 コスト差 0.04 残った候補のうち， 検出フレーム時間が最長の照合結果を選び， 索引付けします． 競合集合 以上の手順を，競合集合から候補が無くなるまで繰り返します． 35
- 37. 30% 40% 50% 60% 70% 80% 90% 100% 50% 60% 70% 80% 90% 100% 適合率[%] 再現率[%] CSJのうち，11講演を対象とした評価結果 従来手法 最大F値 87.3% 再現率 84.1% 適合率 90.1% 提案手法 最大F値 88.4% 再現率 84.3% 適合率 92.9% 提案手法の評価 37
- 38. 40% 50% 60% 70% 80% 90% 100% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Precision[%] Recall[%] 評価したCSJ11講演のうち，模擬講演（6講演）の評価結果 • 模擬講演は未知語が多い • 提案手法は模擬講演での精度の改善が大きい → 提案手法は未知語に対して特に有効 提案手法の評価 提案手法 最大F値 79.1% 再現率 73.2% 適合率 86.0% 従来手法 最大F値 77.1% 再現率 73.4% 適合率 81.2% 38
- 39. まとめと今後の課題 まとめ • キーワード集合を用いて，最も良く照合したキーワードを音声 に索引付ける音声検索手法を提案した • CSJ11講演で評価した結果，主に模擬講演において適合率を 改善した • 分析の結果，提案手法は未知語の適合率の改善となること がわかった 今後の課題 • 評価実験の拡大 • キーワード集合を自動生成する仕組みの検討 39