Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

連続音声からの語彙学習と 自動巡回ロボットへの応用

111 views

Published on

第30回 日本ロボット学会 学術講演会(2012)で発表した内容です.

Published in: Engineering
  • Be the first to comment

  • Be the first to like this

連続音声からの語彙学習と 自動巡回ロボットへの応用

  1. 1. 連続音声からの語彙学習と 自動巡回ロボットへの応用 第30回 日本ロボット学会 学術講演会 確率ロボティクス~行動学習から記号創発まで~ 3N2-2 田口 亮,東 拓実,梅崎 太造 (名古屋工業大学) 保黒 政大 (中部大学)
  2. 2. 2 お父さんの茶碗 を持ってきて 言語獲得ロボットの(工学的)背景 家庭やオフィス等で人と音声対話するロボット 一般的な音声認識 : 事前に認識候補の単語を登録 単語の解釈方法も既知 環境固有の物や場所の名前と その意味(解釈方法)は事前に与えられない 幼児のようにインタラクションを通してことばを学習する機能が必要 カトキ版の武者頑駄無 を持ってきて このレイバーは イングラムって名前だよ
  3. 3. こ こ は 会 議 室 の 前 で す 問 題 点 1. 発話中のどこが場所 名かわからない 2. 音声認識誤りが生じる 3.意味(指示対象の分 布)がわからない ロボットは単語の知識を持たない(音声は音素列として認識) 3 問 題 設 定 発話と指示対象の共起情報から単語の音素系列とその意味を学習 ここおあ かいでぃひつのまえ か い で ぃ ひ つ の ま え
  4. 4. 4 トラッキングの様子 早 送 り 映 像 自律移動ロボットを使用した場所名の学習 地図の生成 愛知万博での鬼ごっこデモ 自律移動ロボットASKA LRF
  5. 5. 学習データ:90組の発話と位置座標 5 1 デル部屋 2 梅崎研秘書室 3 梅崎先生の部屋 4 小竹研究室 5 加藤研究室 6 徳丸研究室 7 インターンシップ推進室 8 専攻会議室 9 夢空間 10 コミュニケーションスペース 1 ここが X です 2 ここの名前は X だよ 3 この場所は X っていうんだ 4 X です 5 X だよ 6 X っていうんだ 7 ここが X 8 ここの名前は X 9 この場所は X (X は場所名を表す) キーワード (10種類) 言いまわし (9 種類) 自己位置推定で得られた位置座標と対応するキーワード 1 2 34 5 6 7 8 9 10
  6. 6. 実験結果: 獲得されたキーワード 6 うめだきせえせえのへや (梅崎先生の部屋) あめぜきてんせえのへあ でれべや (デル部屋) いんたあしいとぅすいしんしつ (インターンシップ推進室) ゆめくうかん (夢空間) かとおけんけえしつ (加藤研究室) こみにけえしのすぺえす (コミュニケーションスペース) めえせきせえせえのへや めぜけんししょしつ (梅崎研秘書室) おだけきんけえしつ (小竹研究室) せんこおかいぎしつ (専攻会議室) とくまでけんきえしつ (徳丸研究室) 80% の音素正解精度で単語を獲得
  7. 7. 学習手法の概要 7
  8. 8. 提案手法の概要 8 三種類の確率モデル(音響,文法,語意)を統合 発話 a 対象 o 文法音響 語意 単語列 s HMM N-gram    )|(log)(log)|(logmax )|()()|(log),(log sPsPsP sPsPsPP s s oa oaoa     一般の音声認識 音素系列の統計量に基づき初期の単語セットを生成 少ない単語数でモデルの尤度が高くなるように 単語の削除(MDL基準)と連結を繰り返す
  9. 9. 語意のモデル 9 発話 a 対象 o 単語列 s 単語列と対象の関係 HMM N-gram 単語と対象の関係を2次元正規分布でモデル化   n i ii woPr 1 )|( ir : 意味の重み )|,()|( wyxPwoP                           yx yxxy y y x x xyxyyx yxyx        ))((2)()( )1(2 1 exp 12 1 2 2 2 2 22 : 単語iw)|( soP xx : の分散 xyxy : の相関係数 yy : の分散 の平均xx : の平均yy :
  10. 10. 語意のモデル 発話 a 対象 o 単語列 s 単語列と対象の関係 HMM N-gram 10 P(x,y | w) x y 「うめざきけんひしょしつ」 「せんこうかいぎしつ」
  11. 11. 学習の様子 11 1: ここのなまえわ/うめざえ/けえひ/しょ/すだよ 2: ここのなまえわ/うめざえけえひしょ/すざよ 4: ここのなまえわ/うめざえけえひしょ/すだよ 5: ここのなまえわ/うめざえけえひしょしつ/だよ 10: ここのなまえわ/うめざえっけんいひしょあしつ/だよ モ デ ル 選 択 の 回 数 教示内容: 「 ここの名前は梅崎研秘書室だよ 」 音素認識: こ こ の な ま あ う わ う め ざ え け ん し ょ お す ざ よ 90組の発話と位置座標のデータを用いてバッチ学習 モデル選択前258単語 → モデル選択後20単語
  12. 12. 自動巡回ロボットへの 応用 12
  13. 13. 「◯◯に行って」や「◯◯と××を巡回して」等の発話で巡回の目的地点を設定 学習により得られた地名 学習語彙を用いた巡回依頼発話の理解 文 法 認識 単語列 ノートパソコン レーザレンジ ファインダ 超音波 センサ テープ スイッチ モータ ×2 音声認識器 (Julius) 辞書 (獲得単語) 制御部 マイコン 巡回依頼の認識用文法(22種類) 認識文法 単語辞書 ・ 学習で得られた単語の音韻系列 ・ 巡回依頼に用いる単語
  14. 14. 巡回依頼発話の認識結果と巡回例 入力発話 コミュニケーションスペース まで夢空間から専攻会議室と 徳丸研究室を通って行って 目的地点 [0] ゆめくうかん [1] せんこおかいぎしつ [2] とくまでけんきえしつ [3] こみにけえしのすぺえす 開始地点 「夢空間」の前 「コミュニケーションスペース」 「専攻会議室」 の前 「徳丸研究室」 の前 入力発話 小竹研究室から 梅崎先生の部屋まで
  15. 15. 開始地点 「小竹研究室」の前 「梅崎先生の部屋」 の前 巡回依頼発話の認識結果と巡回例 開始地点 「夢空間」の前 「コミュニケーションスペース」 「専攻会議室」 の前 「徳丸研究室」 の前 入力発話 コミュニケーションスペース まで夢空間から専攻会議室と 徳丸研究室を通って行って 目的地点 [0] ゆめくうかん [1] せんこおかいぎしつ [2] とくまでけんきえしつ [3] こみにけえしのすぺえす 入力発話 小竹研究室から 梅崎先生の部屋まで
  16. 16. 巡回依頼発話理解の評価実験 音声認識器 : Julius ・辞書 獲得語彙と巡回依頼に用いる単語 ・文法 巡回依頼の認識用文法 発話内容 : 1単語発話 データ数 : 10 種類×3回×10名 単語認識:教示者と異なるユーザでも認識可能か? 音声認識器: 単語認識と同様 話者 : 教示者と異なる男性1名 発話内容 : 複数の地名を含んだ 巡回依頼発話3種 データ数 : 3 種×10回×1名 文認識:言い回しによる悪影響は? 成功率 100[%] 教示者と異なる話者 でも認識可能 成功率 96.7[%] (29/30) 「徳丸研究室」を「おだけきんけえしつ」 と誤認識 発話内容 (a) 小竹研究室から梅崎先生の部屋まで行って (b) 小竹研究室からコミュニケーションスペース を通ってデル部屋まで行って (c) コミュニケーションスペースまで夢空間から 専攻会議室と徳丸研究室を通って行って
  17. 17. 考 察 (その1) 17 なぜ「徳丸研究室」を「おだけきんけえしつ」 と誤認識するのか? とくまでけんきえしつ かとおけんけえしつ おだけきんけえしつ とくまるけんきゅうしつ かとおけんきゅうしつ おだけけんきゅうしつ 音声 : 徳丸研究室 人手で定義した単語辞書 獲得語彙 ひっぱられる可能性あり 本来同じ単語を異なる音素系列として獲得したことの不具合 →同じ単語は同じ音素系列として獲得できた方が良い 鈍っている→
  18. 18. ならば・・・ 18 追加で「研究室」(1単語発話)を5回教示する 学習データ : 90個+5個 とくまでけんきえしつ かとおけんけえしつ おだけきんけえしつ 先の獲得語彙 学習データを増やすことで音素系列の修正が可能 とぅくまれけんけえしつ かとおけんけえしつ おだけきんけえしつ けんけえしつ データ追加後
  19. 19. 考 察 (その2) 19 1単語発話は前提条件を覆していないか? 研 究 室 と く ま で け ん き え し つ 実際のインタラクションではむしろ自然 マザーリーズのような効果も期待できる
  20. 20. 考 察 (その2) 20 獲得に失敗した単語を1単語で教示 学習データ : 90個+1個 失敗した単語の修正が可能 プロトコルを規定せずに手法そのまま すでお うめざきせんせえなへや おめざいせえせなへや ぎめくかん とこまるけんけえしつ てるでや かとおけんけえしつ おだけいけんけえしつ こめにけえしゃおすぺえす うめざえけえひしょしつ いんたんしえとぅすいしえしつ 専攻会議室 梅崎先生の部屋 夢空間 徳丸研究室 デル部屋 加藤研究室 小竹研究室 コミュニケーションスペース 梅崎研秘書室 インターンシップ推進室 90データの学習結果 せんこおかいぎしつ うめざひせんせえなへや おめざいせえせえなへや ぎめくかん とこまるけんけえしつ てるべや かとおけんけえしつ おだけいけんけえしつ こめにけえしょんすぺえす うめざえけえひしょしつ いんたんしえとぅすいしえしつ いんたしえとぅすいしえす 1単語発話の追加後
  21. 21. ま と め 21 語彙学習の結果を用いた自動巡回ロボットの開発 ・ 獲得語彙を用いた場合の問題点を指摘 ・ 1語発話による学習結果の修正方法を検討 今後の課題 既存の定型文を用いる手法との統合 • 統計的な語彙学習手法はバックグラウンドで並列実行

×