Recommended
More Related Content
What's hot
What's hot (20)
Similar to 人間とのインタラクションにより言葉と行動を学習するロボット, 岩橋直人
Similar to 人間とのインタラクションにより言葉と行動を学習するロボット, 岩橋直人 (17)
More from KIT Cognitive Interaction Design
More from KIT Cognitive Interaction Design (20)
人間とのインタラクションにより言葉と行動を学習するロボット, 岩橋直人
- 2. 内容 1. 対話技術の現状 2. 動作と言語によるコミュニケーション学習機構 L‐Core の概要 3. 物体概念の学習 4. 動作の模倣学習 5. 連続音声からの語彙の学習 6. 共有信念に基づく発話理解の学習 7. 共有信念に基づく発話生成 8. 確認発話生成 9. 実世界に関する質問応答の学習 10. まとめ 2
- 3. １．対話技術の現状 3
- 11. 報道映像 11
- 12. L‐Coreの信念システム 12
- 13. 共有信念関数 Ψ(s,a) 個別確信度 ベクトル 動作-オブジェクト 関係 行動 コンテキスト 音声言語 動作物体 L‐Coreの信念システム 全体確信度関数 f(d) 発話と行動の生成と理解 13
- 15. 3. 物体概念の学習 15
- 19. マルチモーダルLDA • 文書 ⇒ 物体 • 単語 ⇒ マルチモーダル情報 w* • トピック ⇒ カテゴリ z • パラメタ推定することで物体の分類 が可能 Nvα θ z wv βv wa βa wh βh Na Nh M 視覚 聴覚 触覚 α ： ディリクリ事前分布 θ ： 多項分布のパラメータ z ： カテゴリ w* ： モーダル情報 β* ： 多項分布のパラメータ 物体のマルチモーダルカテゴリゼーション 丸、音無し やわらかい…. 丸、シャカシャカ 鳴る、硬い…. カテゴリ1 （ぬいぐるみ） カテゴリ2 （マラカス） LDALDA LDALDA
- 20. 物体概念の構築 • 物体を分類することで、物体概念を構築 – 視覚・聴覚・触覚情報を様々な組み合わせで構築 • 人の分類と比較 – 人の分類：８人の被験者共通に現れた分類 • 40個のおもちゃ8カテゴリを使用 物体のマルチモーダルカテゴリゼーション
- 21. 分類結果 Category ID 1 2 3 4 5 6 7 8 5 10 15 20 25 30 35 40 CategoryID 1 2 3 4 5 6 7 8 5 10 15 20 25 30 35 40 人手による分類（正解） 視覚情報のみによる分類 マルチモーダルカテゴリゼーション Category ID 1 2 3 4 5 6 7 8 5 10 15 20 25 30 35 40 マルチモーダル情報を 用いることで人手と同じ 分類が可能 マルチモーダル情報を 用いることで人手と同じ 分類が可能 ObjectID ObjectID Category ID 1 2 3 4 5 6 7 8 5 10 15 20 25 30 35 40 視覚・聴覚 ObjectID ObjectID 物体のマルチモーダルカテゴリゼーション
- 23. 4. 動作の模倣学習 23
- 24. 24 動作の模倣学習 課題：単語音声と物体操作の ペア から動詞とそ の意味を学習する 難しさ： 非観測情報の推測 参照点 座標系 *羽岡, 岩橋, “言語獲得のための参照点に…,” IEICE技研報告 PRMU2000‐105, pp.39‐46, 2000.
- 27. 参照点に依存したHMMによる軌道生成 軌道は、HMMの尤度（確率）が最も高くなる ように生成する 入力： 動作ID, 参照点 出力： 最尤軌道 27 0 0 動作「のせる」 参照点 元の位置
- 29. 動作模倣学習デモビデオ 29
- 31. こ こ は 会 議 室 の 前 で す 問 題 点 １． 発話中のどこが場所 名かわからない ２． 音声認識誤りが生じる ３．意味（指示対象の分 布）がわからない ロボットは単語の知識を持たない（音声は音素列として認識） 問 題 設 定 発話と指示対象の共起情報から単語の音素系列とその意味を学習 ここおあ かいでぃひつのまえ か い で ぃ ひ つ の ま え
- 33. 学習データ：９０組の発話と位置座標 33 1 デル部屋 2 梅崎研秘書室 3 梅崎先生の部屋 4 小竹研究室 5 加藤研究室 6 徳丸研究室 7 インターンシップ推進室 8 専攻会議室 9 夢空間 10 コミュニケーションスペース 1 ここが X です 2 ここの名前は X だよ 3 この場所は X っていうんだ 4 X です 5 X だよ 6 X っていうんだ 7 ここが X 8 ここの名前は X 9 この場所は X (X は場所名を表す) キーワード （10 種類） 言いまわし （9 種類） 自己位置推定で得られた位置座標と対応するキーワード 1 2 34 5 6 7 8 9 10
- 35. 学習手法の概要 35
- 36. 提案手法の概要 36 三種類の確率モデル（音響，文法，語意）を統合 発話 a 対象 o 文法音響 語意 単語列 s HMM N‐gram )|(log)(log)|(logmax )|()()|(log),(log sPsPsP sPsPsPP s s oa oaoa 一般の音声認識 音素系列の統計量に基づき初期の単語セットを生成 少ない単語数でモデルの尤度が高くなるように 単語の削除（MDL基準）と連結を繰り返す
- 37. 語意のモデル 37 発話 a 対象 o 単語列 s 単語列と対象の関係 HMM N‐gram 単語と対象の関係を2次元正規分布でモデル化 n i ii woPr 1 )|( ir : 意味の重み )|,()|( wyxPwoP yx yxxy y y x x xyxyyx yxyx ))((2)()( )1(2 1 exp 12 1 2 2 2 2 22 : 単語iw)|( soP xx : の分散 xyxy : の相関係数 yy : の分散 の平均xx : の平均yy :
- 39. 学習の様子 39 １： ここのなまえわ／うめざえ／けえひ／しょ／すだよ ２： ここのなまえわ／うめざえけえひしょ／すざよ ４： ここのなまえわ／うめざえけえひしょ／すだよ ５： ここのなまえわ／うめざえけえひしょしつ／だよ １０： ここのなまえわ／うめざえっけんいひしょあしつ／だよ モ デ ル 選 択 の 回 数 教示内容： 「 ここの名前は梅崎研秘書室だよ 」 音素認識： こ こ の な ま あ う わ う め ざ え け ん し ょ お す ざ よ ９０組の発話と位置座標のデータを用いてバッチ学習 モデル選択前２５８単語 → モデル選択後２０単語
- 41. 学習の様子 41
- 43. 共有信念関数 43 1 , 2 3 4 5 ( , ) max log ( | ; , ) log ( | ; ) log ( | ; ) log ( | ; ) log ( , | ; ) log ( , | ; ) l z T L M M s a p s z L G p t W L p l W L p u W L p t l W R p t l q H 個別確信度ベクトル MCE 学習 ML/MAP 学習 信念モジュール 音声言語 HMMs 物体画像 Gaussians 動作 HMMs 動作‐オブジェクト関係 Gaussians 行動のコンテキスト Multinominal distribution
- 44. 発話理解 44 arg max ( , ) A a s A 最適動作 入力音声 可能な動作
- 45. 最適化の過程 0 20 40 60 80 100 120 140 1 2 系列5 系列4 系列3 系列2 系列1 音声認識結果： 1st: カーミット 青い 箱 持ち上げて 2nd:カーミット 青い 箱 のせて 発話：“カーミット 青い 箱 のせて” 行動コンテキスト 動作‐オブジェクト 関係 動作 物体 音声言語 Optimal Second Ψ(s,a)
- 47. オンライン MCE 学習 ‐0.2 0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 0 10 20 30 40 50 60 70 80 90 Local confidence value 系列1 系列2 系列3 系列4 系列5 系列6 Speech Object Motion‐object relationship Motion Holding Previously moved The number of episodes 47 個別確信度ベクトル エピソード数
- 48. 理解率の改善 30 40 50 60 70 80 90 100 0 10 20 30 40 50 60 70 80 90 Understanding rate (%) 系列1 The number of episodes 38% 48 エピソード数 音声理解率（％）
- 50. 共有信念に基づいた発話理解 50
- 51. １ ２ ３ U 概念構造 51 “小さいカーミット茶色い箱乗せて” トラジェクタ : 1 : 小さい カーミット ランドマーク : 3 : 茶色い 箱 軌道 : U : 乗せて 概念構造 Z 構文構造 [小さい カーミット] [茶色い 箱] [乗せて] 意味構造 トラジェクタ ランドマーク 軌道
- 52. 格助詞を含む構文の概念構造 52 意味構造 軌道 トラジェクタ ランドマーク １ ２ ３ U 構文構造 [小さい カーミット を] [茶色い 箱 に] [乗せて] “小さいカーミットを茶色い箱に乗せて” 物体_トラジェクタ : 1 : 小さい カーミット _を 物体_ランドマーク : 3 : 茶色い 箱 _に 軌道 : U : 乗せて 概念構造 Z c vc v
- 53. 10. まとめ 53
- 58. 今後の展開 ユーザの行動習慣の学習 時間の概念 「きのう見せたペンを持ってき て」 ペット、フルーツ、道具などの、抽象度の高い 意味を持つ語彙の学習 動作学習と言語学習の統一原理追求 … 58
- 60. 雑談の記号接地 60