Download as PDF, PPTX
More Related Content
![[最新版] JSAI2018 チュートリアル「"深層学習時代の" ゼロから始める自然言語処理」](https://cdn.slidesharecdn.com/ss_thumbnails/jsai2018tutorialslideshare-180607030706-thumbnail.jpg?width=640&height=640&fit=bounds)
Similar to 人間とのインタラクションにより言葉と行動を学習するロボット(岩橋 直人)
![[DL輪読会] Towards an Automatic Turing Test: Learning to Evaluate Dialogue Respo...](https://cdn.slidesharecdn.com/ss_thumbnails/170925dlhackstowardsanautomaticturingtest-170925104902-thumbnail.jpg?width=640&height=640&fit=bounds)
人間とのインタラクションにより言葉と行動を学習するロボット(岩橋 直人)
- 1.
- 2. 内容 1. 対話技術の現状 2. 動作と言語によるコミュニケーション学習機構 L‐Coreの概要 3. 動作の模倣学習 4. 連続音声からの語彙の学習 5. 状況依存的発話理解の学習 6. 確認発話生成 7. 実世界に関する質問応答の学習 8. まとめ 2
- 3.
- 4.
- 5.
- 6.
- 7.
- 8.
- 9.
- 10.
- 11. 11 動作の模倣学習 課題：単語音声と物体操作の ペア から動詞とそ の意味を学習する 難しさ：非観測情報の推測 参照点 座標系 *羽岡, 岩橋, “言語獲得のための参照点に…,” IEICE技研報告 PRMU2000‐105, pp.39‐46, 2000.
- 12.
- 13.
- 14. 参照点に依存したHMMによる軌道生成 軌道は、HMMの尤度（確率）が最も高くなる ように生成する 入力： 動作ID, 参照点 出力：最尤軌道 14 0 0 動作「のせる」 参照点 元の位置
- 15. 問 題 設定 15 ここは スマートルーム です ここの名前はスマートルームここの名前はスマートルーム この場所は スマートルーム 2 1 対象IDこの場所は 会議室の前 指示 1 対象ID 単語や文法の 知識を持たない ロボットが 文音声と指示対象の ペア から単語とその意味を学習する 言い回し キーワード このばしぇおあ かいでぃひつのまえ
- 16.
- 17. 発話と指示対象の共起確率モデル 三種類の確率モデル（音響，文法，語意）を統合 W1 WLW0 WL+1S 発話 A 対象 O 始端 単語 単語 終端 単語列 ss L l ll L l ll NBests S WOPWWPSAP SOPSPSAPOAP 1 3 0 121 )|(log)|(log);|(logmax )|()()|(log),(log 文法音響 語意 17
- 18. 提案手法の流れ 18 学習データ 対象 音声 モデル選択による単語リスト最適化 初期単語リストの構築 語意モデル文法モデル 文法モデルと語意モデルの学習 音素列 w1 k/o/k/o/w/a w2 g/a/k/u/s/e w3b/e/y/a ・ ・ ・ 部分音素列の種類：約６０００種類 （６０発話） 単語リストの項目数：約２００単語 各部分列の 前後１モーラの情報量 が閾値以上なら追加 単語リスト かいぎし かいぎしつ ？？ ？？ ？？？？
- 19. モデル選択による単語リスト最適化 19 MDL基準に従って不要な単語を削除する 記述長＝－（モデル尤度）＋ log（データ数） データのあてはまりの良さとモデルの自由度とのバランスを取る 自由度 ２ モデル尤度＝ データ数 i iiOAP ),(log 自由度＝｛ 単語数２＋2 ×単語数 ｝＋｛ 対象数×単語数 ｝ モデル1 の単語 w1 k/o/k/o/w/a w2 h/o/k/o/w/a w3 g/a/k/u/s/e ・・・ モデル2 の単語 w1 k/o/k/o/w/a w3 g/a/k/u/s/e ・・・ Bigramの確率が高い２単語を連結１ ２
- 20.
- 21. 実験用収録音声 21 対象 キーワード 対象キーワード １ 会議室の前 ６ 竹内さんのブースの南 ２ 辻野さんのブース ７ 工作室 ３ フロアの真ん中 ８ アシモの部屋 ４ 学生部屋の前 ９ スマートルーム ５ お茶飲み場 １０ スマートルームの入り口 言い回しのパターン この場所は～ ここは～です ここの名前は～ ～の所に行って ～へお願い 今から～へ行って 言い回し６種類 ６０発話を収録キーワード１０種類 音素正解精度は平均 81 ％
- 22. 実験結果（ 16名分の平均） 22 203 99 74 51 37 29 2524 23 23 23 81% 50% 85% 40% 50% 60% 70% 80% 90% 100% 0 50 100 150 200 0 1 2 3 4 5 6 7 8 9 10 音素正解精度 (折れ線グラフ) 単語数(棒グラフ) 単語リスト最適化の回数 獲得単語数 発話の音素正解精度 出力キーワードの音素正解精度
- 23. 実験結果：提案手法で獲得されたキーワード例 23 正解キーワード 最適化なし 最適化１０回 会議室の前かいすのまえ かいすのまえ 辻野さんのブース つじのさ つじのさうのぶす フロアの真ん中 なか ふろあどまんなか 学生部屋の前 がくせえべや がくせえべやのまえ お茶飲み場 おちょ おちゃのいま 竹内さんのブースの南 み たきょいつさんのぶすのみなみ 工作室 こおさくしつ こおさくひつ アシモの部屋 あしものへや あしものへや スマートルーム む すもあとるむ スマートルームの入り口 ち すまとるむのいいぐち 平均音素正解精度 ４３ ％ ８５％平均 音素正解精度 単語リストの最適化によって分節誤りが修正される
- 24. 学習中の認識結果の例 発話 「この場所はフロアの真ん中」 音素認識結果： こどばしぇおあふろあのまんがか （k o d o b a sh e o a h u r o a n o m a ng g a k a） 初期モデル：/ こど / ば / しょわ / ふろあ / ど / まんなか / モデル選択１回：/ この / ばしょわ / ふろあどまん / なか / モデル選択２回： / このばしょわ / ふろあどまんなか / 24
- 25. 共有信念関数 25 1 , 2 3 4 5 ( ,) max log ( | ; , ) log ( | ; ) log ( | ; ) log ( | ; ) log ( , | ; ) log ( , | ; ) l z T L M M s a p s z L G p t W L p l W L p u W L p t l W R p t l q H 個別確信度ベクトル MCE 学習 ML/MAP 学習 信念モジュール 音声言語 HMMs 物体画像 Gaussians 動作 HMMs 動作‐オブジェクト関係 Gaussians 行動のコンテキスト Multinominal distribution
- 26. 発話理解 26 arg max( , ) A a s A 最適動作 入力音声 可能な動作
- 27. 最適化の過程 0 20 40 60 80 100 120 140 1 2 系列5 系列4 系列3 系列2 系列1 音声認識結果： 1st: カーミット 青い箱 持ち上げて 2nd:カーミット 青い 箱 のせて 発話：“カーミット 青い 箱 のせて” 行動コンテキスト 動作‐オブジェクト 関係 動作 物体 音声言語 Optimal Second Ψ(s,a)
- 28.
- 29. オンライン MCE 学習 ‐0.2 0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 0 1020 30 40 50 60 70 80 90 Local confidence value 系列1 系列2 系列3 系列4 系列5 系列6 Speech Object Motion‐object relationship Motion Holding Previously moved The number of episodes 29 個別確信度ベクトル エピソード数
- 30. 理解率の改善 30 40 50 60 70 80 90 100 0 10 2030 40 50 60 70 80 90 Understanding rate (%) 系列1 The number of episodes 38% 30 エピソード数 音声理解率（％）
- 31.
- 32. 最適化過程のマージン 0 20 40 60 80 100 120 140 1 2 系列5 系列4 系列3 系列2 系列1 音声認識結果： 1st: カーミット 青い箱 持ち上げて 2nd:カーミット 青い 箱 のせて 発話：“カーミット 青い 箱 のせて” 行動コンテキスト 動作‐オブジェクト 関係 動作 物体 音声言語 Optimal Second Ψ(s,a) マージン
- 33.
- 34. 確率的意思決定 最大期待効用を生む閾値 0 に基づく意思決定 34 正解 反応 10 動作 確認発話 効用 動作 , + 1 , 確認発話 , + 1 , 期待効用 推定正解確率 , 0 1 動作 確認発話
- 35. 35 理解される確率を制御する発話生成 argmin f , s s d s a 最適発話 動作 可能な発話 ターゲット確率
- 36. 単語の追加による確認発話生成 f(d(s,a)) が を越えるまで単語を追加 36 箱持ち上げて. f(d’) “大きい赤い四角い箱” 0.98 “大きい赤い箱” 0.92 “箱” 0.47 “小さい青い箱” 0.08 “青い箱” 0.01 大きい赤い箱持ち上げて、 いいですか?
- 37.
- 38. 発話行為の認識 38 38 コミュニケーション 物理世界 ３つのタイプの発話行為 1. ロボットにオブジェクトを記述させる質問 2. ロボットにオブジェクトを指差させる質問 3.オブジェクト操作の命令 青い箱持ち上げて カーミットどれ? なに?
- 39.
- 40.