Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

東北大学講義資料 実世界における自然言語処理 - すべての人にロボットを - 坪井祐太 

1,369 views

Published on

東北大学情報科学研究科における産学連携講義(2019/01/17)の資料です。
ロボットを使うための自然なインターフェースへの取り組みの紹介と、PFNが目指すパーソナルロボット事業について紹介しました。

Published in: Technology
  • Be the first to comment

東北大学講義資料 実世界における自然言語処理 - すべての人にロボットを - 坪井祐太 

  1. 1. 実世界における自然言語処理 すべての人にロボットを 株式会社 Preferred Networks 坪井 祐太
  2. 2. 自己紹介 – 坪井祐太 • 経歴 • 2002年 奈良先端科学技術大学院大学(NAIST) 修士課程 • ~ 2016年 日本アイ・ビー・エム株式会社 • 2009年 NAIST 博士(工学)- 社会人博士 • 2016年 ~ 株式会社 Preferred Networks • 博士論文の専門分野: 自然言語処理 • 現在: パーソナルロボットの研究開発 2 https://www.kspub.co.jp/book/ detail/1529243.html https://www.morikita.co.jp/books /book/3034
  3. 3. 本日の講義の内容 • 実世界におけるインタラクティブな物体指示 • 小休止: 大企業とベンチャーの研究開発 • 全自動お片付けロボット • パーソナルロボット 3
  4. 4. 実世界における インタラクティブな物体指示 https://projects.preferred.jp/interactive-robot/
  5. 5. 言語処理の応用領域の変化 • これまで: テキストや閉じた仮想空間上での処理 • これから: 物理的な実世界での処理 5
  6. 6. 言語指示によるロボット実行タスク 👨👨: ねぇ,そこのフワフワした茶色の ものを下の箱に入れて 🤖🤖: どちらのことでしょうか? 👨👨: ホワイトボード消しの隣の方 🤖🤖: 承知しました
  7. 7. 実世界におけるロボット指示の課題 • 課題1: 実世界を表す表現の 多様性 • 課題2: 曖昧性を含んだ表現 7 テディベア 茶色の人形 柔らかさそうなもの くまを掴んで 上の箱に入っている上下逆さな人形 くまを動かして 茶色のもの 犬の人形?
  8. 8. ネットワーク構成 embedding MLP 音声入力 (テキストに変換) CNN MLP 切り取られた画像 🎤🎤赤いボトルを 上の箱に移して embedding LSTM 画像 (RGB) SSD 目標移動先 LSTM MLP 目標物体 End-to-endの深層学習を用いた画像・言語理解により, 単語や文法の事前設定・ルールを必要としないモデル
  9. 9. 曖昧性の扱い • 物体と指示文の組のスコアをヒンジ関数で計算 [Yu+ 2017] • スコアが閾値以下であれば曖昧であると判断 🎤🎤茶色のフワフワしたものを 右下の箱に入れて CNN MLP CNN MLPMLP LSTM 2位 1位3位… スコアの差を計算
  10. 10. データ作成:PFN-PIC grab the human face labeled object and … move the pop red can from the top … move the pink horse plushie … put the box with a 50 written on it that is … 1180シーン画像 (約26000物体) 約100種類(日用品)の物体 英語:91,590文,日本語:77,770文 (クラウドソーシングにより,各画像に対して最低3人が文章を付与) おにぎりを作るやつを 横に動かして なんか白い丸いもの を右に … 手前のオレンジのボ ールを … MONOの隣の水色の 箱を斜めに … https://github.com/pfnet-research/picking-instruction にて公開中
  11. 11. ロボット環境 • 物体位置への移動は 逆運動学 • 把持はバキューム ロボット 深度カメラ バキューム エンド エフェクタ 箱 圧力センサ 電磁弁 チューブ
  12. 12. 実験結果 • 英語指示で4.7ポイントの向上(39.2%の誤り削減) • 日本語指示で3.1ポイントの向上(16.3%の誤り削減) • 言語毎の作業者の国や文化の違い e.g. 薄板消しは英語では名前,日本語では形状と色で表現 →1つの言語のデータを集めて翻訳では不十分 物体移動タスクの対象物体精度 聞き返しなし 聞き返しあり 英語指示 88.0% 92.7% 日本語指示 81.0% 84.1%
  13. 13. 1x
  14. 14. 拡張現実(AR)による曖昧物体の提示 • 光の円で対象物 体を囲んで点滅 させることで強調 • 移動先を矢印で 提示 ヘッドマウントディスプレイを用いて可視化
  15. 15. まとめ • 話し言葉指示による曖昧性を含んだ物体ピッキン グシステムを提案 • 聞き返しによる曖昧性の解消 • 英語指示92.7% (39.2%の誤り削減) ,日本語指示 84.1% (16.3%の誤り削減) • 拡張現実(AR)による可視化の試み
  16. 16. ICRAでBest Paper Award(HRI部門) 受賞 • ICRA – International Conference on Robotics and Automation – ロボット分野のト ップ会議 – 個人的には国際会 議で論文賞は初 16
  17. 17. 小休止: 大企業とベンチャーの研究開発 • 共通点 • 相違点 17
  18. 18. Preferred Networks, Inc. (PFN)  設 立:2014年3月  所在地:東京都千代田区大手町(日本)、カリフォルニア州バークレー(米国)  従業員数:約200名(2019年01月現在) • 事業内容: 交通システム、産業用ロボット、バイオヘルスケアなど 18
  19. 19. 株式会社 Preferred Networks 19
  20. 20. 後半 20
  21. 21. 全自動お片付けタスク設定 ● 一般的な家具のあるリビング ● テーブル・ソファー・本棚 ● ゴミ箱・洗濯かご・おもちゃ箱 ● 2台のロボットが自律動作して散らか った部屋を片付ける ● ロボットはToyota HSR(Human Support Robot) ● 片付け先はあらかじめ決まって いるが人の指示でも変えたい
  22. 22. お片付けロボットを支える技術 • 物体認識(Object Detection)技術 • Human-robot Interaction (HRI) 技術 22
  23. 23. 様々な配置
  24. 24. 物体認識システム ● センサー類 ○ HSRカメラ (RGBD) ○ 4台の天井カメラ (RGB) ● PFDetをベースとして使用 ○ Open Images Challengeで2位 ○ 64 GPUで並列分散学習(ChainerMN)
  25. 25. 物体認識システムの概要・実績 認識モデル ● 対応物体数:~300(家具やロボットなども含む) ● 物体認識精度:0.9 mIoU(segmentation task) ● 照明条件変化や密集した配置に対する頑健性 ロボットシステム • 片付け速度:分速1.9物体(CEATECでの実績) • 把持成功率:~90%
  26. 26. 物体認識システムの頑健性 Thin Dense
  27. 27. 典型的なエラー例 マンゴー vs レモン人を物体と誤認識 白飛び 高密度な配置の際の認識抜け
  28. 28. Human–Robot Interaction (HRI) 技術 • HRI関連機能 ● 片付け先をリアルタイムで変更 ● 部屋の中の物体の検索 ● 優先片付け場所の指定 • 使われている技術 – 音声認識・自然言語処理 – ジェスチャー認識
  29. 29. Human–Robot Interaction (HRI) 技術 • HRI関連機能 ● 片付け先をリアルタイムで変更 ● 部屋の中の物体の検索 ● 優先片付け場所の指定 • 使われている技術 – 音声認識・自然言語処理 – ジェスチャー認識
  30. 30. Human–Robot Interaction (HRI) 技術 • HRI関連機能 ● 片付け先をリアルタイムで変更 ● 部屋の中の物体の検索 ● 優先片付け場所の指定 • 使われている技術 – 音声認識・自然言語処理 – ジェスチャー認識
  31. 31. UI / AR QA about trashing3D room view
  32. 32. CEATEC JAPAN 2018 (Oct 16–19, 2018)
  33. 33. インダストリ/マーケット 部門 準グランプリ 34
  34. 34. 全自動お片付けロボットまとめ ● 物体認識とHuman–Robot Interaction技術によって一般 家庭での応用が近い将来現実のものに ● インパクト ● 現実世界の物体管理・操作が可能になる ● 今後の課題 ● あらゆる物体の認識 ● 様々な環境への一般化 ● 簡単にセットアップできる仕組み ● 安全性
  35. 35. “Robots for Everyone” CEATEC JAPAN 2018@幕張メッセ 2018年10月16日
  36. 36. パーソナルロボット • 様々な実世界のタスクをこなし、世界のありとあらゆ る場所で活躍する • パーソナルコンピュータのような汎用性・使い勝手・ 市場の広がりを持った新たな産業を目指す 37
  37. 37. 38
  38. 38. パーソナルロボット実現のために必要とな る技術領域の例 • Robotics – Manipulation – Navigation – Planning – Simulation – Hardware / Mechanics • Software engineering – System architecture – Network architecture – Continuous integration ● Vision ○ Object recognition/tracking ○ Pose estimation ○ 3D modeling ● Human–Robot Interaction ○ Speech recognition/ synthesis ○ Dialog understanding/generation ○ UI / AR / VR ○ Human recognition
  39. 39. Manipulation/Simulation/3D modelingの研究トレンド例 Simulation環境からのDomain Adaptation • 実ロボットによる訓練データ作成は高コスト 40 図: https://ai.googleblog.com/2018/06/scalable- deep-reinforcement-learning.html シミュレーション環境を 実環境に変換 図:https://arxiv.org/abs/170 9.07857 シミュレーション・実環 境を正規化された表現に 変換 図:https://arxiv.org/abs/1 812.07252
  40. 40. まとめ • パーソナルロボットには新しい産業を生み出す可能 – 大型計算機からパーソナルコンピュータへのアナロジー – 家庭内だけでなく、働き方を変える可能性 • ロボットを実現する技術は総合格闘技 – パーソナルロボットの実現のためにあらゆる技術を結集させる 必要がある – ソフトウェア技術者の活躍の場も大いにある 41
  41. 41. コンピュータサイエンスの全分野に精通 • 学び続ける – 天才は努力するものに勝てない • 新しいことを学ぶのは楽しい – 努力するものは楽しむものに勝てない • 自然言語処理(デジタルな記号列だけを処理すること が多かった)  ロボティックス センサー・マニュピレータ(アナログデジタル) 42 孔子 論語(雍也第六の二十)
  42. 42. 実用化に向けて様々な応用の実現を可能に するツールの提供を目指す • 料理の手伝い・配膳・ • 片付け • 家の中の物を探す・とってくる • 洗濯・折りたたみ・収納 • 見守り・一緒に遊ぶ 43
  43. 43. Copyright © 2014- Preferred Networks All Right Reserved. 44

×