Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Copyright © NTT Communications Corporation. All right reserved.
慶応⼤学・SkyWayチーム 共同研究事例紹介
WebRTCで動かす“テレイグジスタンス”ロボット
NTTコミュニケ...
Copyright © NTT Communications Corporation. All right reserved.
⾃⼰紹介 ⼤津⾕ 亮祐
2
n 仕事
WebRTCプラットフォーム
“SkyWay” プロダクトオーナー
n コミュ...
Copyright © NTT Communications Corporation. All right reserved.
SkyWay
3
NTT Comが提供するWebRTCアプリ開発者向けプラットフォーム。
サーバAPIとSDKを提供...
Copyright © NTT Communications Corporation. All right reserved.
SkyWayの広がり
4
n 2013年12⽉5⽇にサービス開始
n 2016年2⽉現在、3700以上のアプリで利⽤
Copyright © NTT Communications Corporation. All right reserved.
SkyWay Conference at 東京海上⽇動システムズ
多⼈数Web会議のサンプルアプリを社内に導⼊
5
Copyright © NTT Communications Corporation. All right reserved.
SkyRTC by 妻⿃通信⼯業
ビデオチャットによるお問い合わせ機能を
Webサイトに埋め込めるSaaS
6
めん...
Copyright © NTT Communications Corporation. All right reserved.
Romoで⾒つける!⼦どもの表情 by ⽇本科学未来館
“おや?”っこひろばで遊ぶ⼦どもの様⼦を、
ロボットを使って...
Copyright © NTT Communications Corporation. All right reserved.
V-Sido OS by アスラテック
⼈型ロボットを制御するOSの遠隔制御機能に採⽤
8
ぶ し ど う
Copyright © NTT Communications Corporation. All right reserved.
BestieBox by NTTコミュニケーションズ
グループコミュニケーションアプリのビデオチャット機能に採⽤
9
Copyright © NTT Communications Corporation. All right reserved.
gaccatz by ドコモgacco
300⼈のオンライングループワーク
10
が っ か つ が っ こ
Copyright © NTT Communications Corporation. All right reserved.
アースアイズ
家庭⽤防犯カメラ&サービス
11
Copyright © NTT Communications Corporation. All right reserved.
インスペクショングラス by NEXCOシステムズ
スマートグラスとビデオ通話で⾼速道路の点検作業を⽀援
12
13Copyright © NTT Communications Corporation. All right reserved.
慶応⼤学・SkyWayチーム 共同研究事例紹介
WebRTCで動かす“テレイグジスタンス”ロボット
Copyright © NTT Communications Corporation. All right reserved.
⾃⼰紹介
• NTTComのSkyWay開発チームにおいてR&Dを担当
• 現在は「新規ユースケースの発掘」を中⼼に...
Copyright © NTT Communications Corporation. All right reserved.
WebRTC/SkyWayのユースケース
• ヒト 対 ヒトのコミュニケーション
• ヒト 対 モノのコミュニケーシ...
Copyright © NTT Communications Corporation. All right reserved.
WebRTC/SkyWayのユースケース
• ヒト 対 モノ to ヒトのコミュニケーション
§ Robotics
...
Copyright © NTT Communications Corporation. All right reserved.
Telexistence
17
(https://youtu.be/KoC1iTOmYTg)
東京⼤学舘研究室・稲⾒...
Copyright © NTT Communications Corporation. All right reserved.
インターネット上での実現に際しての課題
18
• 接続性の担保
FWによる通信遮断
NAT超えの疎通
• 操作性の担...
Copyright © NTT Communications Corporation. All right reserved.
インターネット上での実現に際しての課題
19
• 接続性の担保
FWによる通信遮断
NAT超えの疎通
WebRTC/...
Copyright © NTT Communications Corporation. All right reserved.
インターネット上での実現に際しての課題
20
• 操作性の担保
通信の遅延・ジッタ・パケットロス
を前提とした設計
...
Copyright © NTT Communications Corporation. All right reserved.
実装の要件
21
カメラ映像の3D表⽰
• 両⽬映像の同期
• 映像の3次元加⼯
• HMDへの出⼒
⼈間の動きをマ...
Copyright © NTT Communications Corporation. All right reserved.
WebRTCを利⽤した実装
• Oculusのセンサーを取得してロボットを操作
• Unityを利⽤して両⽬の映像を...
Copyright © NTT Communications Corporation. All right reserved.
User Side
• まずはUser Sideの実装についてお話しします
23
The Internet
Robo...
Copyright © NTT Communications Corporation. All right reserved.
要件との対応
24
カメラ映像の3D表⽰
• 両⽬映像の同期
• 映像の3次元加⼯
• HMDへの出⼒
⼈間の動きを...
Copyright © NTT Communications Corporation. All right reserved.
User Sideの実装
• 頭部⽅向の取得できるHMDとしてOculus Riftを利⽤
• Unityを⽤いた3...
Copyright © NTT Communications Corporation. All right reserved.
⽴体視の実現について
26
ロボットに両⽬をつけ、撮影
⼈間の両⽬で⾒た場合と⼀致するよう編集
• カメラの曲率修正...
Copyright © NTT Communications Corporation. All right reserved.
通信経路
• User Sideの要求に応えるための通信について説明します
27
The Internet
Robo...
Copyright © NTT Communications Corporation. All right reserved.
要件との対応
28
カメラ映像の3D表⽰
• 両⽬映像の同期
• 映像の3次元加⼯
• HMDへの出⼒
⼈間の動きを...
Copyright © NTT Communications Corporation. All right reserved.
映像の同期
WebRTCのMediaTrackを利⽤した同期を検討
29
Media Stream
Audio Tr...
Copyright © NTT Communications Corporation. All right reserved.
映像の同期
WebRTCのMediaTrackを利⽤した同期を検討
30
Media Stream
Audio Tr...
Copyright © NTT Communications Corporation. All right reserved.
映像の同期
結果
• ローカルネットワークでは問題なく同期が⾏われた
• ロスが発⽣すると同期ズレが⽣じた
原因
•...
Copyright © NTT Communications Corporation. All right reserved.
ネットワーク障害の影響
遅延
• 映像・操作信号ともに遅延
= 操作性の低下・操作者が船酔いする
• ネットワーク遅...
Copyright © NTT Communications Corporation. All right reserved.
WebRTCを利⽤した実装
33
The Internet
Robot
Driver AppWebRTC
Media...
Copyright © NTT Communications Corporation. All right reserved.
要件との対応
34
カメラ映像の3D表⽰
• 両⽬映像の同期
• 映像の3次元加⼯
• HMDへの出⼒
⼈間の動きを...
Copyright © NTT Communications Corporation. All right reserved.
両⽬画像の結合
前述の通り、通信経路での同期担保が困難であったため、
送信前に結合を⾏った。
35
Left Eye...
Copyright © NTT Communications Corporation. All right reserved.
ロボットの操作
ロボットはSerial Portへバイナリストリームを流し込むと動く
通常のWebページからはUDP...
Copyright © NTT Communications Corporation. All right reserved.
標準化活動へのフィードバック
W3C TPACにてユースケースの⼀例として
テレイグジスタンスを説明し、
必要な機能...
Copyright © NTT Communications Corporation. All right reserved.
まとめ
• Telexistenceのようなシビアなユースケースであっても、
⼯夫次第でWebRTCでサポート可能
...
Upcoming SlideShare
Loading in …5
×

WebRTCで動かす“テレイグジスタンス”ロボット

3,023 views

Published on

WebRTC Conference Japan 2016 (2016年2月16日) の講演資料です。
発表者は中蔵聡哉と大津谷亮祐 http://www.slideshare.net/rotsuya です。

“Telexistence Robot controlled with WebRTC”
It's the presentation slides at WebRTC Conference Japan on Feb 16, 2016.
The presenters were Toshiya Nakakura and Ryosuke Otsuya http://www.slideshare.net/rotsuya .

Published in: Technology

WebRTCで動かす“テレイグジスタンス”ロボット

  1. 1. Copyright © NTT Communications Corporation. All right reserved. 慶応⼤学・SkyWayチーム 共同研究事例紹介 WebRTCで動かす“テレイグジスタンス”ロボット NTTコミュニケーションズ株式会社 技術開発部 Webコア Technical Unit ⼤津⾕亮祐、中蔵聡哉 2016年2⽉16⽇
  2. 2. Copyright © NTT Communications Corporation. All right reserved. ⾃⼰紹介 ⼤津⾕ 亮祐 2 n 仕事 WebRTCプラットフォーム “SkyWay” プロダクトオーナー n コミュニティ WebRTCをテーマにした カンファレンス “WebRTC Conference Japan” 幹事 n プライベート 神奈川県 葉⼭町 在住 趣味は海と畑
  3. 3. Copyright © NTT Communications Corporation. All right reserved. SkyWay 3 NTT Comが提供するWebRTCアプリ開発者向けプラットフォーム。 サーバAPIとSDKを提供し、WebRTCアプリの開発を容易に。
  4. 4. Copyright © NTT Communications Corporation. All right reserved. SkyWayの広がり 4 n 2013年12⽉5⽇にサービス開始 n 2016年2⽉現在、3700以上のアプリで利⽤
  5. 5. Copyright © NTT Communications Corporation. All right reserved. SkyWay Conference at 東京海上⽇動システムズ 多⼈数Web会議のサンプルアプリを社内に導⼊ 5
  6. 6. Copyright © NTT Communications Corporation. All right reserved. SkyRTC by 妻⿃通信⼯業 ビデオチャットによるお問い合わせ機能を Webサイトに埋め込めるSaaS 6 めんどり
  7. 7. Copyright © NTT Communications Corporation. All right reserved. Romoで⾒つける!⼦どもの表情 by ⽇本科学未来館 “おや?”っこひろばで遊ぶ⼦どもの様⼦を、 ロボットを使って離れた場所から⾒守るイベント 7 が っ こ
  8. 8. Copyright © NTT Communications Corporation. All right reserved. V-Sido OS by アスラテック ⼈型ロボットを制御するOSの遠隔制御機能に採⽤ 8 ぶ し ど う
  9. 9. Copyright © NTT Communications Corporation. All right reserved. BestieBox by NTTコミュニケーションズ グループコミュニケーションアプリのビデオチャット機能に採⽤ 9
  10. 10. Copyright © NTT Communications Corporation. All right reserved. gaccatz by ドコモgacco 300⼈のオンライングループワーク 10 が っ か つ が っ こ
  11. 11. Copyright © NTT Communications Corporation. All right reserved. アースアイズ 家庭⽤防犯カメラ&サービス 11
  12. 12. Copyright © NTT Communications Corporation. All right reserved. インスペクショングラス by NEXCOシステムズ スマートグラスとビデオ通話で⾼速道路の点検作業を⽀援 12
  13. 13. 13Copyright © NTT Communications Corporation. All right reserved. 慶応⼤学・SkyWayチーム 共同研究事例紹介 WebRTCで動かす“テレイグジスタンス”ロボット
  14. 14. Copyright © NTT Communications Corporation. All right reserved. ⾃⼰紹介 • NTTComのSkyWay開発チームにおいてR&Dを担当 • 現在は「新規ユースケースの発掘」を中⼼に担当 • 慶応⼤学メディアデザイン研究科博⼠課程1年⽣ Facebook: Toshiya.Nakakura 14
  15. 15. Copyright © NTT Communications Corporation. All right reserved. WebRTC/SkyWayのユースケース • ヒト 対 ヒトのコミュニケーション • ヒト 対 モノのコミュニケーション • モノ 対 モノのコミュニケーション 15 § ビデオチャット, ボイスチャット § コンタクトセンター § 遠隔授業・遠隔医療 § 監視カメラ映像の取得 § IoT機器の操作 § センサデータ取得 § AIによる操作 § VPN
  16. 16. Copyright © NTT Communications Corporation. All right reserved. WebRTC/SkyWayのユースケース • ヒト 対 モノ to ヒトのコミュニケーション § Robotics § テレイグジスタンス Hi! Toshi! Hi!
  17. 17. Copyright © NTT Communications Corporation. All right reserved. Telexistence 17 (https://youtu.be/KoC1iTOmYTg) 東京⼤学舘研究室・稲⾒研究室・慶応⼤学南澤研究室と共同研究
  18. 18. Copyright © NTT Communications Corporation. All right reserved. インターネット上での実現に際しての課題 18 • 接続性の担保 FWによる通信遮断 NAT超えの疎通 • 操作性の担保 通信の遅延・ジッタ・パケットロス を前提とした設計
  19. 19. Copyright © NTT Communications Corporation. All right reserved. インターネット上での実現に際しての課題 19 • 接続性の担保 FWによる通信遮断 NAT超えの疎通 WebRTC/Skyway による実現
  20. 20. Copyright © NTT Communications Corporation. All right reserved. インターネット上での実現に際しての課題 20 • 操作性の担保 通信の遅延・ジッタ・パケットロス を前提とした設計 現在継続検討中
  21. 21. Copyright © NTT Communications Corporation. All right reserved. 実装の要件 21 カメラ映像の3D表⽰ • 両⽬映像の同期 • 映像の3次元加⼯ • HMDへの出⼒ ⼈間の動きをマッピング • HMDの動きを検出 • ロボットの操作 NW品質の影響を緩和 • 遅延の最⼩化 • ロス・ジッタの影響緩和
  22. 22. Copyright © NTT Communications Corporation. All right reserved. WebRTCを利⽤した実装 • Oculusのセンサーを取得してロボットを操作 • Unityを利⽤して両⽬の映像を3D描画 22 The Internet Robot Driver AppWebRTC MediaStream WebRTC DataChannel User with Oculus Video Inputs (2 eyes) Motion Vision Chrome App Camera Driver App Merged Video Robot 本⽇デモブースで展⽰を⾏っています
  23. 23. Copyright © NTT Communications Corporation. All right reserved. User Side • まずはUser Sideの実装についてお話しします 23 The Internet Robot Driver AppWebRTC MediaStream WebRTC DataChannel User with Oculus Video Inputs (2 eyes) Motion Vision Chrome App Camera Driver App Merged Video Robot
  24. 24. Copyright © NTT Communications Corporation. All right reserved. 要件との対応 24 カメラ映像の3D表⽰ • 両⽬映像の同期 • 映像の3次元加⼯ • HMDへの出⼒ ⼈間の動きをマッピング • HMDの動きを検出 • ロボットの操作 NW品質の影響を緩和 • 遅延の最⼩化 • ロス・ジッタの影響緩和
  25. 25. Copyright © NTT Communications Corporation. All right reserved. User Sideの実装 • 頭部⽅向の取得できるHMDとしてOculus Riftを利⽤ • Unityを⽤いた3次元表⽰ Note: UnityでのWebRTC実現にはSkyWayとCoherent UIを活⽤ (http://coherent-labs.com/product-coherent-ui/) 25
  26. 26. Copyright © NTT Communications Corporation. All right reserved. ⽴体視の実現について 26 ロボットに両⽬をつけ、撮影 ⼈間の両⽬で⾒た場合と⼀致するよう編集 • カメラの曲率修正 • 両⽬の間隔の補正 • Head Mount Displayでレンダリング 両⽬の映像を同期を取って転送
  27. 27. Copyright © NTT Communications Corporation. All right reserved. 通信経路 • User Sideの要求に応えるための通信について説明します 27 The Internet Robot Driver AppWebRTC MediaStream WebRTC DataChannel User with Oculus Video Inputs (2 eyes) Motion Vision Chrome App Camera Driver App Merged Video Robot
  28. 28. Copyright © NTT Communications Corporation. All right reserved. 要件との対応 28 カメラ映像の3D表⽰ • 両⽬映像の同期 • 映像の3次元加⼯ • HMDへの出⼒ ⼈間の動きをマッピング • HMDの動きを検出 • ロボットの操作 NW品質の影響を緩和 • 遅延の最⼩化 • ロス・ジッタの影響緩和
  29. 29. Copyright © NTT Communications Corporation. All right reserved. 映像の同期 WebRTCのMediaTrackを利⽤した同期を検討 29 Media Stream Audio Track Video Trak • WebRTCのMediaStreamの中には、複数のMedia Trackが存在 • これらのTracksは同期される(映像・⾳声ズレを防ぐため)
  30. 30. Copyright © NTT Communications Corporation. All right reserved. 映像の同期 WebRTCのMediaTrackを利⽤した同期を検討 30 Media Stream Audio Track Video Trak(Right Eye) • WebRTCのMediaStreamの中には、複数のMedia Trackが存在 • これらのTracksは同期される(映像・⾳声ズレを防ぐため) これを活⽤し、右⽬と左⽬の映像を複数のVideo Trackとして 転送を試みた Video Trak(Left Eye)
  31. 31. Copyright © NTT Communications Corporation. All right reserved. 映像の同期 結果 • ローカルネットワークでは問題なく同期が⾏われた • ロスが発⽣すると同期ズレが⽣じた 原因 • 同期はRTPのtimestampレベルで⾏われる • 別々のTrackは別々のRTPパケットに乗る • パケットロスは左右の⽬のトラックで均等には発⽣しない • ロスしたパケットは(基本的に)再送されず、 ありもののパケットで描画を試みる 現状の通信仕様ではロバストな同期とは⾔いがたい 31
  32. 32. Copyright © NTT Communications Corporation. All right reserved. ネットワーク障害の影響 遅延 • 映像・操作信号ともに遅延 = 操作性の低下・操作者が船酔いする • ネットワーク遅延は30ms程度まで許容範囲 (東京〜札幌間の遅延が25ms) ロス • 映像の同期ズレ・ブロックノイズ • 操作信号の⽋損により、ロボットの動作がぎこちなくなる • ロスは1%程度までが許容範囲では(無線LANで1%〜5%程度) これらは現状のWebRTCの通信仕様では回避不能なため、 別⼿法での解決が必要 32
  33. 33. Copyright © NTT Communications Corporation. All right reserved. WebRTCを利⽤した実装 33 The Internet Robot Driver AppWebRTC MediaStream WebRTC DataChannel User with Oculus Video Inputs (2 eyes) Motion Vision Chrome App Camera Driver App Merged Video Robot
  34. 34. Copyright © NTT Communications Corporation. All right reserved. 要件との対応 34 カメラ映像の3D表⽰ • 両⽬映像の同期 • 映像の3次元加⼯ • HMDへの出⼒ ⼈間の動きをマッピング • HMDの動きを検出 • ロボットの操作 NW品質の影響を緩和 • 遅延の最⼩化 • ロス・ジッタの影響緩和
  35. 35. Copyright © NTT Communications Corporation. All right reserved. 両⽬画像の結合 前述の通り、通信経路での同期担保が困難であったため、 送信前に結合を⾏った。 35 Left Eye Right Eye DirectShow Source Filter シングルストリーム として getUserMedia Media Stream
  36. 36. Copyright © NTT Communications Corporation. All right reserved. ロボットの操作 ロボットはSerial Portへバイナリストリームを流し込むと動く 通常のWebページからはUDPやシリアル通信が⾏えないため、 Chrome Appを作成して対応 36 WebRTC DataChannel Robot Control Application UDPで操作信号を 転送 シリアルケーブル へデータ送信 Chrome App
  37. 37. Copyright © NTT Communications Corporation. All right reserved. 標準化活動へのフィードバック W3C TPACにてユースケースの⼀例として テレイグジスタンスを説明し、 必要な機能要件についてinput WebRTC標準化メンバーから、 好意的なフィードバックを貰い継続検討中 37
  38. 38. Copyright © NTT Communications Corporation. All right reserved. まとめ • Telexistenceのようなシビアなユースケースであっても、 ⼯夫次第でWebRTCでサポート可能 • テレカンファレンスに限らず、数多の領域で活⽤可能 • 標準化メンバーも好意的に話を聞いてくれるので、 ⾃分の要求をフィードバックする価値は⼤きい 38

×