WebRTCで動かす“テレイグジスタンス”ロボット

Copyright © NTT Communications Corporation. All right reserved.
慶応⼤学・SkyWayチーム共同研究事例紹介
WebRTCで動かす“テレイグジスタンス”ロボット
NTTコミュニケーションズ株式会社
技術開発部
Webコア Technical Unit
⼤津⾕亮祐、中蔵聡哉
2016年2⽉16⽇

⾃⼰紹介⼤津⾕亮祐
2
n 仕事
WebRTCプラットフォーム
“SkyWay” プロダクトオーナー
n コミュニティ
WebRTCをテーマにした
カンファレンス
“WebRTC Conference Japan” 幹事
n プライベート
神奈川県葉⼭町在住
趣味は海と畑

SkyWay
3
NTT Comが提供するWebRTCアプリ開発者向けプラットフォーム。
サーバAPIとSDKを提供し、WebRTCアプリの開発を容易に。

SkyWayの広がり
4
n 2013年12⽉5⽇にサービス開始
n 2016年2⽉現在、3700以上のアプリで利⽤

SkyWay Conference at 東京海上⽇動システムズ
多⼈数Web会議のサンプルアプリを社内に導⼊
5

SkyRTC by 妻⿃通信⼯業
ビデオチャットによるお問い合わせ機能を
Webサイトに埋め込めるSaaS
6
めんどり

Romoで⾒つける！⼦どもの表情 by ⽇本科学未来館
“おや？”っこひろばで遊ぶ⼦どもの様⼦を、
ロボットを使って離れた場所から⾒守るイベント
7
がっこ

V-Sido OS by アスラテック
⼈型ロボットを制御するOSの遠隔制御機能に採⽤
8
ぶしどう

BestieBox by NTTコミュニケーションズ
グループコミュニケーションアプリのビデオチャット機能に採⽤
9

gaccatz by ドコモgacco
300⼈のオンライングループワーク
10
がっかつがっこ

アースアイズ
家庭⽤防犯カメラ＆サービス
11

インスペクショングラス by NEXCOシステムズ
スマートグラスとビデオ通話で⾼速道路の点検作業を⽀援
12

13Copyright © NTT Communications Corporation. All right reserved.
慶応⼤学・SkyWayチーム共同研究事例紹介
WebRTCで動かす“テレイグジスタンス”ロボット

⾃⼰紹介
• NTTComのSkyWay開発チームにおいてR&Dを担当
• 現在は「新規ユースケースの発掘」を中⼼に担当
• 慶応⼤学メディアデザイン研究科博⼠課程1年⽣
Facebook: Toshiya.Nakakura
14

WebRTC/SkyWayのユースケース
• ヒト対ヒトのコミュニケーション
• ヒト対モノのコミュニケーション
• モノ対モノのコミュニケーション
15
§ ビデオチャット, ボイスチャット
§ コンタクトセンター
§ 遠隔授業・遠隔医療
§ 監視カメラ映像の取得
§ IoT機器の操作
§ センサデータ取得
§ AIによる操作
§ VPN

WebRTC/SkyWayのユースケース
• ヒト対モノ to ヒトのコミュニケーション
§ Robotics
§ テレイグジスタンス
Hi!
Toshi!
Hi!

Telexistence
17
(https://youtu.be/KoC1iTOmYTg)
東京⼤学舘研究室・稲⾒研究室・慶応⼤学南澤研究室と共同研究

インターネット上での実現に際しての課題
18
• 接続性の担保
FWによる通信遮断
NAT超えの疎通
• 操作性の担保
通信の遅延・ジッタ・パケットロス
を前提とした設計

19
• 接続性の担保
FWによる通信遮断
NAT超えの疎通
WebRTC/Skyway
による実現

20
• 操作性の担保
通信の遅延・ジッタ・パケットロス
を前提とした設計
現在継続検討中

実装の要件
21
カメラ映像の3D表⽰
• 両⽬映像の同期
• 映像の3次元加⼯
• HMDへの出⼒
⼈間の動きをマッピング
• HMDの動きを検出
• ロボットの操作
NW品質の影響を緩和
• 遅延の最⼩化
• ロス・ジッタの影響緩和

WebRTCを利⽤した実装
• Oculusのセンサーを取得してロボットを操作
• Unityを利⽤して両⽬の映像を3D描画
22
The Internet
Robot
Driver AppWebRTC
MediaStream
WebRTC
DataChannel
User
with Oculus
Video Inputs
(2 eyes)
Motion
Vision
Chrome
App
Camera
Driver App
Merged
Video
Robot
本⽇デモブースで展⽰を⾏っています

User Side
• まずはUser Sideの実装についてお話しします
23
The Internet
Robot
Driver AppWebRTC
MediaStream
WebRTC
DataChannel
User
with Oculus
Video Inputs
(2 eyes)
Motion
Vision
Chrome
App
Camera
Driver App
Merged
Video
Robot

要件との対応
24
• HMDへの出⼒

User Sideの実装
• 頭部⽅向の取得できるHMDとしてOculus Riftを利⽤
• Unityを⽤いた3次元表⽰
Note: UnityでのWebRTC実現にはSkyWayとCoherent UIを活⽤
(http://coherent-labs.com/product-coherent-ui/)
25

⽴体視の実現について
26
ロボットに両⽬をつけ、撮影
⼈間の両⽬で⾒た場合と⼀致するよう編集
• カメラの曲率修正
• 両⽬の間隔の補正
• Head Mount Displayでレンダリング
両⽬の映像を同期を取って転送

通信経路
• User Sideの要求に応えるための通信について説明します
27
The Internet
Robot
Driver AppWebRTC
MediaStream
WebRTC
DataChannel
User
with Oculus
Video Inputs
(2 eyes)
Motion
Vision
Chrome
App
Camera
Driver App
Merged
Video
Robot

要件との対応
28
• HMDへの出⼒

映像の同期
WebRTCのMediaTrackを利⽤した同期を検討
29
Media Stream
Audio Track
Video Trak
• WebRTCのMediaStreamの中には、複数のMedia Trackが存在
• これらのTracksは同期される(映像・⾳声ズレを防ぐため)

映像の同期
WebRTCのMediaTrackを利⽤した同期を検討
30
Media Stream
Audio Track
Video Trak(Right Eye)
• WebRTCのMediaStreamの中には、複数のMedia Trackが存在
• これらのTracksは同期される(映像・⾳声ズレを防ぐため)
これを活⽤し、右⽬と左⽬の映像を複数のVideo Trackとして
転送を試みた
Video Trak(Left Eye)

映像の同期
結果
• ローカルネットワークでは問題なく同期が⾏われた
• ロスが発⽣すると同期ズレが⽣じた
原因
• 同期はRTPのtimestampレベルで⾏われる
• 別々のTrackは別々のRTPパケットに乗る
• パケットロスは左右の⽬のトラックで均等には発⽣しない
• ロスしたパケットは(基本的に)再送されず、
ありもののパケットで描画を試みる
現状の通信仕様ではロバストな同期とは⾔いがたい
31

ネットワーク障害の影響
遅延
• 映像・操作信号ともに遅延
= 操作性の低下・操作者が船酔いする
• ネットワーク遅延は30ms程度まで許容範囲
(東京〜札幌間の遅延が25ms)
ロス
• 映像の同期ズレ・ブロックノイズ
• 操作信号の⽋損により、ロボットの動作がぎこちなくなる
• ロスは1%程度までが許容範囲では(無線LANで1%〜5%程度)
これらは現状のWebRTCの通信仕様では回避不能なため、
別⼿法での解決が必要
32

WebRTCを利⽤した実装
33
The Internet
Robot
Driver AppWebRTC
MediaStream
WebRTC
DataChannel
User
with Oculus
Video Inputs
(2 eyes)
Motion
Vision
Chrome
App
Camera
Driver App
Merged
Video
Robot

要件との対応
34
• HMDへの出⼒

両⽬画像の結合
前述の通り、通信経路での同期担保が困難であったため、
送信前に結合を⾏った。
35
Left Eye
Right Eye
DirectShow
Source Filter
シングルストリーム
として
getUserMedia
Media Stream

ロボットの操作
ロボットはSerial Portへバイナリストリームを流し込むと動く
通常のWebページからはUDPやシリアル通信が⾏えないため、
Chrome Appを作成して対応
36
WebRTC
DataChannel
Robot Control
Application
UDPで操作信号を
転送
シリアルケーブル
へデータ送信
Chrome App

標準化活動へのフィードバック
W3C TPACにてユースケースの⼀例として
テレイグジスタンスを説明し、
必要な機能要件についてinput
WebRTC標準化メンバーから、
好意的なフィードバックを貰い継続検討中
37

まとめ
• Telexistenceのようなシビアなユースケースであっても、
⼯夫次第でWebRTCでサポート可能
• テレカンファレンスに限らず、数多の領域で活⽤可能
• 標準化メンバーも好意的に話を聞いてくれるので、
⾃分の要求をフィードバックする価値は⼤きい
38

WebRTCで動かす“テレイグジスタンス”ロボット

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to WebRTCで動かす“テレイグジスタンス”ロボット

Similar to WebRTCで動かす“テレイグジスタンス”ロボット (20)

More from NTT Communications Technology Development

More from NTT Communications Technology Development (20)

Recently uploaded

Recently uploaded (14)

WebRTCで動かす“テレイグジスタンス”ロボット