瀬戸内ROS勉強会 ＃2

1. ROS#を使ったロボットとxRデバイスの通信
もじゃなり
@masanari7430

2. ROS#とは？
• ROSとUnityのための通信ライブラリ
• websocket？を経由してROSのデータを送受信可能
• IPアドレスを指定して通信をするので，ROSとUnityが別のPCでも通信可能
• ROSやUnityで作ったシュミレーションモデル(URDF形式)も送受信可能

3. ROS#で対応しているデータ
使用頻度の高いデータは
ほとんど対応
もし無くても自作が可能
• LaserScan(2次元LIDAR)
• Image(Webカメラの画像)
• Twist(ロボットの移動速度)
• Odometry(ロボットの位置)等・・・

4. どこでROS#に出会ったか？
https://twitter.com/Spri_ta/status/1016971100314451968
https://qiita.com/Spritaro/items/5eb99b2fcdc26a3816c
e

5. 自分もやってみた

6. システム構成
Oculus Go
頭の角度
カメラ映像
サーボ
Webカメラ
ラズパイ
ROS#によるWifi通信
arduino

7. Unityを使うと何がいいの？
Unity
• ゲーム製作に特化したゲームエンジン
• ロボットを動かすのは難しい
• データの表現方法の自由度が高い
• xRデバイスの開発環境
ROS
• ロボットを動かすのに特化したミドルウェア
• RvizやGazeboはあるけど
開発者向けのデバックツール
ロボットを動かす
xRを使ってデータ表示
一般の人にも分かりやすい
ロボット操作インターフェイス

8. ARゴーグルを使ったロボット操作
NorthStar
• 学生が手を出せるAR専用デバイス
• オープンソースで設計図が公開されている
• 3Dプリンタがあれば，3万円以内で作れる
• 手のトラッキングが可能で
手を入力装置として使える

9. ARマーカで位置推定+手による操作
移動ロボット
ARマーカ
操作者
人差指の向きで
ロボットを操作
ARマーカから位置推定して
走行方向を表示

10. デバイス間のデータの流れ
指の角度から
Twist(移動速度)を送信
認識したARマーカからロ
ボット位置を表示
受け取ったTwistから
ロボットを移動させる
ROS#によるWifi通信

11. ハンドジェスチャによる操作
 人差し指を伸ばすと前進，矢印も追従

12. ハンドジェスチャによる操作
 指を曲げるとその方向に移動

13. ARゴーグルによる操作インターフェイス
 実機実験

14. まとめ
• ROSとUnityのそれぞれの利点
• ROS#を使ってROSとUnityの通信をやってみた
• ARゴーグルを使ってロボットを操作してみた
自分の頭で考えられることをやり切ってアイデアが
無くなったので提案お待ちしています

15. 参考文献
 ROS#について
ROS#:UnityとROSの接続
http://kuwamai.hatenablog.com/entry/2018/11/28/200011
 NorthStarについて
Leap Motion社のARヘッドセット「Project North Star」を3万円で2019
年に組み立てた
https://tech.showroom.co.jp/entry/2019/01/28/175438