Onomichi Hirokazu gave an introduction to connecting ROS and VRChat. He discussed using VRChat as a virtual environment to interact with robots in simulation. Key points included using ROS and OSC messages to control virtual objects from a real robot, and using a virtual motion tracker and ROS tf to map robot joint states to an avatar in VRChat. He demonstrated controlling an avatar's limbs based on data from Dynamixel servos. The goal is to enable remote participation in robot events using VR.

1. Onomichi Hirokazu (Micchy)
2021.10.06 ROS Japan UG #44 オンラインROS勉強会

2. Onomichi Hirokazu ( Micchy )
@Dream_Drive
 お仕事
医療関連のソフトウェア開発・運用、etc…
ロボット/ROS のお仕事も受託します！
 メイカー系イベントやロボコンをうろうろ
 社会人ロボコニスト (ROBO-ONE)
 ROSCon JP2018からボチボチROSを使い始める
 2019 瀬戸内ROS勉強会 発足
 2020.10 VRChatをはじめる
自己紹介

3. VRChatとは・・・
「VRChat」は、VR空間内にアバターでログインし、
多人数でコミュニケーションできるソーシャVRアプリです。

4. VRChatとは
同時接続で、同じVR空間内で、コミュニケーションできる。
プログラム可能なワールドの中で遊べる。
VR二足歩行ロボットコンテストの様子

5. VRChatに必要な機材
VRChatで使えるのは最大6点トラッキングまで
• VRヘッドマウントディスプレイ
• VRジョイコントローラー
• ツヨツヨなゲーミングPC

6. VRChatで出来ること
Unityで自作するワールド
 思い思いの3Dモデリングソフトを駆
使し、Unity上で並べて、ワールド
を自由に作成できる。
 SDK2とSDK3がある。
 プログラミングも可能。
 Fusion 360から出力したFBX 、ロ
ボットの3D CADモデルの (100万ポ
リ超え)を、ロボット仲間で囲んで
見ると面白かった。

7. VRChatで出来ること
Unityで自作するアバター
 思い思いの3Dモデリングソフトを駆使
し、Unity上でアバt－アを自由に作成
できる。
 着せ替えや、さまざまなアニメーショ
ンを実装可能
 光を放つ魔法のエフェクトや銃を撃っ
たり・・・

8. ROSとVRChatをつなぐ目的
 Gazeboの中に入って、仮想のロボットとインタラクション出来ると面白そう
 「ロボットは実機なのでオンラインに向かない」をなんとかしたい。
 ロボットの展示会をVRで開催（シミュレーションではなく実機連動）などの要素技術…

9. ワールド(VRChat)とROSを繋ぐ
 使えそうな入出力・・・
 入力 ( 外部 ➡ VRChat )
 MIDIによる通信
 OSCによる通信
 Streamによる配信( 公開サーバーから… youtube libe / twitch 等 )
 画像入力( vrc_panorama )
 出力 ( VRChat ➡ 外部 )
 httpリクエスト(vrc_panorama）
 Output_log (デバッグ用のメッセージを出力して、ログをパース)
 映像（Steam Cameraはアバターのビューポイントと排他）

10. ワールドとROSを繋ぐ
 VRChat内のスイッチを触ると、ArduinoのLEDが
点灯・消灯
 Arduino の SWを押すと、VRChat内の仮想LEDが
光る

11. ワールド側の仕組み(VRChat → ROS)
 本来外部サーバーから画像を取ってきて表示する機能を応用 (VRC_Panorama)
 [BOOTHアセット] 触るとブラウザが開くシステム VRChat OpenBrowser (500円)
https://booth.pm/ja/items/2028769
 本来は、インタラクトするとローカルサーバーに埋め込みURLが引き渡され、ブラウザが立ち上がるアセット
 ワールド内のオブジェクトをインタラクト ➡ (httpリクエストが発生) ➡
➡ ROSマシンのflaskサーバー(ポート5000) ➡ URLを解析して、コマンドをStringで publish ➡
➡ subscribしてrosserialにLEDのON/OFFを publish ➡ ArduinoのLEDが点灯or消灯
 アセットの設定
Publishするコマンド (文字列)
ROSマシンのflask(http)サーバー：ポート

12. ワールド側の仕組み(ROS → VRChat)
 SDK2 の VRC_OSC Button & VRC_Triger の利用
 送れるのは、1bitのON/OFF (Bool)
 束ねて複数bitとして扱う技もある
 [参考] VRChatと外部世界を繋ぐインターフェース
https://qiita.com/jscmla1118/items/27e12a12ffc60e4617e4
 OSCは、oscpackを利用 (C++)
 Osc : OpenSound Control
 https://github.com/MariadeAnton/oscpack
 rososc パッケージはよく分からなかった

13. ワールド(VRChat)とROSを繋ぐ
Flask (http server)
OSC
http
Arduino

14. 複数bitを束ねて、VRChatに送り込む
（実測） 8bit x 8列 = 64bit を8Hzで送るのがやっとでした。💦 (512bps)

15. アバター(VRChat)とROSを繋ぐ
 入力
 仮想トラッカーでのアプローチ
 コントローラーへのボタン入力
 音声
 出力
 ビューポイントからのカメラ映像
 コント―ローラーへの振動（インタラクト時）
 音声

16. 仮想トラッカー : VirtualMotionTracker
 https://github.com/gpsnmeajp/VirtualMotionTracker
 仮想トラッカ
 OSCで座標を受けて、OpenVRでトラッカーを登録するゲートウェイソフト

17. VirtualMotionTrackerを動かしてみる

18. ゲートウェイノードをつくる
 (PoseStamped) ➡ ROS ➡ (OSC) ➡ Steam VR (OpenVR) ➡ VRChat
 ROSでOSCを話すには・・・
 rososc
 http://wiki.ros.org/rososc
 使い方がワカラナイ・・・
 oscpack を流用してゲートウェイノードを自作
 https://github.com/MariadeAnton/oscpack

19. さらに入力装置をつくる
 Dynamixel workbench ➡
➡ (jointstate) ➡ tf ➡
➡トラッカー位置のPoseStamped ➡
➡ ゲートウェイノードへ
 人間の関節自由度に合わせた設計１１軸使用

20. DynamixelからVMTへ

21. TFでトラッカー位置を計算
あらためて、TF最高！！
urdf書けば、勝手にやってくれる。

22. 動作の様子(下半身)
 仮想の人体(形状は違うが寸法は同じ)
のurdfにて、tfの計算がされている

23. 動作の様子(上半身)
 ここまでくると全身コントロールしたくなりますよね
って、ある人に言われました。(笑)

24. 自動動作の同期
 ロボットなので、自動でも動きます。
 ロボットの実測データを送っているので、ロボットに
外乱を与えると、アバターも影響を受けます

25. 映像でのアプローチ
 VRChat(ubuntu) → OBS Studio → 仮想カメラ → ros-noetic-usb-cam
 ハマリポイント
 OBSの仮想カメラを有効にする
https://qiita.com/tanutanup/items/ac3e67e2a27e007b8098
 ROSのusb-camノードが起動しない。
→ OBSの仮想カメラがYUV形式！
usb-camノード起動前におまじないを！
$ rparam set /usb_cam/pixel_format yuyv

26. VRChatのビューポイントをROSで処理

27. VRChat内での自動走行も可能！？
 VMTによるVRジョイコントローラのエミュレート
 Joy_nodeからVMTへのゲートウェイノード
 Joy_nodeをエミュレートすることで、VRChat内を自動運転可能
 インタラクトなども、自動化可能
 また、移動に関しては、トラッカーの座標だけでも実現
自動化

28. ご清聴ありがとうございました。
勇者技研の勇者ファイバリオンもVRで活動中…