【オンライン】xTech ゆるっとLT: ROS Kyushu UG and AR_Fukuoka https://xr-fukuoka.connpass.com/event/203641/ 上記イベントの発表資料です。

1. PUN2 × OculusQuest で
ハンドトラッキング同期実装
(プロジェクト公開しました)

2. 登壇者：KENTO
Twitter : @okprogramming
仕事 : XR関連のR＆D
Twitter : @Up_frontier
Twitter : @gaprot_jp

4. なぜ話すのか
大変だったので同じ苦労する人が
一人でも減りますように

5. サンプル
サンプルプロジェクト
https://github.com/ForJobOk/OculusHandSync
Apk(2人プレイ)
https://github.com/ForJobOk/OculusHandSync/releases/tag/ForPublish

6. ①お互いのクライアントに手のメッシュを生成
②手の座標を送り合う
③送られてきた座標データで
相手クライアント側の手を動かす
ハンドトラッキングの同期
見た目 データ

7. 通常のハンドトラッキング実装に必要なPrefab

8. 手のデータ
通常のハンドトラッキング実装に必要なPrefab

9. 手の見た目
通常のハンドトラッキング実装に必要なPrefab

10. 手のボーン
通常のハンドトラッキング実装に必要なPrefab

11. ハンドトラッキング同期実装の準備
自クライアントの手を動かすためだけの情報。
この情報を自クライアントの自身のアバター、
及び相手クライアント側の自身のアバターに反映させる。

12. ハンドトラッキング同期実装の準備
アバターの手のメッシュを生成。OVR Meshをそのまま利用。

13. ハンドトラッキング同期実装の準備
PlayerSyncが自クライアントの手のメッシュにボーン情報を渡して動かす。
相手クライアントとボーン情報を送り合う。
受け取ったボーン情報で相手クライアントの手のメッシュを動かす。

14. 送信
受信

15. Tips
・プレイヤー入室時の場所をカスタムプロパティで設定
・カメラリグ配下のカメラを任意の方向、座標に移動

16. Tips
・プレイヤー入室時の場所をカスタムプロパティで設定
・カメラリグ配下のカメラを任意の方向、座標に移動

17. プレイヤー入室時の場所を
カスタムプロパティで設定
入退室が自由のルームでの
プレイヤー生成位置はどうするか
→プレイヤーにカスタムプロパティで番号を与える
※ActorNumberは再入室するたびに値が加算される

18. Tips
・プレイヤー入室時の場所をカスタムプロパティで設定
・カメラリグ配下のカメラを任意の方向、座標に移動

19. 座標
カメラはユーザーのHMDの動きに追従するため、直接座標は動かせない。
カメラリグを移動させるだけでは求める位置への移動は不可。
カメラリグ
カメラ
例）カメラをA地点に移動させたい

20. 座標の計算

21. 回転
カメラはユーザーのHMDの動きに追従するため、直接回転させることはできない。
カメラリグを回転させるだけでは求める向きへの回転は不可。
カメラリグ
カメラ
例）カメラをA地点に向けたい

22. 回転の計算

23. ここまでの内容をまとめた記事
【Unity(C#),PUN2】OculusQuestのハンドトラッキング同期実装
https://qiita.com/OKsaiyowa/items/80fb857a285ee4aed95c
【Unity(C#),PUN2】ルームの入退室に対応したプレイヤー生成位置、色の振り分け
https://qiita.com/OKsaiyowa/items/118be61ddaa175aae3e6
【Unity(C#)】VRカメラを任意のポジションに移動する方法
https://qiita.com/OKsaiyowa/items/47e06cf62498ef3abe9e

24. リンク
PUN2で始めるUnityオンラインゲーム開発入門
https://zenn.dev/o8que/books/bdcb9af27bdd7d
アップフロンティア株式会社 note
https://note.com/upfrontier