yokohama.unity にて登壇しました。

1. PUN2×OculusQuestで
ハンドトラッキング
(のマルチプレイヤー)同期実装

2. 登壇者：KENTO
Twitter : @okprogramming
仕事 : XR関連のR＆D

3. 話すこと
・Photon Unity Networking 2 を用いた同期通信のやり方
・OculusQuestのハンドトラッキングの流れ
・ハンドトラッキングの同期のやり方

4. なぜ話すのか？
引用元： https://uploadvr.com/sign-language-vr-asl/
海外勢が成功しているにも関わらず
日本語(日本人)の実装例が見つけられなかった。
同じ苦労をする人を一人でも減らしたい！！
大変

5. ・Photon Unity Networking 2 を用いた同期通信のやり方
・OculusQuestのハンドトラッキングの流れ
・ハンドトラッキングの同期のやり方

6. PUN2 を用いた同期通信のやり方
・オブジェクト同期
・RPC(Remote procedure call)
・カスタムプロパティ

7. ①お互いのクライアントにオブジェクトを生成
②手の座標を送り合う
③送られてきた座標で
相手クライアント側の手を動かす
例) ハンドトラッキングの同期
見た目 データ

8. ・Photon Unity Networking 2 を用いた同期通信のやり方
・OculusQuestのハンドトラッキングの流れ
・ハンドトラッキングの同期のやり方

9. ハンドトラッキングの流れ
①手を認識
②ボーンとなるオブジェクトを生成
③手のメッシュを作成
④手のメッシュにボーンを設定
⑤生成したボーンを認識した手の関節の座標に合わせる

10. 何が大変だったか
①手を認識
②ボーンとなるオブジェクトを生成
③手のメッシュを作成
④手のメッシュにボーンを設定
⑤生成したボーンを認識した手の関節の座標に合わせる
見た目 データ
Oculus Integrationは同期通信のためのライブラリではない。
見た目とデータを切り離すために
OVR系コンポーネントを切り分けていく。

11. ・Photon Unity Networking 2 を用いた同期通信のやり方
・OculusQuestのハンドトラッキングの流れ
・ハンドトラッキングの同期のやり方

12. 送信
受信

13. 詰まりポイント
IPunObservable.OnPhotonSerializeView
➥ データをシリアライズ（直列化）して送信
順番が大切！

14. 詰まりポイント
IOVRSkeletonDataProvider
から渡ってきたボーン情報の順番
➥“指先以外”→”指先”
引用元： https://qiita.com/divideby_zero/items/4949fadb2c60f810b3aa

15. 送信
受信

16. もっと詳しい情報
Twitter : @okprogramming
Twitter : @Up_frontier

17. 参考リンク
【Unity(C#),PUN2】OculusQuestのハンドトラッキング同期実装
https://qiita.com/OKsaiyowa/items/80fb857a285ee4aed95c
PUN2で始めるオンラインゲーム開発入門【その１】
https://connect.unity.com/p/pun2deshi-meruonraingemukai-fa-ru-men-sono1
アップフロンティア株式会社 note
https://note.com/upfrontier