Recording and Replay on HoloLens [dotNET 600]
•Download as PPTX, PDF•
0 likes•655 views
2018.11.24 [dotNET600 2018](https://centerclr.connpass.com/event/101479/) の資料です。
Recommended
More Related Content
What's hot
What's hot (20)
Similar to Recording and Replay on HoloLens [dotNET 600]
Similar to Recording and Replay on HoloLens [dotNET 600] (20)
Recording and Replay on HoloLens [dotNET 600]
- 1. dotNET600 2018 Recording and Replay on HoloLens using “Message Pack for C Sharp” @keshin_sky 2018.11.24 1
- 2. #1 こんにちは 2
- 3. 誰？ • 林です。 • xR系の開発が中心 • ゲームよりも、医療系・製造業・展示向け の開発が多い • HoloLens を国内発売前から触ってました。 • ブログで日本語訳とか • Twitter: @keshin_sky • Github: https://github.com/the6th/
- 4. 今日の内容 • 各種データを高速にシリアライズ・デシリ アライズできる 超便利なC#ライブラリ[Message Pack for C#]を紹介します。 • VR/AR アプリで動作内容の記録・再現を行 う必要がある時に見つけました。 • Unityでの利用事例を紹介しますが、Unity 以外でも動きます。
- 5. こういう感じ 5
- 6. Message Pack for Csharpとは • Githubにあります。MITライセンスです （日本人開発者） https://github.com/neuecc/MessagePack -CSharp/ • MessagePackのC#版です。 • MsgPackのライブラリはすでにあるが、 (MsgPack-Cli) パフォーマンスにかなり差があります。
- 7. はやっ！ 7 速い！
- 8. 互換性も 高い • .net Frameworkにはバイナリシリアライザ として、 BinaryFormatter が標準で組み込 まれているのですが • HoloLens（UWP/Universal Windows Platform）では 動かない。 • これは動きます（動かしました）
- 9. Unityに強い! /作者ブログより （一部省略） • Unity向けには、更にVector3[]（など）の シリアライズがJsonUtilityの20倍高速化さ れる拡張機能なども設けてます。 • これは超強力で、Meshなどの巨大データや 大量の位置データのやり取りなどに役立つ はずです。 • C#マジおせーからC++で書こうぜ、に最後 の最後はなるにしても、それまでの遊び幅 は大幅に拡張されるでしょう。
- 11. 1. Unity Package 配布されています。 • Unity版はサイトのReleasesページから、.NETはNuGet経由で 入れてもらうのがいいでしょふ。 11
- 16. 16
- 17. 17
- 18. 18
- 20. Unity向け • MessagePack.UnityShims package provides shim of Unity's standard struct Vector2/Vector3/Vector4/Quaternion, Color, Bounds, Rect, AnimationCurve, Keyframe, Matrix4x4, Gradient, Color32, RectOffset, LayerMask, Vector2Int, Vector3Int, RangeInt, RectInt, BoundsInt) and there formatter. It can enable to communicate between server and Unity client.
- 23. 設計 • GameObjectの変化を • 時系列で格納できるclass を • 作成し、それを配列で • 管理する
- 24. 24
- 25. 25
- 26. #5 HoloLens + MRTK 26
- 27. HoloLens! • MRTK import • TargetをUWP • IL2CPP/（.NET でも） 27
- 28. エラーでた１ • Assets/Scripts/MessagePack/Internal/AutomataDictionary.cs(471,16): error CS0246: The type or namespace name `DynamicAssembly' could not be found. Are you missing an assembly reference? • 解決法 #if !UNITY_WSA #endif で AutomataDictionary.cs を全部囲む Generic List使えなくなるけど、 28
- 29. エラー出た２ Assets/Scripts/MessagePack/Internal/ThreadsafeTypeKeyHashTable.cs(187,30): error CS0234: The type or namespace name `Volatile' does not exist in the namespace `System.Threading'. Are you missing an assembly reference? Assets/Scripts/MessagePack/Resolvers/CompositeResolver.cs(84,66): error CS1061: Type `System.Type' does not contain a definition for `GetTypeInfo' and no extension method `GetTypeInfo' of type `System.Type' could be found. Are you missing `HoloToolkit' using directive? 29 解決法 Scripting Backend を. NET 4.xに変更
- 30. エラー出た３ 解決法 StandalonePCで無い(UWP/Android/iOS等) 時は、Resolverを別途準備しないといけない mpc.exeというツールを使うと、 MessagePackGenerated.csというファイルを 生成しくれるので、それを使う FormatterNotRegisteredException: MyClass is not registered in this resolver. resolver:StandardResolverMessagePack.FormatterResolverExtensions.GetFormatterWithVe rify[T] (MessagePack.IFormatterResolver resolver) (at Assets/Scripts/MessagePack/IFormatterResolver.cs:35) mpc.exe –i {Unityプロジェクトの}.csproj -o {書き出し先}/MessagePackGenerated.cs" 30 If you want to avoid generate cost or run on Xamarin or Unity, you need pre-code generation. mpc.exe(MessagePackComp iler) is code generator of MessagePack for C#. mpc can download from releases page, mpc.zip. mpc is using Roslyn so analyze source code. https://github.com/neuecc/MessagePa ck-CSharp#pre-code- generationunityxamarin-supports
- 31. エラー出る４ Assets/Scripts/MessagePackGererated/MessagePackGenerated.cs(799,25): error CS0101: The namespace `MessagePack.Formatters.HoloToolkit.Unity.InputModule' already contains a definition for `RecognizerStartBehaviorFormatter' 31 解決法 mpc.exeは、Resolverコードを生成する際に、対象プロジェクトの全てのソースコードを 解析するっぽい。 既存ライブラリにserializer/Formatterなどの名前があると、エラーになったりする。 除外する方法知っている方教えてください。 困難な場合は、別プロジェクトでResolverのみ生成した方が良いかも。
- 33. 大体これで動 くけど、 UWPならでは の話 • Unityのライブラリで作成してもUWP向け ビルドの際は、ビルド時にエラーが出るこ とがある。 • ファイルの読み書き、ネットワーク通信周 り、AssetBuundleはUWP向けに書き換え ないといけない。 • その為に、 プラットフォーム依存コンパイルを活用
- 34. UWPのプラットフォーム依存コンパイル #if WINDOWS_UWP #if UNITY_WSA ENABLE_DOTNET ENABLE_IL2CPP Unity Editor ✖無効 〇有効 〇有効 ✖無効 ※ScriptingBackendがIL2 CPPだとVS上では有効だが Editor上での実行では無視さ れる UWP (.net) 〇有効 〇有効 〇有効 ✖無効 UWP (IL2CPP) ? ? ✖無効 〇有効 34
- 36. Work04 HoloLensで 動かす • 床を透明に • 位置をローカル座標系で管理 • 空間UIに • 位置調整可能 • 箱の動きも録画する
- 37. Work05 • 実際に、HoloLensのセンサーデータを元に アニメーションを作成する。 • 頭部の動き(Camera.main.transform） • 両手の動き/ジェスチャー • IKを利用してキャラクターに反映させる。
- 38. #６ おまけ＋まとめ 38
- 39. Unity Recorderとの連携 UnityRecorderは • エディター上で動く録画ツール • パノラマVR動画の生成も可能 • GameObjectの動きから、Animation Clipの作成も可能 • つまり、組み合わせると、 MessagePackで録画して、 Recoderで編集、 AnimationClipの生成ができます。 39https://assetstore.unity.com/packages/essentials/unity-recorder-94079
- 40. 40
- 41. まとめ • わりと簡単に、使える。リプレイできる • Jsonへの相互変換も簡単なので、取り扱い やする • VRコントローラーへの活用も可能 • マルチプラットフォームで、メッセージの やり取りができる