Downloaded 10 times
初めてのHoloLensアプリ開発～de:code 2018までの挫折と成功
- 1.
- 2. 自己紹介 酒井 辰也 (@saka_it) 株式会社ネクストスケープ クラウドインテグレーション事業本部 コンサルティング&テクノロジー部 •元々、業務系システム開発をやってました • 2015/07～ ネクストスケープ入社 • Web系システムをメインにやっていました • 2017/05～ xRアプリ開発をやってます • HoloLensとARアプリ開発をやっています • Azure もくもく会@新宿 開催しています • 次回は7月24日（火）19:00～
- 3.
- 4.
- 5. アジェンダ • HoloLens アプリ始めました •プロジェクションマッピングアプリ • Microsoft Mixed Reality パートナー への道 • ホログラフィック・マンションビューア • 理想のアプリ開発を目指して • 汎用マンションビューアと巡視ソリューション • 1年（＋α）を振り返って • HoloLens×AI×IoT モダンワークプレイスアプリ • まとめ
- 6.
- 7.
- 8. Microsoft HoloLens とは •Microsoft が販売している MR デバイス • シースルーディスプレイにより、 現実とホログラムを同時に見ることができます • 高度な空間認識能力 • 現実空間へホログラフィックを固定させることができます • 移動してもホログラフィックは同じ位置にあり続けます • 複数人で体験を共有することも可能です • 自己完結型なので単体で動作 • 別の PC が不要です • バッテリー搭載でコードレスで動作します
- 9. そもそもの始まり • 2017年1月 HoloLensが会社にやってくる • 社内にUnity経験者はほぼ無し • 2017年2月 Unity 研修 • 2017年3月 最初のアプリを作る • 2017年4月 最初の案件が動き出す • 2017年5月 de:code 2017 で発表 このとき私はSitecoreをやってました （Web CMS ツール）
- 10.
- 11.
- 12. 最初のアプリケーション • 西新宿の高層ビルで プロジェクションマッピングを行うアプリを試作 • 意外と屋外でも使えることがわかる •この時の位置合わせ →手動で頑張る • キーボードで位置合わせをする • 位置合わせ後は固定される
- 13. HoloLens アプリ開発を始める • 2017年5月HoloLens アプリ開発担当を拝命 • de:code 直前に HoloLens アプリの引継ぎを依頼される • なお、初回リリースまでの期間は3週間弱 • この時点でUnity経験0 • 3D CGも学生の時にちょっとやっただけ • さらにde:code（2017）中に Microsoft 本社行が決定 • MRPP の研修のため • 出発までは1か月 • この時点でパスポートもなし
- 14. 苦しんで覚える HoloLens アプリ開発 •エントリポイントはどこ？ • スクリプトのどこから動作が始まるのかよくわからない • 基本は MonoBehaviour の Awake,Start,Update から始まる • Unity Editor 上では動くのにビルドに失敗する • Unity 上では .Net3.5 だけど、ビルドするときは UWP だから • どれ使うのが正解かわからない IF ディレクティブ • Holo Academy とネット上にある実装例が全く違う • Academy は Toolkit をあまり使わない実装 • 一般的な方法は Toolkit を使う
- 15.
- 16. xRエンジニアへ • 今思う Unityの注意点 • Unity の C# は C# であって C# でない • Scene や Hierarchy の構成は慎重に • UWP 独特の部分にも注意 • それでも、3週間でも作れるようになる Unity すごい • 偉大なる先人の方々の情報が役に立ちました • 日本は HoloLens アプリ開発最先端！ • サンプルやソースを追ったほうが早いことも • Unity 本体は一部コードが公開されています • Mixed Reality Toolkit（MRTK）も公式サンプルが豊富です
- 17. Microsoft Mixed Reality パートナーへの道 ホログラフィック・マンションビューア
- 18.
- 19.
- 20. 構成 • アプリの説明 HoloLens HoloLensHoloLensHoloLens ネットワーク経由で 操作を共有 PC/Tablet
- 21. 熱との闘い • 晴天の屋外で HoloLens を使用中 •次々と Holo が動かなくなる • 起動するとすぐ落ちる • そもそも起動しない • 日陰にしばらく置くと復活 • 曇りの日や日陰では起きない 熱暴走してる・・・
- 22. 熱との闘い • Holo クーラー１（冷えピタ） •放熱能力を高める作戦 • 夏の直射日光に効果はなかった • Holo クーラー２ （クーラーボックス） • 予め冷やすことで温度上昇を抑える • 急速冷却で復活までも早く • 充電ができない • トラッキングが飛ぶ
- 23.
- 24. 展示会に出してみよう • 展示会でもトラブル発生 • 現地じゃないのでMR 感がない • 会場では建物出すだけなので VR 的になる • 模型を作ってみた
- 25.
- 26.
- 27. 展示会に出してみよう • 展示会でもトラブル発生 • 現地じゃないのでMR 感がない • 会場では建物出すだけなので VR 的になる • 模型を作ってみた • ネットワーク混雑 • 特に Tech 系のイベントでは無線 LAN が混む • ネットワークを使わないという手もあり • ネットワークが必要であれば • 5GHzを使う（HoloLens は2.4G、5G両対応） • 完全にダメな時のバックアップ手段も用意する
- 28.
- 29. Microsoft Mixed Realityパートナー 認定へ • 2017年09月 国内初 認定
- 30.
- 31. マンションビューアの汎用化へ • 他物件や他社様へ展開できるプラットフォームを開発 • 建物オブジェクトを入れ替え可能に •フロアや部屋数は当然異なる • 機能も追加削除ができるようにする • 基本機能は踏襲 が • 実装上の問題から作り直しに・・・
- 32. 初期バージョンの課題 ① スクリプト間の連携がわかりずらい • 機能拡張を続けたため構成が複雑化 •積み上げ式に拡張したため連携が見えずらい • 作った人しかわからない！ • 途中で引き継いでるので、作った人も二人いる ② ロジックスクリプトがシーン内に分散している • 修正箇所が追いずらい • 状態も分散している • 機能変更時の影響範囲がわからない！
- 33.
- 34.
- 35.
- 36.
- 37. MV(R)Pの採用 • Model－View－（Reactive） Presenterパターン • 下記の3つに分離する設計パターン • Model：状態やロジックを保持する • View：入出力を制御する • Presenter：ModelとViewを結ぶ • ModelとViewには依存関係を持たず、 Presenterがそれぞれへの依存関係を保持する • UniRx（ReactiveExtension）を使用することが前提 • M-P間、P-V間のメッセージをRxで流す • つまり、UnityにおけるMVCやMVVMの実装
- 38.
- 39.
- 40.
- 41.
- 42.
- 43. 巡視ソリューション • HoloLens 上でIoT の計測情報を現実世界に合成 室内無線ゲート ウェイRaspberry Pi Azure HoloLens システム管理者 インターネット
- 44.
- 45.
- 46. HoloLens×スクラムアプリ開発 • お客様も巻き込んでスクラム方式での開発を採用 • 実験的なプロジェクトだったこともあり、 スクラムがマッチした •スプリントレビューの段階で お客様に体験していただく • 開発前 • オフィスを想定 • オフィス環境情報を表示 • 最終形 • 発電所や工場を想定 • センサー情報（温度計）を表示 28.3℃ SC-101 22.4℃ SC-105 23.5℃ SC-105 Room: W-204 Average ℃: 20.4℃ Sensor Status： 〇 〇 △ 〇 00:00 24:00 28.3℃ SC-101 22.4℃ SC-105 23.5℃ SC-105 Room: W-204 Average ℃: 20.4℃ 00:00 24:00
- 47.
- 48.
- 49. 展示会に出してみよう v2 • 現地を見た人からこんな意見が HoloLens感がない •ブースが壁だけだったので MR 感が薄かった • 造作の都合で小道具も CG で作ってた • イメージ重視で HoloLens があまり目立たなかった
- 50.
- 51.
- 52.
- 53. モダンワークプレイスアプリ • HoloLens×AI×IoT のモダンワーク支援アプリ •コピー機などのオフィスIoT機器の状態を HoloLens 上で表示 • 機器のトラブルを AI との自然な対話で解決 • 現実を拡張した、これからのオフィスを体感 • HoloLensやIoT機器とのデータ交換に Azure IoTHub を使用 • AI エンジンとして NTTコミュニケーションズ様の COTOHA を採用
- 54.
- 55.
- 56.
- 57. 新聞掲載やTV放送 日本経済新聞 2017年5月23日 Youtube 日本マイクロソフト株式会社公式チャンネル 「Microsoft Mixed Reality Partners in Japan」より テレビ朝日様「スーパーJチャンネル」 （2017年07月15日）で放送
- 58.
- 59. まとめ • HoloLens アプリ開発のつらいところ •Unity わかるようでわからん • C# であって C# でないスクリプト • コーディングだけでも CG の知識は必須 • C# のアルゴリズムやクラス設計など考え方を流用できるところも • 事件は現場で発生する • UI/UX から熱暴走まで、思いもよらぬことが発生します • 現地チェックできるだけのスケジュールの余裕は必須 • 何ができるかはまだまだ未知数 • お客様も何ができるかよく分かっていないことが多い • 今後の HoloLens の拡張も見据えて考える
- 60. まとめ • HoloLens アプリ開発のたのしいところ •Unity 楽しい • 3D をぐりぐりして開発しているとデキるエンジニア感が増します • Hot なコミュニティ • 日本のコミュニティの盛り上がりは世界トップクラス！ • 何ができるかは私たちが作る • やりたいことはどんどん提案していけることが多いです • 分からないからこそ、新しいものを作っていける土壌があります • 感動を身近で • HoloLens を被せてアプリを見せると隣で感動してもらえます • まだ初めての人も多い！とにかく色んな人に被せましょう
- 61. ホロレンジャー募集 • ネクストスケープでは xR エンジニア/プロデューサーを募集しています •国内初の Microsoft Mixed Reality パートナー認定 • Microsoft MVP 3名在籍 • 充実のワーク環境 • デュアルモニタ、フリードリンク、書籍購入補助制度など • 海外・国内のカンファレンス参加も • 私たちと一緒に Mixed Reality で新しい世界に飛び出しませんか？ • ご興味がある方は「ネクストスケープ」で検索
- 62.
- 63.