Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

xR Tech Tokyo 登壇資料 Mixed Realityではじまるコラボレーティブ・コンピューティング

2,699 views

Published on

xR Tech Tokyo #8 のロングセッションの資料です。
Mixed Realityのおさらいと、HoloLensとImmerisive、PCを交えたコラボレーティブコンピューティングを実装した話です。

Published in: Engineering
  • Be the first to comment

xR Tech Tokyo 登壇資料 Mixed Realityではじまるコラボレーティブ・コンピューティング

  1. 1. Mixed Realityではじまる コラボレーティブ・コンピューティングな世界 デコ・シ
  2. 2. 自己紹介 デコ・シ(@Ash_Yin) 氏名: 立原 愼也 所属: 株式会社ホロラボ 役職: プログラマ/リサーチャー 経歴 2017/04 大手電機メーカー(SE) 入社 2017/05 Unite2017で逆ナンされる 2017/06 大手電機メーカー(SE) 退職/ホロラボ入社 自己紹介
  3. 3. 個人の活動 FolloMap スマホからGPS情報を送信し、 HoloLensでマップを見る Buy FolloMap - Microsoft Store FolloMap - YouTube (ストア) (使い方) 素材はパワポでつくった
  4. 4. HoloLab Inc.
  5. 5. 会社概要 株式会社ホロラボ (HoloLab Inc.) 所在地:東京都品川区上大崎 資本金:2,000,000 設立日:2017年1月18日 創業者:5名 従業員:4名
  6. 6. 創業メンバー
  7. 7. 社員 & 仲間 外部研究員 たるこす @tarukosu 平社員 デコ・シ @Ash_Yin 代表社員 アキヒロ @akihiro01051 CTO/寿司職人 ゆーじ @yuujii CADエンジニア デザイナー アルバイト JackMasaki @JackMasaki 会計 社長夫人
  8. 8. 業務内容
  9. 9. よくわかるホロラボ
  10. 10. Mixed Realityについて
  11. 11. Mixed Realityとは? - 終わらない定義論争 - Microsoft Mixed reality is the result of blending the physical world with the digital world. https://developer.microsoft.com/en- us/windows/mixed-reality/mixed_reality https://youtu.be/_xpI0JosYUk
  12. 12. HoloLens おさらい
  13. 13. HoloLensってなに? -HoloLensおさらい- ・MS社が販売している頭部装着型のPC ・スタンドアロン・ケーブルレス
  14. 14. HoloLensのスペック -HoloLensおさらい- 項目 OS Windows 10 プロセッサ Intel Atom 32bit Microsoft Holographic Processing Unit (HPU 1.0) ストレージ 64GB メモリ 2GB 重量 579g スペックはスマホ相当 https://www.microsoft.com/ja-jp/hololens/buy
  15. 15. HoloLensの固有機能 -HoloLensおさらい- 視線 ジェスチャ 音声入力 空間認識 シェア 空間 マッピング https://developer.microsoft.com/en- us/windows/mixed- reality/development_overview
  16. 16. HoloLensの強い弱い -HoloLensおさらい- ここが強い ここが弱い •安定した位置追跡 •ケーブルレス、スタンドアロン - 装着コストが低い - 機動力が高い • 視野角が狭い - モデルの大きさや見せ方に工夫が必要 •CPU、GPU性能が低い - モデルの作りに工夫が必要 •値段が高い
  17. 17. HoloLensのある生活 -HoloLensおさらい- ← お手本 空間に自由にワークアプリを配置して作業できる ダメな例 → 空間に自由にtwitter、動画(アニメ)を配置できる
  18. 18. HoloLensの活用例 -HoloLensおさらい- Point ・既存の車への重畳表示 (カラーリング・フォルムなど) ・角度のシミュレーション (センサがどう働くか) ・音声アノテーション (技術者やデザイナーの空間ログ機能) ・サイドミラーシミュレーション Ford(自動車デザイン) https://www.youtube.com/watch?v=WZQ_DQD7F3U
  19. 19. HoloLensの活用例 -HoloLensおさらい- Point ・事前シミュレーション ・現場での情報および保守項目リスト ・遠隔支援および第3者による確認 ThyssenKrupp (保守・管理) https://www.youtube.com/watch?v=8OWhGiyR4Ns
  20. 20. HoloLensの活用例 -HoloLensおさらい- Point ・実寸大での表示 ・構造の理解 JAL (航空) https://www.youtube.com/watch?v=GjZgI2oDcwM
  21. 21. HoloLensの活用例 -HoloLensおさらい- Point ・Deep Learningを用いた顧客の好み抽出 ・家具配置シミュレーション ・行動解析(見ていた場所のヒートマップなど) LOWE’S (家具 キッチン) https://www.youtube.com/watch?v=gC_4JxF0e_k
  22. 22. HoloLensの活用例 -HoloLensおさらい- Point ・CTデータの閲覧 ロンドン大学 (医療) https://www.youtube.com/watch?v=TylDjQ1udZg
  23. 23. HoloLensの活用例 -HoloLensおさらい- Point ・建設するモデルを3Dで表示(空間共有) ・工程管理 ・文書や画像をHoloLens内に保存 小柳建設 (建設) https://www.youtube.com/watch?v=dW1amJLDwuQ
  24. 24. HoloLensの活用例 -HoloLensおさらい- Point ・建物完成イメージの視覚的理解 ネクストスケープ (不動産) https://www.nextscape.net/news/2017/05/20170523
  25. 25. HoloLens で辛かったこと ・Air-Tapのやり方を説明してもきいてくれない ・勝手にBloomされる ・つけ方が悪くて何も見えてなかった ・モデルが重い ・位置がずれる ・シェアリングって簡単にできるんでしょ? ・HoloLensを無理やり外される ・ヘッドバンドが折れる こ の あ と 滅 茶 苦 茶 セ ッ チ ャ ク し た
  26. 26. Immersive おさらい
  27. 27. 廉価版のHoloLensなんでしょ? -Immersiveおさらい- ・Gestureは使えません ・パススルーはできません ・環境マッピングは使えません ・スタンドアロンではない
  28. 28. HoloLensとImmersiveの機能比較 -Immersiveおさらい- 機能 HoloLens Immersive headset 入力 Gaze ✓ ✓ Gestures ✓ Voice ✓ ✓ Gamepad ✓ ✓ Motion controllers ✓ 空間認識機能 ワールド座標 ✓ ✓ 空間音響 ✓ ✓ Spatial Mapping ✓ https://developer.microsoft.com/en- us/windows/mixed-reality/development_overview
  29. 29. Mixed Reality Headsetの種類 -Immersiveおさらい- https://www.microsoft.com/en-us/store/collections/vrandmixedrealityheadsets 項目 解像度 2880 x 1600 視野角 110度 ディスプレイ 有機EL ヘッドフォン+デュアルマイクロフォンアレイ IPD調整機構付き $499.00
  30. 30. 海外から輸入した結果 -Immersiveおさらい- 海外のDell Shopなら 単体で購入できる しかも 技適の問題もなし http://www.dell.com/en-us/shop/the- dell-visor/apd/536-bbbr/gaming
  31. 31. 海外から輸入した結果 -Immersiveおさらい- 代行購入費用 送料 結果、倍した
  32. 32. うちのPCで動くの? -Immersiveおさらい-
  33. 33. 超簡単セットアップ -Immersiveおさらい- 難しいんじゃないの? - ケーブルを挿すだけ。だいたい10分で終わる。 コントローラがないんだけど - Xboxコントローラでも大丈夫。なんならマウスとキーボードでも操作できる。 外部センサーは? - いらなーい
  34. 34. 2Dアプリと3Dアプリの違い -Immersiveおさらい- 2Dのアプリ 3Dのアプリ
  35. 35. WebVR -Immersiveおさらい- 心 が ぴ ょ ん ぴ ょ ん す る 動 画
  36. 36. Window Mixed Reality for SteamVR -Immersiveおさらい-
  37. 37. Immersive で辛かったこと ・モーションコントローラが頻繁にトラッキングロストする ・コントローラがもはや認識すらしなくなった ・ファームウェアアップデートで動作不安定になる ・ファームウェアアップデートが強制 ・Unityのバージョンが隔離される ・バージョンアップすると動いたものが動かなる ・Steamでよくね?と言われる 全部動かなくなったわ ははっ
  38. 38. コラボレーティブ・コンピューティング
  39. 39. コラボレーティブ・コンピューティングとは http://news.livedoor.com/article/detail /9747068/ アレックス・キップマン 頑張って日本語にしたやつ 分かりやすい記事 http://dhero.hatenablog.com/entry/2017/10/10/%E3% 80%90%E7%BF%BB%E8%A8%B3%E3%80%91Mixed_Re ality_Q%26A_ Kinectの開発者 HoloLensの父
  40. 40. コラボレーティブ・コンピューティングとは - de:code - https://youtu.be/JxCUyhjwHW0?t=9m40sThe World of Hololens in 24 Months 透過型HMD PC 没入型HMD
  41. 41. Immersive と HoloLens 同じアプリケーションが動作する 空間配置 他のデバイスを使ったときの違和感が減る、 互いになるべく同じことができるようになっている 他にも、 ・Gazeの利用 ・AirTapとコントローラの入力の互換 ・音声入力 ・空間音響 統一感のあるメニューなどのUI
  42. 42. Immersive & HoloLensの活用例 Cirque du Soleil (演劇) Point ・HoloLens/Immersiveデバイスそれぞれのユーザーで一つのステージを作り上げる https://www.youtube.com/watch?v=vNz5Rw6TwCw
  43. 43. Immersive & HoloLensの活用例 Mixed Reality 250 Windows Mixed Reality - Acer and HoloLens Side-By-Side - YouTube Point ・HoloLens/Immersiveデバイスを使った協調作業のサンプルプロジェクト
  44. 44. MR脊椎・関節手術トレーニングシステム
  45. 45. マイクロソフト Mixed Reality パートナープログラム Microsoft Mixed Reality Partner Program/複合現実パートナープログラムは、 HoloLensやImmersiveヘッドマウントディスプレイ(以下Immersive HMD)他、 Mixed Reality(以下MR)技術によるシステムやソリューションを展開する優れた企業 に対してMicrosoft社から提供される認定制度 https://www.microsoft.com/ja-jp/hololens/commercial-build#agency-buckets 要するに
  46. 46. 稲波脊椎・関節病院 × HoloLab 稲波脊椎・関節病院について 稲波脊椎・関節病院は、国内トップの年間1,590件(2015年実績)の脊 椎内視鏡下手術実績を持つ岩井グループが、2015年7月に2院目とし て品川区東品川に開院した腰・膝の専門病院です。 「高度で、かつ 身体への負担が少なく、安心を与えられる医療」を実践することを目 的とし、最新技術導入へも積極的に取り組んでいます。その一環とし てHoloLens/Mixed Realityの手術トレーニング環境への導入をホロ ラボと共同で検証しています。 •URL: http://www.iwai.com/inanami-sekitsui/ •Facebook Page : https://www.facebook.com/inanami.hospital/ • 手術室にあるモニターを極力減らしたい。 - モニターの設置コストを下げたり、広い場所がとれない手術室でも活用できる • 研修医を受け入れており研修が終わってからのサポートが課題。初期からHoloLensでトレー ニングを行い、遠隔でもサポートできるようにしたい。 課題
  47. 47. 稲波脊椎・関節病院 × HoloLab - 開発環境 - https://www.slideshare.net/decode2017/mr04- unity-hololens/29 HoloLens側 Unity 2017.1.2 Visual Studio 2015 update 3 Immersive側 Unity 2017.2 MRTP3 Visual Studio 2017.15.3 60FPSのための指針
  48. 48. 稲波脊椎・関節病院 × HoloLab – Mixed Reality - Mixed Reality Toolkitは、Microsoft HoloLensとWindows Mixed Reality headset を対象としたアプリケーションの 開発を加速するためのスクリプトとコン ポーネントの集まりです。このプロジェ クトは、複合現実感アプリケーションを 作成するための参入障壁を削減し、皆が 成長できるようコミュニティに貢献する ことを目的としています。 MixedRealityToolkit – Unityは MixedRealityToolkitをベースとしたコード を使用しており、Unityでの利用を容易に します。 統一感のあるUIのために
  49. 49. 稲波脊椎・関節病院 × HoloLab – Mixed Reality - HoloLensでもImmersiveでも同じような動きが作れる
  50. 50. 稲波脊椎・関節病院 × HoloLab – Mixed Reality - とりあえずこれを入れよう、3種のコンポーネント MixedRealityCameraParent: CameraとBoundary Managers: Gesture, GamePad, HandControllerの入力を扱うコンポーネント Cursor: Gazeカーソル HTKを直接いじるような実装をしていなければ、これらPrefabを入れ替える だけでMRTK2017.2の環境に移植できます (ハズです) 今回もHoloLensベースで開発してImmerisveに移植した
  51. 51. 稲波脊椎・関節病院 × HoloLab - HoloLens側 - ・電子カルテをHoloLens画面内に表示 - モニターがなくなる ・トレーニング - 3Dオブジェクトの操作 (Bounding Box) - Sharing機能で同じ場所で同じモデルを見なが らコミュニケーションを行える Point 使用時間が長いアプリには、バッテリーと時間が分 かるようにしておくと便利 バッテリー残量は、 SystemInfo.batteryLevel でとれる
  52. 52. 稲波脊椎・関節病院 × HoloLab ・ボイスアノテーション 音声を記録した位置と視線の先の位置の保存。 「誰が」「どこから」「どこを見て」が記録に残る。 音声は記録された位置から再生されるので、声は空間音 響によって記録位置が音源となる。 (Ford社の事例にあるものを独自に実装)
  53. 53. 稲波脊椎・関節病院 × HoloLab ・ビデオチャット (WebRTC) HoloLensのMixed Reality Capture(MRC)映像とマイクか らの音声をWebRTCで遠隔地のコンピューターに送信 (ThyssenKrupp社の事例にあるものを独自実装)
  54. 54. 稲波脊椎・関節病院 × HoloLab ・Immersive 同じ場所でのSharingは複数台の HoloLensが適しているが、遠隔地であ ればImmersiveデバイスでもよい。 ImmersiveデバイスでもHoloLensとほぼ 同じ機能が実装されているので、音声ア ノテーションやビデオチャットを行うこ とができる
  55. 55. 稲波脊椎・関節病院 × HoloLab 透過型HMD PC 没入型HMD
  56. 56. 稲波脊椎・関節病院 × HoloLab – まとめ - ・業界に依存しない、汎用的な仕組みづくりができた ・MRTKを使うと統一感のあるUIづくりができる ・でもツラミはいっぱい!
  57. 57. 頭募集中

×