Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

ITフォーラム2020 AITC(3)

42 views

Published on

『安心安全な空気を読む家』LookingGlassで空間のAR

Published in: Technology
  • Be the first to comment

  • Be the first to like this

ITフォーラム2020 AITC(3)

  1. 1. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 空気を読む家 6th シナリオ 『人を見守る安心安全な空気を読む家』 LookingGlassで空間のAR 2020年2月7日 先端IT活用推進コンソーシアム ビジネスAR研究部会 リーダー TIS株式会社 井出 将弘
  2. 2. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 本日のアジェンダ ビジネスAR部会の取り組み LookingGlassで空間のAR まとめ、今後に向けて
  3. 3. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. ビジネスAR部会について 3 • 活動目的 : 最先端のAR技術の把握と習得、及び今後の社会やビジネスの変 化を踏まえたARの活用(ビジネスAR)について、研究することを活 動目的とする。さらに活動成果を発信していく。 • 活動内容 : 1) ビジネスARを創出、普及・展開するための考察・議論・グルー プ活動 2) AR技術への理解を深めるためのプロトタイプ開発・試行実験 3) 上記活動を成果物としてまとめ、外部発信の活性化
  4. 4. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. ビジネスAR部会の考えるAR 4 • 人間の感覚をITで拡張すること • 日本語では、「拡張現実感」、または「拡張 現実」 視聴 触 味 嗅 α バランス感覚、認知など 空間に情報 を付与 少しの動作 で物体を 操作 雑音をoff、 必要な音の Volume up 危険な場 所・物体か ら 悪臭
  5. 5. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 5 自動化と自在化 5 ・人間代替 ―やりたくないこと ―危険作業 ―高負荷作業 ・肉体・精神 ―繰り返し作業 ―高信頼作業 ・人間拡張 ―やりたいこと ―表現・創造 ・クリエイティブクラス ―娯楽・余暇 ―コミュニケーション ―承認・奉仕 引用:稲見先生 自動化 自在化
  6. 6. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. AJ(Automated Judgement)とAH(Augmented Human) • AJは「判断も機械・ソフトが行う。」といった方式 – いわゆる「自動化」 – 自動判断の精度を高めるためには、フィジカルのあら ゆる事物を細かくデジタル化する必要がある CPS、デジタルツイン • AHは「判断は人間が行う。機械・ソフトは人間 能力の拡張に徹する。」といった方式 – 稲見先生のいう「自在化」 – フィジカルのあらゆる事物を予め全てデジタル化する 必要はないが、局所的なサポートのためのセンシン グ・計算・フィードバックは一瞬で行う必要がある リアルタイム、インタラクション 6
  7. 7. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 空間OSを中心としたインタラクション(空間のAR)-1 7 • フィジカルのインタラクションをサイバー側 で制御 フ ィ ジ カ ル ・ 物 理 空 間 サ イ バ ー ・ 論 理 空 間
  8. 8. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 空間OSを中心としたインタラクション(空間のAR)-2 8 ①フィジカルの事物をサイバーに写像 フ ィ ジ カ ル ・ 物 理 空 間 サ イ バ ー ・ 論 理 空 間
  9. 9. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 空間OSを中心としたインタラクション(空間のAR)-3 9 ②サイバー側で事物間のインタラクションを 発動 フ ィ ジ カ ル ・ 物 理 空 間 サ イ バ ー ・ 論 理 空 間
  10. 10. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 空間OSを中心としたインタラクション(空間のAR)-4 10 ③フィジカルにインタラクションをフィード バック フ ィ ジ カ ル ・ 物 理 空 間 サ イ バ ー ・ 論 理 空 間
  11. 11. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. LookingGlassで空間のAR
  12. 12. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 今回の実装イメージ • 離れた家と空間的につながっている感を出したい – リアルタイム – 3次元で没入感、存在感がある – インタラクティブ – アプローチャビリティ →箱庭空間、箱庭インターフェース 12
  13. 13. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 実装すること • 箱庭空間の表現 • 箱庭空間を操作して物理空間を操作する • 空間OSとの通信 • OpenPoseの骨格データからアバターをアニメー ションさせる • サーモ画像のデータから室温表現 13
  14. 14. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 箱庭空間の表現(デバイス選定) • 案1:VRHMD(例:Oculus Quest) → 没入感はよいが、アプローチャビリティが悪い。 • 案2:MRHMD(例: HoloLens) → 常時着用というユースケースはまだ困難 • 案3:物理的な3Dモデル+プロジェクションマッピング →現実的ではない • 案4:裸眼立体視ディスプレイ(LookingGlass) →アプローチャビリティ◎。没入感もある。箱庭感。 14
  15. 15. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. Looking Glassについて • Looking Glassとは Looking Glass Factory社が製造、販売している裸眼立体視ディスプレイ。 2018年7月から発売開始。スタンダード(8.9インチ)とラージ(15.6インチ)の2 機種とPCを内蔵したオールインワンモデルの「Looking Glass Pro」が発売されて います。11月に開催されたデジタルコンテンツエキスポでは最新モデルの32インチ ディスプレイ「Looking Glass 8K Immersive Display」が発表されました。 • 特徴 – 比較的安価(スタンダードで600ドル、ラージで3000ドル) – PCにHDMIとUSBで接続するだけでディスプレイとして認識 – UnityのSDKがあり、裸眼立体視の知識がなくても開発可能 15上記画像はLooking Glass Factory社より提供
  16. 16. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 箱庭空間作成 16 • 今回は簡単なデモのため、Unityのシーンに無料の 家具アセットを配置 • LookingGlassのSDKにあるHoloplay Capture のプレハブを配置するだけでLookingGlass用の 多視点映像が表示される Unityのシーン 緑の枠が箱庭空間 LookingGlass用映像
  17. 17. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 箱庭空間を操作して物理空間を操作する • 操作デバイス – LookingGlassと相性のよいハンドジェスチャセンサー のLeapMotionで実装 • LeapMotionのメリット、デメリット – メリット • 何も持ったり装着しなくてよい • 手の動作で3次元空間を直感的に操作できる – デメリット • センサーの挙動を理解するまで慣れが必要 • マウス、キーボードに比べると決定動作は不安定 17
  18. 18. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. LeapMotionを使ったインタラクション • 今回は箱庭空間のライトを点灯すると現実のラ イトが点灯するというデモを実装 • 箱庭空間での表現はスタンドライトに手を触れる ことで照明のオンオフを実現。箱庭空間の照明 の状態を変更するとともに空間OSに照明の状 態を通知 18 緑の球状の枠が当たり判定 触れると光る
  19. 19. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. システム構成 • ハードウェア: – Looking Glass – ゲーミングノート(RTX2070) – LeapMotion 19 空間OS Unity
  20. 20. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 空間OSとの通信 • UnityでWebSocket通信 – Unity自体にはWebSocket通信に関する機能がない →C#で使えるwebsocket-sharpを採用 • JSONのデータ変換 – Unity標準のJsonUtilityは事前のクラス定義が必要なため、 空間OSから受信したJSONのパースにUtf8Jsonを採用 • UniRxでのイベント化 – パース後のデータはUniRxでイベント化し、イベントを Subscribeしているクラスに通知。 – ※重要※ WebSocketの受信処理はメインスレッドとは別ス レッドで実行されるため、イベントを受信したクラス内でUnityの APIを使用する場合はSynchronizationContextでメインス レッドに戻す。 20
  21. 21. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. OpenPoseの骨格データからアバターをアニメーション-1 • OpenPoseの骨格データからUnityで2D描画 25点の骨格データの座標(x,yが0~1のデータ)にUnityのUICanvasの解像度を 乗算し、UI座標に変換。座標を元にOpenPose Unity Pluginで2D描画 • 2D描画→3D座標変換 RectTransformUtilityでUI座標→ 3D座標に変換 21 //UI座標からスクリーン座標に変換 Vector2 screenPos = RectTransformUtility.WorldToScreenPoint(_canvas.worldCamera, rectTransform.position); //ワールド座標 Vector3 result = Vector3.zero; //スクリーン座標→ワールド座標に変換 RectTransformUtility.ScreenPointToWorldPointInRectangle(rectTransform, screenPos, _canvas.worldCamera, out result); 2D描画 白い四角が3次元上の座標
  22. 22. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. OpenPoseの骨格データからアバターをアニメーション-2 • 3D座標→アバターアニメーション →FinalIKでアバター制御。頭、手、足をターゲットとし て設定 →アバターはUnity-Chanを使用 ※FinalIKは最近流行しているVtuberのアバター制御 によく使用されているアセット 22 https://assetstore.unity.com/packages/tools/animation/final-ik-14290
  23. 23. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. OpenPoseの骨格データからアバターをアニメーション-3 • 結果 23
  24. 24. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. OpenPoseの骨格データからアバターをアニメーション-4 • 評価 – 足のIKターゲットが逆になることがある – 手を頭の上で振っていることはわかる – 屈伸したということもわかる →2Dの推定でもある程度3Dキャラクターを操作できる →3D推定等でより自然な動きに改善は可能 24
  25. 25. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. プライバシーに配慮したアニメーション • 前述のとおり、2Dの骨格推定である程度の行動 がわかってしまうため、プライバシーに配慮した立 位、臥位の2パターンのアニメーションを行うモード も実装 25
  26. 26. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. サーモ画像のデータから室温表現 • サーモ画像のデータからは平均の温度を取得で きるため、それを用いて照明の色を変更 26 温 暖 熱 寒涼
  27. 27. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. ソフトウェア構成 27 Unity 3Dゲームエンジン HoloPlaySDk LookingGlass対応 websocket-sharp WebSocket通信 openpose_unity_plugin OpenPose描画 Leap Motion Core LeapMotion対応 UniRx Unity用リアクティブプログラミング拡張 FinalIK アバター制御 Utf8Json Json変換
  28. 28. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 今後にむけて • 次回は空間への没入とインタラクション=HMDを 使ったユースケースにチャレンジしたい • コンテクスト、リアルタイムで価値あるARを – 空間OSの価値の可視化をより深耕 • よりアンビエントな感覚拡張 – ウェアラブル – インプランタブル – インビジブル 28
  29. 29. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. まとめ • 空間OSを介したリアルタイムセンシングデータの可 視化 • 箱庭インターフェースと直感的な操作でフィジカルス ペースを変更 • 空間のARの第一歩 これからも空間OSを中心としてワクワクする拡張現 実の未来を議論、実装していきます! 29
  30. 30. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. http://aitc.jp https://www.facebook.com/aitc.jp 最新情報は こちらをご参照ください ハルミン AITC非公式イメージキャラクター

×