Successfully reported this slideshow.
Your SlideShare is downloading. ×

ITフォーラム2020 AITC(3)

Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Loading in …3
×

Check these out next

1 of 30 Ad
Advertisement

More Related Content

Slideshows for you (20)

Similar to ITフォーラム2020 AITC(3) (20)

Advertisement

More from aitc_jp (20)

Advertisement

Recently uploaded (20)

ITフォーラム2020 AITC(3)

  1. 1. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 空気を読む家 6th シナリオ 『人を見守る安心安全な空気を読む家』 LookingGlassで空間のAR 2020年2月7日 先端IT活用推進コンソーシアム ビジネスAR研究部会 リーダー TIS株式会社 井出 将弘
  2. 2. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 本日のアジェンダ ビジネスAR部会の取り組み LookingGlassで空間のAR まとめ、今後に向けて
  3. 3. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. ビジネスAR部会について 3 • 活動目的 : 最先端のAR技術の把握と習得、及び今後の社会やビジネスの変 化を踏まえたARの活用(ビジネスAR)について、研究することを活 動目的とする。さらに活動成果を発信していく。 • 活動内容 : 1) ビジネスARを創出、普及・展開するための考察・議論・グルー プ活動 2) AR技術への理解を深めるためのプロトタイプ開発・試行実験 3) 上記活動を成果物としてまとめ、外部発信の活性化
  4. 4. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. ビジネスAR部会の考えるAR 4 • 人間の感覚をITで拡張すること • 日本語では、「拡張現実感」、または「拡張 現実」 視聴 触 味 嗅 α バランス感覚、認知など 空間に情報 を付与 少しの動作 で物体を 操作 雑音をoff、 必要な音の Volume up 危険な場 所・物体か ら 悪臭
  5. 5. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 5 自動化と自在化 5 ・人間代替 ―やりたくないこと ―危険作業 ―高負荷作業 ・肉体・精神 ―繰り返し作業 ―高信頼作業 ・人間拡張 ―やりたいこと ―表現・創造 ・クリエイティブクラス ―娯楽・余暇 ―コミュニケーション ―承認・奉仕 引用:稲見先生 自動化 自在化
  6. 6. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. AJ(Automated Judgement)とAH(Augmented Human) • AJは「判断も機械・ソフトが行う。」といった方式 – いわゆる「自動化」 – 自動判断の精度を高めるためには、フィジカルのあら ゆる事物を細かくデジタル化する必要がある CPS、デジタルツイン • AHは「判断は人間が行う。機械・ソフトは人間 能力の拡張に徹する。」といった方式 – 稲見先生のいう「自在化」 – フィジカルのあらゆる事物を予め全てデジタル化する 必要はないが、局所的なサポートのためのセンシン グ・計算・フィードバックは一瞬で行う必要がある リアルタイム、インタラクション 6
  7. 7. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 空間OSを中心としたインタラクション(空間のAR)-1 7 • フィジカルのインタラクションをサイバー側 で制御 フ ィ ジ カ ル ・ 物 理 空 間 サ イ バ ー ・ 論 理 空 間
  8. 8. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 空間OSを中心としたインタラクション(空間のAR)-2 8 ①フィジカルの事物をサイバーに写像 フ ィ ジ カ ル ・ 物 理 空 間 サ イ バ ー ・ 論 理 空 間
  9. 9. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 空間OSを中心としたインタラクション(空間のAR)-3 9 ②サイバー側で事物間のインタラクションを 発動 フ ィ ジ カ ル ・ 物 理 空 間 サ イ バ ー ・ 論 理 空 間
  10. 10. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 空間OSを中心としたインタラクション(空間のAR)-4 10 ③フィジカルにインタラクションをフィード バック フ ィ ジ カ ル ・ 物 理 空 間 サ イ バ ー ・ 論 理 空 間
  11. 11. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. LookingGlassで空間のAR
  12. 12. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 今回の実装イメージ • 離れた家と空間的につながっている感を出したい – リアルタイム – 3次元で没入感、存在感がある – インタラクティブ – アプローチャビリティ →箱庭空間、箱庭インターフェース 12
  13. 13. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 実装すること • 箱庭空間の表現 • 箱庭空間を操作して物理空間を操作する • 空間OSとの通信 • OpenPoseの骨格データからアバターをアニメー ションさせる • サーモ画像のデータから室温表現 13
  14. 14. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 箱庭空間の表現(デバイス選定) • 案1:VRHMD(例:Oculus Quest) → 没入感はよいが、アプローチャビリティが悪い。 • 案2:MRHMD(例: HoloLens) → 常時着用というユースケースはまだ困難 • 案3:物理的な3Dモデル+プロジェクションマッピング →現実的ではない • 案4:裸眼立体視ディスプレイ(LookingGlass) →アプローチャビリティ◎。没入感もある。箱庭感。 14
  15. 15. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. Looking Glassについて • Looking Glassとは Looking Glass Factory社が製造、販売している裸眼立体視ディスプレイ。 2018年7月から発売開始。スタンダード(8.9インチ)とラージ(15.6インチ)の2 機種とPCを内蔵したオールインワンモデルの「Looking Glass Pro」が発売されて います。11月に開催されたデジタルコンテンツエキスポでは最新モデルの32インチ ディスプレイ「Looking Glass 8K Immersive Display」が発表されました。 • 特徴 – 比較的安価(スタンダードで600ドル、ラージで3000ドル) – PCにHDMIとUSBで接続するだけでディスプレイとして認識 – UnityのSDKがあり、裸眼立体視の知識がなくても開発可能 15上記画像はLooking Glass Factory社より提供
  16. 16. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 箱庭空間作成 16 • 今回は簡単なデモのため、Unityのシーンに無料の 家具アセットを配置 • LookingGlassのSDKにあるHoloplay Capture のプレハブを配置するだけでLookingGlass用の 多視点映像が表示される Unityのシーン 緑の枠が箱庭空間 LookingGlass用映像
  17. 17. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 箱庭空間を操作して物理空間を操作する • 操作デバイス – LookingGlassと相性のよいハンドジェスチャセンサー のLeapMotionで実装 • LeapMotionのメリット、デメリット – メリット • 何も持ったり装着しなくてよい • 手の動作で3次元空間を直感的に操作できる – デメリット • センサーの挙動を理解するまで慣れが必要 • マウス、キーボードに比べると決定動作は不安定 17
  18. 18. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. LeapMotionを使ったインタラクション • 今回は箱庭空間のライトを点灯すると現実のラ イトが点灯するというデモを実装 • 箱庭空間での表現はスタンドライトに手を触れる ことで照明のオンオフを実現。箱庭空間の照明 の状態を変更するとともに空間OSに照明の状 態を通知 18 緑の球状の枠が当たり判定 触れると光る
  19. 19. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. システム構成 • ハードウェア: – Looking Glass – ゲーミングノート(RTX2070) – LeapMotion 19 空間OS Unity
  20. 20. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 空間OSとの通信 • UnityでWebSocket通信 – Unity自体にはWebSocket通信に関する機能がない →C#で使えるwebsocket-sharpを採用 • JSONのデータ変換 – Unity標準のJsonUtilityは事前のクラス定義が必要なため、 空間OSから受信したJSONのパースにUtf8Jsonを採用 • UniRxでのイベント化 – パース後のデータはUniRxでイベント化し、イベントを Subscribeしているクラスに通知。 – ※重要※ WebSocketの受信処理はメインスレッドとは別ス レッドで実行されるため、イベントを受信したクラス内でUnityの APIを使用する場合はSynchronizationContextでメインス レッドに戻す。 20
  21. 21. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. OpenPoseの骨格データからアバターをアニメーション-1 • OpenPoseの骨格データからUnityで2D描画 25点の骨格データの座標(x,yが0~1のデータ)にUnityのUICanvasの解像度を 乗算し、UI座標に変換。座標を元にOpenPose Unity Pluginで2D描画 • 2D描画→3D座標変換 RectTransformUtilityでUI座標→ 3D座標に変換 21 //UI座標からスクリーン座標に変換 Vector2 screenPos = RectTransformUtility.WorldToScreenPoint(_canvas.worldCamera, rectTransform.position); //ワールド座標 Vector3 result = Vector3.zero; //スクリーン座標→ワールド座標に変換 RectTransformUtility.ScreenPointToWorldPointInRectangle(rectTransform, screenPos, _canvas.worldCamera, out result); 2D描画 白い四角が3次元上の座標
  22. 22. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. OpenPoseの骨格データからアバターをアニメーション-2 • 3D座標→アバターアニメーション →FinalIKでアバター制御。頭、手、足をターゲットとし て設定 →アバターはUnity-Chanを使用 ※FinalIKは最近流行しているVtuberのアバター制御 によく使用されているアセット 22 https://assetstore.unity.com/packages/tools/animation/final-ik-14290
  23. 23. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. OpenPoseの骨格データからアバターをアニメーション-3 • 結果 23
  24. 24. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. OpenPoseの骨格データからアバターをアニメーション-4 • 評価 – 足のIKターゲットが逆になることがある – 手を頭の上で振っていることはわかる – 屈伸したということもわかる →2Dの推定でもある程度3Dキャラクターを操作できる →3D推定等でより自然な動きに改善は可能 24
  25. 25. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. プライバシーに配慮したアニメーション • 前述のとおり、2Dの骨格推定である程度の行動 がわかってしまうため、プライバシーに配慮した立 位、臥位の2パターンのアニメーションを行うモード も実装 25
  26. 26. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. サーモ画像のデータから室温表現 • サーモ画像のデータからは平均の温度を取得で きるため、それを用いて照明の色を変更 26 温 暖 熱 寒涼
  27. 27. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. ソフトウェア構成 27 Unity 3Dゲームエンジン HoloPlaySDk LookingGlass対応 websocket-sharp WebSocket通信 openpose_unity_plugin OpenPose描画 Leap Motion Core LeapMotion対応 UniRx Unity用リアクティブプログラミング拡張 FinalIK アバター制御 Utf8Json Json変換
  28. 28. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 今後にむけて • 次回は空間への没入とインタラクション=HMDを 使ったユースケースにチャレンジしたい • コンテクスト、リアルタイムで価値あるARを – 空間OSの価値の可視化をより深耕 • よりアンビエントな感覚拡張 – ウェアラブル – インプランタブル – インビジブル 28
  29. 29. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. まとめ • 空間OSを介したリアルタイムセンシングデータの可 視化 • 箱庭インターフェースと直感的な操作でフィジカルス ペースを変更 • 空間のARの第一歩 これからも空間OSを中心としてワクワクする拡張現 実の未来を議論、実装していきます! 29
  30. 30. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. http://aitc.jp https://www.facebook.com/aitc.jp 最新情報は こちらをご参照ください ハルミン AITC非公式イメージキャラクター

×