More Related Content
Similar to ITフォーラム2020 AITC(3) (20)
ITフォーラム2020 AITC(3)
- 1. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
空気を読む家 6th シナリオ
『人を見守る安心安全な空気を読む家』
LookingGlassで空間のAR
2020年2月7日
先端IT活用推進コンソーシアム
ビジネスAR研究部会 リーダー
TIS株式会社 井出 将弘
- 2. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
本日のアジェンダ
ビジネスAR部会の取り組み
LookingGlassで空間のAR
まとめ、今後に向けて
- 3. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
ビジネスAR部会について
3
• 活動目的 :
最先端のAR技術の把握と習得、及び今後の社会やビジネスの変
化を踏まえたARの活用(ビジネスAR)について、研究することを活
動目的とする。さらに活動成果を発信していく。
• 活動内容 :
1) ビジネスARを創出、普及・展開するための考察・議論・グルー
プ活動
2) AR技術への理解を深めるためのプロトタイプ開発・試行実験
3) 上記活動を成果物としてまとめ、外部発信の活性化
- 4. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
ビジネスAR部会の考えるAR
4
• 人間の感覚をITで拡張すること
• 日本語では、「拡張現実感」、または「拡張
現実」
視聴
触
味
嗅
α
バランス感覚、認知など
空間に情報
を付与
少しの動作
で物体を
操作
雑音をoff、
必要な音の
Volume up
危険な場
所・物体か
ら
悪臭
- 5. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved. 5
自動化と自在化
5
・人間代替
―やりたくないこと
―危険作業
―高負荷作業
・肉体・精神
―繰り返し作業
―高信頼作業
・人間拡張
―やりたいこと
―表現・創造
・クリエイティブクラス
―娯楽・余暇
―コミュニケーション
―承認・奉仕
引用:稲見先生
自動化 自在化
- 6. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
AJ(Automated Judgement)とAH(Augmented
Human)
• AJは「判断も機械・ソフトが行う。」といった方式
– いわゆる「自動化」
– 自動判断の精度を高めるためには、フィジカルのあら
ゆる事物を細かくデジタル化する必要がある
CPS、デジタルツイン
• AHは「判断は人間が行う。機械・ソフトは人間
能力の拡張に徹する。」といった方式
– 稲見先生のいう「自在化」
– フィジカルのあらゆる事物を予め全てデジタル化する
必要はないが、局所的なサポートのためのセンシン
グ・計算・フィードバックは一瞬で行う必要がある
リアルタイム、インタラクション
6
- 7. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
空間OSを中心としたインタラクション(空間のAR)-1
7
• フィジカルのインタラクションをサイバー側
で制御
フ
ィ
ジ
カ
ル
・
物
理
空
間
サ
イ
バ
ー
・
論
理
空
間
- 8. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
空間OSを中心としたインタラクション(空間のAR)-2
8
①フィジカルの事物をサイバーに写像
フ
ィ
ジ
カ
ル
・
物
理
空
間
サ
イ
バ
ー
・
論
理
空
間
- 9. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
空間OSを中心としたインタラクション(空間のAR)-3
9
②サイバー側で事物間のインタラクションを
発動
フ
ィ
ジ
カ
ル
・
物
理
空
間
サ
イ
バ
ー
・
論
理
空
間
- 10. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
空間OSを中心としたインタラクション(空間のAR)-4
10
③フィジカルにインタラクションをフィード
バック
フ
ィ
ジ
カ
ル
・
物
理
空
間
サ
イ
バ
ー
・
論
理
空
間
- 11. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
LookingGlassで空間のAR
- 12. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
今回の実装イメージ
• 離れた家と空間的につながっている感を出したい
– リアルタイム
– 3次元で没入感、存在感がある
– インタラクティブ
– アプローチャビリティ
→箱庭空間、箱庭インターフェース
12
- 13. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
実装すること
• 箱庭空間の表現
• 箱庭空間を操作して物理空間を操作する
• 空間OSとの通信
• OpenPoseの骨格データからアバターをアニメー
ションさせる
• サーモ画像のデータから室温表現
13
- 14. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
箱庭空間の表現(デバイス選定)
• 案1:VRHMD(例:Oculus Quest)
→ 没入感はよいが、アプローチャビリティが悪い。
• 案2:MRHMD(例: HoloLens)
→ 常時着用というユースケースはまだ困難
• 案3:物理的な3Dモデル+プロジェクションマッピング
→現実的ではない
• 案4:裸眼立体視ディスプレイ(LookingGlass)
→アプローチャビリティ◎。没入感もある。箱庭感。
14
- 15. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
Looking Glassについて
• Looking Glassとは
Looking Glass Factory社が製造、販売している裸眼立体視ディスプレイ。
2018年7月から発売開始。スタンダード(8.9インチ)とラージ(15.6インチ)の2
機種とPCを内蔵したオールインワンモデルの「Looking Glass Pro」が発売されて
います。11月に開催されたデジタルコンテンツエキスポでは最新モデルの32インチ
ディスプレイ「Looking Glass 8K Immersive Display」が発表されました。
• 特徴
– 比較的安価(スタンダードで600ドル、ラージで3000ドル)
– PCにHDMIとUSBで接続するだけでディスプレイとして認識
– UnityのSDKがあり、裸眼立体視の知識がなくても開発可能
15上記画像はLooking Glass Factory社より提供
- 16. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
箱庭空間作成
16
• 今回は簡単なデモのため、Unityのシーンに無料の
家具アセットを配置
• LookingGlassのSDKにあるHoloplay Capture
のプレハブを配置するだけでLookingGlass用の
多視点映像が表示される
Unityのシーン 緑の枠が箱庭空間 LookingGlass用映像
- 17. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
箱庭空間を操作して物理空間を操作する
• 操作デバイス
– LookingGlassと相性のよいハンドジェスチャセンサー
のLeapMotionで実装
• LeapMotionのメリット、デメリット
– メリット
• 何も持ったり装着しなくてよい
• 手の動作で3次元空間を直感的に操作できる
– デメリット
• センサーの挙動を理解するまで慣れが必要
• マウス、キーボードに比べると決定動作は不安定
17
- 18. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
LeapMotionを使ったインタラクション
• 今回は箱庭空間のライトを点灯すると現実のラ
イトが点灯するというデモを実装
• 箱庭空間での表現はスタンドライトに手を触れる
ことで照明のオンオフを実現。箱庭空間の照明
の状態を変更するとともに空間OSに照明の状
態を通知
18
緑の球状の枠が当たり判定 触れると光る
- 19. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
システム構成
• ハードウェア:
– Looking Glass
– ゲーミングノート(RTX2070)
– LeapMotion
19
空間OS
Unity
- 20. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
空間OSとの通信
• UnityでWebSocket通信
– Unity自体にはWebSocket通信に関する機能がない
→C#で使えるwebsocket-sharpを採用
• JSONのデータ変換
– Unity標準のJsonUtilityは事前のクラス定義が必要なため、
空間OSから受信したJSONのパースにUtf8Jsonを採用
• UniRxでのイベント化
– パース後のデータはUniRxでイベント化し、イベントを
Subscribeしているクラスに通知。
– ※重要※ WebSocketの受信処理はメインスレッドとは別ス
レッドで実行されるため、イベントを受信したクラス内でUnityの
APIを使用する場合はSynchronizationContextでメインス
レッドに戻す。
20
- 21. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
OpenPoseの骨格データからアバターをアニメーション-1
• OpenPoseの骨格データからUnityで2D描画
25点の骨格データの座標(x,yが0~1のデータ)にUnityのUICanvasの解像度を
乗算し、UI座標に変換。座標を元にOpenPose Unity Pluginで2D描画
• 2D描画→3D座標変換
RectTransformUtilityでUI座標→ 3D座標に変換
21
//UI座標からスクリーン座標に変換
Vector2 screenPos = RectTransformUtility.WorldToScreenPoint(_canvas.worldCamera, rectTransform.position);
//ワールド座標
Vector3 result = Vector3.zero;
//スクリーン座標→ワールド座標に変換
RectTransformUtility.ScreenPointToWorldPointInRectangle(rectTransform, screenPos, _canvas.worldCamera, out result);
2D描画
白い四角が3次元上の座標
- 22. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
OpenPoseの骨格データからアバターをアニメーション-2
• 3D座標→アバターアニメーション
→FinalIKでアバター制御。頭、手、足をターゲットとし
て設定
→アバターはUnity-Chanを使用
※FinalIKは最近流行しているVtuberのアバター制御
によく使用されているアセット
22
https://assetstore.unity.com/packages/tools/animation/final-ik-14290
- 23. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
OpenPoseの骨格データからアバターをアニメーション-3
• 結果
23
- 24. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
OpenPoseの骨格データからアバターをアニメーション-4
• 評価
– 足のIKターゲットが逆になることがある
– 手を頭の上で振っていることはわかる
– 屈伸したということもわかる
→2Dの推定でもある程度3Dキャラクターを操作できる
→3D推定等でより自然な動きに改善は可能
24
- 25. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
プライバシーに配慮したアニメーション
• 前述のとおり、2Dの骨格推定である程度の行動
がわかってしまうため、プライバシーに配慮した立
位、臥位の2パターンのアニメーションを行うモード
も実装
25
- 26. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
サーモ画像のデータから室温表現
• サーモ画像のデータからは平均の温度を取得で
きるため、それを用いて照明の色を変更
26
温
暖 熱
寒涼
- 27. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
ソフトウェア構成
27
Unity
3Dゲームエンジン
HoloPlaySDk
LookingGlass対応
websocket-sharp
WebSocket通信
openpose_unity_plugin
OpenPose描画
Leap Motion Core
LeapMotion対応
UniRx
Unity用リアクティブプログラミング拡張
FinalIK
アバター制御
Utf8Json
Json変換
- 28. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
今後にむけて
• 次回は空間への没入とインタラクション=HMDを
使ったユースケースにチャレンジしたい
• コンテクスト、リアルタイムで価値あるARを
– 空間OSの価値の可視化をより深耕
• よりアンビエントな感覚拡張
– ウェアラブル
– インプランタブル
– インビジブル
28
- 29. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
まとめ
• 空間OSを介したリアルタイムセンシングデータの可
視化
• 箱庭インターフェースと直感的な操作でフィジカルス
ペースを変更
• 空間のARの第一歩
これからも空間OSを中心としてワクワクする拡張現
実の未来を議論、実装していきます!
29
- 30. Copyright © 2020 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
http://aitc.jp
https://www.facebook.com/aitc.jp
最新情報は
こちらをご参照ください
ハルミン
AITC非公式イメージキャラクター