Submit Search
Upload
HoloLensとさまざまなデバイス連携ドドンドーン
•
2 likes
•
6,064 views
Satoshi Maemoto
Follow
仙台IT文化祭登壇資料です。 #sendaiitfes #s292035
Read less
Read more
Technology
Report
Share
Report
Share
1 of 56
Download now
Download to read offline
Recommended
HoloLens概要 仙台IT文化祭
HoloLens概要 仙台IT文化祭
Kaoru NAKAMURA
xR Tech Tokyo 登壇資料 Mixed Realityではじまるコラボレーティブ・コンピューティング
xR Tech Tokyo 登壇資料 Mixed Realityではじまるコラボレーティブ・コンピューティング
Shinya Tachihara
はじめようMixed Reality Immersive編
はじめようMixed Reality Immersive編
Shinya Tachihara
HoloLens / Windows MR開発入門
HoloLens / Windows MR開発入門
Akira Hatsune
HoloLensとWindows Mixed Reality が実現する新しい世界
HoloLensとWindows Mixed Reality が実現する新しい世界
Kaoru NAKAMURA
xRLT vol.01 資料「HoloLensでも3Dアニメーションを再生する 」
xRLT vol.01 資料「HoloLensでも3Dアニメーションを再生する 」
Tatsuro Matsubara
Windows Mixed Reality アプリ開発 ベストプラクティス
Windows Mixed Reality アプリ開発 ベストプラクティス
XVIInc
Meta2を動かしてみたことのまとめ
Meta2を動かしてみたことのまとめ
WheetTweet
Recommended
HoloLens概要 仙台IT文化祭
HoloLens概要 仙台IT文化祭
Kaoru NAKAMURA
xR Tech Tokyo 登壇資料 Mixed Realityではじまるコラボレーティブ・コンピューティング
xR Tech Tokyo 登壇資料 Mixed Realityではじまるコラボレーティブ・コンピューティング
Shinya Tachihara
はじめようMixed Reality Immersive編
はじめようMixed Reality Immersive編
Shinya Tachihara
HoloLens / Windows MR開発入門
HoloLens / Windows MR開発入門
Akira Hatsune
HoloLensとWindows Mixed Reality が実現する新しい世界
HoloLensとWindows Mixed Reality が実現する新しい世界
Kaoru NAKAMURA
xRLT vol.01 資料「HoloLensでも3Dアニメーションを再生する 」
xRLT vol.01 資料「HoloLensでも3Dアニメーションを再生する 」
Tatsuro Matsubara
Windows Mixed Reality アプリ開発 ベストプラクティス
Windows Mixed Reality アプリ開発 ベストプラクティス
XVIInc
Meta2を動かしてみたことのまとめ
Meta2を動かしてみたことのまとめ
WheetTweet
HoloLens概要
HoloLens概要
Kaoru NAKAMURA
絵心なくても大丈夫。Holoなホラーゲームの提案
絵心なくても大丈夫。Holoなホラーゲームの提案
Akira Hatsune
Unityでホログラフィックunityちゃんを呼び出す方法
Unityでホログラフィックunityちゃんを呼び出す方法
Satoshi Maemoto
LODGEのいいところあげていきます!
LODGEのいいところあげていきます!
Satoshi Maemoto
HoloLens 2を手に入れたらとりあえず試しておくべきアプリ
HoloLens 2を手に入れたらとりあえず試しておくべきアプリ
Shingo Mori
HoloLens RS4
HoloLens RS4
Shinya Tachihara
ARもVRもMRもまとめてドーン
ARもVRもMRもまとめてドーン
Satoshi Maemoto
Mixed Reality Toolkit V2開発環境構築(2020/01版)
Mixed Reality Toolkit V2開発環境構築(2020/01版)
Takahiro Miyaura
#MRDevDaysJP HoloLens 2 アプリ開発入門
#MRDevDaysJP HoloLens 2 アプリ開発入門
Madoka Chiyoda
UnityによるHoloLensアプリケーション入門
UnityによるHoloLensアプリケーション入門
Yuichi Ishii
ARもVRもMRもまとめてドドンドーン!
ARもVRもMRもまとめてドドンドーン!
Satoshi Maemoto
ARもVRもMRもまとめてドーン
ARもVRもMRもまとめてドーン
Satoshi Maemoto
Internet of UNCで実現する新しい共有体験
Internet of UNCで実現する新しい共有体験
Satoshi Maemoto
屋外Holoアプリ開発の注意点
屋外Holoアプリ開発の注意点
Tatsuya Sakai
UnityによるAR/VR/MR 開発体験講座
UnityによるAR/VR/MR 開発体験講座
Yuichi Ishii
Unityティーチャートレーニングデイ -認定プログラマー編-
Unityティーチャートレーニングデイ -認定プログラマー編-
Unity Technologies Japan K.K.
HoloLens 2 アプリ開発ハローワールド
HoloLens 2 アプリ開発ハローワールド
Madoka Chiyoda
MRTK V2.3 Spatial Awareness
MRTK V2.3 Spatial Awareness
Yuichi Ishii
「宴」実装時に得られたUnityプログラムノウハウ
「宴」実装時に得られたUnityプログラムノウハウ
Ryohei Tokimura
2021/9/7 HoloLensミートアップメインセッションで振り返るHoloLensの歴史
2021/9/7 HoloLensミートアップメインセッションで振り返るHoloLensの歴史
Shingo Mori
vrmr-170602064754 2.pdf
vrmr-170602064754 2.pdf
HiroakiKitahara
センサー・VR・MR 基本とオススメ
センサー・VR・MR 基本とオススメ
Satoshi Maemoto
More Related Content
What's hot
HoloLens概要
HoloLens概要
Kaoru NAKAMURA
絵心なくても大丈夫。Holoなホラーゲームの提案
絵心なくても大丈夫。Holoなホラーゲームの提案
Akira Hatsune
Unityでホログラフィックunityちゃんを呼び出す方法
Unityでホログラフィックunityちゃんを呼び出す方法
Satoshi Maemoto
LODGEのいいところあげていきます!
LODGEのいいところあげていきます!
Satoshi Maemoto
HoloLens 2を手に入れたらとりあえず試しておくべきアプリ
HoloLens 2を手に入れたらとりあえず試しておくべきアプリ
Shingo Mori
HoloLens RS4
HoloLens RS4
Shinya Tachihara
ARもVRもMRもまとめてドーン
ARもVRもMRもまとめてドーン
Satoshi Maemoto
Mixed Reality Toolkit V2開発環境構築(2020/01版)
Mixed Reality Toolkit V2開発環境構築(2020/01版)
Takahiro Miyaura
#MRDevDaysJP HoloLens 2 アプリ開発入門
#MRDevDaysJP HoloLens 2 アプリ開発入門
Madoka Chiyoda
UnityによるHoloLensアプリケーション入門
UnityによるHoloLensアプリケーション入門
Yuichi Ishii
ARもVRもMRもまとめてドドンドーン!
ARもVRもMRもまとめてドドンドーン!
Satoshi Maemoto
ARもVRもMRもまとめてドーン
ARもVRもMRもまとめてドーン
Satoshi Maemoto
Internet of UNCで実現する新しい共有体験
Internet of UNCで実現する新しい共有体験
Satoshi Maemoto
屋外Holoアプリ開発の注意点
屋外Holoアプリ開発の注意点
Tatsuya Sakai
UnityによるAR/VR/MR 開発体験講座
UnityによるAR/VR/MR 開発体験講座
Yuichi Ishii
Unityティーチャートレーニングデイ -認定プログラマー編-
Unityティーチャートレーニングデイ -認定プログラマー編-
Unity Technologies Japan K.K.
HoloLens 2 アプリ開発ハローワールド
HoloLens 2 アプリ開発ハローワールド
Madoka Chiyoda
MRTK V2.3 Spatial Awareness
MRTK V2.3 Spatial Awareness
Yuichi Ishii
「宴」実装時に得られたUnityプログラムノウハウ
「宴」実装時に得られたUnityプログラムノウハウ
Ryohei Tokimura
2021/9/7 HoloLensミートアップメインセッションで振り返るHoloLensの歴史
2021/9/7 HoloLensミートアップメインセッションで振り返るHoloLensの歴史
Shingo Mori
What's hot
(20)
HoloLens概要
HoloLens概要
絵心なくても大丈夫。Holoなホラーゲームの提案
絵心なくても大丈夫。Holoなホラーゲームの提案
Unityでホログラフィックunityちゃんを呼び出す方法
Unityでホログラフィックunityちゃんを呼び出す方法
LODGEのいいところあげていきます!
LODGEのいいところあげていきます!
HoloLens 2を手に入れたらとりあえず試しておくべきアプリ
HoloLens 2を手に入れたらとりあえず試しておくべきアプリ
HoloLens RS4
HoloLens RS4
ARもVRもMRもまとめてドーン
ARもVRもMRもまとめてドーン
Mixed Reality Toolkit V2開発環境構築(2020/01版)
Mixed Reality Toolkit V2開発環境構築(2020/01版)
#MRDevDaysJP HoloLens 2 アプリ開発入門
#MRDevDaysJP HoloLens 2 アプリ開発入門
UnityによるHoloLensアプリケーション入門
UnityによるHoloLensアプリケーション入門
ARもVRもMRもまとめてドドンドーン!
ARもVRもMRもまとめてドドンドーン!
ARもVRもMRもまとめてドーン
ARもVRもMRもまとめてドーン
Internet of UNCで実現する新しい共有体験
Internet of UNCで実現する新しい共有体験
屋外Holoアプリ開発の注意点
屋外Holoアプリ開発の注意点
UnityによるAR/VR/MR 開発体験講座
UnityによるAR/VR/MR 開発体験講座
Unityティーチャートレーニングデイ -認定プログラマー編-
Unityティーチャートレーニングデイ -認定プログラマー編-
HoloLens 2 アプリ開発ハローワールド
HoloLens 2 アプリ開発ハローワールド
MRTK V2.3 Spatial Awareness
MRTK V2.3 Spatial Awareness
「宴」実装時に得られたUnityプログラムノウハウ
「宴」実装時に得られたUnityプログラムノウハウ
2021/9/7 HoloLensミートアップメインセッションで振り返るHoloLensの歴史
2021/9/7 HoloLensミートアップメインセッションで振り返るHoloLensの歴史
Similar to HoloLensとさまざまなデバイス連携ドドンドーン
vrmr-170602064754 2.pdf
vrmr-170602064754 2.pdf
HiroakiKitahara
センサー・VR・MR 基本とオススメ
センサー・VR・MR 基本とオススメ
Satoshi Maemoto
楽しいものづくり ファーストステップ
楽しいものづくり ファーストステップ
Satoshi Maemoto
Kinect やセンサーデバイスと連動した楽しいアプリ開発
Kinect やセンサーデバイスと連動した楽しいアプリ開発
Satoshi Maemoto
世界を変える先端Itテクノロジー
世界を変える先端Itテクノロジー
Satoshi Maemoto
SUPER HIGH-TECH UNC で実現する新しい世界
SUPER HIGH-TECH UNC で実現する新しい世界
Satoshi Maemoto
VR/AR/MRってなんですか?
VR/AR/MRってなんですか?
Satoshi Maemoto
沖縄まで踊りに来たぜ!VR/AR/MR最前線
沖縄まで踊りに来たぜ!VR/AR/MR最前線
Satoshi Maemoto
ハイテクで最新なブーブークッションをつくってみました
ハイテクで最新なブーブークッションをつくってみました
Satoshi Maemoto
Unity-Photon-WebGL Handson 20160626.WTM
Unity-Photon-WebGL Handson 20160626.WTM
Satoshi Maemoto
MIXED REALITY に REALITY を PLUS するハプティクス技術
MIXED REALITY に REALITY を PLUS するハプティクス技術
Satoshi Maemoto
xR Developerなら知っておきたいカメラの基礎知識
xR Developerなら知っておきたいカメラの基礎知識
Satoshi Maemoto
実録!HoloLens×AI×Azureアプリが開発できるまでの挫折と成功@Tokyo Jazug Night #12
実録!HoloLens×AI×Azureアプリが開発できるまでの挫折と成功@Tokyo Jazug Night #12
Tatsuya Sakai
Decentralized identity
Decentralized identity
Takao Tetsuro
.NET Conf 2018 Tokyo MixedRealityなシステムを気持ちよく開発しよう
.NET Conf 2018 Tokyo MixedRealityなシステムを気持ちよく開発しよう
daisuke yamanaka
ノンプログラミングで始めようHoloLensコンテンツ開発
ノンプログラミングで始めようHoloLensコンテンツ開発
Takashi Yoshinaga
広島でMixed Realityやりましょう!
広島でMixed Realityやりましょう!
Satoshi Maemoto
Wankuma0402
Wankuma0402
c-mitsuba
2020年8月_HoloLens 2 アプリ開発入門
2020年8月_HoloLens 2 アプリ開発入門
Madoka Chiyoda
05.日本マイクロソフト(株)_発表資料
05.日本マイクロソフト(株)_発表資料
wagatuma
Similar to HoloLensとさまざまなデバイス連携ドドンドーン
(20)
vrmr-170602064754 2.pdf
vrmr-170602064754 2.pdf
センサー・VR・MR 基本とオススメ
センサー・VR・MR 基本とオススメ
楽しいものづくり ファーストステップ
楽しいものづくり ファーストステップ
Kinect やセンサーデバイスと連動した楽しいアプリ開発
Kinect やセンサーデバイスと連動した楽しいアプリ開発
世界を変える先端Itテクノロジー
世界を変える先端Itテクノロジー
SUPER HIGH-TECH UNC で実現する新しい世界
SUPER HIGH-TECH UNC で実現する新しい世界
VR/AR/MRってなんですか?
VR/AR/MRってなんですか?
沖縄まで踊りに来たぜ!VR/AR/MR最前線
沖縄まで踊りに来たぜ!VR/AR/MR最前線
ハイテクで最新なブーブークッションをつくってみました
ハイテクで最新なブーブークッションをつくってみました
Unity-Photon-WebGL Handson 20160626.WTM
Unity-Photon-WebGL Handson 20160626.WTM
MIXED REALITY に REALITY を PLUS するハプティクス技術
MIXED REALITY に REALITY を PLUS するハプティクス技術
xR Developerなら知っておきたいカメラの基礎知識
xR Developerなら知っておきたいカメラの基礎知識
実録!HoloLens×AI×Azureアプリが開発できるまでの挫折と成功@Tokyo Jazug Night #12
実録!HoloLens×AI×Azureアプリが開発できるまでの挫折と成功@Tokyo Jazug Night #12
Decentralized identity
Decentralized identity
.NET Conf 2018 Tokyo MixedRealityなシステムを気持ちよく開発しよう
.NET Conf 2018 Tokyo MixedRealityなシステムを気持ちよく開発しよう
ノンプログラミングで始めようHoloLensコンテンツ開発
ノンプログラミングで始めようHoloLensコンテンツ開発
広島でMixed Realityやりましょう!
広島でMixed Realityやりましょう!
Wankuma0402
Wankuma0402
2020年8月_HoloLens 2 アプリ開発入門
2020年8月_HoloLens 2 アプリ開発入門
05.日本マイクロソフト(株)_発表資料
05.日本マイクロソフト(株)_発表資料
More from Satoshi Maemoto
UNC progress report
UNC progress report
Satoshi Maemoto
TMCN振り返り 令和ver
TMCN振り返り 令和ver
Satoshi Maemoto
今話題の!AIoT MR UNCで変わる世界
今話題の!AIoT MR UNCで変わる世界
Satoshi Maemoto
FESTA de UNC
FESTA de UNC
Satoshi Maemoto
UNC近況報告
UNC近況報告
Satoshi Maemoto
xRLT vol.01 LT
xRLT vol.01 LT
Satoshi Maemoto
KINECT Mixed Reality
KINECT Mixed Reality
Satoshi Maemoto
Magical Mirror
Magical Mirror
Satoshi Maemoto
きゃらみらーでユニティちゃんと踊ろう!
きゃらみらーでユニティちゃんと踊ろう!
Satoshi Maemoto
TMCN と HMCNって何? という質問にお答えします。
TMCN と HMCNって何? という質問にお答えします。
Satoshi Maemoto
20151124.会津大学 JINS MEME 概要 & Unity Plugin作成
20151124.会津大学 JINS MEME 概要 & Unity Plugin作成
Satoshi Maemoto
きゃらみらーでユニティちゃんとダンス!
きゃらみらーでユニティちゃんとダンス!
Satoshi Maemoto
More from Satoshi Maemoto
(12)
UNC progress report
UNC progress report
TMCN振り返り 令和ver
TMCN振り返り 令和ver
今話題の!AIoT MR UNCで変わる世界
今話題の!AIoT MR UNCで変わる世界
FESTA de UNC
FESTA de UNC
UNC近況報告
UNC近況報告
xRLT vol.01 LT
xRLT vol.01 LT
KINECT Mixed Reality
KINECT Mixed Reality
Magical Mirror
Magical Mirror
きゃらみらーでユニティちゃんと踊ろう!
きゃらみらーでユニティちゃんと踊ろう!
TMCN と HMCNって何? という質問にお答えします。
TMCN と HMCNって何? という質問にお答えします。
20151124.会津大学 JINS MEME 概要 & Unity Plugin作成
20151124.会津大学 JINS MEME 概要 & Unity Plugin作成
きゃらみらーでユニティちゃんとダンス!
きゃらみらーでユニティちゃんとダンス!
Recently uploaded
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
taisei2219
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
iPride Co., Ltd.
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Toru Tamaki
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Yuma Ohgami
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
danielhu54
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
Ryo Sasaki
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
Toru Tamaki
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
Toru Tamaki
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
sugiuralab
Recently uploaded
(9)
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
HoloLensとさまざまなデバイス連携ドドンドーン
1.
HoloLensと さまざまなデバイス連携 ドドンドーン 前本 知志(Microsoft MVP
for Windows Development) 株式会社ホロラボ 一般社団法人T.M.C.N 株式会社システムフレンド #sendaiitfes #292035
2.
・KINECTやHoloLens等のセンサーデバイスを使ったアプリ (イベントコンテンツ、画像処理、画像認識、医療系) ARアプリ、VRアプリ、MixedRealityアプリなどを作っています。 http://www.systemfriend.co.jp/kinect_nui https://youtu.be/ZSXwhj8HqkE ・株式会社ホロラボ Co-founder(共同創設者) http://hololab.co.jp/ ・TMCN
(Tokyo MotionControl Network) Co-founder(共同創設者) https://www.facebook.com/TokyoMotioncontrolNetwork ・著書「Intel RealSense SDK センサープログラミング」 https://www.shoeisha.co.jp/book/detail/9784798139630 ・Microsoft MVP for Windows Development https://mvp.microsoft.com/ja-jp/PublicProfile/5002154?fullName=Satoshi%20%20Maemoto 前本 知志 1 http://satoshi-maemoto.hatenablog.com/
3.
属性関連図 2 株式会社 システムフレンド 取締られ役 取締役 兼任 株式会社ホロラボ Co-fouder
(共同創設者) 一般社団法人T.M.C.N Co-fouder (共同創設者) Microsoft MVP Windows Development (Windows Mixed Reality) 前本 知志 US Microsoft Corp. パートナー AR・MR・VR開発 センサー&デバイスコミュニティ HoloLens専門
4.
https://www.facebook.com/TokyoMotioncontrolNetwork
5.
数年前から KINECT と Unityで いろいろ作ってきました
6.
ダンス系コンテンツ アキバで学べるパーティAKIPARTY vol.3
~くりすますだお☆~
7.
オタ芸とめっちゃ合う (横浜 岩崎学園ISCプログラミングコンテスト) https://youtu.be/ivL6ZxukTlo
8.
http://www.systemfriend.co.jp/charamirror
9.
ユニティちゃんと踊れる! 抱っこだってできる!(オクルージョンしてる) 2015/08/28 CEDEC 2015 https://youtu.be/ZSXwhj8HqkE
10.
KINECTを使った MixedReality 実現に必要となった考え方
11.
現実世界と仮想世界の 座標系を合わせる KINECTの3D骨格情報を取得(メートル座標系) Unity座標系と対応させる (1Unity=1メートル設定で考える) X Y Z 1メートル ↓ 1Unity
12.
現実世界と仮想世界の カメラ位置と方向をシンクロさせる KINECTのリアル設置位置とUnity内のカメラ位置、角度、視野を 合わせる KINECTの場合SDKのCoodinateMapperを駆使しリアルカメラ映 像とCGのシンクロを取る <三種の神器> •
メジャー • 養生テープ • 三角関数
13.
たのしいことになったw https://youtu.be/M8e9mCI-u80
14.
さらに… リアルとバーチャルの重なりを考慮する KINECTのDepthとCGのZバッファをGPUで高速に 比較し物体の前後関係を判定し表示する
15.
GPUでの処理 – UnityでShaderを書く 基本的にはこんなに簡単 if
(KINECTのDepth値<CGのZバッファ値) { return KINECTのColor; } else { return CGのピクセル; }
16.
現実空間とCGのMix -> MixedReality https://youtu.be/YxCGnmfChKk
17.
異なる世界をMixするには モノサシと基準を一致させる 超重要!
18.
では世界の覗くカメラが 複数になったら 一体何がおこるんです?
19.
通常のコンテンツ
20.
O 各デバイスで固有の仮想空間が作られ るデバイスローカルワールド。 各世界同士の関連はない。 O O
21.
単一の世界をシェアするには
22.
O P1 P2 P3 世界の絶対中心Oを定義し、 そこを中心とした基準座標系を定義する。 各デバイスは自分が世界のどこにいてどこを見つ めているかがわかっている。 めざすもの
23.
O O O 課題 デバイスはそれぞれが原点Oとなってそれぞれの座標 系で世界を見つめてしまう。 →現実空間と位置が合わせられない
24.
まずは 基準座標系を定義する
25.
O 床面に原点Oを定義する。 Oから赤マーク方向のベクトルが 世界の前方と決める。 これで「おれワールド」が定義され た。 青マーク、緑マークは後述するカメラ位置逆計 算のための補助マーカーである。
26.
ところでなぜこれを始めたか ひとつの対象物を複数のKINECTでスキャンしなければならない 仕事が舞い込んだ デモの時は会議室に機材を持ち込んで短時間で設営・稼働させる 必要があった
KINECT位置を完全固定できるリグを作る時間もお金もないw じゃあ、適当にKINECTを配置してもキャリブレーションがとれる仕組みを 勝手に作ろう
27.
ところでなぜこれを始めたか ということで、2016年のGW中にプロトが完成し、以後ブラッシュアップが続いています。 今はオブジェクト同期のためのカスタマイズが容易な通信フレームワークの追加、 KINECTに加えHoloLensやTangoとのシェアリング、Spectator View対応も実施中、 MicrosoftのSharingより現状優れた点が多いということで導入が進んでいます。
28.
Depthセンサーの キャリブレーション
29.
O KINECTのカメラ映像からKINECTが原 点Oに対し3次元的にどの位置に配置 され、どこを注視しているのかを逆 計算する。 ※これはGPSの測位計算と似てる計算方法み たいです。 算出にはカメラから最低3点への距離情報が 必要です。 O http://www.systemfriend.co.jp/node/708 https://youtu.be/WY2PDLq2dzo
30.
X X X カメラと点の距離を半径とした3球の交点を求めるとそれがカメラの位置となる
31.
X X X カメラ回転は3点でできる面の法線ベクトルNをもとに算出する。 つまり、リアル映像から求まる法線Nrと、 Unity内バーチャルカメラから見たVR空間内の法線Nvが一致するような Quaternionを求めればよい(結構大変だったw N
32.
P1 複数のKINECTそれぞれのおれワールド原点Oに対する 相対設置位置、注視方向を計算から求めることができた! O P2 P3
33.
Depthセンサーであれば大丈夫 RealSenseでもうごいています
34.
(demo)
35.
まとめてドドンドーン!
36.
AR・VR・MRデバイスに関わらず、 “マルチデバイス”で 現実世界と重ねあわされた世界 を同時に体験するために必要な考え方
37.
要はこういうのが作れる https://www.youtube.com/watch?v=fnguCJ1Sago
38.
他のデバイスを 世界に参加させる
39.
P1 参加デバイスに共通世界の中心と向きのベクトルを教えてあげる。 各デバイスは世界の中心の見え方から自分の位置を逆計算しつつ コンテンツを表示する。 O
40.
HoloLensの場合 世界の中心点と世界の向きを定義するARマーカーを Vuforiaで認識し世界にJoinする。
41.
Google Tangoの場合 世界の中心点と世界の向きを定義するマーカーをタップして世界にJoinする。 (VuforiaとTango Cameraが同時に使えなかったので教えてエロい人!)
42.
その他のデバイス HTC VIVEやOculusのようなポジショントラックでき るコントローラーがあるデバイスは世界中心にコン トローラーを置いてキャリブレーションできる
スマホはARマーカーを認識してExtended Trackingを 有効にすれば誤差は生じるがキャリブレーション可 能 ARKitはSLAM能力すごいのですんなり入れそう
43.
自分が中心だったデバイスが、 ひとつの世界を覗く覗き窓に 役割を変えた
44.
(demo)
45.
https://youtu.be/kfslVIxSV-k
46.
https://youtu.be/O9F4Pi1R6xE
47.
https://youtu.be/Fm8khHTCp24
48.
https://youtu.be/U1j-QoSQllM
49.
10/27-29 デジタルコンテンツEXPO 大日本印刷ブース 「AR/VR/MRを活用した体感型デジタルショールーム」 48 https://www.dcexpo.jp/18218 https://youtu.be/TNi9cK-YfJY
50.
AR,VR,MRの違いはあれど仮想空間または現実世界 に仮想世界を重ね合わせてみることに違いはない 現実世界はたった一つしかないのだから、そこを基 準に仮想世界を作り重ね、デバイスは世界をのぞく のぞき窓になればよい
基準作りと位置トラック(キャリブレーション)が 大切 各のぞき窓が世界をどのように眺めているかが判断 できれば一つのものを様々なデバイスから同時に見 たり、操作ができる まとめ
51.
仙台IT文化祭を支えてくださっている スポンサー様/後援コミュニティのご紹介 仙台IT文化祭2017 http://2017.sendaiitfes.org/ #sendaiitfes
50
52.
プラチナスポンサー ゴールドスポンサー 仙台IT文化祭2017 http://2017.sendaiitfes.org/ #sendaiitfes
51
53.
Tシャツスポンサー シルバースポンサー 仙台IT文化祭2017 http://2017.sendaiitfes.org/ #sendaiitfes
52
54.
スタンプラリースポンサー ロゴスポンサー 仙台IT文化祭2017 http://2017.sendaiitfes.org/ #sendaiitfes
53
55.
グッズスポンサー メディアスポンサー 仙台IT文化祭2017 http://2017.sendaiitfes.org/ #sendaiitfes
54
56.
個人/団体スポンサー オフィシャルコミュニティ 仙台IT文化祭2017 http://2017.sendaiitfes.org/ #sendaiitfes
55
Download now