SlideShare a Scribd company logo
1 of 53
Download to read offline
VR / AR 入門@未来会議室
KISオープンセミナー
2017/12/07
KumaMCN co-founder
藤本賢志(ガチ本)
藤本 賢志(ガチ本)
熊本高専出身
• マスタースレーブ型
上肢用CPM装置の開発
熊本大学出身
• 電動車いすの自動運転
• SLAMに関する研究
現在
• 熊本大学大学院
自然科学研究科
博士後期課程
• 株式会社ナレッジ
コミュニケーション
• KumaMCN(ガチ勢)
KumaMCNとは?
Kumamoto Motion Control Network
センサー / デバイス好きが集まる
コミュニティ
活動
• おさわり会
• 子ども向けイベント
• STEM教育(子どもプログラミング)
• ヒャッカソン
• ハッカソン
• クラッピーチャレンジ
• オペラ×Pepper
• ヘボコン
xMCN構想
本題
目次
• AR
• VR
• MR
• HoloLensアプリ開発
• デモ / おさわり会
• 質疑応答
AR
Augmented Reality
拡張現実感
• 現実世界に情報を付加し、拡張すること
ARToolkit
H Kato, M Billinghurst.
IWAR 1999
• 2008/09
3Dキャラクターが現実世界に誕生!
ARToolKit拡張現実感プログラミン
グ入門 橋本 直(著)電波高専OB
• 3Dキャラクターが箱から出てくる
• セカイカメラ (2008-2014)
2010/06/20
マーカー型AR
1. 画像取得
2. マーカーの検出
3. マーカーの識別
4. マーカーの3次元位置を推定
5. 情報掲示
マーカーレス型AR
1. 画像取得
2. 特徴点の検出
3. 特徴点のマッチング
4. 自然マーカーの3次元位置を推定
5. 情報掲示
PTAM (ISMAR 2007)
• Parallel Tracking and Mapping
for Small AR Workspaces (PTAM)
• https://youtu.be/Y9HMn6bd-v8
ARの進歩
PTAM
(ISMAR
2007)
KinectFusion
(ISMAR
2011)
DTAM
(ICCV 2011)
SVO
(ICRA 2014)
LSD-SLAM
(ECCV 2014)
ORB-SLAM
(TRO2015)
SLAM (スラム)
• Simultaneous Localization and Mapping
同時に 自己位置推定 と 地図作成 を行う技術
• ORB-SLAM2(ArXiv 2016)
https://youtu.be/ufvPS5wJAx0
SLAMアルゴリズム
Tracking
1
Mapping
2
LoopClosing
3
ARフレームワーク
• ARKit
• ARCore
• Project Tango
ARの最先端
Semantic
SLAM
Visual
Inertial SLAM
Event-based
SLAM
Collaborative
SLAM
CNN SLAM
VR
Virtual Reality
仮想現実感
• バーチャルな世界に没入する
• FacebookSpaces
• Cluster.
• Tilt Brush
• 360°動画ツアー
• 五感の感覚体験
• 失禁体験
• コップに水を注ぐ
VRフレームワーク
• A-Frame
• Amazon Sumerian
MR
Mixed Reality
複合現実感
• 現実世界と仮想世界の融合
• 空間マッピング&空間認識(SLAM必須)
• リアルスケール&リアルタイム
• バーチャルか現実かわからなくなる世界
HoloLens スペック
• センサー
• IMU × 1
• 環境理解カメラ × 4
• Depthカメラ × 1
• RGBカメラ × 1
• マイク × 4
• 光センサー × 1
• スタンドアロン
• シースルー
• Mixed Reality Capture
HoloLens
Gaze
Gesture
Voice
Spatial Sound
Spatial Mapping (SLAM, 3D Scanning)
Spatial Understanding
3D UI/UX
3D Model
4Dスキャン
• Fusion4D
https://youtu.be/2dkcJ1
YhYw4
• How Microsoft records
Holographic video
content for the HoloLens
https://youtu.be/kZ-
XZIV-o8s
空間の転送
• Holoportation
https://youtu.be/7d59O
6cfaM0
AR / VR / MR まとめ
https://blogs.msdn.microsoft.com/shintak/2017/06/02/mixedreality201705/
HoloLens アプリ開発
https://developer.microsoft.com/ja-jp/windows/mixed-reality/academy
開発の流れ
• アセット
• 3D CAD / 3D Modeling
• 音声 / 効果音
• 画像 / 映像
• UI素材
• ゲームエンジン Unity Engine
• 3D アニメーション / UI
• 音響設計
• 経路計画
• AI
• HoloLens用アプリのビルド&デプロイ Visual Studio
• C#
• C++ / Direct X
• デバイス HoloLens
• センサー(自己位置、マップ、音声、視線)
開発環境
• Visual Studio 2017 (15.2)
• Unity 2017.1.2f1
• MixedRealityToolkit-Unity-1.2017.2.0 v1.2017.2.0
• Vuforia (ARマーカーを用いる場合)
MixedRealityToolkit - Unity
https://github.com/Microsoft/MixedRealityToolkit-Unity/releases
3D モデル
Unityのアセットから
探す
1
検索するといっぱい
出てくる
• Google Poly
• Remix 3D
2
簡単なツールを使う
• Paint 3D
3
デモ / おさわり会
デバイス
• HoloLens (MR)
• Holograms
• HoloAnatomy
• Oculus Rift Touch (VR)
• FacebookSpaces
• iPhone 8 Plus (ARKit – Visual Inertial SLAM)
• AirMeasure
• Graffity
• Lenovo Phab2Pro (Google Tango Project – RGB-D SLAM)
• Scenes
質疑応答

More Related Content

More from Satoshi Fujimoto

ロボアプリ名:秘密のPepperちゃん
ロボアプリ名:秘密のPepperちゃんロボアプリ名:秘密のPepperちゃん
ロボアプリ名:秘密のPepperちゃんSatoshi Fujimoto
 
熊本 HoloLens Meetup vol.0 「HoloLensアプリ開発コンテストビジネス部門で特別賞もらってきた」
熊本 HoloLens Meetup vol.0 「HoloLensアプリ開発コンテストビジネス部門で特別賞もらってきた」熊本 HoloLens Meetup vol.0 「HoloLensアプリ開発コンテストビジネス部門で特別賞もらってきた」
熊本 HoloLens Meetup vol.0 「HoloLensアプリ開発コンテストビジネス部門で特別賞もらってきた」Satoshi Fujimoto
 
熊本 HoloLens Meetup vol.0 前説
熊本 HoloLens Meetup vol.0 前説熊本 HoloLens Meetup vol.0 前説
熊本 HoloLens Meetup vol.0 前説Satoshi Fujimoto
 
熊本 HoloLens Meetup vol.0.1 前哨戦 「MTuberツール作った」
熊本 HoloLens Meetup vol.0.1 前哨戦 「MTuberツール作った」熊本 HoloLens Meetup vol.0.1 前哨戦 「MTuberツール作った」
熊本 HoloLens Meetup vol.0.1 前哨戦 「MTuberツール作った」Satoshi Fujimoto
 
Open3DでSLAM入門 PyCon Kyushu 2018
Open3DでSLAM入門 PyCon Kyushu 2018Open3DでSLAM入門 PyCon Kyushu 2018
Open3DでSLAM入門 PyCon Kyushu 2018Satoshi Fujimoto
 
20180613 ガチラボ vol.4
20180613 ガチラボ vol.420180613 ガチラボ vol.4
20180613 ガチラボ vol.4Satoshi Fujimoto
 
20180606 ガチラボ vol.3
20180606 ガチラボ vol.320180606 ガチラボ vol.3
20180606 ガチラボ vol.3Satoshi Fujimoto
 
20180516 ガチラボ vol.2
20180516 ガチラボ vol.220180516 ガチラボ vol.2
20180516 ガチラボ vol.2Satoshi Fujimoto
 
札幌 HoloLens Meetup vol.1
札幌 HoloLens Meetup vol.1札幌 HoloLens Meetup vol.1
札幌 HoloLens Meetup vol.1Satoshi Fujimoto
 
HoloLens MRTK-MRDL Unity 2017.3.1f1
HoloLens MRTK-MRDL Unity 2017.3.1f1HoloLens MRTK-MRDL Unity 2017.3.1f1
HoloLens MRTK-MRDL Unity 2017.3.1f1Satoshi Fujimoto
 
SOCKET × Edgethon 2018 Day 2 チーム名:GACHI
SOCKET × Edgethon 2018 Day 2 チーム名:GACHISOCKET × Edgethon 2018 Day 2 チーム名:GACHI
SOCKET × Edgethon 2018 Day 2 チーム名:GACHISatoshi Fujimoto
 
ビジュアルプログラミングで機械学習にチャレンジ
ビジュアルプログラミングで機械学習にチャレンジビジュアルプログラミングで機械学習にチャレンジ
ビジュアルプログラミングで機械学習にチャレンジSatoshi Fujimoto
 
Mastering open cv kinectv1 marker based ar
Mastering open cv kinectv1 marker based arMastering open cv kinectv1 marker based ar
Mastering open cv kinectv1 marker based arSatoshi Fujimoto
 

More from Satoshi Fujimoto (20)

MTuberツール作った2
MTuberツール作った2MTuberツール作った2
MTuberツール作った2
 
ロボアプリ名:秘密のPepperちゃん
ロボアプリ名:秘密のPepperちゃんロボアプリ名:秘密のPepperちゃん
ロボアプリ名:秘密のPepperちゃん
 
秘密のPepperちゃん
秘密のPepperちゃん秘密のPepperちゃん
秘密のPepperちゃん
 
熊本 HoloLens Meetup vol.0 「HoloLensアプリ開発コンテストビジネス部門で特別賞もらってきた」
熊本 HoloLens Meetup vol.0 「HoloLensアプリ開発コンテストビジネス部門で特別賞もらってきた」熊本 HoloLens Meetup vol.0 「HoloLensアプリ開発コンテストビジネス部門で特別賞もらってきた」
熊本 HoloLens Meetup vol.0 「HoloLensアプリ開発コンテストビジネス部門で特別賞もらってきた」
 
熊本 HoloLens Meetup vol.0 前説
熊本 HoloLens Meetup vol.0 前説熊本 HoloLens Meetup vol.0 前説
熊本 HoloLens Meetup vol.0 前説
 
熊本 HoloLens Meetup vol.0.1 前哨戦 「MTuberツール作った」
熊本 HoloLens Meetup vol.0.1 前哨戦 「MTuberツール作った」熊本 HoloLens Meetup vol.0.1 前哨戦 「MTuberツール作った」
熊本 HoloLens Meetup vol.0.1 前哨戦 「MTuberツール作った」
 
Open3DでSLAM入門 PyCon Kyushu 2018
Open3DでSLAM入門 PyCon Kyushu 2018Open3DでSLAM入門 PyCon Kyushu 2018
Open3DでSLAM入門 PyCon Kyushu 2018
 
20180613 ガチラボ vol.4
20180613 ガチラボ vol.420180613 ガチラボ vol.4
20180613 ガチラボ vol.4
 
20180606 ガチラボ vol.3
20180606 ガチラボ vol.320180606 ガチラボ vol.3
20180606 ガチラボ vol.3
 
20180516 ガチラボ vol.2
20180516 ガチラボ vol.220180516 ガチラボ vol.2
20180516 ガチラボ vol.2
 
札幌 HoloLens Meetup vol.1
札幌 HoloLens Meetup vol.1札幌 HoloLens Meetup vol.1
札幌 HoloLens Meetup vol.1
 
M5Stack やーる
M5Stack やーるM5Stack やーる
M5Stack やーる
 
20180330 ガチラボ
20180330 ガチラボ20180330 ガチラボ
20180330 ガチラボ
 
Open3D やーる
Open3D やーるOpen3D やーる
Open3D やーる
 
HoloLens MRTK-MRDL Unity 2017.3.1f1
HoloLens MRTK-MRDL Unity 2017.3.1f1HoloLens MRTK-MRDL Unity 2017.3.1f1
HoloLens MRTK-MRDL Unity 2017.3.1f1
 
SOCKET × Edgethon 2018 Day 2 チーム名:GACHI
SOCKET × Edgethon 2018 Day 2 チーム名:GACHISOCKET × Edgethon 2018 Day 2 チーム名:GACHI
SOCKET × Edgethon 2018 Day 2 チーム名:GACHI
 
IoTLT Kumamoto City vol.1
IoTLT Kumamoto City vol.1IoTLT Kumamoto City vol.1
IoTLT Kumamoto City vol.1
 
ビジュアルプログラミングで機械学習にチャレンジ
ビジュアルプログラミングで機械学習にチャレンジビジュアルプログラミングで機械学習にチャレンジ
ビジュアルプログラミングで機械学習にチャレンジ
 
Team CR
Team CRTeam CR
Team CR
 
Mastering open cv kinectv1 marker based ar
Mastering open cv kinectv1 marker based arMastering open cv kinectv1 marker based ar
Mastering open cv kinectv1 marker based ar
 

Recently uploaded

Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介Yuma Ohgami
 
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案sugiuralab
 
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...Toru Tamaki
 
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNetToru Tamaki
 
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdfTSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdftaisei2219
 
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)Hiroki Ichikura
 
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する       2024/04/19 の勉強会で発表されたものですSOPを理解する       2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものですiPride Co., Ltd.
 
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A surveyToru Tamaki
 

Recently uploaded (8)

Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
 
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
 
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
 
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
 
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdfTSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
 
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
 
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する       2024/04/19 の勉強会で発表されたものですSOPを理解する       2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
 
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
 

KISオープンセミナーVRAR入門vol.1