Submit Search
Upload
めざせスカウター! HoloLensによる特定個人の 顔認識アプリ制作とその課題
•
Download as PPTX, PDF
•
8 likes
•
8,346 views
Kenta Iwasaki
Follow
2017年5月28日(日)に開催された、Android Bazaar and Conference 2017 Spring (ABC2017S)のMR/VRトラックで発表した時の資料
Read less
Read more
Engineering
Report
Share
Report
Share
1 of 28
Download now
Recommended
HoloLens で OpenCV をどう使うか レーザーポインター 認識で試してみた
HoloLens で OpenCV をどう使うか レーザーポインター 認識で試してみた
Franz Weitl
UnityによるHoloLensアプリケーション入門
UnityによるHoloLensアプリケーション入門
Yuichi Ishii
はじめようARCore:自己位置推定・平面検出・FaceTracking
はじめようARCore:自己位置推定・平面検出・FaceTracking
Takashi Yoshinaga
Hololens2 MRTK2.7(OpenXR) でのビルド環境構築(環境設定からビルドまで)
Hololens2 MRTK2.7(OpenXR) でのビルド環境構築(環境設定からビルドまで)
聡 大久保
OpenCVでつくろうARスタンプアプリ in 熊本
OpenCVでつくろうARスタンプアプリ in 熊本
Takashi Yoshinaga
ノンプログラミングで始めるAR (HoloLens 2 / ARCore / ARKit) 開発 with MRTK
ノンプログラミングで始めるAR (HoloLens 2 / ARCore / ARKit) 開発 with MRTK
Takashi Yoshinaga
MRTK V2.3 Spatial Awareness
MRTK V2.3 Spatial Awareness
Yuichi Ishii
Azure Spatial Anchors V2概要 ~空間情報の共有~
Azure Spatial Anchors V2概要 ~空間情報の共有~
Takahiro Miyaura
Recommended
HoloLens で OpenCV をどう使うか レーザーポインター 認識で試してみた
HoloLens で OpenCV をどう使うか レーザーポインター 認識で試してみた
Franz Weitl
UnityによるHoloLensアプリケーション入門
UnityによるHoloLensアプリケーション入門
Yuichi Ishii
はじめようARCore:自己位置推定・平面検出・FaceTracking
はじめようARCore:自己位置推定・平面検出・FaceTracking
Takashi Yoshinaga
Hololens2 MRTK2.7(OpenXR) でのビルド環境構築(環境設定からビルドまで)
Hololens2 MRTK2.7(OpenXR) でのビルド環境構築(環境設定からビルドまで)
聡 大久保
OpenCVでつくろうARスタンプアプリ in 熊本
OpenCVでつくろうARスタンプアプリ in 熊本
Takashi Yoshinaga
ノンプログラミングで始めるAR (HoloLens 2 / ARCore / ARKit) 開発 with MRTK
ノンプログラミングで始めるAR (HoloLens 2 / ARCore / ARKit) 開発 with MRTK
Takashi Yoshinaga
MRTK V2.3 Spatial Awareness
MRTK V2.3 Spatial Awareness
Yuichi Ishii
Azure Spatial Anchors V2概要 ~空間情報の共有~
Azure Spatial Anchors V2概要 ~空間情報の共有~
Takahiro Miyaura
手乗りちょまぎょアプリ開発で学ぶ MRTK 入門 (MRTK 2.5 対応)
手乗りちょまぎょアプリ開発で学ぶ MRTK 入門 (MRTK 2.5 対応)
Madoka Chiyoda
2020年8月_HoloLens 2 アプリ開発入門
2020年8月_HoloLens 2 アプリ開発入門
Madoka Chiyoda
MRTKで始めるAR開発 (HoloLens 1 and 2, ARCore, ARkit)
MRTKで始めるAR開発 (HoloLens 1 and 2, ARCore, ARkit)
Takashi Yoshinaga
OpenVRやOpenXRの基本的なことを調べてみた
OpenVRやOpenXRの基本的なことを調べてみた
Takahiro Miyaura
Mixed Reality Toolkit 3 Recap
Mixed Reality Toolkit 3 Recap
Takahiro Miyaura
Unityとアセットツールで学ぶ「絵づくり」の基礎 ライト、シェーダー、イメージエフェクト
Unityとアセットツールで学ぶ「絵づくり」の基礎 ライト、シェーダー、イメージエフェクト
小林 信行
Unity道場aseスペシャル補足資料
Unity道場aseスペシャル補足資料
小林 信行
今だから聞きたい 「一番新しい xRアプリの作り方」 2020年 最新版
今だから聞きたい 「一番新しい xRアプリの作り方」 2020年 最新版
UnityTechnologiesJapan002
MRTK-Unreal(UX Tools) を利用した HoloLens 2 アプリ開発 | UNREAL FEST EXTREME 2020 WINTER
MRTK-Unreal(UX Tools) を利用した HoloLens 2 アプリ開発 | UNREAL FEST EXTREME 2020 WINTER
エピック・ゲームズ・ジャパン Epic Games Japan
CEDEC2019 大規模モバイルゲーム運用におけるマスタデータ管理事例
CEDEC2019 大規模モバイルゲーム運用におけるマスタデータ管理事例
sairoutine
ARマーカーを利用したHoloLens同士の位置合わせ
ARマーカーを利用したHoloLens同士の位置合わせ
Takahiro Miyaura
【CEDEC2018】一歩先のUnityでのパフォーマンス/メモリ計測、デバッグ術
【CEDEC2018】一歩先のUnityでのパフォーマンス/メモリ計測、デバッグ術
Unity Technologies Japan K.K.
現実世界コンピューティング RealSense とロボットと HoloLens (2019/04/24 Intel RealSense Japan Mee...
現実世界コンピューティング RealSense とロボットと HoloLens (2019/04/24 Intel RealSense Japan Mee...
Yusuke Furuta
初心者向けデバイスドライバ講座(1)
初心者向けデバイスドライバ講座(1)
Study Group by SciencePark Corp.
HoloLens2とMeta QuestではじめるWebXR
HoloLens2とMeta QuestではじめるWebXR
Takashi Yoshinaga
Nreal Lightハンズオン
Nreal Lightハンズオン
Takashi Yoshinaga
UE4モバイルでノンゲームコンテンツ
UE4モバイルでノンゲームコンテンツ
エピック・ゲームズ・ジャパン Epic Games Japan
UniRx完全に理解した
UniRx完全に理解した
torisoup
Unity道場京都スペシャル トゥーンシェーディングとノンフォトリアリスティック風絵づくり入門_
Unity道場京都スペシャル トゥーンシェーディングとノンフォトリアリスティック風絵づくり入門_
Unity Technologies Japan K.K.
はじめようARCore in 札幌
はじめようARCore in 札幌
Takashi Yoshinaga
H3第40回「ヘルスケアVR超入門」
H3第40回「ヘルスケアVR超入門」
Naoji Taniguchi
Aiをアプリに取り込む!
Aiをアプリに取り込む!
史也 久米
More Related Content
What's hot
手乗りちょまぎょアプリ開発で学ぶ MRTK 入門 (MRTK 2.5 対応)
手乗りちょまぎょアプリ開発で学ぶ MRTK 入門 (MRTK 2.5 対応)
Madoka Chiyoda
2020年8月_HoloLens 2 アプリ開発入門
2020年8月_HoloLens 2 アプリ開発入門
Madoka Chiyoda
MRTKで始めるAR開発 (HoloLens 1 and 2, ARCore, ARkit)
MRTKで始めるAR開発 (HoloLens 1 and 2, ARCore, ARkit)
Takashi Yoshinaga
OpenVRやOpenXRの基本的なことを調べてみた
OpenVRやOpenXRの基本的なことを調べてみた
Takahiro Miyaura
Mixed Reality Toolkit 3 Recap
Mixed Reality Toolkit 3 Recap
Takahiro Miyaura
Unityとアセットツールで学ぶ「絵づくり」の基礎 ライト、シェーダー、イメージエフェクト
Unityとアセットツールで学ぶ「絵づくり」の基礎 ライト、シェーダー、イメージエフェクト
小林 信行
Unity道場aseスペシャル補足資料
Unity道場aseスペシャル補足資料
小林 信行
今だから聞きたい 「一番新しい xRアプリの作り方」 2020年 最新版
今だから聞きたい 「一番新しい xRアプリの作り方」 2020年 最新版
UnityTechnologiesJapan002
MRTK-Unreal(UX Tools) を利用した HoloLens 2 アプリ開発 | UNREAL FEST EXTREME 2020 WINTER
MRTK-Unreal(UX Tools) を利用した HoloLens 2 アプリ開発 | UNREAL FEST EXTREME 2020 WINTER
エピック・ゲームズ・ジャパン Epic Games Japan
CEDEC2019 大規模モバイルゲーム運用におけるマスタデータ管理事例
CEDEC2019 大規模モバイルゲーム運用におけるマスタデータ管理事例
sairoutine
ARマーカーを利用したHoloLens同士の位置合わせ
ARマーカーを利用したHoloLens同士の位置合わせ
Takahiro Miyaura
【CEDEC2018】一歩先のUnityでのパフォーマンス/メモリ計測、デバッグ術
【CEDEC2018】一歩先のUnityでのパフォーマンス/メモリ計測、デバッグ術
Unity Technologies Japan K.K.
現実世界コンピューティング RealSense とロボットと HoloLens (2019/04/24 Intel RealSense Japan Mee...
現実世界コンピューティング RealSense とロボットと HoloLens (2019/04/24 Intel RealSense Japan Mee...
Yusuke Furuta
初心者向けデバイスドライバ講座(1)
初心者向けデバイスドライバ講座(1)
Study Group by SciencePark Corp.
HoloLens2とMeta QuestではじめるWebXR
HoloLens2とMeta QuestではじめるWebXR
Takashi Yoshinaga
Nreal Lightハンズオン
Nreal Lightハンズオン
Takashi Yoshinaga
UE4モバイルでノンゲームコンテンツ
UE4モバイルでノンゲームコンテンツ
エピック・ゲームズ・ジャパン Epic Games Japan
UniRx完全に理解した
UniRx完全に理解した
torisoup
Unity道場京都スペシャル トゥーンシェーディングとノンフォトリアリスティック風絵づくり入門_
Unity道場京都スペシャル トゥーンシェーディングとノンフォトリアリスティック風絵づくり入門_
Unity Technologies Japan K.K.
はじめようARCore in 札幌
はじめようARCore in 札幌
Takashi Yoshinaga
What's hot
(20)
手乗りちょまぎょアプリ開発で学ぶ MRTK 入門 (MRTK 2.5 対応)
手乗りちょまぎょアプリ開発で学ぶ MRTK 入門 (MRTK 2.5 対応)
2020年8月_HoloLens 2 アプリ開発入門
2020年8月_HoloLens 2 アプリ開発入門
MRTKで始めるAR開発 (HoloLens 1 and 2, ARCore, ARkit)
MRTKで始めるAR開発 (HoloLens 1 and 2, ARCore, ARkit)
OpenVRやOpenXRの基本的なことを調べてみた
OpenVRやOpenXRの基本的なことを調べてみた
Mixed Reality Toolkit 3 Recap
Mixed Reality Toolkit 3 Recap
Unityとアセットツールで学ぶ「絵づくり」の基礎 ライト、シェーダー、イメージエフェクト
Unityとアセットツールで学ぶ「絵づくり」の基礎 ライト、シェーダー、イメージエフェクト
Unity道場aseスペシャル補足資料
Unity道場aseスペシャル補足資料
今だから聞きたい 「一番新しい xRアプリの作り方」 2020年 最新版
今だから聞きたい 「一番新しい xRアプリの作り方」 2020年 最新版
MRTK-Unreal(UX Tools) を利用した HoloLens 2 アプリ開発 | UNREAL FEST EXTREME 2020 WINTER
MRTK-Unreal(UX Tools) を利用した HoloLens 2 アプリ開発 | UNREAL FEST EXTREME 2020 WINTER
CEDEC2019 大規模モバイルゲーム運用におけるマスタデータ管理事例
CEDEC2019 大規模モバイルゲーム運用におけるマスタデータ管理事例
ARマーカーを利用したHoloLens同士の位置合わせ
ARマーカーを利用したHoloLens同士の位置合わせ
【CEDEC2018】一歩先のUnityでのパフォーマンス/メモリ計測、デバッグ術
【CEDEC2018】一歩先のUnityでのパフォーマンス/メモリ計測、デバッグ術
現実世界コンピューティング RealSense とロボットと HoloLens (2019/04/24 Intel RealSense Japan Mee...
現実世界コンピューティング RealSense とロボットと HoloLens (2019/04/24 Intel RealSense Japan Mee...
初心者向けデバイスドライバ講座(1)
初心者向けデバイスドライバ講座(1)
HoloLens2とMeta QuestではじめるWebXR
HoloLens2とMeta QuestではじめるWebXR
Nreal Lightハンズオン
Nreal Lightハンズオン
UE4モバイルでノンゲームコンテンツ
UE4モバイルでノンゲームコンテンツ
UniRx完全に理解した
UniRx完全に理解した
Unity道場京都スペシャル トゥーンシェーディングとノンフォトリアリスティック風絵づくり入門_
Unity道場京都スペシャル トゥーンシェーディングとノンフォトリアリスティック風絵づくり入門_
はじめようARCore in 札幌
はじめようARCore in 札幌
Similar to めざせスカウター! HoloLensによる特定個人の 顔認識アプリ制作とその課題
H3第40回「ヘルスケアVR超入門」
H3第40回「ヘルスケアVR超入門」
Naoji Taniguchi
Aiをアプリに取り込む!
Aiをアプリに取り込む!
史也 久米
A06 角田研究室6 長谷川和紀
A06 角田研究室6 長谷川和紀
aomorisix
横浜での「まちを考える仕事」って?
横浜での「まちを考える仕事」って?
Kimi Kataoka
【QRコードアーティストの自立戦略 ~ UX/UIデザインワークショップ】
【QRコードアーティストの自立戦略 ~ UX/UIデザインワークショップ】
Meyco U
CasperJSを使って任意のWebサイトを電子書籍化する方法
CasperJSを使って任意のWebサイトを電子書籍化する方法
Masayuki Isobe
Code for Kanazawa / Code for Japan Meeting in OSAKA
Code for Kanazawa / Code for Japan Meeting in OSAKA
健一郎 福島
岡山スマホアプリ開発もくもく会 #oso2016
岡山スマホアプリ開発もくもく会 #oso2016
Ikki Takahashi
Scratchを使ったビジュアルプログラミング
Scratchを使ったビジュアルプログラミング
Koji Yokokawa
We Are Humor Beings: Understanding and Predicting Visual Humor (関東CV勉強会 CVPR ...
We Are Humor Beings: Understanding and Predicting Visual Humor (関東CV勉強会 CVPR ...
Yoshitaka Ushiku
モバイルアプリ開発未経験でJavaもKotlinも触ったことがない人とFluxアーキテクチャでAndroidアプリ開発する話
モバイルアプリ開発未経験でJavaもKotlinも触ったことがない人とFluxアーキテクチャでAndroidアプリ開発する話
Kiyotaka Soranaka
Size class_yucovin_collabotips01
Size class_yucovin_collabotips01
Nino SAKUMA
Shinyを自由に使ってみる
Shinyを自由に使ってみる
Masanori Takano
Quantum computer applications in serverless architecture and challenges
Quantum computer applications in serverless architecture and challenges
Satoyuki Tsukano
普段こういうこと気にしながら、こんな風に作ってます。
普段こういうこと気にしながら、こんな風に作ってます。
c-mitsuba
AIの見方、AIとの付き合い方
AIの見方、AIとの付き合い方
Yoshitaka Seo
勉強会用スライド
勉強会用スライド
harmonylab
ロボコンの為のFusion360講座 #CAD編
ロボコンの為のFusion360講座 #CAD編
電大 ヒュー研
Custom Visionで仏像を画像分類
Custom Visionで仏像を画像分類
Yoshitaka Seo
【Unity道場教育スペシャル】4年制大学の教育・研究におけるUnityの活用
【Unity道場教育スペシャル】4年制大学の教育・研究におけるUnityの活用
UnityTechnologiesJapan002
Similar to めざせスカウター! HoloLensによる特定個人の 顔認識アプリ制作とその課題
(20)
H3第40回「ヘルスケアVR超入門」
H3第40回「ヘルスケアVR超入門」
Aiをアプリに取り込む!
Aiをアプリに取り込む!
A06 角田研究室6 長谷川和紀
A06 角田研究室6 長谷川和紀
横浜での「まちを考える仕事」って?
横浜での「まちを考える仕事」って?
【QRコードアーティストの自立戦略 ~ UX/UIデザインワークショップ】
【QRコードアーティストの自立戦略 ~ UX/UIデザインワークショップ】
CasperJSを使って任意のWebサイトを電子書籍化する方法
CasperJSを使って任意のWebサイトを電子書籍化する方法
Code for Kanazawa / Code for Japan Meeting in OSAKA
Code for Kanazawa / Code for Japan Meeting in OSAKA
岡山スマホアプリ開発もくもく会 #oso2016
岡山スマホアプリ開発もくもく会 #oso2016
Scratchを使ったビジュアルプログラミング
Scratchを使ったビジュアルプログラミング
We Are Humor Beings: Understanding and Predicting Visual Humor (関東CV勉強会 CVPR ...
We Are Humor Beings: Understanding and Predicting Visual Humor (関東CV勉強会 CVPR ...
モバイルアプリ開発未経験でJavaもKotlinも触ったことがない人とFluxアーキテクチャでAndroidアプリ開発する話
モバイルアプリ開発未経験でJavaもKotlinも触ったことがない人とFluxアーキテクチャでAndroidアプリ開発する話
Size class_yucovin_collabotips01
Size class_yucovin_collabotips01
Shinyを自由に使ってみる
Shinyを自由に使ってみる
Quantum computer applications in serverless architecture and challenges
Quantum computer applications in serverless architecture and challenges
普段こういうこと気にしながら、こんな風に作ってます。
普段こういうこと気にしながら、こんな風に作ってます。
AIの見方、AIとの付き合い方
AIの見方、AIとの付き合い方
勉強会用スライド
勉強会用スライド
ロボコンの為のFusion360講座 #CAD編
ロボコンの為のFusion360講座 #CAD編
Custom Visionで仏像を画像分類
Custom Visionで仏像を画像分類
【Unity道場教育スペシャル】4年制大学の教育・研究におけるUnityの活用
【Unity道場教育スペシャル】4年制大学の教育・研究におけるUnityの活用
めざせスカウター! HoloLensによる特定個人の 顔認識アプリ制作とその課題
1.
めざせスカウター! HoloLensによる特定個人の 顔認識アプリ制作とその課題 ABC2017 Spring MR/VRトラック(4201 T5) 16:30
~ 16:55 東京工業大学 情報理工学院 数理計算科学系 岩崎謙汰 高橋良希
2.
目次 • 自己紹介 • 今回作りたかったモノ •
ARとMRの違い、MR開発の難しさ • Basic idea • アプリの全体像 • まとめ
3.
自己紹介 • 東京工業大学 M2
岩崎謙汰 • 研究:SNSのグラフサンプリング • 趣味:電車で30分プログラミング 先週作ったゲーム3本 • Unityエンジニア/クライアント側担当 • AR/MR開発で楽しく暮らしたい
4.
自己紹介 • 東京工業大学 M1
高橋良希 • 研究:分散機械学習 • 趣味:Caffeによる画像認識アプリ開発 Raspberry Piアプリ開発 • サーバー側担当
5.
今回作りたかったモノ
6.
出典 wayohoo.net
7.
スカウター 出典: http://sekkachi.blog.jp/archives/1039744030.html 相手の戦闘力などの情報を レンズ(?)のUI上に表示する
8.
スカウター作りたい! と思い立つ。しかし…
9.
出典: http://eiga.com/movie/83224/
10.
オーグマーすげー! 超かっこいい!作りたい!
11.
めざせスカウター! HoloLensによる特定個人の 顔認識アプリ制作とその課題 東京工業大学 情報理工学院 数理計算科学系 岩崎謙汰
高橋良希 オーグマー! ABC2017 Spring MR/VRトラック(4201 T5) 16:30 ~ 16:55
12.
人の頭上に名前を表示する アプリを制作する 目標
13.
出典: http://www.matolabel.net/archives/68231429.html 出典 http://anicul.jp/saogekijyouos/ 人の頭上に 名前を表示
14.
リアルと関連づいた3D空間上に配置する 人の頭上に名前を表示する アプリを制作する 今回のポイント
15.
3D空間上に配置する2DのUI上ではなく ARとMR 今回こっち!
16.
3D空間に仮想オブジェクトを配置する方法 • ARマーカーを使用する (Vuforiaなど) →
人間の顔をマーカーにするのは難しい • 仮想空間上に現実と同じ部屋&物のモデルを配置する → めちゃくちゃ大変 & 汎用性が低い • HoloLensのジェスチャーで配置する → 実際コレが多い気がする、しかし今回は自動でやりたい • GPSから場所を推定する → 全ての人間/物体がGPSを持っているわけでは…
17.
3D空間に仮想オブジェクトを配置する方法 • ARマーカーを使用する (Vuforiaなど) →
人間の顔をマーカーにするのは難しい • 仮想空間上に現実と同じ部屋&物のモデルを配置する → めちゃくちゃ大変 & 汎用性が低い • HoloLensのジェスチャーで配置する → 実際コレが多い気がする、しかし自動でやりたい • GPSから場所を推定する → 全ての人間/物体がGPSを持っているわけでは… 意外と難しい!
18.
なぜ難しい? HoloLensが見ている世界 2D (画像)
3D 解析のしやすさ 解析しやすい 当たり判定のみ 奥行きの判定 わかりにくい わかる どちらも見ている 人間どれ? どれくらい 遠くにいる? 噛み合せ たい!
19.
解決策: 顔の中心の座標に向けてRayを飛ばす 出典: http://tsubakit1.hateblo.jp/entry/2017/02/22/230100 画像解析でクラス名と 顔の中心の座標を取得 Ex)クラス名:
yoshiki 顔の中心の標: (600,300) 顔の中心の座標へ Rayを飛ばす この衝突点は yoshikiだとわかる yoshiki
20.
デモ
21.
考察 • 概ね、頭の上に移動しようとしている…? • 認識できるのは研究室メンバーのみだが、 顔認識の精度は改善の余地あり。 •
被写体が動くと頭の上から外れやすい。 • もっとなめらかに動かしたいが、 これ以上早くしようとするとアプリが落ちる。 (現在 HTTP通信とSpatialMappingの更新頻度を 1秒に1回にしている)
22.
アプリの全体像 HoloLens 被写体 ① Webカメラから 画像を取得 サーバー ③
OpenCVで顔の中心の座標の取得 ④ Deep Learningによる識別 ⑥ 顔の中心の座標に Rayを飛ばし、 頭上の座標を推定 ⑦ 3D空間上にラベルを表示 出典: http://tsubakit1.hateblo.jp/entry/2017/02/22/230100 yoshiki
23.
HoloLensから画像をサーバーに送る • HoloLens側は画像撮って送って返ってきた情報を載せ るだけにしたい! • WebCameraから画像を取得する •
HTTP通信で画像をサーバーに送る ↑普段のUnityの書き方と同じ ↓HoloLens特有設定 • Capabilitiesチェックを忘れない
24.
学習用研究室メンバの画像収集 学生室 枚 数 研究室メンバ 205枚タグ付け Raspberry Pi による自動収集 ん?少ない人がいるぞ?
25.
バックエンド処理 人間がタグ付け 学習済みモデル HTTP通信 画像出典:https://www.raspberrypi.org/, https://www.microsoft.com/ja-jp/hololens 学習 アプリケーション 名前 確率 Deep Learning による識別 OpenCVによる顔検出 (顔の中心座標計算) 座標 Caffe
26.
学習 205枚x 6クラス 820枚x 6クラス Neural Network (Alex
net) Pre-trained Network 回転・ぼかしに よる増強 精度変化
27.
まとめ • 人の頭の上に研究室メンバーの名前を表示するアプリを 制作した。 • MR開発で大事なこと →リアル世界の認知と3D空間上の配置をどう組み立てるか •
ハードウェアの進歩が先か、エンジニアのアイデアが先か • MR開発これからも楽しんでいきたいです!
28.
補足説明 • 今回使用した技術など • HoloLens開発:
Windows10, Unity5.6.0 • サーバーサイド: Python • DeepLearnig: Caffe
Editor's Notes
同じく....高橋と申します. 大学の研究内容は...ですが,今回スカウター作成では深層学習で顔認識をするバックエンド側の開発を行いました.これまでにもCaffeを使った画像認識webクローラを作ったり,ラズパイとウェブカメラを組み合わせた画像収集や画像処理をおこなったりしています.
深層学習ではまず学習する画像データ集めます.ラズパイとウェブカメラを組み合わせて
Download now