Submit Search
Upload
Depth From Sequence
•
13 likes
•
4,700 views
yuichi takeda
Follow
第25回コンピュータビジョン勉強会@関東での発表資料です。 http://connpass.com/event/8082/
Read less
Read more
Engineering
Report
Share
Report
Share
1 of 22
Download now
Download to read offline
Recommended
第二回Android training4desinger 2
第二回Android training4desinger 2
Kengo Suzuki
第一回Android training4desinger
第一回Android training4desinger
Kengo Suzuki
写真を作って楽しもう!(スマートフォン・タブレット交流会)
写真を作って楽しもう!(スマートフォン・タブレット交流会)
Takaaki Mizuta
フーリエ変換と画像圧縮の仕組み
フーリエ変換と画像圧縮の仕組み
yuichi takeda
Looking glasslt4 kurokawa
Looking glasslt4 kurokawa
優介 黒河
Unity名古屋セミナー [Shadowgun]
Unity名古屋セミナー [Shadowgun]
MakotoItoh
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
Norishige Fukushima
【Unite 2018 Tokyo】裸眼で拡張現実!!プロジェクションマッピングとAIで世界最先端研究を丸見えに
【Unite 2018 Tokyo】裸眼で拡張現実!!プロジェクションマッピングとAIで世界最先端研究を丸見えに
UnityTechnologiesJapan002
Recommended
第二回Android training4desinger 2
第二回Android training4desinger 2
Kengo Suzuki
第一回Android training4desinger
第一回Android training4desinger
Kengo Suzuki
写真を作って楽しもう!(スマートフォン・タブレット交流会)
写真を作って楽しもう!(スマートフォン・タブレット交流会)
Takaaki Mizuta
フーリエ変換と画像圧縮の仕組み
フーリエ変換と画像圧縮の仕組み
yuichi takeda
Looking glasslt4 kurokawa
Looking glasslt4 kurokawa
優介 黒河
Unity名古屋セミナー [Shadowgun]
Unity名古屋セミナー [Shadowgun]
MakotoItoh
コンピューテーショナルフォトグラフィ
コンピューテーショナルフォトグラフィ
Norishige Fukushima
【Unite 2018 Tokyo】裸眼で拡張現実!!プロジェクションマッピングとAIで世界最先端研究を丸見えに
【Unite 2018 Tokyo】裸眼で拡張現実!!プロジェクションマッピングとAIで世界最先端研究を丸見えに
UnityTechnologiesJapan002
Cvpr2021で発表されたvirtual try on まとめ
Cvpr2021で発表されたvirtual try on まとめ
yuichi takeda
iOS Traning #0
iOS Traning #0
yuichi takeda
Jenkins on-mac
Jenkins on-mac
yuichi takeda
App dojo-2014-03-27
App dojo-2014-03-27
yuichi takeda
130624 auto layout
130624 auto layout
yuichi takeda
拡大縮小から始める画像処理
拡大縮小から始める画像処理
yuichi takeda
More Related Content
More from yuichi takeda
Cvpr2021で発表されたvirtual try on まとめ
Cvpr2021で発表されたvirtual try on まとめ
yuichi takeda
iOS Traning #0
iOS Traning #0
yuichi takeda
Jenkins on-mac
Jenkins on-mac
yuichi takeda
App dojo-2014-03-27
App dojo-2014-03-27
yuichi takeda
130624 auto layout
130624 auto layout
yuichi takeda
拡大縮小から始める画像処理
拡大縮小から始める画像処理
yuichi takeda
More from yuichi takeda
(6)
Cvpr2021で発表されたvirtual try on まとめ
Cvpr2021で発表されたvirtual try on まとめ
iOS Traning #0
iOS Traning #0
Jenkins on-mac
Jenkins on-mac
App dojo-2014-03-27
App dojo-2014-03-27
130624 auto layout
130624 auto layout
拡大縮小から始める画像処理
拡大縮小から始める画像処理
Depth From Sequence
1.
iPhoneで奥行き推定する プログラムを作りました 第25回CV勉強会@関東
Yuichi Takeda / @ginrou799
2.
iPhoneのカメラだけで動く iPhoneで奥行き推定する プログラムを作りました
デプスセンサ作りました 第25回CV勉強会@関東 Yuichi Takeda / @ginrou799
3.
自己紹介 • Yuichi
Takeda / @ginrou799 • CV • コンピュテーショナルフォトグラフィ • MIRU 2012 優秀賞 • iOS • ミクシィでiPhoneアプリの開発 • 本も出してますhttp://goo.gl/OaLUDc
4.
AndroidのLensBlur ご存知ですか?
5.
LensBlur • Android
に搭載されているカメラの機能 • シーンの奥行きを推定してリフォーカス 出典 http://googleresearch.blogspot.jp/2014/04/lens-blur-in-new-google-camera-app.html
6.
そのiPhone版を 作りました。
7.
Depth From Sequence
iPhoneを手に持って撮影した画像シーケンスから奥行きを推定します
8.
Depth From Sequence
• ソースコードは公開しています。 • https://github.com/ginrou/DepthFromSequence • C++ • 動作環境 • CMake OpenCVの動く環境 • Mac, Linux(多分) • iOS
9.
元ネタ • 元ネタはLensBlurの元になった論文
• 3D Reconstruction from Accidental Motion (Fisher Yu et al. CVPR 2014) • この論文をベースに実際に使えるように少し改良
10.
アルゴリズム・入力画像 • 1280x720で撮影して
640x320 に縮小して処理 • 実際のデプスを計測するのは中央の320x320の領域 • 10 ~ 15枚ほどが安定している
11.
アルゴリズム Feature Tracking
Bundle Adjustment Plane Sweep • KLT Trackerを使って特徴点追跡 最初のフレームでは150個の特徴点を追跡し、 最終フレームで70個まで減ったら失敗
12.
アルゴリズム Feature Tracking
Bundle Adjustment Plane Sweep • Feature Trackingの結果からカメラの位置と姿勢を推定 • Bundle Adjustment • 便利ライブラリなかったので実装しました
13.
アルゴリズム Feature Tracking
Bundle Adjustment Plane Sweep • パラメータ • 最大反復回数は 5 回 • 反復終了時に再投影エラーが 1.0 未満だと失敗とみなす
14.
アルゴリズム Feature Tracking
Bundle Adjustment Plane Sweep •入力画像がある奥行き上にあると仮定してワーピング •ワーピング画像を積み重ね、輝度一致度で奥行きを推定
15.
アルゴリズム Feature Tracking
Bundle Adjustment Plane Sweep • 輝度一致度だけで奥行きを求めると精度が悪い •テクスチャのない箇所に弱い •グラフカットを利用して精度向上 • http://graphics.stanford.edu/projects/densecrf/ を利用
16.
アルゴリズム Feature Tracking
Bundle Adjustment Plane Sweep • 輝度一致度だけで奥行きを求めると精度が悪い •テクスチャのない箇所に弱い •グラフカットを利用して精度向上 • http://graphics.stanford.edu/projects/densecrf/ を利用
17.
アルゴリズム Feature Tracking
Bundle Adjustment Plane Sweep •奥行き分解能は奥行きに反比例 •近いものは細かく計れるが、遠いものは粗くなる •奥行き分解能は20~32段階くらい •分解能を上げるとメモリを圧迫する •100MBくらい食うのでスマートフォンにはキツイ
18.
iPhoneへ移植 • iOSはC++をそのまま使える
• ただそのままだと扱いづらい • C++ / Objective-C / Objective-C++ を使い分ける
19.
Objective-C/ Objective-C++ /
C++ どう使い分けるか? Objective-C Objective-C++ C++ • Obj-C C++ の橋渡し • UIImage と cv::Mat の変換 • 非同期処理 • カメラのバッファ • UI • 画像処理のコア まずはコア部分を独立して開発
20.
Objective-C/ Objective-C++ /
C++ どう使い分けるか? Objective-C Objective-C++ C++ • Obj-C C++ の橋渡し • UIImage と cv::Mat の変換 • 非同期処理 • カメラのバッファ • UI • 画像処理のコア うまく行ったらiiPPhhoonneeの部分を作る
21.
残りの課題 • パラメータチューニング
(もう少しよく出来そう) • ステレオ法だけで挑んでみる • CocoaPods化 • 実スケール単位での計測(1m, 2m とか実測)
22.
ご静聴ありがとうございました
Download now