Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
デプスセンサとその応用
名古屋工業大学
福嶋 慶繁
映像情報メディア学会・立体映像技術研究会 (3DIT)
2017/7/4 名古屋大学
http://fukushima.web.nitech.ac.jp/
目的
–様々なデプスセンサの紹介
–それらを使ってどんなことがどれくらいできる
のかをレビュー
目次
–デプスセンサ
–アプリケーションとSDK
–スマートフォンへの展開
–デプスマップの精度とその改善
はじめに 2
デプスセンサ
3
センサのタイプ
–Structured Light Coding
• Kinect V1, Xtion, RealSense F200, RealSense SR300
–Time of Fight
• Kinect V2, MESA SR4...
Microsoft Kinect V1 5
RGBカメラ 640x480@30fps, 1280x960@12fps
デプスセンサ 640x480@30fps
方式 Light Coding
有効範囲 800~4000mm, (Nearモード設...
Microsoft Kinect V2 6
RGBカメラ 1080p@30fps
デプスセンサ 512x424@30fps
方式 Time of Flight
有効範囲 800~4000mm, (Nearモード設定時:400 ~ 3500mm)...
Intel RealSense F200 7
RGBカメラ 1080p@30fps
デプスセンサ 640x480@30fps
方式 Light Coding
有効範囲 200~1200mm
発売時期 2015
接続 USB3.0
備考 近距離用...
Intel RealSense SR300 8
RGBカメラ 1080p@30fps, 720p@60fps
デプスセンサ 640x480@60fps, 640x240@110fps
方式 Light Coding
有効範囲 20~120mm(...
Intel RealSense R200 9
RGBカメラ 1080p@30fps
デプスセンサ 640x480@30fps
方式 Stereo + Unstructured Light Projection
有効範囲 400~2800mm(こ...
Intel RealSense 400 10
RGBカメラ N/A
デプスセンサ N/A
方式 Stereo + Unstructured Light Projection
有効範囲 N/A
発売時期 2017
接続 USB3.0
備考 ステレ...
Structure Sensor 11
RGBカメラ N/A
デプスセンサ 640x480@30fps, 320x240@60fps
方式 Light Coding
有効範囲 400mm~3500mm
発売時期 2014
接続 USB3.0
備...
アプリケーションと
SDK
12
Windows
–Kinect for Windows SDK 2.0
–Intel RealSense SDK
–OpenNI:メンテナンス終了
Linux, MacOS
–OpenKinect: libfreenect, libfree...
RGB画像の取得
デプスマップの取得
IR画像の取得
ポイントクラウドの取得
カメラ間レジストレーション
–出荷時にキャリブレーション済み
共通した基礎機能 14
C++,C#
RGB,IR,デプスの取得,位置合わせ
人物スケルトン取得(最大6人まで同時)
ハンドトラッキング,ハンドジェスチャ認識
顔認識・追跡
3Dスキャン
–Kinect Fusion
背景差分・クロマキー合成
Kinec...
Kinect Fusion 16
https://msdn.microsoft.com/en-us/library/dn188670.aspx
C++,C#
RGB,IR,デプスの取得,位置合わせ
リアルタイムエンコーダ
– RGB:H.264イントラ(1/10程度の圧縮)
– Depth:Lempel-Ziv-Oberhumer(lzop)(1/2程度の圧縮)
– 条件:Int...
3次元モデリング,3Dスキャン
リフォーカス
セグメンテーション
ジェスチャー認識
物体認識・人認識・顔認識
自由視点映像
–複数台必要
アプリケーション 18
検討事項
複数台のデプスセンサ(Kinect)・マシンが必須
デプスセンサによる自由視点映像19
システム構成イメージ 20
USB3.0 10GbE
RGB: JPEG 8bit
Depth: LZ4 16bit
Clients
Server
Imaged decode (CPU)
Rendering (GPU)
10GbE
Hub
Ki...
検討事項・必要事項
複数台のデプスセンサ(Kinect)・マシンが必須
– 干渉しないように遠くに配置
– Kinect間のキャリブレーション
– データの通信・圧縮
高いキャリブレーションの精度が必要
– センサ内の再キャリブレーションが...
センサ内・間キャリブレーション22
センサの距離が近いため,
キャリブレーションの精度は
それなりで良い.
センサ間の距離が広いため,
高いキャリブレーション精度
が要求される.
スマートフォンへの
展開
23
Google Project Tango 24
Lenovo Phab2 Pro ASUS Zenfone AR
Lenovo Phab2 Pro 25
RGB Camera
Depth Sensor
Tracking Camera
Chipset Qualcomm Snapdragon 652 for Tango
1.8GHz x 8core
500$ ...
ASUS Zenfone AR 26
RGB Camera
Depth Sensor
Tracking Camera
Snapdragon 821
2.35GHz 4core
1000$ 2017/7
27
https://www.youtube.com/watch?v=jZ6fNGdvzRo
ビデオスタビライゼーション
リフォーカシング
AR・VR
Demo:Zenfone AR 28
デュアルカメラスマホ 29
iPhone 7 Plus HUAWEI P9/Mata9/
P10 Honor 8 Pro
LG V20/G6
Xiaomi Mi5S PlusZTE Nubai Z17mini/V8 Asus Zenfone 3...
広角,望遠の切り替え
–iPhone V20/G6, Zenfone
同一レンズ・受光装置組み合わせの違い
–カラー,モノクロ同時撮影
• P9/10, Honor8, Z17, Mi5S
–カラー,モノクロ高解像度同時撮影
• Mate ...
デプスマップの
精度とその改善
31
取得デプスマップの問題の傾向 32
取得不能オクルージョン ざらつき 輪郭の不一致アウトライヤ
Kinectによる取得 ステレオマッチングによる取得
有効画素率
–全体の何%デプスが求まっているか?
• 不安定な場所やオクルージョンを無効化
値域の精度
–Zが何ミリ以内か?
• 平滑化フィルタでスムージング・デノイジング
空間の精度
–x,yのエッジの位置がRGBとあっているか?
• ...
レジストレーションとオクルージョン 34
デプスセンサは,RGBカメラ
とデプス取得用のセンサと位
置がずれるため,RGBDにす
るには,デプスをRGBへ飛ば
す必要性.→その結果オク
ルージョンが発生.
ToFやLight Codingで出てきた値をデコード
したときにおかしな値を除去
–野外などで赤外線の値が取れない場合
–複数台使った場合やその他の装置と干渉
アウトライヤ除去1 35
マッチングの安定度による評価
LRのマッチング一致
マッチングコストのピーク
メディアンフィルタ
スペックル除去
分散の評価
etc…
アウトライヤ除去2 36
低基準 中基準 高基準
デプスのざらつき 37
輪郭の不一致 38
デプス RGB
デプスへRGBをアルファブレンドした結果.
輪郭の不一致が見られる.
補正に必要な項目
凹凸の平滑化
穴埋め
エッジの補正
※必要な処理はアプリケーションに依存.3Dスキャ
ンではほとんどいらない(時系列情報があるため)
使うツール
エッジ保存平滑化フィルタ
そのジョイントフィルタ拡張
フィルタによるデ...
バイラテラルフィルタ
ガイデットフィルタ
ドメイントランスフォームフィルタ
ノンローカルミーンフィルタ
ローカルラプラシアンフィルタ
L0スムージング
ウェイテッドモードフィルタ
etc...
エッジ保存平滑化フィルタ 40
バイラテラルフィルタ
)(xJ )(I)(
1
xk
outputinput
x
),( xf ))()(( xIIg 
画素ごとにカーネルのウェイトが異なる
• 中心の色に近いほど高い重み:値域ガウシアン
• 中心の位置に近いほ...
Gaussian Smoothing
*
*
*
input output
Same Gaussian kernel everywhere
Averages across edges ⇒ blur
Slides taken from Sylva...
Bilateral Filtering
*
*
*
input output
Kernel shape depends on image content
Avoids averaging across edges
Slides taken fr...
色に関する重み計算を別の画像で行うエッ
ジ保存平滑化フィルタ
–別の画像の特性を転写
バイラテラルフィルタ
→ジョイントバイラテラルフィルタ
ジョイントフィルタ拡張 44
フラッシュ・ノンフラッシュフォトグラフィ
フラッシュ画像
 光源の変化→影の消失
 色合いが不自然
 コントラストがはっきり
 ノイズが少ない
「フラッシュを焚いて撮影した写真と
焚かずに取った写真を計算して統合する方法」
ノンフラ...
色温度高,影つき,ノイズ大
色温度低,影無し,ノイズ小
フラッシュノンフラッシュ統合
デプスリファインメント結果 49
エッジ保存平滑化フィルタ
– ざらつきの平滑化
ジョイントフィルタ
– 輪郭の補正
– 穴埋め
フィルタの特徴と目的の精度に応じて,かける場所や種類を選択
– バイラテラルフィルタ
• 輪郭のエッジが多少なまるためイプシロンフィルタのほう...
左カメラ(RGB) 51
右カメラ(RGB) 52
デノイジング
–RGB・グレイの組み合わせからグレイの信号は
SNが高いためグレイをジョイントしてRGBを
フィルタ
ディテールエンハンスメント
–RGB・グレイの組み合わせからグレイの信号が
ぼけが少なく感度が高いため,グレイ信号の輪
郭...
Joint Bilateral Upsampling 54
高解像度の色情報をガイド
にして補間する値を決定
改善には複数のポストフィルタが必要
→計算量が増加
以下の側面から改善可能
–アルゴリズム
–コンパイラ・ハードウェア
デプスマップ改善の問題 55
様々な高速化アルゴリズムが提案
–Compressive Bilateral Filter
• K. Sugimoto and S. I. Kamata, "Compressive Bilateral
Filtering," in IEEE ...
ドメイン固有言語:Domain Specific
Language(DSL)
–何かに特化した専用プログラミング言語
画像処理専用DSL
–Halide
–Darkroom
–など
–Siggraphや関連学会で近年多数登場
高速な実装・コ...
3x3ボックスフィルタの例
–タイリング,ベクトル化,並列化のありとあら
ゆるパターンが簡単に記述できるため限界まで
簡単にコードが最適化可能
–指定したとおりのC++コードを自動生成
Halide 58
Halide 59
このコードと同じ命令が生成される!
Halideチュートリアルのスライドより
マッチングコストの高度化
ブロックマッチングをエッジ保存平滑化
フィルタに
高速な最適化手法の適用
–セミグローバルマッチング
(ref松尾博士論文)
ステレオマッチングの発展 60
RealSense R200から400へ 61
様々なデプスセンサが登場
–Light Coding
–Time of Flight
–Stereo + Unstructured Light
–Stereo
スマートフォンにも3D処理が導入
デプスマップのフィルタリングによる改善
謝辞...
Upcoming SlideShare
Loading in …5
×

デプスセンサとその応用

7,282 views

Published on

映像情報メディア学会 立体映像技術研究会(3DIT) [招待講演]「デプスセンサとその応用」の発表資料です.
http://www.ite.or.jp/ken/program/index.php?tgs_regid=a5bacacea82fb086cc4a6ef2b050f2c2f673ff48cd98a1d315bb489a9937779a&tgid=ITE-3DIT&lang=

Published in: Technology
  • Be the first to comment

デプスセンサとその応用

  1. 1. デプスセンサとその応用 名古屋工業大学 福嶋 慶繁 映像情報メディア学会・立体映像技術研究会 (3DIT) 2017/7/4 名古屋大学 http://fukushima.web.nitech.ac.jp/
  2. 2. 目的 –様々なデプスセンサの紹介 –それらを使ってどんなことがどれくらいできる のかをレビュー 目次 –デプスセンサ –アプリケーションとSDK –スマートフォンへの展開 –デプスマップの精度とその改善 はじめに 2
  3. 3. デプスセンサ 3
  4. 4. センサのタイプ –Structured Light Coding • Kinect V1, Xtion, RealSense F200, RealSense SR300 –Time of Fight • Kinect V2, MESA SR4000, DepthSense525 –Stereo Camera + Unstructured Light • RealSense R200, RealSense RS400 –Stereo Camera 主なメーカー –Microsoft Kinect xx –Intel RealSense xx 近年のデプスセンサの種類 4
  5. 5. Microsoft Kinect V1 5 RGBカメラ 640x480@30fps, 1280x960@12fps デプスセンサ 640x480@30fps 方式 Light Coding 有効範囲 800~4000mm, (Nearモード設定時:400 ~ 3500mm) 発売時期 2010 接続 USB2.0 備考 室内限定.複数台置くと干渉する.RGBカメラの質が相当低い.
  6. 6. Microsoft Kinect V2 6 RGBカメラ 1080p@30fps デプスセンサ 512x424@30fps 方式 Time of Flight 有効範囲 800~4000mm, (Nearモード設定時:400 ~ 3500mm) 発売時期 2014 接続 USB3.0 備考 室内限定.RGBカメラの質がだいぶ上がった.
  7. 7. Intel RealSense F200 7 RGBカメラ 1080p@30fps デプスセンサ 640x480@30fps 方式 Light Coding 有効範囲 200~1200mm 発売時期 2015 接続 USB3.0 備考 近距離用.発売終了.SR300が後継機.
  8. 8. Intel RealSense SR300 8 RGBカメラ 1080p@30fps, 720p@60fps デプスセンサ 640x480@60fps, 640x240@110fps 方式 Light Coding 有効範囲 20~120mm(この範囲でソフトウェアが最適化) 発売時期 2016 接続 USB3.0 備考 近距離用.室内限定.
  9. 9. Intel RealSense R200 9 RGBカメラ 1080p@30fps デプスセンサ 640x480@30fps 方式 Stereo + Unstructured Light Projection 有効範囲 400~2800mm(この範囲でソフトウェアが最適化) 野外は 10M 発売時期 2015 接続 USB3.0 備考 ステレオカメラ.
  10. 10. Intel RealSense 400 10 RGBカメラ N/A デプスセンサ N/A 方式 Stereo + Unstructured Light Projection 有効範囲 N/A 発売時期 2017 接続 USB3.0 備考 ステレオカメラ.R200の後継? ?
  11. 11. Structure Sensor 11 RGBカメラ N/A デプスセンサ 640x480@30fps, 320x240@60fps 方式 Light Coding 有効範囲 400mm~3500mm 発売時期 2014 接続 USB3.0 備考 iPad専用.iPadの内部カメラと連携する.室内限定.
  12. 12. アプリケーションと SDK 12
  13. 13. Windows –Kinect for Windows SDK 2.0 –Intel RealSense SDK –OpenNI:メンテナンス終了 Linux, MacOS –OpenKinect: libfreenect, libfreenect2 –librealsense(Windows用よりも機能が貧弱) –STRUCTURE SDK –OpenNI:メンテナンス終了 SDK一覧 13
  14. 14. RGB画像の取得 デプスマップの取得 IR画像の取得 ポイントクラウドの取得 カメラ間レジストレーション –出荷時にキャリブレーション済み 共通した基礎機能 14
  15. 15. C++,C# RGB,IR,デプスの取得,位置合わせ 人物スケルトン取得(最大6人まで同時) ハンドトラッキング,ハンドジェスチャ認識 顔認識・追跡 3Dスキャン –Kinect Fusion 背景差分・クロマキー合成 Kinect for Windows SDK 15
  16. 16. Kinect Fusion 16 https://msdn.microsoft.com/en-us/library/dn188670.aspx
  17. 17. C++,C# RGB,IR,デプスの取得,位置合わせ リアルタイムエンコーダ – RGB:H.264イントラ(1/10程度の圧縮) – Depth:Lempel-Ziv-Oberhumer(lzop)(1/2程度の圧縮) – 条件:Intelのグラフィックス用のチップがついていること スケルトン,人物トラッキング 顔認識・追跡,パーツ認識 ハンドジェスチャ・ハンドジェスチャ認識 カーソル操作 3Dスキャン クロマキー合成 Intel RealSense SDK 17
  18. 18. 3次元モデリング,3Dスキャン リフォーカス セグメンテーション ジェスチャー認識 物体認識・人認識・顔認識 自由視点映像 –複数台必要 アプリケーション 18
  19. 19. 検討事項 複数台のデプスセンサ(Kinect)・マシンが必須 デプスセンサによる自由視点映像19
  20. 20. システム構成イメージ 20 USB3.0 10GbE RGB: JPEG 8bit Depth: LZ4 16bit Clients Server Imaged decode (CPU) Rendering (GPU) 10GbE Hub Kinect V2(s)
  21. 21. 検討事項・必要事項 複数台のデプスセンサ(Kinect)・マシンが必須 – 干渉しないように遠くに配置 – Kinect間のキャリブレーション – データの通信・圧縮 高いキャリブレーションの精度が必要 – センサ内の再キャリブレーションが必要に – 工場出荷時のパラメータでは不十分 1台のマシンにRGBDのデータを集めればあとは3 Dスキャンの処理とだいたい同じ デプスセンサによる自由視点映像21
  22. 22. センサ内・間キャリブレーション22 センサの距離が近いため, キャリブレーションの精度は それなりで良い. センサ間の距離が広いため, 高いキャリブレーション精度 が要求される.
  23. 23. スマートフォンへの 展開 23
  24. 24. Google Project Tango 24 Lenovo Phab2 Pro ASUS Zenfone AR
  25. 25. Lenovo Phab2 Pro 25 RGB Camera Depth Sensor Tracking Camera Chipset Qualcomm Snapdragon 652 for Tango 1.8GHz x 8core 500$ 2016/11
  26. 26. ASUS Zenfone AR 26 RGB Camera Depth Sensor Tracking Camera Snapdragon 821 2.35GHz 4core 1000$ 2017/7
  27. 27. 27 https://www.youtube.com/watch?v=jZ6fNGdvzRo
  28. 28. ビデオスタビライゼーション リフォーカシング AR・VR Demo:Zenfone AR 28
  29. 29. デュアルカメラスマホ 29 iPhone 7 Plus HUAWEI P9/Mata9/ P10 Honor 8 Pro LG V20/G6 Xiaomi Mi5S PlusZTE Nubai Z17mini/V8 Asus Zenfone 3 Zoom
  30. 30. 広角,望遠の切り替え –iPhone V20/G6, Zenfone 同一レンズ・受光装置組み合わせの違い –カラー,モノクロ同時撮影 • P9/10, Honor8, Z17, Mi5S –カラー,モノクロ高解像度同時撮影 • Mate 9 デュアルカメラスマホ 30
  31. 31. デプスマップの 精度とその改善 31
  32. 32. 取得デプスマップの問題の傾向 32 取得不能オクルージョン ざらつき 輪郭の不一致アウトライヤ Kinectによる取得 ステレオマッチングによる取得
  33. 33. 有効画素率 –全体の何%デプスが求まっているか? • 不安定な場所やオクルージョンを無効化 値域の精度 –Zが何ミリ以内か? • 平滑化フィルタでスムージング・デノイジング 空間の精度 –x,yのエッジの位置がRGBとあっているか? • ジョイントフィルタによる復元 デプスマップの精度指標と対策 33
  34. 34. レジストレーションとオクルージョン 34 デプスセンサは,RGBカメラ とデプス取得用のセンサと位 置がずれるため,RGBDにす るには,デプスをRGBへ飛ば す必要性.→その結果オク ルージョンが発生.
  35. 35. ToFやLight Codingで出てきた値をデコード したときにおかしな値を除去 –野外などで赤外線の値が取れない場合 –複数台使った場合やその他の装置と干渉 アウトライヤ除去1 35
  36. 36. マッチングの安定度による評価 LRのマッチング一致 マッチングコストのピーク メディアンフィルタ スペックル除去 分散の評価 etc… アウトライヤ除去2 36 低基準 中基準 高基準
  37. 37. デプスのざらつき 37
  38. 38. 輪郭の不一致 38 デプス RGB デプスへRGBをアルファブレンドした結果. 輪郭の不一致が見られる.
  39. 39. 補正に必要な項目 凹凸の平滑化 穴埋め エッジの補正 ※必要な処理はアプリケーションに依存.3Dスキャ ンではほとんどいらない(時系列情報があるため) 使うツール エッジ保存平滑化フィルタ そのジョイントフィルタ拡張 フィルタによるデプス補正 39
  40. 40. バイラテラルフィルタ ガイデットフィルタ ドメイントランスフォームフィルタ ノンローカルミーンフィルタ ローカルラプラシアンフィルタ L0スムージング ウェイテッドモードフィルタ etc... エッジ保存平滑化フィルタ 40
  41. 41. バイラテラルフィルタ )(xJ )(I)( 1 xk outputinput x ),( xf ))()(( xIIg  画素ごとにカーネルのウェイトが異なる • 中心の色に近いほど高い重み:値域ガウシアン • 中心の位置に近いほど高い重み:空間ガウシアン C. Tomasi, and M. Roberto, "Bilateral filtering for gray and color images," ICCV1998.
  42. 42. Gaussian Smoothing * * * input output Same Gaussian kernel everywhere Averages across edges ⇒ blur Slides taken from Sylvain Paris, Siggraph 2007
  43. 43. Bilateral Filtering * * * input output Kernel shape depends on image content Avoids averaging across edges Slides taken from Sylvain Paris, Siggraph 2007
  44. 44. 色に関する重み計算を別の画像で行うエッ ジ保存平滑化フィルタ –別の画像の特性を転写 バイラテラルフィルタ →ジョイントバイラテラルフィルタ ジョイントフィルタ拡張 44
  45. 45. フラッシュ・ノンフラッシュフォトグラフィ フラッシュ画像  光源の変化→影の消失  色合いが不自然  コントラストがはっきり  ノイズが少ない 「フラッシュを焚いて撮影した写真と 焚かずに取った写真を計算して統合する方法」 ノンフラッシュ画像  色合いが自然  影が正しく撮影  コントラストが曖昧  ノイズが多い
  46. 46. 色温度高,影つき,ノイズ大
  47. 47. 色温度低,影無し,ノイズ小
  48. 48. フラッシュノンフラッシュ統合
  49. 49. デプスリファインメント結果 49
  50. 50. エッジ保存平滑化フィルタ – ざらつきの平滑化 ジョイントフィルタ – 輪郭の補正 – 穴埋め フィルタの特徴と目的の精度に応じて,かける場所や種類を選択 – バイラテラルフィルタ • 輪郭のエッジが多少なまるためイプシロンフィルタのほうが良い – ジョイントバイラテラルフィルタ • RGBのノイズをデプスに転写するため平面部分では使わない – ウェイテッドモードフィルタ • 輪郭が非常にきれいに求まるが重たいため,輪郭限定 – 重み付きフィルタ • デプスマップがない場所を信頼度0として重みづけしてフィルタして正規化するこ とで穴埋め可能 各フィルタの使用方法 50
  51. 51. 左カメラ(RGB) 51
  52. 52. 右カメラ(RGB) 52
  53. 53. デノイジング –RGB・グレイの組み合わせからグレイの信号は SNが高いためグレイをジョイントしてRGBを フィルタ ディテールエンハンスメント –RGB・グレイの組み合わせからグレイの信号が ぼけが少なく感度が高いため,グレイ信号の輪 郭から該当部分のRGBを強調 アップサンプリング –低解像度カメラRGBカメラ・高解像度グレイカ メラを使ってRGBカメラのアップサンプリング ジョイントフィルタの デュアルカメラへの応用 53
  54. 54. Joint Bilateral Upsampling 54 高解像度の色情報をガイド にして補間する値を決定
  55. 55. 改善には複数のポストフィルタが必要 →計算量が増加 以下の側面から改善可能 –アルゴリズム –コンパイラ・ハードウェア デプスマップ改善の問題 55
  56. 56. 様々な高速化アルゴリズムが提案 –Compressive Bilateral Filter • K. Sugimoto and S. I. Kamata, "Compressive Bilateral Filtering," in IEEE Transactions on Image Processing, vol. 24, no. 11, pp. 3357-3369, Nov. 2015. • グレイスケールかつVGAなら,10ms程度で任意の フィルタカーネルサイズで計算可能 –乱択バイラテラルフィルタ • 藤田秀, 木村誠, 福嶋慶繁, "乱択化バイラテラルフィルタ による高速エッジ保持平滑化," 情報処理学会コンピュー タビジョンとイメージメディア研究会(CVIM), Jan.2016. • 乱数を使ってフィルタリングを間引くことで簡単に高速 化.カラーでも高速化可能. エッジ保存平滑化フィルタの高速化 56
  57. 57. ドメイン固有言語:Domain Specific Language(DSL) –何かに特化した専用プログラミング言語 画像処理専用DSL –Halide –Darkroom –など –Siggraphや関連学会で近年多数登場 高速な実装・コンパイラ 57
  58. 58. 3x3ボックスフィルタの例 –タイリング,ベクトル化,並列化のありとあら ゆるパターンが簡単に記述できるため限界まで 簡単にコードが最適化可能 –指定したとおりのC++コードを自動生成 Halide 58
  59. 59. Halide 59 このコードと同じ命令が生成される! Halideチュートリアルのスライドより
  60. 60. マッチングコストの高度化 ブロックマッチングをエッジ保存平滑化 フィルタに 高速な最適化手法の適用 –セミグローバルマッチング (ref松尾博士論文) ステレオマッチングの発展 60
  61. 61. RealSense R200から400へ 61
  62. 62. 様々なデプスセンサが登場 –Light Coding –Time of Flight –Stereo + Unstructured Light –Stereo スマートフォンにも3D処理が導入 デプスマップのフィルタリングによる改善 謝辞 本研究はJSPS科研費JP15K16023,JP17H01764の助成を受けた. まとめ 62

×