SlideShare a Scribd company logo

Online moving camera_background_subtraction

•Download as PPTX, PDF•
•
Daichi Suzuo
Daichi Suzuo
1 of 34
Online Moving Camera Background Subtraction Ali Elqursh, Ahmed Elgammal (Rutgers University, US) @ECCV2012 Poster 2012/12/16 コンピュータビジョン勉強会＠関東 @sakanazensen
自己紹介 • @sakanazensen • さかな前線: daily.belltail.jp • 鈴尾 大地(Daichi SUZUO) • 名古屋大学 村瀬研 M1 – 名古屋から一泊で来ました – #就活こわい • #内定くださいJP • nagoyacv幹事（2代目） • CV Advent Calendarやってます！
自己紹介 • @sakanazensen • さかな前線: daily.belltail.jp • 鈴尾 大地(Daichi SUZUO) • 名古屋大学 村瀬研 M1 – 名古屋から一泊で来ました – #就活こわい • #内定くださいJP • nagoyacv幹事（2代目） • CV Advent Calendarやってます！
自己紹介 • 研究 • 歩行者検出の高精度化
自己紹介
自己紹介 (＾ ѵ ＾)!?
introduction
紹介する論文 • “Online Moving Camera Background Subtraction” • Ali Elqursh, Ahmed Elgammal (Rutgers University) • プロジェクトページ: http://paul.rutgers.edu/~elqursh/projects/bsmc/index.shtml • paperとポスターがあります • youtube: http://www.youtube.com/watch?v=DmxT1LexlsY • デモ動画
やりたいこと
やりたいこと • Online – 逐次入力しながら – オフラインな手法では… • 全部読み込んで前景モデルつくって推定、とか
やりたいこと • Online – 逐次入力しながら – オフラインな手法では… • 全部読み込んで前景モデルつくって推定、とか • Moving Camera – 非固定カメラ – handheld camera – in-vehicle camera
やりたいこと • Online – 逐次入力しながら – オフラインな手法では… • 全部読み込んで前景モデルつくって推定、とか • Moving Camera – 非固定カメラ – handheld camera – in-vehicle camera • Background Subtraction – 前景領域抽出 – denseに（＝画素単位で）動領域を推定 – （前景抽出というタスクを指して”背景差分”と言いますかそうで すか…）
アプローチ • Optical Flow[18]をつなげたtrajectories(軌跡)を 領域セグメンテーションに利用[3] – [3] Brox, T., Malik, J. ”Object Segmentation by Long Term Analysis of Point Trajectories,” ECCV 2010 – [18] Sundaram N., Brox T., Keutzer K., "Dense Point Trajectries by GPU- Accelerated Large Displacement Optical Flow," ECCV2010 • Bayesian filterで軌跡をモデル化[9] – 時間変化に応じてモデルを更新する – 長時間の映像でも安定して前景抽出 – [9] Kwak, S., Lim, T., Nam, W., Han, B., Hee, J. ”Generalized Background Subtraction Based on Hybrid Inference by Belief Propagation and Bayesian Filtering,” ICCV 2011
まずは雰囲気
処理の流れ 初期化処理 （次フレーム入力） “軌跡空間”生成 クラスタリング 前景背景判定 動領域推定
処理の流れ 初期化処理 初期数フレームの動領域推定： （次フレーム入力） optical flowと画像のみで推定 “軌跡空間”生成 クラスタリング 前景背景判定 動領域推定
処理の流れ optical flowによ 初期化処理 る 時間方向の軌跡 （次フレーム入力） “軌跡空間”生成 クラスタリング 1軌跡が 1点に対応 前景背景判定 動領域推定 軌跡を写像した空間
処理の流れ 初期化処理 （次フレーム入力） GMMでクラスタリング “軌跡空間”生成 （似た軌跡をグループ化） クラスタリング 前景背景判定 動領域推定
処理の流れ 各クラスタが前景か背景か判定 初期化処理 （次フレーム入力） “軌跡空間”生成 画像上での判定 クラスタリング 前景背景判定 動領域推定 軌跡での判定
処理の流れ 動領域を密に推定 初期化処理 （次フレーム入力） “軌跡空間”生成 クラスタリング 前景背景判定 動領域推定 さらに、背景・前景の確率モデルを構築・更新
各手順をもう少し詳しく
初期化処理 初期化処理 “軌跡空間”生成 クラスタリング 前景背景判定 映像の最初：軌跡の長さが短く、GMMできない 動領域推定 画像とoptical flowのみで動領域推定 各ノードは画素に対応 平滑化項：輝度差 データ項：軌跡 MRFの構築 optical flow graph cutsで分離 ※カメラの動きに伴い新しく出現した部分にも同様の処理
“軌跡空間”の生成 初期化処理 “軌跡空間”生成 クラスタリング 前景背景判定 動領域推定 • 軌跡同士の類似尺度を定義： 特徴点の軌跡
クラスタリング 初期化処理 “軌跡空間”生成 クラスタリング 前景背景判定 動領域推定 似た動きの軌跡 が 多様体をなす 特徴点の軌跡 軌跡の（仮想的な）空間 クラスタを成さ ない 軌跡もある ラベル付け GMMでクラスタリング
前景／背景の判定 初期化処理 “軌跡空間”生成 クラスタリング 前景背景判定 クラスタごとに前景・背景ラベルを付与 動領域推定 Affine motion compactness compatibility boundary surroundedness (軌跡空間)
動領域推定 初期化処理 “軌跡空間”生成 クラスタリング 前景背景判定 この時点では動領域・背景領域ラベルは各特徴点単位 動領域推定 画素単位での領域を推定 ターミナル： ノード： ラベル付いた特徴 画素 点 MRF segmentation sparse label dense label 直前での 軌跡モデ ル 背景モデ ル 背景のアピアランスモデル Bayesian filterによる背景モデルの推定・更新
評価実験
評価方法 • 比較手法 • 提案手法1： 映像の1フレーム目に動領域の正解を指定する • 提案手法2： 正解を指定しない • Sheikhらの手法[15] • Kwakらの手法[9] • 評価データ • Hopkins 155 dataset • 長時間映像（460フレーム程度） • 評価方法 • 画素単位の前景・背景のprecision / recall
評価結果 提案手法1 Sheikhら[15] cars1 people1 脚部分で未検出 optical flowの精度が低いため （画面左から）新たに出てき た人 people2 従来手法では難しい tennis ボールも検出
評価結果 Hopkins 155 data set 長時間映像 source cars1 people1 people2 tennis drive Prec. Rec. F-val Prec. Rec. F-val Prec. Rec. F-val Prec. Rec. F-val Prec. Rec. F-val 提案1 .84 .99 .91 .94 .85 .89 .69 .88 .77 .86 .92 .89 .55 .95 .70 提案2 .85 .97 .90 .97 .88 .92 .87 .88 .88 .90 .81 .85 .60 .67 .63 Sheikh .63 .99 .77 .78 .63 .70 .73 .83 .78 .27 .83 .40 .02 .66 .04 ら Kwakら .92 .84 .88 .95 .93 .94 .85 .89 .86 - - - - - - • 多くでF値が1位か僅差の2位 • 一部データでは精度が低下する例も • 長時間の映像でも高精度
結果の例
結果の例
結果の例
まとめ • 二つの（既存）アプローチの融合という新しい手法 • 軌跡をつかったセグメンテーション • Bayesian filterで前景をモデル化 • 高精度な非固定カメラからの前景領域抽出を達成 • Bayesian filterで背景画像も推定できる

Recommended

SSII2021 [TS1] Visual SLAM ～カメラ幾何の基礎から最近の技術動向まで～
SSII2021 [TS1] Visual SLAM ～カメラ幾何の基礎から最近の技術動向まで～SSII2021 [TS1] Visual SLAM ～カメラ幾何の基礎から最近の技術動向まで～
SSII2021 [TS1] Visual SLAM ～カメラ幾何の基礎から最近の技術動向まで～
SSII
 
SLAMチュートリアル大会資料(ORB-SLAM)
SLAMチュートリアル大会資料(ORB-SLAM)SLAMチュートリアル大会資料(ORB-SLAM)
SLAMチュートリアル大会資料(ORB-SLAM)
Masaya Kaneko
 
LSD-SLAM:Large Scale Direct Monocular SLAM
LSD-SLAM:Large Scale Direct Monocular SLAMLSD-SLAM:Large Scale Direct Monocular SLAM
LSD-SLAM:Large Scale Direct Monocular SLAM
EndoYuuki
 
CNN-SLAMざっくり
CNN-SLAMざっくりCNN-SLAMざっくり
CNN-SLAMざっくり
EndoYuuki
 
SLAM勉強会（3） LSD-SLAM
SLAM勉強会（3） LSD-SLAMSLAM勉強会（3） LSD-SLAM
SLAM勉強会（3） LSD-SLAM
Iwami Kazuya
 
SLAM勉強会(PTAM)
SLAM勉強会(PTAM)SLAM勉強会(PTAM)
SLAM勉強会(PTAM)
Masaya Kaneko
 
SSII2019TS: 実践カメラキャリブレーション ～カメラを用いた実世界計測の基礎と応用～
SSII2019TS: 実践カメラキャリブレーション ～カメラを用いた実世界計測の基礎と応用～SSII2019TS: 実践カメラキャリブレーション ～カメラを用いた実世界計測の基礎と応用～
SSII2019TS: 実践カメラキャリブレーション ～カメラを用いた実世界計測の基礎と応用～
SSII
 
SSII2021 [OS3] 広域環境の3D計測と認識 ～ 人が活動する場のセンシングとモデル化 ～（オーガナイザーによる冒頭の導入）
SSII2021 [OS3] 広域環境の3D計測と認識 ～ 人が活動する場のセンシングとモデル化 ～（オーガナイザーによる冒頭の導入）SSII2021 [OS3] 広域環境の3D計測と認識 ～ 人が活動する場のセンシングとモデル化 ～（オーガナイザーによる冒頭の導入）
SSII2021 [OS3] 広域環境の3D計測と認識 ～ 人が活動する場のセンシングとモデル化 ～（オーガナイザーによる冒頭の導入）
SSII
 

Recommended

SSII2021 [TS1] Visual SLAM ～カメラ幾何の基礎から最近の技術動向まで～
SSII2021 [TS1] Visual SLAM ～カメラ幾何の基礎から最近の技術動向まで～SSII2021 [TS1] Visual SLAM ～カメラ幾何の基礎から最近の技術動向まで～
SSII2021 [TS1] Visual SLAM ～カメラ幾何の基礎から最近の技術動向まで～
SSII
 
SLAMチュートリアル大会資料(ORB-SLAM)
SLAMチュートリアル大会資料(ORB-SLAM)SLAMチュートリアル大会資料(ORB-SLAM)
SLAMチュートリアル大会資料(ORB-SLAM)
Masaya Kaneko
 
LSD-SLAM:Large Scale Direct Monocular SLAM
LSD-SLAM:Large Scale Direct Monocular SLAMLSD-SLAM:Large Scale Direct Monocular SLAM
LSD-SLAM:Large Scale Direct Monocular SLAM
EndoYuuki
 
CNN-SLAMざっくり
CNN-SLAMざっくりCNN-SLAMざっくり
CNN-SLAMざっくり
EndoYuuki
 
SLAM勉強会（3） LSD-SLAM
SLAM勉強会（3） LSD-SLAMSLAM勉強会（3） LSD-SLAM
SLAM勉強会（3） LSD-SLAM
Iwami Kazuya
 
SLAM勉強会(PTAM)
SLAM勉強会(PTAM)SLAM勉強会(PTAM)
SLAM勉強会(PTAM)
Masaya Kaneko
 
SSII2019TS: 実践カメラキャリブレーション ～カメラを用いた実世界計測の基礎と応用～
SSII2019TS: 実践カメラキャリブレーション ～カメラを用いた実世界計測の基礎と応用～SSII2019TS: 実践カメラキャリブレーション ～カメラを用いた実世界計測の基礎と応用～
SSII2019TS: 実践カメラキャリブレーション ～カメラを用いた実世界計測の基礎と応用～
SSII
 
SSII2021 [OS3] 広域環境の3D計測と認識 ～ 人が活動する場のセンシングとモデル化 ～（オーガナイザーによる冒頭の導入）
SSII2021 [OS3] 広域環境の3D計測と認識 ～ 人が活動する場のセンシングとモデル化 ～（オーガナイザーによる冒頭の導入）SSII2021 [OS3] 広域環境の3D計測と認識 ～ 人が活動する場のセンシングとモデル化 ～（オーガナイザーによる冒頭の導入）
SSII2021 [OS3] 広域環境の3D計測と認識 ～ 人が活動する場のセンシングとモデル化 ～（オーガナイザーによる冒頭の導入）
SSII
 
Visual SLAM: Why Bundle Adjust?の解説（第4回3D勉強会@関東）
Visual SLAM: Why Bundle Adjust?の解説（第4回3D勉強会@関東）Visual SLAM: Why Bundle Adjust?の解説（第4回3D勉強会@関東）
Visual SLAM: Why Bundle Adjust?の解説（第4回3D勉強会@関東）
Masaya Kaneko
 
第41回関東CV勉強会 CNN-SLAM
第41回関東CV勉強会 CNN-SLAM第41回関東CV勉強会 CNN-SLAM
第41回関東CV勉強会 CNN-SLAM
邦洋 長谷川
 
SSII2019TS: 実践カメラキャリブレーション ～カメラを用いた実世界計測の基礎と応用～
SSII2019TS: 実践カメラキャリブレーション ～カメラを用いた実世界計測の基礎と応用～SSII2019TS: 実践カメラキャリブレーション ～カメラを用いた実世界計測の基礎と応用～
SSII2019TS: 実践カメラキャリブレーション ～カメラを用いた実世界計測の基礎と応用～
SSII
 
Neural scene representation and rendering の解説（第3回3D勉強会@関東）
Neural scene representation and rendering の解説（第3回3D勉強会@関東）Neural scene representation and rendering の解説（第3回3D勉強会@関東）
Neural scene representation and rendering の解説（第3回3D勉強会@関東）
Masaya Kaneko
 
Camera calibration
Camera calibrationCamera calibration
Camera calibration
Takahashi Kosuke
 
三次元点群処理ライブラリPCLと 統合ロボットシステム研究での 利用例の紹介
三次元点群処理ライブラリPCLと 統合ロボットシステム研究での 利用例の紹介三次元点群処理ライブラリPCLと 統合ロボットシステム研究での 利用例の紹介
三次元点群処理ライブラリPCLと 統合ロボットシステム研究での 利用例の紹介
Ryohei Ueda
 
[DL輪読会] Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields
[DL輪読会] Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields [DL輪読会] Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields
[DL輪読会] Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields
Deep Learning JP
 
画像認識の初歩、SIFT,SURF特徴量
画像認識の初歩、SIFT,SURF特徴量画像認識の初歩、SIFT,SURF特徴量
画像認識の初歩、SIFT,SURF特徴量takaya imai
 
Robust Vehicle Localization in Urban Environments Using Probabilistic Maps
Robust Vehicle Localization in Urban Environments Using Probabilistic MapsRobust Vehicle Localization in Urban Environments Using Probabilistic Maps
Robust Vehicle Localization in Urban Environments Using Probabilistic Maps
Kitsukawa Yuki
 
[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
Deep Learning JP
 
SSII2018TS: コンピュテーショナルイルミネーション
SSII2018TS: コンピュテーショナルイルミネーションSSII2018TS: コンピュテーショナルイルミネーション
SSII2018TS: コンピュテーショナルイルミネーション
SSII
 
CVPR2019読み会 "A Theory of Fermat Paths for Non-Line-of-Sight Shape Reconstruc...
CVPR2019読み会 "A Theory of Fermat Paths for Non-Line-of-Sight Shape Reconstruc...CVPR2019読み会 "A Theory of Fermat Paths for Non-Line-of-Sight Shape Reconstruc...
CVPR2019読み会 "A Theory of Fermat Paths for Non-Line-of-Sight Shape Reconstruc...
Hajime Mihara
 
[DL輪読会]VNect: Real-time 3D Human Pose Estimation with a Single RGB Camera
[DL輪読会]VNect: Real-time 3D Human Pose Estimation with a Single RGB Camera[DL輪読会]VNect: Real-time 3D Human Pose Estimation with a Single RGB Camera
[DL輪読会]VNect: Real-time 3D Human Pose Estimation with a Single RGB Camera
Deep Learning JP
 
輪読発表資料: Efficient Virtual Shadow Maps for Many Lights
輪読発表資料: Efficient Virtual Shadow Maps for Many Lights輪読発表資料: Efficient Virtual Shadow Maps for Many Lights
輪読発表資料: Efficient Virtual Shadow Maps for Many Lights
omochi64
 
Master Thesis
Master ThesisMaster Thesis
Master Thesis
Wataru Toishita
 
第18回コンピュータビジョン勉強会＠関東「ICCV祭り」発表資料（kanejaki）
第18回コンピュータビジョン勉強会＠関東「ICCV祭り」発表資料（kanejaki）第18回コンピュータビジョン勉強会＠関東「ICCV祭り」発表資料（kanejaki）
第18回コンピュータビジョン勉強会＠関東「ICCV祭り」発表資料（kanejaki）kanejaki
 
第８回関西CV・PRML勉強会（Meanshift）
第８回関西CV・PRML勉強会（Meanshift）第８回関西CV・PRML勉強会（Meanshift）
第８回関西CV・PRML勉強会（Meanshift）
Yutaka Yamada
 
ORB-SLAMの手法解説
ORB-SLAMの手法解説ORB-SLAMの手法解説
ORB-SLAMの手法解説
Masaya Kaneko
 
Scan Registration for Autonomous Mining Vehicles Using 3D-NDT
Scan Registration for Autonomous Mining Vehicles Using 3D-NDTScan Registration for Autonomous Mining Vehicles Using 3D-NDT
Scan Registration for Autonomous Mining Vehicles Using 3D-NDT
Kitsukawa Yuki
 
物体検出の歴史まとめ(1) 20180417
物体検出の歴史まとめ(1) 20180417物体検出の歴史まとめ(1) 20180417
物体検出の歴史まとめ(1) 20180417
Masakazu Shinoda
 
動画像を用いた経路予測手法の分類
動画像を用いた経路予測手法の分類動画像を用いた経路予測手法の分類
動画像を用いた経路予測手法の分類
Tsubasa Hirakawa
 
MIRU2018 tutorial
MIRU2018 tutorialMIRU2018 tutorial
MIRU2018 tutorial
Takayoshi Yamashita
 

More Related Content

What's hot

Visual SLAM: Why Bundle Adjust?の解説（第4回3D勉強会@関東）
Visual SLAM: Why Bundle Adjust?の解説（第4回3D勉強会@関東）Visual SLAM: Why Bundle Adjust?の解説（第4回3D勉強会@関東）
Visual SLAM: Why Bundle Adjust?の解説（第4回3D勉強会@関東）
Masaya Kaneko
 
第41回関東CV勉強会 CNN-SLAM
第41回関東CV勉強会 CNN-SLAM第41回関東CV勉強会 CNN-SLAM
第41回関東CV勉強会 CNN-SLAM
邦洋 長谷川
 
SSII2019TS: 実践カメラキャリブレーション ～カメラを用いた実世界計測の基礎と応用～
SSII2019TS: 実践カメラキャリブレーション ～カメラを用いた実世界計測の基礎と応用～SSII2019TS: 実践カメラキャリブレーション ～カメラを用いた実世界計測の基礎と応用～
SSII2019TS: 実践カメラキャリブレーション ～カメラを用いた実世界計測の基礎と応用～
SSII
 
Neural scene representation and rendering の解説（第3回3D勉強会@関東）
Neural scene representation and rendering の解説（第3回3D勉強会@関東）Neural scene representation and rendering の解説（第3回3D勉強会@関東）
Neural scene representation and rendering の解説（第3回3D勉強会@関東）
Masaya Kaneko
 
Camera calibration
Camera calibrationCamera calibration
Camera calibration
Takahashi Kosuke
 
三次元点群処理ライブラリPCLと 統合ロボットシステム研究での 利用例の紹介
三次元点群処理ライブラリPCLと 統合ロボットシステム研究での 利用例の紹介三次元点群処理ライブラリPCLと 統合ロボットシステム研究での 利用例の紹介
三次元点群処理ライブラリPCLと 統合ロボットシステム研究での 利用例の紹介
Ryohei Ueda
 
[DL輪読会] Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields
[DL輪読会] Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields [DL輪読会] Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields
[DL輪読会] Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields
Deep Learning JP
 
画像認識の初歩、SIFT,SURF特徴量
画像認識の初歩、SIFT,SURF特徴量画像認識の初歩、SIFT,SURF特徴量
画像認識の初歩、SIFT,SURF特徴量takaya imai
 
Robust Vehicle Localization in Urban Environments Using Probabilistic Maps
Robust Vehicle Localization in Urban Environments Using Probabilistic MapsRobust Vehicle Localization in Urban Environments Using Probabilistic Maps
Robust Vehicle Localization in Urban Environments Using Probabilistic Maps
Kitsukawa Yuki
 
[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
Deep Learning JP
 
SSII2018TS: コンピュテーショナルイルミネーション
SSII2018TS: コンピュテーショナルイルミネーションSSII2018TS: コンピュテーショナルイルミネーション
SSII2018TS: コンピュテーショナルイルミネーション
SSII
 
CVPR2019読み会 "A Theory of Fermat Paths for Non-Line-of-Sight Shape Reconstruc...
CVPR2019読み会 "A Theory of Fermat Paths for Non-Line-of-Sight Shape Reconstruc...CVPR2019読み会 "A Theory of Fermat Paths for Non-Line-of-Sight Shape Reconstruc...
CVPR2019読み会 "A Theory of Fermat Paths for Non-Line-of-Sight Shape Reconstruc...
Hajime Mihara
 
[DL輪読会]VNect: Real-time 3D Human Pose Estimation with a Single RGB Camera
[DL輪読会]VNect: Real-time 3D Human Pose Estimation with a Single RGB Camera[DL輪読会]VNect: Real-time 3D Human Pose Estimation with a Single RGB Camera
[DL輪読会]VNect: Real-time 3D Human Pose Estimation with a Single RGB Camera
Deep Learning JP
 
輪読発表資料: Efficient Virtual Shadow Maps for Many Lights
輪読発表資料: Efficient Virtual Shadow Maps for Many Lights輪読発表資料: Efficient Virtual Shadow Maps for Many Lights
輪読発表資料: Efficient Virtual Shadow Maps for Many Lights
omochi64
 
Master Thesis
Master ThesisMaster Thesis
Master Thesis
Wataru Toishita
 
第18回コンピュータビジョン勉強会＠関東「ICCV祭り」発表資料（kanejaki）
第18回コンピュータビジョン勉強会＠関東「ICCV祭り」発表資料（kanejaki）第18回コンピュータビジョン勉強会＠関東「ICCV祭り」発表資料（kanejaki）
第18回コンピュータビジョン勉強会＠関東「ICCV祭り」発表資料（kanejaki）kanejaki
 
第８回関西CV・PRML勉強会（Meanshift）
第８回関西CV・PRML勉強会（Meanshift）第８回関西CV・PRML勉強会（Meanshift）
第８回関西CV・PRML勉強会（Meanshift）
Yutaka Yamada
 
ORB-SLAMの手法解説
ORB-SLAMの手法解説ORB-SLAMの手法解説
ORB-SLAMの手法解説
Masaya Kaneko
 
Scan Registration for Autonomous Mining Vehicles Using 3D-NDT
Scan Registration for Autonomous Mining Vehicles Using 3D-NDTScan Registration for Autonomous Mining Vehicles Using 3D-NDT
Scan Registration for Autonomous Mining Vehicles Using 3D-NDT
Kitsukawa Yuki
 
物体検出の歴史まとめ(1) 20180417
物体検出の歴史まとめ(1) 20180417物体検出の歴史まとめ(1) 20180417
物体検出の歴史まとめ(1) 20180417
Masakazu Shinoda
 

What's hot (20)

Visual SLAM: Why Bundle Adjust?の解説（第4回3D勉強会@関東）
Visual SLAM: Why Bundle Adjust?の解説（第4回3D勉強会@関東）Visual SLAM: Why Bundle Adjust?の解説（第4回3D勉強会@関東）
Visual SLAM: Why Bundle Adjust?の解説（第4回3D勉強会@関東）
 
第41回関東CV勉強会 CNN-SLAM
第41回関東CV勉強会 CNN-SLAM第41回関東CV勉強会 CNN-SLAM
第41回関東CV勉強会 CNN-SLAM
 
SSII2019TS: 実践カメラキャリブレーション ～カメラを用いた実世界計測の基礎と応用～
SSII2019TS: 実践カメラキャリブレーション ～カメラを用いた実世界計測の基礎と応用～SSII2019TS: 実践カメラキャリブレーション ～カメラを用いた実世界計測の基礎と応用～
SSII2019TS: 実践カメラキャリブレーション ～カメラを用いた実世界計測の基礎と応用～
 
Neural scene representation and rendering の解説（第3回3D勉強会@関東）
Neural scene representation and rendering の解説（第3回3D勉強会@関東）Neural scene representation and rendering の解説（第3回3D勉強会@関東）
Neural scene representation and rendering の解説（第3回3D勉強会@関東）
 
Camera calibration
Camera calibrationCamera calibration
Camera calibration
 
三次元点群処理ライブラリPCLと 統合ロボットシステム研究での 利用例の紹介
三次元点群処理ライブラリPCLと 統合ロボットシステム研究での 利用例の紹介三次元点群処理ライブラリPCLと 統合ロボットシステム研究での 利用例の紹介
三次元点群処理ライブラリPCLと 統合ロボットシステム研究での 利用例の紹介
 
[DL輪読会] Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields
[DL輪読会] Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields [DL輪読会] Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields
[DL輪読会] Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields
 
画像認識の初歩、SIFT,SURF特徴量
画像認識の初歩、SIFT,SURF特徴量画像認識の初歩、SIFT,SURF特徴量
画像認識の初歩、SIFT,SURF特徴量
 
Robust Vehicle Localization in Urban Environments Using Probabilistic Maps
Robust Vehicle Localization in Urban Environments Using Probabilistic MapsRobust Vehicle Localization in Urban Environments Using Probabilistic Maps
Robust Vehicle Localization in Urban Environments Using Probabilistic Maps
 
[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
[DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
 
SSII2018TS: コンピュテーショナルイルミネーション
SSII2018TS: コンピュテーショナルイルミネーションSSII2018TS: コンピュテーショナルイルミネーション
SSII2018TS: コンピュテーショナルイルミネーション
 
CVPR2019読み会 "A Theory of Fermat Paths for Non-Line-of-Sight Shape Reconstruc...
CVPR2019読み会 "A Theory of Fermat Paths for Non-Line-of-Sight Shape Reconstruc...CVPR2019読み会 "A Theory of Fermat Paths for Non-Line-of-Sight Shape Reconstruc...
CVPR2019読み会 "A Theory of Fermat Paths for Non-Line-of-Sight Shape Reconstruc...
 
[DL輪読会]VNect: Real-time 3D Human Pose Estimation with a Single RGB Camera
[DL輪読会]VNect: Real-time 3D Human Pose Estimation with a Single RGB Camera[DL輪読会]VNect: Real-time 3D Human Pose Estimation with a Single RGB Camera
[DL輪読会]VNect: Real-time 3D Human Pose Estimation with a Single RGB Camera
 
輪読発表資料: Efficient Virtual Shadow Maps for Many Lights
輪読発表資料: Efficient Virtual Shadow Maps for Many Lights輪読発表資料: Efficient Virtual Shadow Maps for Many Lights
輪読発表資料: Efficient Virtual Shadow Maps for Many Lights
 
Master Thesis
Master ThesisMaster Thesis
Master Thesis
 
第18回コンピュータビジョン勉強会＠関東「ICCV祭り」発表資料（kanejaki）
第18回コンピュータビジョン勉強会＠関東「ICCV祭り」発表資料（kanejaki）第18回コンピュータビジョン勉強会＠関東「ICCV祭り」発表資料（kanejaki）
第18回コンピュータビジョン勉強会＠関東「ICCV祭り」発表資料（kanejaki）
 
第８回関西CV・PRML勉強会（Meanshift）
第８回関西CV・PRML勉強会（Meanshift）第８回関西CV・PRML勉強会（Meanshift）
第８回関西CV・PRML勉強会（Meanshift）
 
ORB-SLAMの手法解説
ORB-SLAMの手法解説ORB-SLAMの手法解説
ORB-SLAMの手法解説
 
Scan Registration for Autonomous Mining Vehicles Using 3D-NDT
Scan Registration for Autonomous Mining Vehicles Using 3D-NDTScan Registration for Autonomous Mining Vehicles Using 3D-NDT
Scan Registration for Autonomous Mining Vehicles Using 3D-NDT
 
物体検出の歴史まとめ(1) 20180417
物体検出の歴史まとめ(1) 20180417物体検出の歴史まとめ(1) 20180417
物体検出の歴史まとめ(1) 20180417
 

Similar to Online moving camera_background_subtraction

動画像を用いた経路予測手法の分類
動画像を用いた経路予測手法の分類動画像を用いた経路予測手法の分類
動画像を用いた経路予測手法の分類
Tsubasa Hirakawa
 
MIRU2018 tutorial
MIRU2018 tutorialMIRU2018 tutorial
MIRU2018 tutorial
Takayoshi Yamashita
 
SSD: Single Shot MultiBox Detector (ECCV2016)
SSD: Single Shot MultiBox Detector (ECCV2016)SSD: Single Shot MultiBox Detector (ECCV2016)
SSD: Single Shot MultiBox Detector (ECCV2016)
Takanori Ogata
 
動画認識サーベイv1（メタサーベイ ）
動画認識サーベイv1（メタサーベイ ）動画認識サーベイv1（メタサーベイ ）
動画認識サーベイv1（メタサーベイ ）
cvpaper. challenge
 
人間の視覚的注意を予測するモデル － 動的ベイジアンネットワークに基づく 最新のアプローチ －
人間の視覚的注意を予測するモデル － 動的ベイジアンネットワークに基づく 最新のアプローチ －人間の視覚的注意を予測するモデル － 動的ベイジアンネットワークに基づく 最新のアプローチ －
人間の視覚的注意を予測するモデル － 動的ベイジアンネットワークに基づく 最新のアプローチ －
Akisato Kimura
 
[DL輪読会]SOLAR: Deep Structured Representations for Model-Based Reinforcement L...
[DL輪読会]SOLAR: Deep Structured Representations for Model-Based Reinforcement L...[DL輪読会]SOLAR: Deep Structured Representations for Model-Based Reinforcement L...
[DL輪読会]SOLAR: Deep Structured Representations for Model-Based Reinforcement L...
Deep Learning JP
 
[DL輪読会]LightTrack: A Generic Framework for Online Top-Down Human Pose Tracking
[DL輪読会]LightTrack: A Generic Framework for Online Top-Down Human Pose Tracking[DL輪読会]LightTrack: A Generic Framework for Online Top-Down Human Pose Tracking
[DL輪読会]LightTrack: A Generic Framework for Online Top-Down Human Pose Tracking
Deep Learning JP
 
IEEE ITSS Nagoya Chapter
IEEE ITSS Nagoya ChapterIEEE ITSS Nagoya Chapter
IEEE ITSS Nagoya Chapter
Takayoshi Yamashita
 
CVPR2019 読み会「Understanding the Limitations of CNN-based Absolute Camera Pose ...
CVPR2019 読み会「Understanding the Limitations of CNN-based Absolute Camera Pose ...CVPR2019 読み会「Understanding the Limitations of CNN-based Absolute Camera Pose ...
CVPR2019 読み会「Understanding the Limitations of CNN-based Absolute Camera Pose ...
Sho Kagami
 
DeepLearningDay2016Summer
DeepLearningDay2016SummerDeepLearningDay2016Summer
DeepLearningDay2016Summer
Takayoshi Yamashita
 
【チュートリアル】コンピュータビジョンによる動画認識 v2
【チュートリアル】コンピュータビジョンによる動画認識 v2【チュートリアル】コンピュータビジョンによる動画認識 v2
【チュートリアル】コンピュータビジョンによる動画認識 v2
Hirokatsu Kataoka
 
データマイニング勉強会3
データマイニング勉強会3データマイニング勉強会3
データマイニング勉強会3Yohei Sato
 
【チュートリアル】動的な人物・物体認識技術 -Dense Trajectories-
【チュートリアル】動的な人物・物体認識技術 -Dense Trajectories-【チュートリアル】動的な人物・物体認識技術 -Dense Trajectories-
【チュートリアル】動的な人物・物体認識技術 -Dense Trajectories-
Hirokatsu Kataoka
 
複数のGNSSを用いたポーズグラフ最適化
複数のGNSSを用いたポーズグラフ最適化複数のGNSSを用いたポーズグラフ最適化
複数のGNSSを用いたポーズグラフ最適化
TaroSuzuki15
 
Structured Light 技術俯瞰
Structured Light 技術俯瞰Structured Light 技術俯瞰
Structured Light 技術俯瞰
Teppei Kurita
 
これからのコンピュータビジョン技術 - cvpaper.challenge in PRMU Grand Challenge 2016 (PRMU研究会 2...
これからのコンピュータビジョン技術 - cvpaper.challenge in PRMU Grand Challenge 2016 (PRMU研究会 2...これからのコンピュータビジョン技術 - cvpaper.challenge in PRMU Grand Challenge 2016 (PRMU研究会 2...
これからのコンピュータビジョン技術 - cvpaper.challenge in PRMU Grand Challenge 2016 (PRMU研究会 2...
cvpaper. challenge
 
20110109第8回CV勉強会（ミーンシフトの原理と応用：6章・7章）shirasy）
20110109第8回CV勉強会（ミーンシフトの原理と応用：6章・7章）shirasy）20110109第8回CV勉強会（ミーンシフトの原理と応用：6章・7章）shirasy）
20110109第8回CV勉強会（ミーンシフトの原理と応用：6章・7章）shirasy）Yoichi Shirasawa
 
論文読み会(DeMoN;CVPR2017)
論文読み会(DeMoN;CVPR2017)論文読み会(DeMoN;CVPR2017)
論文読み会(DeMoN;CVPR2017)
Masaya Kaneko
 
状態空間モデルの実行方法と実行環境の比較
状態空間モデルの実行方法と実行環境の比較状態空間モデルの実行方法と実行環境の比較
状態空間モデルの実行方法と実行環境の比較
Hiroki Itô
 

Similar to Online moving camera_background_subtraction (20)

動画像を用いた経路予測手法の分類
動画像を用いた経路予測手法の分類動画像を用いた経路予測手法の分類
動画像を用いた経路予測手法の分類
 
MIRU2018 tutorial
MIRU2018 tutorialMIRU2018 tutorial
MIRU2018 tutorial
 
SSD: Single Shot MultiBox Detector (ECCV2016)
SSD: Single Shot MultiBox Detector (ECCV2016)SSD: Single Shot MultiBox Detector (ECCV2016)
SSD: Single Shot MultiBox Detector (ECCV2016)
 
動画認識サーベイv1（メタサーベイ ）
動画認識サーベイv1（メタサーベイ ）動画認識サーベイv1（メタサーベイ ）
動画認識サーベイv1（メタサーベイ ）
 
人間の視覚的注意を予測するモデル － 動的ベイジアンネットワークに基づく 最新のアプローチ －
人間の視覚的注意を予測するモデル － 動的ベイジアンネットワークに基づく 最新のアプローチ －人間の視覚的注意を予測するモデル － 動的ベイジアンネットワークに基づく 最新のアプローチ －
人間の視覚的注意を予測するモデル － 動的ベイジアンネットワークに基づく 最新のアプローチ －
 
[DL輪読会]SOLAR: Deep Structured Representations for Model-Based Reinforcement L...
[DL輪読会]SOLAR: Deep Structured Representations for Model-Based Reinforcement L...[DL輪読会]SOLAR: Deep Structured Representations for Model-Based Reinforcement L...
[DL輪読会]SOLAR: Deep Structured Representations for Model-Based Reinforcement L...
 
[DL輪読会]LightTrack: A Generic Framework for Online Top-Down Human Pose Tracking
[DL輪読会]LightTrack: A Generic Framework for Online Top-Down Human Pose Tracking[DL輪読会]LightTrack: A Generic Framework for Online Top-Down Human Pose Tracking
[DL輪読会]LightTrack: A Generic Framework for Online Top-Down Human Pose Tracking
 
IEEE ITSS Nagoya Chapter
IEEE ITSS Nagoya ChapterIEEE ITSS Nagoya Chapter
IEEE ITSS Nagoya Chapter
 
CVPR2019 読み会「Understanding the Limitations of CNN-based Absolute Camera Pose ...
CVPR2019 読み会「Understanding the Limitations of CNN-based Absolute Camera Pose ...CVPR2019 読み会「Understanding the Limitations of CNN-based Absolute Camera Pose ...
CVPR2019 読み会「Understanding the Limitations of CNN-based Absolute Camera Pose ...
 
DeepLearningDay2016Summer
DeepLearningDay2016SummerDeepLearningDay2016Summer
DeepLearningDay2016Summer
 
【チュートリアル】コンピュータビジョンによる動画認識 v2
【チュートリアル】コンピュータビジョンによる動画認識 v2【チュートリアル】コンピュータビジョンによる動画認識 v2
【チュートリアル】コンピュータビジョンによる動画認識 v2
 
データマイニング勉強会3
データマイニング勉強会3データマイニング勉強会3
データマイニング勉強会3
 
【チュートリアル】動的な人物・物体認識技術 -Dense Trajectories-
【チュートリアル】動的な人物・物体認識技術 -Dense Trajectories-【チュートリアル】動的な人物・物体認識技術 -Dense Trajectories-
【チュートリアル】動的な人物・物体認識技術 -Dense Trajectories-
 
複数のGNSSを用いたポーズグラフ最適化
複数のGNSSを用いたポーズグラフ最適化複数のGNSSを用いたポーズグラフ最適化
複数のGNSSを用いたポーズグラフ最適化
 
Structured Light 技術俯瞰
Structured Light 技術俯瞰Structured Light 技術俯瞰
Structured Light 技術俯瞰
 
これからのコンピュータビジョン技術 - cvpaper.challenge in PRMU Grand Challenge 2016 (PRMU研究会 2...
これからのコンピュータビジョン技術 - cvpaper.challenge in PRMU Grand Challenge 2016 (PRMU研究会 2...これからのコンピュータビジョン技術 - cvpaper.challenge in PRMU Grand Challenge 2016 (PRMU研究会 2...
これからのコンピュータビジョン技術 - cvpaper.challenge in PRMU Grand Challenge 2016 (PRMU研究会 2...
 
20110109第8回CV勉強会（ミーンシフトの原理と応用：6章・7章）shirasy）
20110109第8回CV勉強会（ミーンシフトの原理と応用：6章・7章）shirasy）20110109第8回CV勉強会（ミーンシフトの原理と応用：6章・7章）shirasy）
20110109第8回CV勉強会（ミーンシフトの原理と応用：6章・7章）shirasy）
 
論文読み会(DeMoN;CVPR2017)
論文読み会(DeMoN;CVPR2017)論文読み会(DeMoN;CVPR2017)
論文読み会(DeMoN;CVPR2017)
 
状態空間モデルの実行方法と実行環境の比較
状態空間モデルの実行方法と実行環境の比較状態空間モデルの実行方法と実行環境の比較
状態空間モデルの実行方法と実行環境の比較
 
PIRF-NAV2
PIRF-NAV2PIRF-NAV2
PIRF-NAV2
 

Online moving camera_background_subtraction

  • 1. Online Moving Camera Background Subtraction Ali Elqursh, Ahmed Elgammal (Rutgers University, US) @ECCV2012 Poster 2012/12/16 コンピュータビジョン勉強会＠関東 @sakanazensen
  • 2. 自己紹介 • @sakanazensen • さかな前線: daily.belltail.jp • 鈴尾 大地(Daichi SUZUO) • 名古屋大学 村瀬研 M1 – 名古屋から一泊で来ました – #就活こわい • #内定くださいJP • nagoyacv幹事（2代目） • CV Advent Calendarやってます！
  • 3. 自己紹介 • @sakanazensen • さかな前線: daily.belltail.jp • 鈴尾 大地(Daichi SUZUO) • 名古屋大学 村瀬研 M1 – 名古屋から一泊で来ました – #就活こわい • #内定くださいJP • nagoyacv幹事（2代目） • CV Advent Calendarやってます！
  • 8. 紹介する論文 • “Online Moving Camera Background Subtraction” • Ali Elqursh, Ahmed Elgammal (Rutgers University) • プロジェクトページ: http://paul.rutgers.edu/~elqursh/projects/bsmc/index.shtml • paperとポスターがあります • youtube: http://www.youtube.com/watch?v=DmxT1LexlsY • デモ動画
  • 10. やりたいこと • Online – 逐次入力しながら – オフラインな手法では… • 全部読み込んで前景モデルつくって推定、とか
  • 11. やりたいこと • Online – 逐次入力しながら – オフラインな手法では… • 全部読み込んで前景モデルつくって推定、とか • Moving Camera – 非固定カメラ – handheld camera – in-vehicle camera
  • 12. やりたいこと • Online – 逐次入力しながら – オフラインな手法では… • 全部読み込んで前景モデルつくって推定、とか • Moving Camera – 非固定カメラ – handheld camera – in-vehicle camera • Background Subtraction – 前景領域抽出 – denseに（＝画素単位で）動領域を推定 – （前景抽出というタスクを指して”背景差分”と言いますかそうで すか…）
  • 13. アプローチ • Optical Flow[18]をつなげたtrajectories(軌跡)を 領域セグメンテーションに利用[3] – [3] Brox, T., Malik, J. ”Object Segmentation by Long Term Analysis of Point Trajectories,” ECCV 2010 – [18] Sundaram N., Brox T., Keutzer K., "Dense Point Trajectries by GPU- Accelerated Large Displacement Optical Flow," ECCV2010 • Bayesian filterで軌跡をモデル化[9] – 時間変化に応じてモデルを更新する – 長時間の映像でも安定して前景抽出 – [9] Kwak, S., Lim, T., Nam, W., Han, B., Hee, J. ”Generalized Background Subtraction Based on Hybrid Inference by Belief Propagation and Bayesian Filtering,” ICCV 2011
  • 15. 処理の流れ 初期化処理 （次フレーム入力） “軌跡空間”生成 クラスタリング 前景背景判定 動領域推定
  • 16. 処理の流れ 初期化処理 初期数フレームの動領域推定： （次フレーム入力） optical flowと画像のみで推定 “軌跡空間”生成 クラスタリング 前景背景判定 動領域推定
  • 17. 処理の流れ optical flowによ 初期化処理 る 時間方向の軌跡 （次フレーム入力） “軌跡空間”生成 クラスタリング 1軌跡が 1点に対応 前景背景判定 動領域推定 軌跡を写像した空間
  • 18. 処理の流れ 初期化処理 （次フレーム入力） GMMでクラスタリング “軌跡空間”生成 （似た軌跡をグループ化） クラスタリング 前景背景判定 動領域推定
  • 19. 処理の流れ 各クラスタが前景か背景か判定 初期化処理 （次フレーム入力） “軌跡空間”生成 画像上での判定 クラスタリング 前景背景判定 動領域推定 軌跡での判定
  • 20. 処理の流れ 動領域を密に推定 初期化処理 （次フレーム入力） “軌跡空間”生成 クラスタリング 前景背景判定 動領域推定 さらに、背景・前景の確率モデルを構築・更新
  • 22. 初期化処理 初期化処理 “軌跡空間”生成 クラスタリング 前景背景判定 映像の最初：軌跡の長さが短く、GMMできない 動領域推定 画像とoptical flowのみで動領域推定 各ノードは画素に対応 平滑化項：輝度差 データ項：軌跡 MRFの構築 optical flow graph cutsで分離 ※カメラの動きに伴い新しく出現した部分にも同様の処理
  • 23. “軌跡空間”の生成 初期化処理 “軌跡空間”生成 クラスタリング 前景背景判定 動領域推定 • 軌跡同士の類似尺度を定義： 特徴点の軌跡
  • 24. クラスタリング 初期化処理 “軌跡空間”生成 クラスタリング 前景背景判定 動領域推定 似た動きの軌跡 が 多様体をなす 特徴点の軌跡 軌跡の（仮想的な）空間 クラスタを成さ ない 軌跡もある ラベル付け GMMでクラスタリング
  • 25. 前景／背景の判定 初期化処理 “軌跡空間”生成 クラスタリング 前景背景判定 クラスタごとに前景・背景ラベルを付与 動領域推定 Affine motion compactness compatibility boundary surroundedness (軌跡空間)
  • 26. 動領域推定 初期化処理 “軌跡空間”生成 クラスタリング 前景背景判定 この時点では動領域・背景領域ラベルは各特徴点単位 動領域推定 画素単位での領域を推定 ターミナル： ノード： ラベル付いた特徴 画素 点 MRF segmentation sparse label dense label 直前での 軌跡モデ ル 背景モデ ル 背景のアピアランスモデル Bayesian filterによる背景モデルの推定・更新
  • 28. 評価方法 • 比較手法 • 提案手法1： 映像の1フレーム目に動領域の正解を指定する • 提案手法2： 正解を指定しない • Sheikhらの手法[15] • Kwakらの手法[9] • 評価データ • Hopkins 155 dataset • 長時間映像（460フレーム程度） • 評価方法 • 画素単位の前景・背景のprecision / recall
  • 29. 評価結果 提案手法1 Sheikhら[15] cars1 people1 脚部分で未検出 optical flowの精度が低いため （画面左から）新たに出てき た人 people2 従来手法では難しい tennis ボールも検出
  • 30. 評価結果 Hopkins 155 data set 長時間映像 source cars1 people1 people2 tennis drive Prec. Rec. F-val Prec. Rec. F-val Prec. Rec. F-val Prec. Rec. F-val Prec. Rec. F-val 提案1 .84 .99 .91 .94 .85 .89 .69 .88 .77 .86 .92 .89 .55 .95 .70 提案2 .85 .97 .90 .97 .88 .92 .87 .88 .88 .90 .81 .85 .60 .67 .63 Sheikh .63 .99 .77 .78 .63 .70 .73 .83 .78 .27 .83 .40 .02 .66 .04 ら Kwakら .92 .84 .88 .95 .93 .94 .85 .89 .86 - - - - - - • 多くでF値が1位か僅差の2位 • 一部データでは精度が低下する例も • 長時間の映像でも高精度
  • 34. まとめ • 二つの（既存）アプローチの融合という新しい手法 • 軌跡をつかったセグメンテーション • Bayesian filterで前景をモデル化 • 高精度な非固定カメラからの前景領域抽出を達成 • Bayesian filterで背景画像も推定できる