[CVPR読み会]BING:Binarized normed gradients for objectness estimation at 300fps
•
26 likes•10,925 views
Recommended
More Related Content
What's hot
What's hot (20)
More from Takuya Minagawa
More from Takuya Minagawa (20)
Recently uploaded
Recently uploaded (12)
[CVPR読み会]BING:Binarized normed gradients for objectness estimation at 300fps
- 2. 自己紹介 2 テクニカル・ソリューション・アーキテクト 皆川 卓也（みながわ たくや） フリーエンジニア（ビジョン＆ITラボ） 「コンピュータビジョン勉強会＠関東」主催 博士（工学） テクニカル・ソリューション・アーキテクト 皆川 卓也（みながわ たくや） フリーエンジニア（ビジョン＆ITラボ） 「コンピュータビジョン勉強会＠関東」主催 博士（工学） 略歴： 1999-2003年 日本HP（後にアジレント・テクノロジーへ分社）にて、ITエンジニアとしてシステム構築、プリ セールス、プロジェクトマネジメント、サポート等の業務に従事 2004-2009年 コンピュータビジョンを用いたシステム/アプリ/サービス開発等に従事 2007-2010年 慶應義塾大学大学院 後期博士課程にて、コンピュータビジョンを専攻 単位取得退学後、博士号取得（2014年） 2009年-現在 フリーランスとして、コンピュータビジョンのコンサル/研究/開発等に従事
- 3. 紹介する研究 “BING: Binarized Normed Gradients for Objectness Estimation at 300fps” Ming-Ming Cheng Ziming Zhang Wen-Yan Lin Philip Torr
- 5. Objectness検出 要件： 高い検出率 一度検出できなかったものは、後処理で取り返せない。 Objectnessの候補数は少ないほうが望ましい 計算時間に影響 計算が早い 応用範囲を広げるため 汎用的に使える 学習していないカテゴリにも対応
- 6. Objectness検出 従来法： 顕著性とかセグメンテーションとか識 別器とかカスケード使って処理速度を 改善しつつ検出率を高めようとしてき た 本手法： 従来法よりもアルゴリズムがシンプル で高速で検出率が高い
- 9. NG特徴を用いたObjectness検出 勾配画像を様々なサイズにリサイズし、フィルターを畳み込む だけ！ NG特徴 フィルター 𝑠𝑙 = 𝒘, 𝒈𝑙 (1) SVMで学習
- 10. NG特徴を用いたObjectness検出 サイズごとにスコアを補正 𝑜𝑙 = 𝑣𝑖 ∙ 𝑠𝑙 + 𝑡𝑖 (3) 𝑠𝑙 = 𝒘, 𝒈𝑙 (1) 最終スコア サイズごとの補正値 𝑖 SVMで学習
- 11. BING: Binarized normed gradients NG特徴をバイナリ化することで検出を高速化 𝑠𝑙 = 𝒘, 𝒈𝑙 (1) バイナリ化 𝒘 ≈ 𝑗=1 𝑁 𝑤 𝛽𝒋 𝒂𝑗 𝒈𝑙 ≈ 𝑘=1 𝑁 𝑔 28−𝑘 𝒃 𝑘,𝑙 (5) 𝒂𝑗 ∈ −1, +1 8×8 𝒃 𝑘,𝑙 ∈ 0,1 8×8
- 12. フィルターのバイナリ化 NG特徴をバイナリ化することで検出を高速化 𝑠𝑙 = 𝒘, 𝒈𝑙 (1) バイナリ化 𝒘 ≈ 𝑗=1 𝑁 𝑤 𝛽𝒋 𝒂𝑗 𝒈𝑙 ≈ 𝑘=1 𝑁 𝑔 28−𝑘 𝒃 𝑘,𝑙 (5) 𝒂𝑗 ∈ −1, +1 8×8 𝒃 𝑘,𝑙 ∈ 0,1 8×8
- 13. フィルターのバイナリ化 𝒘 ≈ 𝑗=1 𝑁 𝑤 𝛽𝒋 𝒂𝑗 𝒂𝑗 ∈ −1, +1 8×8
- 14. フィルターのバイナリ化 𝒘, 𝒈𝑙 ≈ 𝑗=1 𝑁 𝑤 𝛽𝑗 2 𝒂𝑗 + , 𝒈𝑙 − 𝒈𝑙 𝒘 ≈ 𝑗=1 𝑁 𝑤 𝛽𝒋 𝒂𝑗 𝒂𝑗 ∈ −1, +1 8×8 𝒂𝑗 + = 0, +1 8×8 𝒂𝑗 = 2𝒂𝑗 + − 𝟏 (4)
- 15. NG特徴のバイナリ化 NG特徴をバイナリ化することで検出を高速化 𝑠𝑙 = 𝒘, 𝒈𝑙 (1) バイナリ化 𝒘 ≈ 𝑗=1 𝑁 𝑤 𝛽𝒋 𝒂𝑗 𝒈𝑙 ≈ 𝑘=1 𝑁 𝑔 28−𝑘 𝒃 𝑘,𝑙 (5) 𝒂𝑗 ∈ −1, +1 8×8 𝒃 𝑘,𝑙 ∈ 0,1 8×8
- 16. NG特徴のバイナリ化 𝒈𝑙 ≈ 𝑘=1 𝑁 𝑔 28−𝑘 𝒃 𝑘,𝑙 (5) 𝒃 𝑘,𝑙 ∈ 0,1 8×8 𝒈𝑙 ∈ 0, ⋯ , 255 8×8 グレースケール バイナリ 210 𝑁𝑔 = 4 の時 11010010 1101 画素値 bit列 頭4bit
- 17. NG特徴のバイナリ化 𝒈𝑙 ≈ 𝑘=1 𝑁 𝑔 28−𝑘 𝒃 𝑘,𝑙 (5) 𝒃 𝑘,𝑙 ∈ 0,1 8×8 𝒈𝑙 ∈ 0, ⋯ , 255 8×8 グレースケール バイナリ 210 ≈ 𝑘=1 𝑁 𝑔 28−𝑘 𝒃 𝑘,𝑙 = 1 ∗ 28−1 + 1 ∗ 28−2 +0 ∗ 28−3 +1 ∗ 28−4 210 𝑁𝑔 = 4 の時 11010010 1101bit列 頭4bit
- 18. NG特徴のバイナリ化 𝒃 𝑘,𝑙 ∈ 0,1 8×8 𝒈𝑙 ∈ 0, ⋯ , 255 8×8 グレースケール バイナリ 210 𝑁𝑔 = 4 の時 11010010 1101bit列 頭4bit 0 0 1 0 1 0 0 0 0 0 1 0 0 1 1 0 1 1 0 0 0 0 1 0 1 0 0 0 0 0 1 0 1 0 0 0 0 0 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 1 1 0 0 0 0 1 1 1 0 1 0 0 0 0 1 0 0 1 1 0 1 1 0 0 0 0 1 0 1 0 0 0 0 0 1 0 1 0 0 0 0 0 1 1 1 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 1 1 0 0 0 0 0 1 0 1 0 0 0 0 0 1 0 0 1 1 0 1 1 0 0 0 0 1 0 1 0 0 0 0 0 1 0 1 0 0 0 0 0 1 0 1 0 0 0 0 0 0 1 0 0 0 0 0 0 1 1 0 0 0 1 1 0 0 1 0 0 1 0 1 1 0 0 0 0 1 0 0 1 1 0 1 1 0 0 0 0 1 0 1 0 0 0 0 0 1 0 1 0 0 0 0 0 1 0 1 0 0 0 0 0 0 1 0 0 0 0 0 0 1 1 0 0 0 1 1 0 0 1 𝑁𝑔
- 19. バイナリフィルタとBING特徴の統合 𝒘, 𝒈𝑙 ≈ 𝑗=1 𝑁 𝑤 𝛽𝑗 2 𝒂𝑗 + , 𝒈𝑙 − 𝒈𝑙 𝒈𝑙 ≈ 𝑘=1 𝑁 𝑔 28−𝑘 𝒃 𝑘,𝑙 (5) 𝒘, 𝒈𝑙 ≈ 𝑗=1 𝑁 𝑤 𝛽𝑗 𝑘=1 𝑁 𝑔 28−𝑘 2 𝒂𝑗 + , 𝒃 𝑘,𝑙 − 𝒃 𝑘,𝑙 (4) (6) バイナリフィルタの畳み込み BING特徴
- 20. バイナリフィルタとBING特徴の統合 𝒘, 𝒈𝑙 ≈ 𝑗=1 𝑁 𝑤 𝛽𝑗 2 𝒂𝑗 + , 𝒈𝑙 − 𝒈𝑙 𝒈𝑙 ≈ 𝑘=1 𝑁 𝑔 28−𝑘 𝒃 𝑘,𝑙 (5) 𝒘, 𝒈𝑙 ≈ 𝑗=1 𝑁 𝑤 𝛽𝑗 𝑘=1 𝑁 𝑔 28−𝑘 2 𝒂𝑗 + , 𝒃 𝑘,𝑙 − 𝒃 𝑘,𝑙 (4) (6) バイナリフィルタの畳み込み BING特徴 POPCNTANDBIT SHIFTADD
- 21. 高速なBING特徴の取得 𝒘, 𝒈𝑙 ≈ 𝑗=1 𝑁 𝑤 𝛽𝑗 𝑘=1 𝑁 𝑔 28−𝑘 2 𝒂𝑗 + , 𝒃 𝑘,𝑙 − 𝒃 𝑘,𝑙 (6) 000010000111…… 00000… 000010000111…… 00000…000010000111…… 00000… 000010000111…… 00000… … リサイズされた勾配画像 バイナリ化された画像 BING特徴 （8x8） 各場所で取得
- 22. 高速なBING特徴の取得 0 0 1 0 1 1 0 0 1 0 0 0 0 1 0 0 1 1 0 0 0 0 1 1 0 0 0 0 1 0 0 0 1 0 1 1 0 0 0 0 1 1 1 0 1 0 0 0 0 0 1 1 0 0 0 1 0 0 0 0 0 1 0 0 0 1 1 0 0 0 0 0 0 0 0 1 0 0 0 0 0 1 1 0 0 1 0 0 0 0 0 0 0 0 1 0 1 1 1 0 0 0 1 1 0 0 0 0 1 1 0 0 1 1 0 0 0 0 0 0 1 ラスタスキャンでBING特徴を取得 𝒃 𝑥,𝑦: 64 bit を高速に求める
- 23. 高速なBING特徴の取得 0 0 1 0 1 1 0 0 1 0 0 0 0 1 0 0 1 1 0 0 0 0 1 1 0 0 0 0 1 0 0 0 1 0 1 1 0 0 0 0 1 1 1 0 1 0 0 0 0 0 1 1 0 0 0 1 0 0 0 0 0 1 0 0 0 1 1 0 0 0 0 0 0 0 0 1 0 0 0 0 0 1 1 0 0 1 0 0 0 0 0 0 0 0 1 0 1 1 1 0 0 0 1 1 0 0 0 0 1 1 0 0 1 1 0 0 0 0 0 0 1 ラスタスキャンでBING特徴を取得 𝒃 𝑥,𝑦: 64 bit を高速に求める 𝒓 𝑥,𝑦: 8 bit 𝑏 𝑥,𝑦: 1 bit
- 24. 高速なBING特徴の取得 0 0 1 0 1 1 0 0 1 0 0 0 0 1 0 0 1 1 0 0 0 0 1 1 0 0 0 0 1 0 0 0 1 0 1 1 0 0 0 0 1 1 1 0 1 0 0 0 0 0 1 1 0 0 0 1 0 0 0 0 0 1 0 0 0 1 1 0 0 0 0 0 0 0 0 1 0 0 0 0 0 1 1 0 0 1 0 0 0 0 0 0 0 0 1 0 1 1 1 0 0 0 1 1 0 0 0 0 1 1 0 0 1 1 0 0 0 0 0 0 1 ラスタスキャンでBING特徴を取得 𝒃 𝑥,𝑦: 64 bit を高速に求める 𝒓 𝑥,𝑦: 8 bit 𝑏 𝑥,𝑦: 1 bit 𝒓 𝑥−1,𝑦
- 25. 高速なBING特徴の取得 0 0 1 0 1 1 0 0 1 0 0 0 0 1 0 0 1 1 0 0 0 0 1 1 0 0 0 0 1 0 0 0 1 0 1 1 0 0 0 0 1 1 1 0 1 0 0 0 0 0 1 1 0 0 0 1 0 0 0 0 0 1 0 0 0 1 1 0 0 0 0 0 0 0 0 1 0 0 0 0 0 1 1 0 0 1 0 0 0 0 0 0 0 0 1 0 1 1 1 0 0 0 1 1 0 0 0 0 1 1 0 0 1 1 0 0 0 0 0 0 1 ラスタスキャンでBING特徴を取得 𝒃 𝑥,𝑦: 64 bit を高速に求める 𝒓 𝑥,𝑦 = (𝒓 𝑥−1,𝑦 ≪ 1)|𝑏 𝑥,𝑦
- 26. 高速なBING特徴の取得 0 0 1 0 1 1 0 0 1 0 0 0 0 1 0 0 1 1 0 0 0 0 1 1 0 0 0 0 1 0 0 0 1 0 1 1 0 0 0 0 1 1 1 0 1 0 0 0 0 0 1 1 0 0 0 1 0 0 0 0 0 1 0 0 0 1 1 0 0 0 0 0 0 0 0 1 0 0 0 0 0 1 1 0 0 1 0 0 0 0 0 0 0 0 1 0 1 1 1 0 0 0 1 1 0 0 0 0 1 1 0 0 1 1 0 0 0 0 0 0 1 ラスタスキャンでBING特徴を取得 𝒃 𝑥,𝑦: 64 bit 𝒓 𝑥,𝑦 = (𝒓 𝑥−1,𝑦 ≪ 1)|𝑏 𝑥,𝑦 𝒃 𝑥,𝑦−1
- 27. 高速なBING特徴の取得 0 0 1 0 1 1 0 0 1 0 0 0 0 1 0 0 1 1 0 0 0 0 1 1 0 0 0 0 1 0 0 0 1 0 1 1 0 0 0 0 1 1 1 0 1 0 0 0 0 0 1 1 0 0 0 1 0 0 0 0 0 1 0 0 0 1 1 0 0 0 0 0 0 0 0 1 0 0 0 0 0 1 1 0 0 1 0 0 0 0 0 0 0 0 1 0 1 1 1 0 0 0 1 1 0 0 0 0 1 1 0 0 1 1 0 0 0 0 0 0 1 ラスタスキャンでBING特徴を取得 𝒃 𝑥,𝑦 = (𝒃 𝑥,𝑦−1 ≪ 8)|𝒓 𝑥,𝑦 𝒓 𝑥,𝑦 = (𝒓 𝑥−1,𝑦 ≪ 1)|𝑏 𝑥,𝑦
- 28. 実験 PASCAL VOC 2007での成功例
- 30. 計算時間 処理時間：３００fps トレーニング：2501枚の訓練データで20秒 ラップトップ Intel i7-3940XM CPU オペレーションの平均回数
- 31. まとめ 閉じた輪郭を持つものを物体と仮定して、勾配画像より NG特徴を学習 NG特徴を用いたObjectness検出を高速に行うために、 バイナリ化（＝BING特徴） 従来法と比べて性能が良いだけでなく、処理速度も３桁 近く早い プロジェクトページ http://mmcheng.net/bing/ ソースコードあり