Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
CVPR 2015読み会
Unsupervised Object Discovery and
Localization in the Wild:
Part-Based Matching With Bottom-Up Region Proposa...
お前は誰だ?
~2014.3 博士(情報理工学)、東京大学
• 画像説明文の自動生成
• 大規模画像分類
2014.4~ NTT コミュニケーション科学基礎研究所
お前は誰だ?
~2014.3 博士(情報理工学)、東京大学
• 画像説明文の自動生成
• 大規模画像分類
2014.4~ NTT コミュニケーション科学基礎研究所
そうだ、新しい問題に取り組もう
まずはデータセットだ
Webで白い犬の画像を集めよう
一番しんどい作業は何だろうか
サーベイ?背景(の後付け)?手法設計?コーディング?
そうだ、新しい問題に取り組もう
まずはデータセットだ
Webで白い犬の画像を集めよう
大漁の白い犬画像
しろい、いぬ しろい、いぬ
大漁の白い犬画像
しろい、いぬ しろい、いぬ
これを画像1万枚分とかやったりする
無理…
でも周りを見回すと…
• PASCAL VOC (2012): 1万枚超、矩形領域やセグメントも
• ImageNet: 1400万枚超、単一ラベル
• Microsoft COCO: 30万枚超、セグメントや説明文も
誰か(主にTurkerの方々)の
偉業が必要なのか…
太古の人々は(きっと)
自分たちが見たものに名前を付けただけ
こいつ、今までも何度か見たやつと同じだ。
水飲まないで葉っぱばっかり食ってるから、
「水を飲まない(コアラ)」と呼ぼう。
太古の人々は(きっと)
自分たちが見たものに名前を付けていった
こいつ、今までも何度か見たやつと同じだ。
水飲まないで葉っぱばっかり食ってるから、
「水を飲まない(コアラ)」と呼ぼう。
データの形態(2次元静止画像)は実世界とちがうかもしれない...
ラベル情報を一切与えないで、同一物体の
見分けや位置の把握ができるか?
この研究の立ち位置
• Supervised localization
Bounding Boxを学習する、
よくあるObject detection
• Weakly-supervised localization
画像全体のラベルだけ
今回...
Methodology
1. 入力された画像に類似した画像を検索
2. 入力画像から領域候補を列挙し、同様に抽出した
類似画像の領域候補とマッチング
3. 複数の重なり合った領域でとれたマッチング結果
から、最終的な物体領域を更新
4. 満足い...
Methodology
1. 入力された画像に類似した画像を検索
2. 入力画像から領域候補を列挙し、同様に抽出した
類似画像の領域候補とマッチング
3. 複数の重なり合った領域でとれたマッチング結果
から、最終的な物体領域を更新
4. 満足い...
Methodology
1. 入力された画像に類似した画像を検索
2. 入力画像から領域候補を列挙し、同様に抽出した
類似画像の領域候補とマッチング
3. 複数の重なり合った領域でとれたマッチング結果
から、最終的な物体領域を更新
4. 満足い...
パーツに基づいた領域マッチング
入力画像 類似画像の1つ
確率的ハフマッチング (PHM)
領域同士の
• アピアランス(HOG)
• 座標
• 近隣領域のマッチングスコア
に基づいてマッチングを計算
マッチした領域の上位20ペア
Methodology
1. 入力された画像に類似した画像を検索
2. 入力画像から領域候補を列挙し、同様に抽出した
類似画像の領域候補とマッチング
3. 複数の重なり合った領域でとれたマッチング結果
から、最終的な物体領域を更新
4. 満足い...
前景位置推定
この入力画像に対して…
前景位置推定
このような信頼度つき領域候補が出たとする
前景位置推定
このような信頼度つき領域候補が出たとする
どんな領域が物体のLocalizationにふさわしいだろうか?
信頼度が最も高い領域?
オブジェクトの一部だけしか囲ってないような領域の方が、
他の画像の同種オブジェクトとマッチして信頼度が高い
Standoutスコアによる前景検出
仮説:信頼度が最も大きく変動しやすいあたりが
一番タイトにオブジェクトを囲っているのでは?
ちょっと領域がずれても、
信頼度は低い値であまり変わらない
Standoutスコアによる前景検出
仮説:信頼度が最も大きく変動しやすいあたりが
一番タイトにオブジェクトを囲っているのでは?
信頼度は高いが、領域が多少ずれても
高いままであまりかわらない
Standoutスコアによる前景検出
仮説:信頼度が最も大きく変動しやすいあたりが
一番タイトにオブジェクトを囲っているのでは?
ちょっとずらすと信頼度が大きく変動する
→この矩形領域に更新
Methodology
1. 入力された画像に類似した画像を検索
2. 入力画像から領域候補を列挙し、同様に抽出した
類似画像の領域候補とマッチング
3. 複数の重なり合った領域でとれたマッチング結果
から、最終的な物体領域を更新
4. 満足い...
上手くいった例
入力画像
Busが上手く検出されている
他の画像:10枚の類似画像
CarやSofaといったクラスの画像があるが、Busをちゃんと検出できた。
評価実験
• データセット:Object Discovery + PASCAL VOC 2007
• Separate-class experiments
– あるクラスの物体が写った画像群のみでテスト
– CorLoc (Correct Lo...
Object Discovery データセットでの結果
先行研究より少ない教師情報でも性能は向上
位置推定の例
※赤大枠はGround Truthであって、推定結果ではないので注意
PASCAL VOC 2007 のサブセットでの結果
PASCAL VOC 2007 の20クラスから、
aeroplane, bicycle, boat, bus, horse, motorbike
を抜き出したもの
位置推定の例
PASCAL VOC 2007 のサブセットでの結果
PASCAL VOC 2007 の20クラスから、
aeroplane, bicycle, boat, bus, horse, motorbike
を抜き出したもの
(Separate-cl...
PASCAL VOC 2007 のサブセットでの結果
Q. 色々組み合わせてるけど、何が効いてんの?
• 画像毎に複数の領域を残して更新(ロバスト性の為)
→最良の領域のみ残す Ours w/o MOR
• 位置とアピアランス両方でマッチングす...
PASCAL VOC 2007 での結果
• 先程の例はこの実験から
• 定量評価から…
– 何も教師データ無い(=Pのみ)なのに、ちょっとでも
教師データ使う先行研究(=P+N)に勝った!
– [56]はILSVRC2012学習したAlexN...
まとめ
• 完全に教師情報が無い設定でObject discovery
– 従来の教師なしobject discoveryは…
separate-classのような制限されたデータでしか、まともな
精度が出なかった
• 提案手法:パーツに基づく...
所感
• Pros
– 挑戦的な課題
– 教師なし学習でも一部教師あり学習と同等の精度
• 位置とアピアランス両方によるマッチング
• 単に信頼度を見るのではなく、その差分をみるStand outによる
領域更新
• Cons:Wild とは
...
付録:学習を何回繰り返せば収束するか
5回も繰り返せば十分らしい
Separate-classなので、全ての画像が
同じクラス→CorRet=1はトリビアル
付録:学習を何回繰り返せば収束するか
(左)物体の種類ごとの収束結果
(右)類似画像検索枚数 vs 正解率
Upcoming SlideShare
Loading in …5
×

Unsupervised Object Discovery and Localization in the Wild: Part-Based Matching With Bottom-Up Region Proposals (関東CV勉強会 CVPR 2015 読み会)

0 views

Published on

完全教師なしで物体検出する話。

Published in: Technology
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

Unsupervised Object Discovery and Localization in the Wild: Part-Based Matching With Bottom-Up Region Proposals (関東CV勉強会 CVPR 2015 読み会)

  1. 1. CVPR 2015読み会 Unsupervised Object Discovery and Localization in the Wild: Part-Based Matching With Bottom-Up Region Proposals 牛久 祥孝 losnuevetoros
  2. 2. お前は誰だ? ~2014.3 博士(情報理工学)、東京大学 • 画像説明文の自動生成 • 大規模画像分類 2014.4~ NTT コミュニケーション科学基礎研究所
  3. 3. お前は誰だ? ~2014.3 博士(情報理工学)、東京大学 • 画像説明文の自動生成 • 大規模画像分類 2014.4~ NTT コミュニケーション科学基礎研究所
  4. 4. そうだ、新しい問題に取り組もう まずはデータセットだ Webで白い犬の画像を集めよう 一番しんどい作業は何だろうか サーベイ?背景(の後付け)?手法設計?コーディング?
  5. 5. そうだ、新しい問題に取り組もう まずはデータセットだ Webで白い犬の画像を集めよう
  6. 6. 大漁の白い犬画像 しろい、いぬ しろい、いぬ
  7. 7. 大漁の白い犬画像 しろい、いぬ しろい、いぬ これを画像1万枚分とかやったりする
  8. 8. 無理…
  9. 9. でも周りを見回すと… • PASCAL VOC (2012): 1万枚超、矩形領域やセグメントも • ImageNet: 1400万枚超、単一ラベル • Microsoft COCO: 30万枚超、セグメントや説明文も
  10. 10. 誰か(主にTurkerの方々)の 偉業が必要なのか…
  11. 11. 太古の人々は(きっと) 自分たちが見たものに名前を付けただけ こいつ、今までも何度か見たやつと同じだ。 水飲まないで葉っぱばっかり食ってるから、 「水を飲まない(コアラ)」と呼ぼう。
  12. 12. 太古の人々は(きっと) 自分たちが見たものに名前を付けていった こいつ、今までも何度か見たやつと同じだ。 水飲まないで葉っぱばっかり食ってるから、 「水を飲まない(コアラ)」と呼ぼう。 データの形態(2次元静止画像)は実世界とちがうかもしれないが… 計算機も見習うべきでは?! こんな訓練用データで 学習したわけじゃない!
  13. 13. ラベル情報を一切与えないで、同一物体の 見分けや位置の把握ができるか?
  14. 14. この研究の立ち位置 • Supervised localization Bounding Boxを学習する、 よくあるObject detection • Weakly-supervised localization 画像全体のラベルだけ 今回のCVPRでも発表有 • Colocalization / Cosegmentation 同じ種類の物体がいると わかっている画像群に 対して物体検出 • Fully-unsupervised discovery ←今ここ [Felzenszwalb+, TPAMI 2010] [Oquab+, CVPR 2015] [Joulin+, ECCV 2014] 教 師 あ り 教 師 な し
  15. 15. Methodology 1. 入力された画像に類似した画像を検索 2. 入力画像から領域候補を列挙し、同様に抽出した 類似画像の領域候補とマッチング 3. 複数の重なり合った領域でとれたマッチング結果 から、最終的な物体領域を更新 4. 満足いくまで手順1.に戻る 入力画像→ ←類似画像
  16. 16. Methodology 1. 入力された画像に類似した画像を検索 2. 入力画像から領域候補を列挙し、同様に抽出した 類似画像の領域候補とマッチング 3. 複数の重なり合った領域でとれたマッチング結果 から、最終的な物体領域を更新 4. 満足いくまで手順1.に戻る 入力画像→ ←類似画像
  17. 17. Methodology 1. 入力された画像に類似した画像を検索 2. 入力画像から領域候補を列挙し、同様に抽出した 類似画像の領域候補とマッチング 3. 複数の重なり合った領域でとれたマッチング結果 から、最終的な物体領域を更新 4. 満足いくまで手順1.に戻る 入力画像→ ←類似画像
  18. 18. パーツに基づいた領域マッチング 入力画像 類似画像の1つ
  19. 19. 確率的ハフマッチング (PHM) 領域同士の • アピアランス(HOG) • 座標 • 近隣領域のマッチングスコア に基づいてマッチングを計算 マッチした領域の上位20ペア
  20. 20. Methodology 1. 入力された画像に類似した画像を検索 2. 入力画像から領域候補を列挙し、同様に抽出した 類似画像の領域候補とマッチング 3. 複数の重なり合った領域でとれたマッチング結果 から、最終的な物体領域を更新 4. 満足いくまで手順1.に戻る 入力画像→ ←類似画像
  21. 21. 前景位置推定 この入力画像に対して…
  22. 22. 前景位置推定 このような信頼度つき領域候補が出たとする
  23. 23. 前景位置推定 このような信頼度つき領域候補が出たとする どんな領域が物体のLocalizationにふさわしいだろうか?
  24. 24. 信頼度が最も高い領域? オブジェクトの一部だけしか囲ってないような領域の方が、 他の画像の同種オブジェクトとマッチして信頼度が高い
  25. 25. Standoutスコアによる前景検出 仮説:信頼度が最も大きく変動しやすいあたりが 一番タイトにオブジェクトを囲っているのでは? ちょっと領域がずれても、 信頼度は低い値であまり変わらない
  26. 26. Standoutスコアによる前景検出 仮説:信頼度が最も大きく変動しやすいあたりが 一番タイトにオブジェクトを囲っているのでは? 信頼度は高いが、領域が多少ずれても 高いままであまりかわらない
  27. 27. Standoutスコアによる前景検出 仮説:信頼度が最も大きく変動しやすいあたりが 一番タイトにオブジェクトを囲っているのでは? ちょっとずらすと信頼度が大きく変動する →この矩形領域に更新
  28. 28. Methodology 1. 入力された画像に類似した画像を検索 2. 入力画像から領域候補を列挙し、同様に抽出した 類似画像の領域候補とマッチング 3. 複数の重なり合った領域でとれたマッチング結果 から、最終的な物体領域を更新 4. 満足いくまで手順1.に戻る 入力画像→ ←類似画像
  29. 29. 上手くいった例 入力画像 Busが上手く検出されている 他の画像:10枚の類似画像 CarやSofaといったクラスの画像があるが、Busをちゃんと検出できた。
  30. 30. 評価実験 • データセット:Object Discovery + PASCAL VOC 2007 • Separate-class experiments – あるクラスの物体が写った画像群のみでテスト – CorLoc (Correct Localization) 「推定矩形領域が正解領域と結構重なったか?」 • Mixed-class experiments – あらゆるクラスの物体が写った画像群でテスト – CorRet (Correct Retrieval) 「同じ物体が写った画像が検索されているか?」 – CorLoc、CorRet 両方で評価 3クラス、全300枚 20クラス、全4548枚
  31. 31. Object Discovery データセットでの結果 先行研究より少ない教師情報でも性能は向上 位置推定の例 ※赤大枠はGround Truthであって、推定結果ではないので注意
  32. 32. PASCAL VOC 2007 のサブセットでの結果 PASCAL VOC 2007 の20クラスから、 aeroplane, bicycle, boat, bus, horse, motorbike を抜き出したもの 位置推定の例
  33. 33. PASCAL VOC 2007 のサブセットでの結果 PASCAL VOC 2007 の20クラスから、 aeroplane, bicycle, boat, bus, horse, motorbike を抜き出したもの (Separate-classなので) Positive サンプルのみ Weakly Labeledな先行研究 Positive / Negative サンプル Comparison on separate-class
  34. 34. PASCAL VOC 2007 のサブセットでの結果 Q. 色々組み合わせてるけど、何が効いてんの? • 画像毎に複数の領域を残して更新(ロバスト性の為) →最良の領域のみ残す Ours w/o MOR • 位置とアピアランス両方でマッチングするPHM →アピアランスだけでマッチング Ours w/o PHM • 自信度が一番動くあたりを探すStand Out度で領域更新 →自信度自体で領域更新 Ours w/o STO ※資料用に編集済 (意外と?) Stand Out度重要! CorLoc
  35. 35. PASCAL VOC 2007 での結果 • 先程の例はこの実験から • 定量評価から… – 何も教師データ無い(=Pのみ)なのに、ちょっとでも 教師データ使う先行研究(=P+N)に勝った! – [56]はILSVRC2012学習したAlexNet使ってるので、教師あり外部データ使ってるわけで、別に負けてても自然かな…
  36. 36. まとめ • 完全に教師情報が無い設定でObject discovery – 従来の教師なしobject discoveryは… separate-classのような制限されたデータでしか、まともな 精度が出なかった • 提案手法:パーツに基づくobject discovery – 確率的ハフ変換に基づく頑健なマッチング – Standoutスコアによる前景検出 • Challenging(と著者らは言う)データセット – 完全に教師情報が無くても、先行研究の一部教師あ りの場合と同等 – 教師情報の統合は可能なので、性能upは簡単
  37. 37. 所感 • Pros – 挑戦的な課題 – 教師なし学習でも一部教師あり学習と同等の精度 • 位置とアピアランス両方によるマッチング • 単に信頼度を見るのではなく、その差分をみるStand outによる 領域更新 • Cons:Wild とは – この論文では=複数のクラスが混じっているデータ • 従来研究ではSeparate-classでしか性能が出なかったので – 個人的な最初の期待=Webで収集した大規模データ • 多種多様な物体 • しかも一部の物体のみ偏って頻出…など • 全画像に対して類似画像検索するのが大変になりそう
  38. 38. 付録:学習を何回繰り返せば収束するか 5回も繰り返せば十分らしい Separate-classなので、全ての画像が 同じクラス→CorRet=1はトリビアル
  39. 39. 付録:学習を何回繰り返せば収束するか (左)物体の種類ごとの収束結果 (右)類似画像検索枚数 vs 正解率

×