Recommended
Recommended
More Related Content
Viewers also liked
Similar to CVPR2016読み会 "Inside-Outside Net: Detecting Objects in Context with Skip Pooling and Recurrent Neural Networks"
Similar to CVPR2016読み会 "Inside-Outside Net: Detecting Objects in Context with Skip Pooling and Recurrent Neural Networks" (20)
CVPR2016読み会 "Inside-Outside Net: Detecting Objects in Context with Skip Pooling and Recurrent Neural Networks"
- 1. CVPR’16 読み会: Inside-Outside Net: Detecting Objects in Context with Skip Pooling and Recurrent Neural Networks 山口 正隆
- 2. 自己紹介 • 名前: – 山口正隆 • 所属: – 東大 原田牛久研究室 修士2年 – 本発表は所属組織とは関係ありません • 研究内容: – 最近は言語+ビジョン系 – 昨年は高精度物体検出にも取り組む • ILSVRCの物体検出タスクに参加 • 本日はILSVRC & COCO workshopの参加チーム発の論文から一本 昨年構築したシステムの出力例
- 3. Inside-Outside Net: Detecting Objects in Context with Skip Pooling and Recurrent Neural Networks Sean Bell, C. Lawrence Zitnick, Kavita Bala, Ross Girshick • 高精度物体検出に関する論文 • MSCOCO Detection Challenge ‘15に参加したチームの論文 • 選定理由 – 既存のアプローチの短所を正しく見極めており、またそれらを 解決するアプローチが上手い – 解析がしっかりされている
- 4. Inside-Outside Netの構成要素 畳み込み層 dog (背景) (背景) 全結合 層全 全結 合層 Fast R-CNN • 高精度 • 高速 Spatial RNN Skip-layer Connection
- 5. Inside-Outside Netの構成要素 • Fast R-CNNの復習から – 詳しく知りたい方は元論文や@tabe2314様の資料などを参照 畳み込み層 dog (背景) (背景) 全結合 層全 全結 合層 Fast R-CNN • 高精度 • 高速 Spatial RNN Skip-layer Connection
- 6. Fast R-CNN [Girshick, ICCV 2015] • DCNNを用いた高速かつ高精度な物体検出手法 • 検出パイプラインは大まかに5ステップに分かれている dog CONV層 FC層 FC層 FC層 (背景) (背景)特徴量の 切り出し 入力: 画像、候補領域 最後の CONV層の 特徴マップ 領域毎に 切り出した 特徴量 出力: 領域とラベル
- 7. Fast R-CNN [Girshick, ICCV 2015] 1. Selective Search[Uijlings+., IJCV13]などにより物体の候補領域を算出 入力: 画像、候補領域
- 8. Fast R-CNN [Girshick, ICCV 2015] 1. Selective Search[Uijlings+., IJCV13]などにより物体の候補領域を算出 2. 画像全体をCNNの畳み込み層部分に入力し特徴マップを算出 CONV層 入力: 画像、候補領域 最後の CONV層の 特徴マップ
- 9. Fast R-CNN [Girshick, ICCV 2015] 1. Selective Search[Uijlings+., IJCV13]などにより物体の候補領域を算出 2. 画像全体をCNNの畳み込み層部分に入力し特徴マップを算出 3. 候補領域ごとに特徴マップから対応する部分の特徴量を切り出す CONV層 特徴量の 切り出し 入力: 画像、候補領域 最後の CONV層の 特徴マップ 領域毎に 切り出した 特徴量
- 10. Fast R-CNN [Girshick, ICCV 2015] 1. Selective Search[Uijlings+., IJCV13]などにより物体の候補領域を算出 2. 画像全体をCNNの畳み込み層部分に入力し特徴マップを算出 3. 候補領域ごとに特徴マップから対応する部分の特徴量を切り出す 4. 切り出した特徴量をFC層で識別 CONV層 FC層 FC層 FC層 特徴量の 切り出し 入力: 画像、候補領域 最後の CONV層の 特徴マップ 領域毎に 切り出した 特徴量 dog (背景) (背景)
- 11. Fast R-CNN [Girshick, ICCV 2015] 1. Selective Search[Uijlings+., IJCV13]などにより物体の候補領域を算出 2. 画像全体をCNNの畳み込み層部分に入力し特徴マップを算出 3. 候補領域ごとに特徴マップから対応する部分の特徴量を切り出す 4. 切り出した特徴量をFC層で識別 5. 事後処理 (候補領域の調整＋余分な領域の除去) dog CONV層 FC層 FC層 FC層 (背景) (背景)特徴量の 切り出し 入力: 画像、候補領域 最後の CONV層の 特徴マップ 領域毎に 切り出した 特徴量 出力: 領域とラベル
- 13. 特徴マップの解像度の問題
- 14. CNNの特徴マップの解像度 • Fast R-CNNでは通常最後の畳み込み層の出力から候補領 域の特徴量を切りだす – VGG16[Simonyan+, 2014]を用いる場合、特徴マップの解像度は入力の 1/16に。 小さい候補領域の情報が1つのセルに集中して精度低下に繋がる → 解像度の高い特徴マップも同時に使うことでこの問題を回避 CONV層 W W 16 ___
- 16. 特徴量結合時の注意点 VGG16のactivationの絶対値の平均* conv3_3: 2.02 x 102 (大) conv4_3: 2.39 x 101 (中) conv5_3: 1.28 x 100 (小) *MSCOCOから選んだ1000枚の画像で山口が算出 各層のすべてのカーネルマップを用いて計算した平均
- 17. 特徴量結合時の注意点 絶対値の大きく違う 特徴量を結合させると… 絶対値が大きい方の入力に かかる重みの更新が支配的に VGG16のactivationの絶対値の平均* conv3_3: 2.02 x 102 (大) conv4_3: 2.39 x 101 (中) conv5_3: 1.28 x 100 (小) *MSCOCOから選んだ1000枚の画像で山口が算出 各層のすべてのカーネルマップを用いて計算した平均 中間特徴A (小) 中間 特徴B (大) 特徴Aの重みの 勾配 (小) 特徴Bの 重みの 勾配 (大) 次の層から の勾配 ✖︎ ✖︎
- 18. 特徴量結合時の注意点 絶対値の大きく違う 特徴量を結合させると… 絶対値が大きい方の入力に かかる重みの更新が支配的に VGG16のactivationの絶対値の平均* conv3_3: 2.02 x 102 (大) conv4_3: 2.39 x 101 (中) conv5_3: 1.28 x 100 (小) *MSCOCOから選んだ1000枚の画像で山口が算出 各層のすべてのカーネルマップを用いて計算した平均 中間特徴A (小) 中間 特徴B (大) 特徴Aの重みの 勾配 (小) 特徴Bの 重みの 勾配 (大) 次の層から の勾配 ✖︎ ✖︎ →中間特徴量間の是正が必要
- 20. L2正規化とチャンネルごとのスケーリング Step 1: L2正規化 Step 1: 各特徴量をL2正規化しノルムを1に
- 21. L2正規化とチャンネルごとのスケーリング Step 1: L2正規化 Step 2: 結合 Step 1: 各特徴量をL2正規化しノルムを1に Step 2: 特徴量を結合
- 22. L2正規化とチャンネルごとのスケーリング Step 1: L2正規化 Step 2: 結合 Step 3: リスケーリング Step 1: 各特徴量をL2正規化しノルムを1に Step 2: 特徴量を結合 Step 3: 特徴量をチャンネルごとにリスケーリング (元々のfc6への入力と同程度の 振れ幅になるように)
- 24. 文脈情報の考慮
- 25. 文脈情報の重要性 • Fast R-CNNは検出時に、候補 領域の内側と周辺のみを見て スコアを算出 – 候補領域の内側と周辺だけ見るだけ ではカテゴリが分かりにくい場合も • “文脈”に関する情報を入れる ことで精度を向上させられる 検出時に使う領域 画像全体 tennis ball? baseball?
- 26. よくある文脈情報の抽出方法2種 候補領域内の 特徴量抽出器 cow 結 合 候補領域周辺の 特徴量抽出器 識 別 [Gidaris+, ICCV15] [Zagorukyo+, arXiv16] など ②領域周辺の情報を利用 pros: 領域毎に異なる文脈情報が 抽出できる（局所的） cons: 画像全体の情報を考慮して いるわけではない 候補領域内の 特徴量抽出器 cow 結 合 画像全体の 特徴量抽出器 識 別 [Szegedy+, arXiv14] [Ouyang+, CVPR15] など ①画像全体の情報を利用 pros: 画像全体の情報を考慮する ことができる（大域的） cons: すべての候補領域で同じ文 脈情報が用いられる
- 27. よくある文脈情報の活用方法2種 候補領域内の 特徴量抽出器 cow 結 合 候補領域周辺の 特徴量抽出器 識 別 [Gidaris+, ICCV15] [Zagorukyo+, arXiv16] など ②領域周辺の情報を利用 pros: 領域毎に異なる文脈情報が 抽出できる（局所的） cons: 画像全体の情報を考慮して いるわけではない 候補領域内の 特徴量抽出器 cow 結 合 画像全体の 特徴量抽出器 識 別 [Szegedy+, arXiv14] [Ouyang+, CVPR15] など ①画像全体の情報を利用 pros: 画像全体の情報を考慮する ことができる（大域的） cons: すべての候補領域で同じ文 脈情報が用いられる 画像全体の情報を含むような局所的な文脈特徴が欲しい…
- 28. 提案手法: RNNを用いた文脈特徴量の算出 1. 最後の特徴マップを更に畳み込む 2. 4方向にRNNを走らせる 3. 4つの出力マップを結合させる 4. 1~3を違う重みを用いてもう一度行う 5. RNNで得た特徴マップからも特徴量を切り出して他の3つと併用
- 30. Step 2 1. 最後の特徴マップを更に畳み込む 2. 4方向にRNNを走らせる
- 31. Step 3 1. 最後の特徴マップを更に畳み込む 2. 4方向にRNNを走らせる 3. 4つの出力マップを結合させる
- 32. Step 4 1. 最後の特徴マップを更に畳み込む 2. 4方向にRNNを走らせる 3. 4つの出力マップを結合させる 4. 1~3を違う重みを用いてもう一度行う
- 33. Step 5 1. 最後の特徴マップを更に畳み込む 2. 4方向にRNNを走らせる 3. 4つの出力マップを結合させる 4. 1~3を違う重みを用いてもう一度行う 5. RNNで得た特徴マップからも特徴量を切り出して他の3つと併用
- 34. • RNNを2回走らせることで各セルの文脈特徴量が画像全 体に依存するようになる – 大域的な文脈特徴になっている • 候補領域ごとに異なる文脈特徴量になる – 局所的な文脈特徴になっている この文脈特徴のいいところ
- 35. 4種の文脈特徴の比較 (a) Conv5の上に2層3x3の畳み込み 層をスタックして特徴マップ抽出 (b) Conv5の上に2層5x5の畳み込み 層をスタックして特徴マップ抽出 (c) Global average poolingして 全体にtiling (d) Spatial RNN RNNを用いた 場合が一番良い
- 37. 最終成績: MSCOCO Detection Challenge 2015では… *2: http://image-net.org/challenges/talks/ILSVRC+MSCOCO_12_17_15_detection.pdfより引用 *1: http://image-net.org/challenges/talks/COCO-ICCV15-clean.pdfより引用 *2
- 38. 最終成績: MSCOCO Detection Challenge 2015では… MSRA: ResNet-101を使用 *2: http://image-net.org/challenges/talks/ILSVRC+MSCOCO_12_17_15_detection.pdfより引用 Facebook: VGG-16ベースで 7種アンサンブル (Singleだと32.1%*1) Inside Outside Net: VGG-16ベース. コンペ後に Singleで33.1%達成 *1: http://image-net.org/challenges/talks/COCO-ICCV15-clean.pdfより引用 *2
- 39. 検出例
- 40. ご静聴ありがとうございました 今年のImagenet & MSCOCO Challengeの締め切り: 9/9
- 42. IRNN:
- 43. Fast R-CNNの性能と速度 Pascal VOC 07データセットでの実験 *GPGPUにはnVidia K40を使用 *SVDを使用していない場合のデータを記載 *物体の候補領域の計算のための時間を除く R-CNN [Girshick+, CVPR14] SPP-net [He+, ECCV14] Fast R-CNN [Girshick, ICCV15] Test time / image 47.0s 2.3s 0.32s mAP 66.0% 63.1% 66.9%