論文紹介：Deep Occlusion-Aware Instance Segmentation With Overlapping BiLayers
•
0 likes•38 views
Lei Ke, Yu-Wing Tai, Chi-Keung Tang, "Deep Occlusion-Aware Instance Segmentation With Overlapping BiLayers" CVPR2021 https://openaccess.thecvf.com/content/CVPR2021/html/Ke_Deep_Occlusion-Aware_Instance_Segmentation_With_Overlapping_BiLayers_CVPR_2021_paper.html
Recommended
More Related Content
More from Toru Tamaki
More from Toru Tamaki (20)
Recently uploaded
Recently uploaded (15)
論文紹介：Deep Occlusion-Aware Instance Segmentation With Overlapping BiLayers
- 1. Deep Occlusion-Aware Instance Segmentation with Overlapping BiLayers Lei Ke, Yu-Wing Tai, Chi-Keung Tang CVPR2021 杉本拓也（名工大玉木研） 2024/5/16
- 2. 概要 n新しいアモーダルインスタンスセグメンテーション （Amodal Instance Segmentation：AIS）モデルの提案 nOccluderとOccludee両方の境界を自然に切り離す • オクルージョン関係を２層構造としてモデル化 • マスク回帰時に双方の相互作用を考慮 nCOCOとKINSを用いた広範な実験 • 大きく安定した性能向上を達成 • 特にオクルージョンが大きい場合 • オクルージョン処理に限らず性能向上も
- 3. 従来のインスタンスセグメンテーション n マスク回帰時にROI (Region of Interest) 内で完全な輪郭を持つと仮定 • ROI内に同クラスのインスタンスが複数存在 しない • 同クラスの重なり合うオブジェクトで性能低 下 n BCNet • OccluderとOccludeeを両方同時に回帰 • ２つのインスタンスのオクルージョン境界を 自然に切り離す
- 4. 関連研究 n1段階/2段階 インスタンスセグメンテーション • １段階手法：SOLO [Wang+, arXiv2020] • ２段階手法： Mask R-CNN [He+, ICCV2017] nAIS • インスタンスの可視領域だけでなく 不可視領域もセグメンテーション ORCNN [Follmann+, WACV2019]
- 5. BCNet：アーキテクチャ nマスク回帰段階でのROIオブジェクト間の相互作用を十分に考慮 • オクルージョン関係を考慮した２層GCN [Kipf&Welling, arXiv2017] 構造 • 物体検出器にはFCOS [Chen+, arXiv2019] を使用
- 6. BCNet：推論の流れ 1. FPN [Lin+, CVPR2017] ＋Backbone [He+, CVPR2016] で中間特徴量 を抽出 2. 物体検出ヘッドでbboxを予測 • 潜在的なインスタンスに対して 予測 3. Occluderに対するモデル化 • GCN構造で輪郭とマスクを 共同で検出 4. Occludeeに対するモデル化 • ３の特徴量を元の入力 ２で得たROI特徴量）に追加 • GCN構造で輪郭とマスクを共同で検出 １ ２ ３ ４
- 7. ２層GCN構造：Occluderの特徴量計算 n GCN（グラフ畳み込みネットワーク） [Kipf&Welling, arXiv2017] • 従来のマスクヘッドは二値ラベル（前景/後景）のみ • GCN構造ではオクルージョン領域に意味グラフ空間を構築 • 出力特徴量：𝑍 = 𝜎 𝐴𝑋𝑊 ! + 𝑋で算出 • 𝐴"# = 𝑠𝑜𝑓𝑡𝑚𝑎𝑥 𝐹 𝑥", 𝑥# • 𝐹 𝑥", 𝑥# = 𝜃 𝑥" % 𝜙(𝑥#) • 𝜃, 𝜙：1×1畳み込みによって実装される2つの 学習可能な変換関数 n GCN構造でのOccluderに対するモデル化 • 𝑍& = 𝜎 𝐴& 𝑋'("𝑊 ! & + 𝑋'(" • Z&：オクルーダーの出力特徴 • 𝑋'("：入力ROI特徴, 𝑊 ! & ：GCN層の重み • オクルーダーのマスクと輪郭を検出
- 8. ２層GCN構造：Occludeeの特徴量計算 nGCN構造のoccludeeに対するモデル化 • 入力特徴量：X! = 𝑍"𝑊# " + 𝑋$%& • 𝑊# " ：FCN層の重み • 出力特徴量：𝑍' = 𝜎 𝐴'𝑋#𝑊 ( ' + 𝑋# n入力特徴量にoccluderからの出力特徴量 を組み込むことで物体同士の相互作用を 考慮することが可能 • オクルージョン関係を自然に切り離す 手がかりに
- 9. 実験設定 n データセット • COCO (train/val/test-dev_2017) [Lin+, ECCV2014] • COCO-OCC（サブセット分割提案） • Valの画像1005枚を抽出 • オーバーラップ比率：少なくとも0.2以 上 n ベンチマーク用データセット • KINS [Qi+, CVPR2019] • KITTIをベースに構築 • train：画像7474枚 95311インスタンス • test：画像7517枚 92492インスタンス • アノテーション付きマスクを使用 • COCOA [Zhu+, CVPR2017] • COCOのサブセット • train：2500枚の画像 • val：1323枚の画像 • マスクラベルのみ使用 n 評価指標：AP (Average Precision) を 使用
- 10. Ablation Study : GCN for Occluder Seg nGCN構造のコンポーネントの有効性 • Occluderに対してのモデル化のためのレイヤー • 輪郭/マスク回帰の有効性を確認 nベースラインと比較 • 特に重度のオクルージョンの際に明らかな改善
- 11. Ablation Study : GCN for Occludee Seg nGCN構造のコンポーネントの有効性 • Occludeeに対してのモデル化のためのレイヤー • セグメンテーションガイド(occluderに対してのレイヤーから) / 輪郭 / マスク回 帰の有効性を確認 nCOCO-OCCでもCOCOでも性能向上 • 特徴ガイダンスの重要性
- 12. Ablation Study : 物体検出器 n物体検出器に関する影響を調査 • FCOS（１段階検出器） • Faster R-CNN [Ren+, NeurIPS2015]（２段階検出器） • Mask R-CNN [He+, ICCV2017] （ベースライン）におけるマスクヘッド設計 nベースラインと比較して性能向上
- 13. アモーダルセグメンテーション手法の比較 n他の手法よりも優れた性能を達成 • COCOA，KINS（ベンチマーク用データセット） • オクルージョンが重度の場合でも性能向上 nCOCO-OCC splitでも比較 • COCO 2017Valからのサブセット分割提案 • オクルージョン処理に特化したデータセット • オクルージョンデータセットで学習することで性能は大幅に向上
- 14. 定性的評価 nオクルージョン画像における性能を比較 • CenterMask [Lee&Park, CVPR2020]（上） ，BCNet（下）
- 15. 結論 n2段階インスタンス分割法において効果的なマスク予測が可能 nモーダル/アモーダル設定で一貫した性能の向上 • OccluderとOccludeeの双方の境界を自然に切り離す • ２層GCNを用いた明示的なオクルージョンに関するモデル化 • 各ROI領域内のインスタンスの相互作用を考慮可能 n定性的にも定量的にも優れたアーキテクチャであることが実証