RAPiD

Copyright © 2020 調和系工学研究室 - 北海道大学大学院情報科学研究院情報理工学部門複合情報工学分野 – All rights reserved.
RAPiD: Rotation-Aware People
Detection in Overhead Fisheye
Images
北海道大学大学院情報科学研究院
情報理工学部門複合情報工学分野調和系工学研究室
西浦翼

Copyright © 2020 Laboratory of Harmonious Systems Engineering Research Group of Synergetic Information Engineering
Division of Computer Science and Information Technology Faculty of Information Science and Technology Hokkaido University – All rights reserved.
論文情報 2
著者
・Zhihao Duan (Boston University)
・M. Ozan Tezcan (Boston University)
・Hayato Nakamura (Boston University)
発表
・CVPR 2020
概要
・天井視点の魚眼画像における人物検出でSoTA
・様々な人物の姿勢に対応できるように矩形の角度を学習するための
損失関数を提案
・天井視点の魚眼画像のデータセットを新たに作成
リンク
・論文 https://arxiv.org/abs/2005.11623
・Git https://github.com/duanzhiihao/RAPiD

研究背景
スマートビルディングの開発
→Occupancy sensing (占有率検知？) が重要
・省エネ
・空間のマネジメント
・セキュリティ (火事、アクティブシューター)
3

研究背景
人数カウント × CV
・広角カメラ
→複数台必要、かさばる
・魚眼カメラ
→物体検出アルゴリズムが横視点・広角用
4
天井視点・魚眼用のアルゴリズムの開発

従来手法 5
(a) YOLOのみ、上下が合ってる人しか検出できない
(b) 15°ずつ回してYOLO(2019)、立ってる人しか検出できない
(c) 提案手法、様々な姿勢を検出できる

提案手法 RAPiD 6

Backbone Network 7
・特徴抽出器
・P1：高解像度 → P3：低解像度
・種々のレベルの情報を抽出する

FPN 8
・物体検出に関わる特徴を抽出する
・P1FPN：小さい物体 → P3FPN：大きい物体

Detection Head 9
・はの4次元配列
1次元：アンカーボックスの数
2,3次元：グリッド ( s はストライド)
4次元：グリッドセル毎の推論矩形

Detection Head 10
・ =
の範囲

Angle-Aware Loss Function 11
YOLOv3を参考に提案
BCE：Binary Cross Entropy
真値は右の式参照
←new

角度θを損失関数に導入
従来手法 L1, L2距離
角度の周期性を無視
12
・周期性のある損失関数を提案
・パラメータを変更

Periodic Loss 13
矩形は回転しても同じはずなので、以下を満たす
提案手法 Periodic Loss
f()は L1, L2ノルムのような関数
なので、微分すると

Periodic Loss 14

パラメータの変更
従来手法
θの範囲で矩形が網羅できる
width, height によって
15

しかし、
この表現の対称性がコストにつながるらしい？
16

アノテーションに以下の条件を設ける
・幅より高さの方が長い
・その代わり角度の範囲を
の
パラメータの変更 17
の範囲

問題発生
のとき
18
< 0
を大きくするように重みを更新してしまい、
から更に乖離する

→
はより＋に近づけるべき
パラメータの変更 19
→ +
≤ ≤
−

まとめ
１. ground truth の範囲
２. periodic angle loss を使う
３. predicted angle の範囲
20

実験
データセット
21
MW-R HABBOF
・CEPDOFを作った
・ReID用にIDも振った
・より混雑した状況
・様々な体勢
・暗い画像をも入れた

22
CEPDOF

23
実験
• MSCOCO2017で100,000イテレーション学習
• SGDでstep size0.001、momentum0.9、
weight decay0.0005
• ３つのデータセットの一部で6,000イテレー
ションファインチューニング
• 回転、左右反転、リサイズ、color
augmentationも使用
• ３つのデータセットでクロスバリデーション

24
実験
• ‘P’recision, ‘R’ecall, ‘F’-measure
• P, R, Fは各動画の平均なのでFがPとRの調和平
均になってない
• FPSはCEPDOFの”Edge cases”で
Nvidia GTX 1650 GPUを使用

実験 25
上段：easy 下段：challenge
緑：TP 赤：FP 黄：FN

厳しくね① 26
スクリーンに
人が写ってる

厳しくね② 27
見えない＆
影が映ってる

アブレーションスタディ 28
• BaselineはTamura et al[27]（広角画像のみ）
• Multi-classからSingle-classにするとAPは下がるが
FPSは上がった
• 魚眼画像でFine-tuningしてAPが大幅向上
• 損失関数と角度のルールを導入してAPが大幅向上

アブレーションスタディ
損失関数の比較
Periodic lossが１番いい
29

アスペクト比の分布 30
推論した矩形のアスペクト比の分布
を学習している

まとめ
• 新しい Loss を提案
• 魚眼用人物検出モデルRAPiDを提案
• 新しいデータセットを作成
• ３つのデータセットでSoTA
• 暗い画像では精度が下がるという課題あり
角度の推論が必要な魚眼画像において、周期性
を取り込んだ損失関数の定式化が上手だった
31

RAPiD

More Related Content

What's hot

Similar to RAPiD

More from harmonylab

RAPiD