物体検知（Meta Study Group 発表資料）

1. 物体検知 Object Detection 美濃⼝宗尊，⻄島涼太，⽚岡裕雄（著者紹介はラストにあります） 1 http://xpaperchallenge.org/cv

2. 物体検知（Object Detection） 2 • 物体検知は物体ラベルと位置を同時回帰 Person Uma 物体2 物体識別：Uma（⾺）位置（x,y,w,h）：118, 250, 89, 146 物体１物体識別：Person（⼈）位置（x,y,w,h）：125, 15, 78, 162 画像はPascal VOC datasetより抜粋 • 物体識別はImageNet/Places365等と同様に与えられた画像（この場合は切り抜かれたパッチ）から⽣成 • 位置は左上のx, y座標と幅w, ⾼hを返却（コードにより左上x1, y1 右下x2, y2を返却するので注意）

3. 物体検知の変遷（ʼ01〜ʼ19） 3 Haar-like [Viola+, CVPR01] + AdaBoost Fast R-CNN [Girshick, ICCV15] ROI Pooling, Multi-task Loss Faster R-CNN [Ren+, NIPS15] RPN ・・・・・・ R-CNN時代（それ以前は”Hand-crafted” ObjectNess）⾼速化＆⾼精度化 One-shot Detector時代兎にも⾓にも（精度を保ちつつ）⾼速化 YOLO(v1)/v2/v3 [Redmon+, CVPR16/CVPR17/arXiv18] One-shot detector, w/ full-connect layer ・・・ Latest Algorithm 精度重視，⾼速 Mask R-CNN [He+, ICCV17] RoI Align, Det+Seg ・・・ bbox+segmentationのラベルが同時に⼿に⼊るならMask R- CNNを試そう 41.8AP@MSCOCO bboxのみが⼿に⼊るならRetinaNetを⽤いるのがベター 40.8AP@MSCOCO SSD [Liu+, ECCV16] One-shot detector, Anchor Box RetinaNet [Lin+, ICCV17] FocalLoss, PyramidNet Hand-crafted feature時代基礎/枠組みの構築 HOG [Dalal+, CVPR05] + SVM ICF [Dollár+, BMVC09] + Soft-cascade DPM [Felzenszwalb+, TPAMI12] + Latent SVM ・・・

4. 物体検知の変遷（ポイント） 4 • Hand-crafted – 勾配や明暗差をベースに枠組みを構築 – 代表：Haar-like, HOG, ICF, DPM • R-CNN – 候補領域+物体識別の2ステップをCNNにより実施 – 代表：R-CNN, Fast R-CNN, Faster R-CNN • One-shot – 候補領域を⽤いず1回の画像領域により検出 – 代表：SSD, YOLO, YOLOv2, YOLOv3 • Latest algorithm – 誤差関数，セグメントの同時学習など⾼度化 – 代表：RetinaNet, Mask R-CNN

5. Agenda 5 • 論⽂紹介 – 基本1論⽂1ページで紹介 • 実装のチュートリアル – 現在の代表⼿法の使い⽅を紹介 – e.g. Faster R-CNN, SSD, YOLO, Detectron • メタ部分 – 強い研究者や機関がなぜ強いかを分析

6. 論⽂紹介

7. Haar-like + AdaBoost（Hand-crafted feat.） 7 Rapid Object Detection using a Boosted Cascade of Simple Features 著者 :Paul Viola, Michael Jones 論⽂：CVPR2001(Best Paper) l 領域の陰影組み合わせ特徴，識別器による取捨選択 • 学習時には無数の陰影パターン/スケールの組み合わせ（左図）を⽣成 – AdaBoostにより識別に良好なパターンを選択 • 識別時にはカスケード型の識別器（右図）を使⽤ – 途中棄却（図中のF）を導⼊することで⾼速化 – 2001年当時のノートPCにてリアルタイムで動作するくらいには⾼速

8. HOG+SVM（Hand-crafted feat.） 8 Histograms of Oriented Gradients for Human Detection 著者 : Navneet Dalal, Bill Triggs 論⽂：CVPR2005 l 勾配ヒストグラムによるアブストラクトな形状表現 1. 画像の⼊⼒，画像正規化 2. 勾配の計算（右の数式参照） 3. 量⼦化ヒストグラムを計算 - セル/ブロックに分割された領域をオーバーラップさせながら計算 4. 過検出を統合（NMS; Non-Maximum Suppression） 5. SVMにより2値識別 - ⼈物か否か⼊⼒画像と画像勾配，Positive/Negativeの重み付き勾配

9. ICF+Cascade（Hand-crafted feat.） 9 Integral Channel Features 著者 : Piotr Dollarほか論⽂：BMVC2009 l 多チャンネルから良好な特徴を識別器学習により獲得 1. 画像の⼊⼒ 2. 多チャネルの前処理（下図参照） - Grayscale, ||G||, edges, LUV, Gabor filter, gradient histogram, binary images, DoG imaegs 3. カスケード型識別器により重み計算 - 有効な特徴量のみを残す

10. DPM+LatentSVM（Hand-crafted feat.） 10 Object Detection with Discriminatively Trained Part Based Models 著者 :Pedro F. Felzenszwalb, Ross B. Girshick, David McAllester, Deva Ramanan 論⽂：TPAMI 2012 l HOGをベース特徴に，全体（Root filter; RT）および部位ごと（Part filters; PT）の評価をLatent SVMにより判断画像ピラミッドからRT特徴量と解像度を上げたPTの特徴量を抽出 PFに対する位置変動の潜在変数をLatent SVMにより学習，RFも含めて全体の尤度が⾼い領域が検出領域となる

11. R-CNN（R-CNN） 11 Rich feature hierarchies for accurate object detection and semantic segmentation (CVPR2014) 著者 : Ross Girshick, Jeff Donahue, Trevor Darrell, Jitendra Malik l 深層学習を取り⼊れた初の物体検出モデル，2ステージ物体検出モデルの元祖 1. 画像の⼊⼒ 2. 物体候補の探索 - Selective Serchで画像中から領域の候補 (region proposal)を約2,000個抽出 - Selective Search：ピクセルレベルで類似する領域をグルーピングしていく⼿法 (かなり処理時間がかかる) 3. 物体の画像をリサイズし，CNNで特徴抽出 - 全ての物体候補を、CNN (AlexNet)の⼊⼒サイズに合うようにリサイズ - リサイズした画像をCNN(AlexNet)に⼊⼒し、C特徴を抽出 4. SVMでクラス分類 - CNN特徴量から、SVMでクラス推定。論⽂では、Pascal VOC (20クラス+背景)で検証 - 実験では、全結合層でなくSVMを使った⽅が⾼精度

12. Fast R-CNN（R-CNN） 12 Fast R-CNN (ICCV2015) 著者 : Ross Girshick l SPP-Netよりもシンプルなプーリング⼿法を提案し，ad hocに解決(multi-task loss) 3. Regions of Interest (RoI) pooling layer - SPPよりもシンプルな可変プーリング⼿法 - feature map上に矩形を投影し，max poolingすることで固定⻑に変形 4. クラス識別・バウンディングボックス回帰 - RoI poolingした特徴を並列に2つの全結合層に⼊⼒ - Softmaxでクラス識別，詳細なバウンディングボックス回帰 l multi-task loss - クラス識別誤差とバウンディングボックス回帰誤差を加算 - 同時に学習し，ad hocを解決

13. Faster R-CNN（R-CNN） 13 Faster R-CNN (NIPS2015) 著者 : Shaoqing Ren, Kaiming He, Ross Girshick, Jian Sun l ネットワーク全体をdeep化し，end-to-endで学習が可能 2. ベースネットワーク (VGG-16)で特徴抽出 3. 物体候補探索 Region Proposal Network (RPN) - 物体であるかどうか (objectness)と、物体の位置を推定 - feature map上を3x3の検出窓 (window)を⾛査 (スライドウィンドウ) - 各windowにanchorを⽤意し，回帰 - cls layerで物体の有無，reg layerで座標推定 l まとめると算出している値は、以下の3種類 - cls layerによるwindow数×2k個の物体の有無 - reg layerによるwindow数×4k個の座標値 - 最終fc層によるwindow数×k×クラス数個の識別スコア

14. SSD（One-shot detector） 14 SSD:Single Shot Multibox Detector (ECCV2016) 著者 : Wei Liu, et al. l ベース(VGG-16)に畳み込み層を追加 l ゴリゴリに畳み込んでマルチスケール化 l シンプルな設計，one-shot detector 様々な⼤きさのfeature mapごとにクラス分類・バウンディングボックス回帰 - feature mapのセルごとにdefault box (anchorにあたる)を任意の数設置 (図では4つ) - default boxごとにクラス分類とBbox回帰

15. YOLO（One-shot detector） 15 You Only Look Once: Unified, Real-Time Object Detection (CVPR2016) 著者 : Joseph Redmon, Santosh Diwala, Ross Girshick, Ali Farhadi. – 全結合層の出⼒を7×7×30にReshapeしたものがモデルの出⼒ – この時点ではアンカーの概念はなし – 推論したときに正解のBoxに最も近いBoxを出⼒した部分のみ学習出⼒の特徴マップは１つのみ • Boxの位置と確信度 (グリッド当たり２つ) • それぞれのグリッドのクラス

16. YOLOv2（One-shot detector） 16 YOLO9000: Better, Faster, Stronger (CVPR2017) 著者 : Joseph Redmon, Ali Farhadi. – アンカーの導⼊ • 訓練データからk-meansを⽤いてサイズを決定 • 教師データに最も近いアンカーのみを学習 – Reorganization • 浅い層の特徴マップ（⾼解像度）を深い層（低解像度）にサイズをそろえて結合全結合層の廃⽌によって⼊⼒画像のサイズが(32の倍数であれば)可変に Multi-scaleな学習が可能ネットワークの構造出典：“Deep learning for pose estimation of objects” https://mc.ai/deep-learning-for-pose-estimation-of-objects/

17. YOLOv3（One-shot detector） 17 YOLOv3: An Incremental Improvement 著者 : Joseph Redmon, Ali Farhadi. – より深いベースネット(Darknet-19→Darknet-53) – サイズの異なる3つの特徴マップが出⼒ • 各特徴マップに3つのアンカー • Deconvolutionにより⼩さい物体の検出は深い層が担当 – Softmaxの代わりにsigmoidを使⽤ One-shot系で精度⾯SOTAのRetinaNetに匹敵する精度で、より⾼速な検出の達成（Darknet-53の影響が強そう？）出典：“What’s new in YOLO v3?” https://towardsdatascience.com/yolo-v3-object-detection-53fb7d3bfe6b

18. RetinaNet（Latest Algorithm） 18 Focal Loss for Dense Object Detection (ICCV2017) 著者 : Tsung-Yi Lin, Priya Goyal, Ross Girshick, Kaiming He, Piotr Dollár. – SSDではクラス間のアンバランスが問題 • SSDのクラスラベルに含まれる「背景」が主な原因 • クロスエントロピー誤差に係数(1 − 𝑝%)' を追加した Focal Lossを使⽤してこれを解決（右） – ベースネットの⼯夫 • Res構造でより深く • Feature Pyramid Networkの採⽤（左）うまく分類できないものを重点的に学習

19. Mask R-CNN（Latest Algorithm） 19 Mask R-CNN (ICCV2017) 著者 : Kaiming He, Georgia Gkioxari, Piotr Dollár, Ross Girshick. – Faster-RCNNと同様のtwo stage構造 – Region Proposal Networkによる候補領域からクラス・位置とは別にSegmentationの結果を計算候補領域(ROI)の⼤まかな位置しか⾒ないROI Poolingは Segmentationには不向き・ROI Alignの導⼊後段の計算で必要なROI内部の代表的な点の位置をあらかじめ設定し、その点の4近傍から bi-linear補間によって値を計算

20. 最近のSOTA（Latest Algorithm） 20 An Analysis of Scale Invariance in Object Detection - SNIP (CVPR2018) 著者 : Bharat Singh, Larry S. Davis l 物体のサイズ変動に対応した⼿法 l ImageNetで学習したモデルからのドメインシフトが⼤きい l COCO2017にてBest student entry プレ学習時の物体サイズに近いanchorのみを学習 - 3つのスケールで物体候補を算出し，最後に3つの結果をマージ

21. 最近のSOTA（Latest Algorithm） 21 SNIPER: Efficient Multi-Scale Training (NeurIPS 2018) 著者 : Bharat Singh, Mahyar Najibi, Larry S. Davis l より効率的なマルチスケール学習 l ピクセル処理ではなく，チップ周辺のコンテキスト領域を学習 l ⽣成するチップ数は画像の複雑さに応じて変化コンテキストに基づいたチップのサンプリング - 画像中の物体の存在の基づいてチップ(コンテキスト領域)を⽣成 - チップからバウンディングボックスを推定

22. 最近のSOTA（Latest Algorithm） 22 M2Det: A Single-Shot Object Detector based on Multi-Level Feature Pyramid Network (AAAI 2019) 著者 : Qijie Zhao, Tao Sheng, Yongtao Wang, Zhi Tang, Ying Chen, Ling Cai, Haibin Ling l ダウンサンプリングとアップサンプリングを何度も繰り返す l 処理速度は出ないが，2019年2⽉現在でSOTA 浅い特徴と深い特徴をマージしてマルチスケール化 - アップサンプリング時のfeature mapを同じサイズ同⼠で結合 - 結合したfeature mapから物体検出

23. 実装のチュートリアル

24. 頻出データセット 24 Pascal VOC（2007/2012） • ほとんどの論⽂で検証されるデファクトスタンダードDB • 2005から2012年まで物体検出のコンペを開催 DB概要 • クラス数：20 – Person(1)，Animal(6)，Vehicle(7)，Indoor(6) • 画像枚数：9,963枚(2007)，11,530枚(2012) • 物体数：24,640(2007)，27,450(2012) • セグメンテーション数：6,929(2012) その他 • .xml形式で管理 • 2007と2012でトレイン，2007でテストという流れが多 – 2012はテストデータが公開されていないため • 2012に⼀部破損している画像がある？ – 画像の読み込み⽅によってはエラーが出るので注意

25. 頻出データセット 25 Pascal VOCフォーマット • 頻出のVOCデータ構造 • このフォーマットを抑えておくと様々なコードに対応可能 devkit Annotation – .xml形式のアノテーションデータが保存されている階層 – ツリー構造で画像の情報やソース，Bbox，クラスなどの情報 ImageSets - Main – .txt形式でtrain/test/valのリストが保存されている階層 JPEGImages – .jpg形式で画像が保存されている階層アノテーションツールまとめ https://qiita.com/shu-yusa/items/d19ea57e3cf9c4dbdce2

26. 頻出データセット 26 Microsoft COCO • VOCと同様に，最も多く使われるDBの1つ • VOCよりも規模が⼤きく，他のタスクも充実 – セグメンテーション，イメージキャプショニングなど DB概要 • クラス数：80 • 画像枚数：330,000枚 • 物体数：1,500,000 その他 • アノテーションデータはJSONで管理 – 画像IDでキーが対応付けられており，便利 • 最近のコードではCOCOフォーマットが増加？ – VOCフォーマットよりもシンプルなため？

27. 重要データセット 27 Open Images dataset v4 • 最⼤規模の画像データセット • 2017年にBboxのデータも追加されて物体検出でも利⽤可能 DB概要 • クラス数：600 • 画像枚数：総計1900万枚 • 物体数：15,400,000 その他 • バウンディングボックスは半⾃動で付与 • 2017年当時はバウンディングボックスにややズレがある印象 • 現在 (v4)に関しては不明 • 数だけで⾔えばトップクラス

28. その他データセット 28 ImageNet, Caltech Pedestrian, CityPerson ImageNet：ベースネットワーク(VGG16やResNet101など)のプレ学習に頻出とりあえず使っているが，使わなくても同等の精度が出たりする Caltech Pedestrian：歩⾏者検知⽤DB ⼈間のみのベンチマークなら頻出 City Person： Cityscapesというセグメンテーション⽤DBにBboxを付与ドラレコ映像で，⼈間の外像度が低い

29. Faster R-CNNのチュートリアル 29 • 公式実装 – MATLAB版とPython版が存在 • OriginalはMATLAB版（論⽂の再現実験に推奨） • いずれもCaffeを利⽤ • MATLAB版で訓練したモデルをPython版で使⽤不可（逆は不明） • backboneはZFnetとVGG16の２つ – MATLAB https://github.com/ShaoqingRen/faster_rcnn – Python https://github.com/rbgirshick/py-faster-rcnn

30. Faster R-CNNのチュートリアル 30 • 注意点 – MicrosoftがFaster R-CNNの特許を取得済み (特許本⽂：https://t.co/Bxnjz5s1WU ) • Faster R-CNNの進化系であるMask R-CNN等も特許に含む • Github上のほぼすべてのFaster R-CNN実装が独⾃データで訓練を⾏うコードが存在しない (独⾃データでの学習は⾃分で実装する必要あり) • あくまでアメリカの特許のため⽇本国内では利⽤可能？（参考：https://qiita.com/yu4u/items/6bc9571c19181c1600a7 ）

31. Faster R-CNNのチュートリアル 31 • Keras実装 • https://github.com/you359/Keras-FasterRCNN – Theanoとtensorflow対応 – メリット • backboneの種類が豊富 (VGG16, xception, Resnet50, inception-Resnet-v2) • 独⾃データの学習が⽐較的容易 (所定の形式のtxtファイルを⽤意すれば学習可能) – デメリット • 動画のテスト未実装

32. Faster R-CNNのチュートリアル 32 • Pytorch実装 • https://github.com/jwyang/faster-rcnn.pytorch – メリット • Mask R-CNNで導⼊されているROI Alignを使⽤可能 • 数あるPytorch実装の中でも,Numpyの使⽤を避けており⽐較的⾼速に学習可能 • さまざまな環境でのベンチマークがあり訓練前にバッチサイズなどある程度パラメータの⽬途が⽴つ

33. SSDのチュートリアル 33 • Pytorch実装 • https://github.com/amdegroot/ssd.pytorch – 特徴 • Pytorch実装の中では⼈気 • 2018年3⽉以降更新されていないがForkが多い • 最新のPytorchに対応していないが，Issuesで対応可能 ※少し⾯倒かも • Pascal VOCとMSCOCOフォーマットで学習可能 • 論⽂以上の精度プレトレインモデル公開

34. SSDのチュートリアル 34 • Pytorch実装 • https://github.com/amdegroot/ssd.pytorch – デフォではPytorch 0.3系 • 学習回数(イテレーション)のみで学習を管理 • エポックで管理したい場合は改造 – Pytorch 0.4.0+対応(基本はこの辺りを参照) • Issues #154 • Issues #175 • Issues #240 • これをやると学習開始までが速くなる！

35. YOLOのチュートリアル 35 • 公式実装 • https://pjreddie.com/darknet/yolo/ – Darknet • C⾔語・CUDAで書かれたライブラリ • https://github.com/pjreddie/darknet をcloneしてmakeするだけで簡単に使⽤可能 • メリット – makeするだけでYOLOv1〜v3まで簡単に試せる – ⾼速に動作 • デメリット – ソースコードの理解が困難

36. YOLOのチュートリアル 36 • YOLOv3のKeras実装 • https://github.com/qqwweee/keras-yolo3 – Kerasを使⽤したYOLOv3の実装 • tensorflowバックエンド • メリット – コードが読みやすい＋αの処理を追加しやすい • デメリット – 動作が遅い – trainのコードは論⽂の精度を再現できず

37. YOLOのチュートリアル 37 • YOLOv3のPytorch実装 • https://github.com/DeNA/PyTorch_YOLOv3 – DeNAによる再現実装 • メリット – dockerfile付きで簡単に試せる – COCO データセットでtrain,testともに同等の精度を達成 • デメリット – Tiny ver.は未実装

38. メタサーベイ

39. メタサーベイ？？ 39 • 世界の強い研究者/研究グループに着⽬ – いかに研究を進めていくか？ – いかにアイディアを発想するか？ – 研究体制（メンバーや環境，基盤技術）を整えるか？という部分にフォーカス

40. Facebook AI Research（FAIR） 40 • 世界の物体検知分野を牽引するFAIR – 激強研究機関 • 強い研究者が集合，議論してさらに強くなる – 物体検知のトレンドを創出 • Mask R-CNN/RetinaNetなど – 強い基盤を保有 • PyTorch/Caffe2などに代表 • Detectronは誰もが使⽤できる物体認識オープンソース

41. FAIR 41 • 激強研究機関 – 所⻑はYann LeCun（左; CNNの考案者の⼀⼈） – トップの国際会議に毎回数本〜数⼗本論⽂通す – トップ研究者を常時採⽤（+厳しい⾯接を突破） • InternですらNIPS/ICML/CVPR等の主著成果が推奨されている https://research.fb.com/category/facebook-ai-research/ 1ページ10本リストされているページが66！（全体で660弱くらいの論⽂が採択？） https://research.fb.com/publications/page/9/

42. FAIR 42 • 物体検知分野の著名研究者（覚えておくと得します） – Kaiming He • ResNet, Mask R-CNN, Faster R-CNN, Focal Loss等 • http://kaiminghe.com/ – Ross Girshick • DPM, R-CNN, Fast/Faster/Mask R-CNN, YOLO, Focal Loss等 • http://www.rossgirshick.info/ – Piotr Dollar • Caltech Pedstrian DB, MSCOCO, ICF, Mask R-CNN 等 • https://pdollar.github.io/ • 他多数。。。

43. FAIR 43 • 物体検知のトレンドを創出 – Mask R-CNN（ICCVʼ17 Best Paper） • 直感的にFaster R-CNN(He⽒/Girshick⽒の前職研究)とFCNの統合 • Simple Idea（この場合はサブピクセルで誤差を補正するROI Align*）の追加， bbox+segmentの同時最適化で劇的な精度向上 • 既存⼿法をベースにして積み上げていくスタイル • そしてトレンドを創ったメンバーが悉く研究所にいる * ROI Alignは（特にセグメンテーションの問題にて）誤差を最適化するためにシンプルながら効果が⼤きかったと推察

44. FAIR 44 • 物体検知でトレンドを創出するには？ 1. シンプルアイディア 2. 劇的な精度向上 3. コードを公開の３拍⼦は(物体検知に限らず)CV界で⾮常に⼤きく評価される R-CNNシリーズ，ResNet, （後述）YOLOシリーズも３拍⼦揃えている

45. FAIR 45 • 研究はインターンも重要な戦⼒？ – FAIRインターンの最近の成果 • RetinaNet（ICCVʻ17 Student Best Paper） • Non-local Neural Net（CVPRʼ18） – 有名研究室エース学⽣がインターンすること多し – やはり有名研究者と数ヶ⽉に渡り研究を実施 Fellowshipプログラムも充実（$37,000/year, 最⼤$5,000のトラベルサポート） https://research.fb.com/programs/fellowship

46. FAIR 46 • FAIRのデータ基盤 – もちろんSNSとしてのFacebook！ – Instagram買収（2012年4⽉） – SNSを⽤いた弱教師によるPre-trainの実⾏（下図） • Hashtagでラベル付/スケール増加 • 35億枚の画像により特徴表現学習 [Mahajan+, ECCV18] FBはSNSのHashtagでラベル付けなし，弱教師付きの3.5B 枚画像DB構築

47. FAIR 47 • メタな部分を常に考えている？ – ⼿法とともにデータの分析も⾏う – Rethinking ImageNet Pre-training • ImageNetは精度向上に貢献する？ -> しない • スクラッチで⻑く学習すれば同等の精度まで到達 • 収束は早くなったので，研究ペース促進には寄与学習回数が多くなるとスクラッチと事前学習あり，精度が同等になる通常の学習回数ではImageNet Pre-trainが強く⾒えているが、、、

48. FAIR 48 • オープンソース構築の著名研究者 – Yanqing Jia • Caffe（Berkeley時代）/Caffe2の作者 • http://daggerfs.com/ – Soumith Chintala • PyTorchの中⼼的メンバー • https://research.fb.com/people/chintala-soumith/ • 他多数。。。

49. FAIR 49 • 物体検知アルゴリズム + 共通基盤 – 物体検知アルゴリズム • Mask R-CNN/RetinaNet – 共通基盤 • PyTorch：研究向き • Caffe2：開発向き – 両側⾯の研究者が同時に研究開発を推進 • 実際にはハード/UI⾯でも研究が進められている • 研究後迅速にオープンソース化 >> Detectron

50. FAIR 50 • PyTorch – 主に研究⽤途として世界中の研究者が使⽤ – define-by-runが直感的な実装を⽀援 – コーディングの⾃由度が⾼い（？） – 経験上，DLしたコードの再現性が⾼いたったの⼀⾏で環境が整う⼿軽さ！

51. FAIR 51 • Caffe2 – パフォーマンス（主に処理速い）が⾼く開発者向き – Caffeを継承し，PyTorchからの連携も考慮 • 少なくともFacebook内では共有 – ONNXでのモデル共有も可能 PyTorch開発のリポジトリ内に統合された⾚枠にCaffe2という⽂字が公式ページも参照 https://caffe2.ai/blog/2018/05/02/Caffe2_PyTorch_1_0.html

52. FAIR 52 • FAIRの噂（ウワサなので話半分にお願いします） – Facebookの開発者は⼀⼈100GPUs前後を⾃由に使⽤可能 • FAIRともなるとさらに多くのGPUsを扱える？ • 確かにECCVʼ18論⽂では336GPUs使⽤と書いている – パラメータチューニングの専⾨家がいる？ • 論⽂を読んで異常に精度が⾼いベースラインがある • 実際にはKaggler枠的な⼈がいるのでは？ – Facebookなのに顔認識研究の多くは出てこない • 何かすごいことしてるんじゃ？（と想像してしまいますよね）

53. FAIR 53 • メタな分析 – トレンドを創れる研究者が議論してさらに強いベースラインを作り続ける – オープンソースのコミュニティを牽引 • オープンにすることで情報量も⼊ってくる – 膨⼤なデータ量，豊富な計算リソース – メタな部分を研究者(や運営)が常に考え続ける • メタサーベイについても⼤きく先を⾏っている！

54. Max Planck Institute for Informatics（MPII） 54 • 歩⾏者検知の⽂脈で強いMPII – Prof. Dr. Bernt Shieleグループ • 教授+数名（3⼈?）のグループリーダーで構成 • Ph.D. student, PDを中⼼に合計30名 – CV/UI分野が中⼼ – 歩⾏者検知以外には姿勢推定，Zero-shot学習等で強い – 泥臭い作業を惜しまずに実⾏ • 網羅的な調査研究 • 緻密なモデル改善 • アノテーション付け替え

55. MPII 55 • 歩⾏者検知で中⼼的なメンバー – Rodrigo Benenson（現在はGoogle） • 歩⾏者検知をリードする中⼼的な存在 • 現在はGoogleでより社会実装に注⼒？ • CityScapes Dataset, Pedestrian Detection Survey, 100FPS Pedestrian Detection • http://rodrigob.github.io/

56. MPII 56 • 実装が伴った調査研究 – 40+の歩⾏者検出⼿法等を公平な環境で⽐較 • Haar-like/HOGからDEEP特徴まで – 網羅的な調査がMPIIの強さ • 特にBenenson⽒の強みか？ R. Benenson, et al. “Ten years of pedestrian detection, what have we learned?,” ECCV 2014 CVRSUAD workshop.

57. MPII 57 • 公開データに対して再アノテーション – Caltech Pedestrianに対しラベルをクリーンに – Human Baselineも与えた • Humanのエラー率は5.6%だったことから疑問を持ち，改良ラベルで⾏ったら同エラー率は0.88%となった S. Zhang, et al. “How Far are We from Solving Pedestrian Detection?,” CVPR, 2016. Caltech Pedestrian Benchmarkに含まれるラベル誤り（左）とボックスのズレ（右）最先端⼿法と⼈間のベースライン⽐較

58. MPII 58 • メタな分析 – 強烈なリーダーがサブドメインを牽引 • MPIIの場合はBenenson⽒が歩⾏者検知分野を牽引 • （研究所のPIはB. Schiele教授） – 泥臭い作業を厭わない • 徹底した実装による⽐較@ECCVWʼ14 • 公開DBに対する再アノテーション@CVPRʼ16 • Human Baselineの付与@CVPRʼ16 – そして現在は企業に移り社会実装（?）

59. Preferred Networks（PFN） 59 • PFN – 国内最強の研究機関 – Chainer • Chainer CV（画像認識）, Chainer MN（分散処理），Optuna （パラメータ調整） • その他，Chainer RL（強化学習） – プライベート⼤規模分散システムを保有 • 512GPUs！ – Open Images Challengeにて世界第２位

60. PFN 60 • Chainer！ – もはや説明不要，国産のDNNフレームワーク – MN, RL, CVも含めて便利（語彙⼒不⾜。。） https://chainer.org/

61. PFN 61 • 物体検知への貢献 – Google AI Open Images Challenge世界第２位 • 全世界で454チームが参加 – ⾼度な分散処理を実現 • Private Super Computer 512 GPUs • 分散処理⽤Chainer MN – さらに，パラメータ調整⽤コードを開発 • Optuna: のちにオープンソースとして公開 – https://www.preferred-networks.jp/ja/news/pr20180907

62. J. Redmon（YOLO著者） 62 • ご存知YOLOシリーズ著者 – 物体検知においては最も有名な研究者の⼀⼈ – プレゼン資料，SNS，arXivなどを有効に活⽤ – コードDarkNet（前述）はオープンソースとして公開 –強烈なキャラクター – https://pjreddie.com/

63. J. Redmon（YOLO著者） 63 • SNS/arXivを⽤いた論⽂の宣伝！ – arXivを（最も？）うまく活⽤している – YOLO9000（真似できるかどうかは置いといて。。。） • コード公開/arXiv論⽂投稿 • Twitterでも効果的に拡散 https://pbs.twimg.com/media/DFnnqn0VwAExuiU.jpg YOLO9000の開発⼒は評価に価するが， CVPRʼ17のポスター（左図）はズルい

64. J. Redmon（YOLO著者） 64 • 論⽂を流⾏らせるための戦略？ – まずは研究！技術を徹底して育てる • Redmon⽒は特に物体検知に注⼒ – 論⽂執筆（査読者にわからないようネタを仕込む？） • 愛⽝（アラスカンマラミュート）を論⽂の図中に⼊れ込む • CVPRʼ17ポスターで全てが繋がった！ – 投稿したらオープンに • arXiv, DarkNet公開/更新, SNS上で拡散 • TED Talkにも登場

65. まとめ 65 • 物体検出のトレンド共にメタな部分を調査 – トレンド • Hand-crafted features, R-CNN, One-shot detector, State-of-the-art（SOTA） • 頻出データセット • 有名なコード紹介 – メタサーベイ • FAIR • MPII • PFN • J. Redmon

66. 著者紹介

67. 【研究テーマや研究の趣味】 • Fashion Culture DataBase (FCDB) • Neural Joking Machine (NJM) • ITS関係【何かひとこと，今年の抱負など】 • ⾯⽩い⼈間になりたい。 – いろいろな意味で • 時間をうまく使いたい！ MyPage/SNS Twitter: @cv2mametch ⾃⼰紹介写真等 • 美濃⼝宗尊 (みのぐちむねたか) • 東京電機⼤学 M1 知能機械システム研究室 • 産業技術総合研究所RA • cvpaper.challenge，nlpaper.challenge • 出⾝：神奈川県，現在：埼⽟県 • 趣味：Michael Jackson，聖飢魔Ⅱ，玩具著者１

68. 著者２ • ⻄島涼太（にしじまりょうた） • 千葉⼤学 M1 総合メディア研究室 • 出⾝：千葉県、現在：千葉県 • 趣味：サッカー、ランニング • cvpaper.challengeの活動参加は2回⽬(発表は初) • 研究テーマ：物体検出、物体追跡 • 最近の興味：⽣成モデル全般【研究テーマや研究の興味】 • ⾃⾝のアウトプットを増やしたい【何かひとこと，今年の抱負など】 MyPage/SNS Twitter: @ryota7171

69. • 研究テーマ：画像認識，動画解析，⼈物⾏動認識，SNS 画像解析，交通予防安全，物流，⾔語&視覚，DB構築 • 最近の興味：3D認識，ファッション画像解析 • 論⽂：CVPRx2, ICRAx2, BMVC, ACCV等 MyPage/SNS HP: http://hirokatsukataoka.net/ Twitter: @HirokatuKataoka • 産業技術総合研究所（CVRG/AI Center/AL Lab.）研究員（2016, Apr. ~ 現在) • 東京電機⼤学訪問研究員（2016, Apr. ~ 現在） • cvpaper.challenge 主宰（2015, May~），nlpaper.challenge HQ（2018, Dec.~） • 茨城県笠間市出⾝，芝浦⼯⼤（05-09），慶應義塾⼤学（09-14），東京⼤（14- 15），⻑距離⾛（フルマラソンBest 3ʼ30），⽔泳（茨城県5位），野球（⾼校~ ⼤学; 海外選抜メンバー），⽝と遊ぶこと • ひとこと：根っからのチャレンジャーです！ • cvpaper.challenge: 世界のCV研究者を驚かせる！ • nlpaper.challenge: 相乗効果によりNLP/CV分野を活性化！（私⾃⾝もNLPの知⾒を獲得したい）⽚岡裕雄（かたおかひろかつ）【研究テーマや研究の興味】【何かひとこと，今年の抱負など】 × 双⽅のコミュニティを強く著者３