p7タイトル: "Do Better ImageNet Models Transfer Better?
" -> "What makes ImageNet good for transfer learning?"の誤りでした。大変申し訳ございません。 cvpaper.challenge の メタサーベイ発表スライドです。 cvpaper.challengeはコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文サマリ作成・アイディア考案・議論・実装・論文投稿に取り組み、凡ゆる知識を共有します。2020の目標は「トップ会議30+本投稿」することです。 http://xpaperchallenge.org/cv/

1.
沖本祐典，鈴木亮太，片岡裕雄
http://xpaperchallenge.org/cv
Rethinking and Beyond
ImageNet

2. ImageNetとは？
2
2020年現在
約22,000クラス約1400万枚に及ぶ
大規模画像データセット
● deep時代における大規模データセットの嚆矢
● クラスはWordNetに基づき階層構造をなす
● クラウドソーシングによるアノテーション
2009年，Stanford大のLi Fei Feiらにより公開
ImageNetから作られた
ILSVRC2012データセットが有名
http://www.image-net.org/

3. ILSVRC2012データセット
3
ImageNet Large Scale Visual Recognition
Challenge(ILSVRC)2012のためのデータセット
● ILSVRC2012の画像識別タスクでは
トロント大Hintonが率いるチームがAlexNet[1]で圧勝
● Deep Learningブームの立役者
● ILSVRC2012で学習した識別器etc.が世を席巻
画像識別タスクのデータセットは
1000クラス約140万枚の画像からなる
2020年現在も，CNNの事前学習モデルの
学習データとして広く利用
[1] Krizhevsky et al.. “Imagenet classification with deep convolutional neural networks” NuerIPS 2012.

4. 近年，ILSVRC2012データセット再考の動き
4
● 物体検出に転移しても汎化性能には影響せず
He et al, “Rethinking ImageNet Pre-training”, ICCV2019
● ILSVRC2012で学習したCNNの特徴量は余り汎化せず
Kornblith et al, “Do Better ImageNet Models Transfer Better?”, CVPR2019
● ILSVRC2012で学習したCNNはテクスチャに過適合
Rubisch et al. “ImageNet-trained CNNs are biased towards texture;
increasing shape bias improves accuracy and robustness” , ICLR2019
● 近年のCNNはILSVRC2012のテストセットに過適合
Recht et al, ”Do ImageNet Classifiers Generalize to ImageNet?, ICML2019
● ImageNetの時点で人物に関するfairnessに問題あり
Yang et al. “Towards Fairer Datasets: Filtering and Balancing the Distribution of the
People Subtree in the ImageNet Hierarchy” , ACM FAT* 2020

5. Rethinking and Beyond Imagenet：目次
5
1. ”ImageNet再考”に関する論文の紹介
2. ”ImageNet以後”の画像データセットの動向
3. 我々の取り組み：
Human Dataset Interaction

6. 1.”ImageNet再考”に関する
論文紹介

7. Do Better ImageNet Models Transfer Better?
7
会議 : NIPS 2016 WS
著者 : M. Huh, P. Agrawal, A. A. Efros (UC Berkeley)
URL: https://arxiv.org/pdf/1608.08614.pdf
●ImageNetにおける転移学習の網羅的調査を実施
●#Category/#Instance数を変動させた際の転移学習の精度（下図）等を評価

8. Rethinking ImageNet Pre-training
8
会議 : ICCV2019
著者 : Kaming He, Ross Girshick and Piotr Dollar(Facebook AI Research)
● Mask R-CNNとMS COCO 2017による物体検出・インスタンスセグメンテーションで
ILSVRCによる事前学習の有無によって最終的な性能はほとんど変わらず
● ILSVRCによる事前学習は，学習の収束を早めることに寄与
ILSVRCによる事前学習は物体検出の性能を向上させず
スクラッチから学習した際と，
事前学習モデルから学習した際の
学習時間とAPの関係．
事前学習により収束は早くなるが
最終的な性能は変化しない

9. Do Better ImageNet Models Transfer Better?
9
会議 : CVPR2019
著者 : imon Kornblith , Jonathon Shlens, and Quoc V. Le (Google Brain)
● 12の画像識別データセットと16種類のCNNで，ILSVRC2012テストセットでの性能と
他のデータセットに転移学習した際の性能に強い相関があることを確認
● ILSVBC2012の性能を向上させる正則化手法の多くが，転移学習での性能を悪化
● fine-grainedなデータセットでは，ILSVRC事前学習による効果はデータが少し
増えるだけで小さくなり，CNNの特徴量はそこまで汎化していないことを示唆
ILSVRC2012事前学習はfine-grainedデータセットで効果少
事前学習の有無を変えたとき，クラスごとのデータ量と性能．データが少し増えれば差は小さくなる

10. ImageNet-trained CNNs are biased towards texture;
increasing shape bias improves accuracy and robustness
10
会議 : ICLR2019
著者 R, Geirhos[1,2], P. Rubisch[1,3], C. Michaelis[1,2], M. Bethge[1,3], F. A. Wichmann[1],
W. Brendel[1] ([1]University of Tubingen, [2] IMPRS-IS, [3] University of Edinburgh),
● ILSVRC2012で学習したCNNは，テクスチャに頼って判断していることを示す
● 形状を認識して学習するためのStyle-ImageNetを構築し，
Style-ImageNetで学習したモデルはテクスチャに過適合しないことを確認
ILSVRC2012で学習したCNNはテクスチャに過適合
形状に関わらず，像のテクスチャの画像は像と比較的高い事後確率で判断される

11. Do ImageNet Classifiers Generalize to ImageNet?
11
会議 : ICML2019
著者 : B. Recht, R. Roelofs, L. Schmidt, V. Shankar (UC Berkeley)
● CIFAR10とILSVRC2012のテストセットを本来の手順を緻密になぞり新しく作成
● 作成したデータセットで，近年のCNNの性能を計算しなおしたところ，
ImageNetでは約11～13ポイントテストスコアが悪化（最近5年分の改善幅に相当）
近年のCNNのスコアはILSVRCのテストセットに過適合
CNNごとの元のテストセットでの性能と新しいテストセットの性能での関係．

12. Towards Fairer Datasets: Filtering and Balancing
the Distribution of the People Subtree in the ImageNet Hierarchy
12
会議 : ACM FAT* 2020
著者 : K. Yang[1], K. Qinami[1], L. Fei-Fei[2], J. Deng[1], O. Russakovsky[1]
([1]Princeton University, [2]Stanford University)
● ILSVRC2012を含むImageNetの人物に関するラベルを持つ画像を調査し，
公平性の観点から適切なラベルは2,832カテゴリのうち158カテゴリのみであることを報告
● データセットの公平性を調査をクラウドソーシングを用いて行うための
Webインターフェースを公開
ジェンダー（男/女/不明），肌の色（明/暗/中間），年齢の割合をクラスごとに示したグラフ。
ImageNetの時点で人物に関するfairnessに問題あり

13. 2.”ImageNet以後”の
画像データセットの動向

14. 研究としてのILSVRCは終了？
14
* Image from https://www.kaggle.com/c/imagenet-object-localization-challenge
その後はKaggleに引き継いでコンペを実施
-> 認識モデルの探索はKagglerの方が得意と判断
-> 研究レベルとしてはより異なる文脈を創造するタームに来ている？
2020年現在はFATE（Fairness, Accountability, Transparency and Ethics）など
より実用に直結し，解決困難なタスクに注目

15. 今後のデータセットに求められる課題
15
データの量
● 深層学習においてデータ量が命
データの質
● 学習したときの質の良さ（=”AI”に対する説明性）
● “人間”に対する説明性
“ユーザビリティ”
● FATE (Fairness, Accountability, Transparency and Ethics）
○ ユーザにとっての安心・安全
...など

16. ImageNet以後の画像データセット
16
データの量：巨大データセットの登場
JFT-300M: Sun et al. “Revisiting Unreasonable Effectiveness of Data in Deep
Learning Era”, ICCV2017.
IG-3.5B: Mahajan et al. “Exploring the Limits of Weakly Supervised
Pretraining”, ECCV2018.
データの質：アノテーションのモダリティを拡張
Visual Genome: Krishna et al. “Visual Genome: Connecting Language and
Vision Using Crowdsourced Dense Image Annotations”, ECCV2016.
“ユーザビリティ”：ラベル設計・アノテーション再考
Yang et al. “Towards Fairer Datasets: Filtering and Balancing
the Distribution of the People Subtree in the ImageNet Hierarchy”,
ACM FAT* 2020.

17. 巨大データセットの登場
17
JFT-300M (Google, 2017) / IG-3.5B (Facebook, 2018)
ILSVRCの数百倍のデータセットは認識性能の向上に寄与するか？
-> YES: 対数レベルで比例して性能は向上（10倍ごとに数%程度; 左下図）
-> 35億枚の学習画像を用いた場合，モデルの変更なしで当時のSOTA達成（右下図）
Google, ICCV 2017
http://openaccess.thecvf.com/content_ICCV_2017/papers/Sun_Revisiti
ng_Unreasonable_Effectiveness_ICCV_2017_paper.pdf
Facebook, ECCV 2018
https://arxiv.org/pdf/1805.00932.pdf
「大規模データは正義」は現在進行形？

18. 自己教師学習（Self-Supervised Learning）の台頭
18
SimCLR: T. Chen, S. Kornblith, M. Norouzi, G. Hinton (Google), arXiv preprint, 2020.
「自己教師 + 数%の教師」 により人間の教師に近接する精度を実現（左下図）
-> 自己教師学習への期待がにわかに高まる
Google, arXiv 2020
https://arxiv.org/abs/2002.05709
「自己教師学習」は人間の教師を代替しうるか？

19. ImageNetの生みの親による近年の取り組み
19* Image from http://vision.stanford.edu/people.html
Li Fei-Fei先生*
（Stanford大）
Krishna et al. “Visual Genome: Connecting Language and Vision
Using Crowdsourced Dense Image Annotations”, ECCV2016.
画像の深い理解を実現するため，画像に含まれる物体同士の関係などの
より詳細なアノテーションを付与したデータセットを構築
Yang et al. “Towards Fairer Datasets: Filtering and Balancing
the Distribution of the People Subtree in the ImageNet
Hierarchy”, ACM FAT* 2020.
ImageNetの人のラベルには公平性の観点から不適切なカテゴリーが
多く含まれていることを示す．
データセットの公平性をクラウドソーシングで検証するためのツールも公開
Denseなラベルによる深い画像理解
公平性(Fairness)を考慮したImageNet
「データセットをきちんと作り込む」ことを重視

20. 我々の取り組み：Human Dataset Interaction
20
データセットは人間による世界の説明となるか？
AIは説明を素直に受け取るか？
データセット・アノテーションを
HCIから見つめる・意味を考える
● データセットは
”人間”から“AI”に知識を移すためのインターフェース
● FATEなど，近年のCVにおける重要な課題の多くは
”人間”と”AI”との境界に発生
→データセットをHuman-Computer Interaction(HCI)
の視点から捉えることで，本質的に問題を解きたい
データセットとインタラクションする
研究参加者募集中
http://xpaperchallenge.org/cv/recruit.html

21. 研究協力者募集・著者紹介

22. cvpaper.challenge: CV分野の研究コミュニティ
22

23. 23
沖本 祐典
社会人1年生（Software Engineer）
早稲田大学 基幹理工学研究科 情報理工・情報通信専攻修了
CV Paper Challengerにおけるテーマ
● ImageNet Reannotation
専門
• Human Computer Interaction (Crowdsourcing)
• Human-in-the-Loop Machine Learning
• Precision Livestock Farming
Twitter: @mofumofu1729

24. 24
鈴木 亮太
産総研 特別研究員 人工知能研究センター
コンピュータビジョン研究チーム
cvpaper.challengeシスアド
CV Paper Challengerにおけるテーマ
● ImageNet Reannotation
専門
• Human Computer/Robot Interaction
• 人物追跡，計測
• AR/VR
Github: suzuryo3893

25. • 研究テーマ：画像・動画認識，人物行動認識・予測，物体検
出，交通予防安全，言語&視覚，大規模DB構築，数式ドリ
ブンDB生成
• 最近の興味：FATE, SSL
• 主要論文：CVPRx2, ICRAx3, BMVC, ACCV等
MyPage/SNS HP: http://hirokatsukataoka.net/ Twitter: @HirokatuKataoka
• 産業技術総合研究所（CVRT, AI Center）研究員（2016, Apr. ~ 現在)
• 東京電機大学 訪問研究員（2016, Apr. ~ 現在）
• cvpaper.challenge 主宰（2015, May~），nlpaper.challenge HQ（2018, Dec.~）,
robotpaper.challenge HQ（2019, Jul. ~）
• 茨城県笠間市出身, 芝浦工大（’05-’09）, 慶應義塾大学（’09-’14）, 東京大（’14 -’15）
，長距離走（フルマラソンBest 3’30），水泳（茨城県5位），野球（高校~大学; 海外選抜メ
ンバー），犬と遊ぶこと
• ひとこと：根っからのチャレンジャーです！
• cvpaper.challenge: 研究分野のトレンドを把握しトレンド
を創り出せる研究コミュニティにする
• xpaper.challenge: 分野横断的に研究連携する枠組みを
構築することが目標
片岡 裕雄
（かたおか ひろかつ）
【研究テーマや研究の興味】
【ひとこと，目標】
研究コミュニティを強くする！