1.
⽚岡裕雄
Hirokatsu Kataoka
http://xpaperchallenge.org/cv/
Pre-training without Natural Images
-CV分野メジャー国際会議Awardまでの道のり-
Tips/Lessons from ACCV 2020 Best Paper Honorable Mention Award

2.
本資料について
● 個⼈的な, ある1プロジェクトからのコツ・学び
● コンピュータビジョン（CV）分野の国際会議
○ 賞を獲得するとは / 論⽂を通すとは
○ 採点⽅式
● プロジェクト5年間の歩み
○ 研究プロジェクトの概要
○ コツ・学び

3.
（いきなりですが）Awardを獲得するには︖

4.
（いきなりですが）Awardを獲得するには︖
● 「Awardを狙うこと」

5.
（いきなりですが）Awardを獲得するには︖
● 「Awardを狙うこと」
● 当然，Best PaperはBest of Bestに贈られる
○ 何とか賞でも多くてTop-10くらい
● 合格点でなく最⾼点を狙う
○ 「取り敢えず採択最低点を⽬指そう」では到達できない領域
その前に，CV分野のメジャー会議の仕組みについて説明↓

6.
メジャー会議に通すとは︖（vs. 査読者）
● 著者は初期配点を⾃ら決定, 査読者は減点
● 著者側（初期配点を⾃分で設定）
○ 問題設定「何をするか︖」とその質「どこまでやるか︖」を決定
■ 但し，初期配点は具体的な数値ではなく査読者の感覚に依るところが⼤きい
● 査読者側（論⽂の⾄らない点を探して減点）
○ ⽂法ミス，タイポ，実験の不⾜，論理のずれなどが減点対象
○ 評点はCV分野の場合には{SA, WA, B, WR, SR}の5段階が多い
■ SR/SA: Strong Reject/Accept, WR/WA: Weak Reject/Accept, B: Borderline
■ 但し，評点は具体的な数値ではなく査読者の感覚に依るところが⼤きい
著者 vs. 査読者で点数付，総合的な点数が⾼い順から採択*
*サブ分野のバランスなども⾒極めて判断する

7.
つまり何が必要︖
● 初期配点を⾼く, 減点を少なく︕
● 初期配点を⾼く
○ 優れた問題設定を考える
■ 個⼈/集団 ブレインストーミング → 徹底したディスカッションが効果的
○ 問題設定の価値を⾼めるために
■ 網羅的/メタサーベイが効果的
● 減点を少なく
○ 問題設定を実証するという意味で実験がある
■ 論⽂の質向上には︓定期的な打ち合わせが効果的
■ 実験量を確保するには︓計算リソースの拡充が効果的
○ 分かりやすい論⽂構成, 誤字脱字⽂法などミスを少なくする
■ 論⽂を早く書く（⼀ヶ⽉前第⼀版完成推奨）
■ 多くの⽬に触れる（２週間前までに内部査読）
■ 直前は著者全員で校正

8.
メジャー会議の合否決定（vs. AC/PC）
● 査読者の評点を元にディスカッション
● 合否決定の仕組み
○ 下図参照（How to review for CVPR より）
○ Reviewer → Area Chair (AC) → Program Chair (PC)という順番/逆順
○ なお，この組織とは別に賞候補委員会なるものが組織される
https://www.google.com/url?sa=t&rct=j&q=&esrc=s&source=web&cd=&ved=2ahUKEwiIh-
uU5t7tAhXYF4gKHdKNCZsQFjAFegQIBBAC&url=http%3A%2F%2Fcvpr2020.thecvf.com%2
Fsites%2Fdefault%2Ffiles%2F2019-
09%2FCVPRReviewerTutorial.pptx&usg=AOvVaw1C9siWCw_8FyPFMPjg7Vyl

9.
賞候補論⽂とは?︖
● 査読の評点が極めて⾼い, AC/PCが推薦, 賞候補委員が決定
○ 査読の時点ではStrong Acceptを可能な限り集めたい
○ AC/PCには今までのどの論⽂とも違うということを理解させたい
「初期配点を⾼く，減点を少なく」を徹底
https://www.google.com/url?sa=t&rct=j&q=&esrc=s&source=web&cd=&ved=2ahUKEwiIh-
uU5t7tAhXYF4gKHdKNCZsQFjAFegQIBBAC&url=http%3A%2F%2Fcvpr2020.thecvf.com%2
Fsites%2Fdefault%2Ffiles%2F2019-
09%2FCVPRReviewerTutorial.pptx&usg=AOvVaw1C9siWCw_8FyPFMPjg7Vyl

10.
賞候補論⽂とは?︖
● 査読の評点が極めて⾼い, AC/PCが推薦, 賞候補委員が決定
○ 査読の時点ではStrong Acceptを可能な限り集めたい
○ AC/PCには今までのどの論⽂とも違うということを理解させたい
「初期配点を⾼く，減点を少なく」を徹底
How to write a good CVPR submissionより
https://billf.mit.edu/sites/default/files/documents/cvprPapers.pdf
・Best Paperを獲るに限らず，後々残るような論⽂は
⼀握り（CV分野で年間数本と⾔われる）
・「独創的」は「とても良い研究」の向こう側にある︕

11.
背景（ここから3pは簡単な研究紹介）
• 教師あり学習/⾃⼰教師学習は有望
• だが⾃然画像を⽤いるため権利問題がクリアでない
• ⾃然画像を⽤いずCNN学習が可能か︖
• アノテーション，プライバシー，公平性
• ⾃然画像による⼤規模DB問題は⼭積
データセット問題︓
アノテーション，公平性, プライバシー
ImageNetは商⽤利⽤禁⽌，
教育・学術⽬的利⽤に限定
教師あり学習
http://www.image-net.org/

12.
本研究における「問い」
• ⼤規模DBを⾃動⽣成して，事前学習できる︖
– 画像パターンを⾃ら⽣成，カテゴリも分割できる︖
– ⾃然画像とは/画像カテゴリとは何か︖に迫る
撮影された⾃然画像を⼀切⽤いず，⼈⼿アノテーションなし/個⼈情報保護法にも依らず，
ImageNet事前学習モデルを置き換える︕
画像の30万画素空間は16.7M300K
CNN+ImageNetは膨⼤な空間を（たった）120+万枚で学習
CNNは組織化された⼤量画像/カテゴリで事前学習可能︖

13.
提案⼿法︓数式ドリブン教師あり学習
⾃然画像を⽤いない事前学習にも関わらず
⾃然画像認識において⾼い事前学習効果
フラクタル幾何を⽤いた
画像パターン及び画像カテゴリ⾃動⽣成
画像パターン及び画像カテゴリを⾃動⽣成する法則を探求
1. 近年の⼤規模画像DB関連問題（アノテーション, 公平性, プライバシー）を解決
2. 転移学習により部分的にデファクトスタンダードの⼈間教師の精度を凌駕
⼈為的ラベル付け作業なし, 画像の公平性担保, プライバシーをクリアした状態で
⼤規模画像データセット（ImageNet等）による事前学習を置き換える研究

14.
プロジェクト これまでの流れ
• 2016/05: アイディアを発想，研究を開始
• 2016/11: CVPRʼ17 投稿⾒送り
• 2017/03: 引き継ぎによりロストテクノロジーに,,,
• 2017/04: ここから体制変更
• 2017/07: FractalDB（代表60カテゴリ）
• 2017/12: ViEWʼ17 次点
• 2018/07: FractalDB-1k（ここで現在のベース完成）
• 2018/08: MIRUʼ18 発表（だがOral落ちでPoster）
• 2018/10: 科研費申請
• 2018/11: CVPRʼ19投稿（リジェクト）
• 2019/01: スパコンABCI使⽤開始
• 2019/03: ICCVʼ19投稿（リジェクト）
• 2019/04: 科研費基盤(A)採択（ここから⽚岡が主著）
• 2019/11: CVPRʼ20 投稿（リジェクト）
• 2020/07: ACCVʼ20 投稿（Accept (Oral); Strong Accept x3）
• 2020/09: ACCVʼ20 コンテンツ作成（サムネ, 動画x2, コード, 論⽂）
• 2020/11: ACCVʼ20 Best Paper Honorable Mention Award獲得

15.
Award受賞までのTips
• アイディアは徹底して尖らせよう
• 良いと信じたテーマは続けよう
• 研究は改善あるのみ
• ⼈を巻き込め
• 最⾼のリソースを使う
• ⾃らの⼿を動かそう
• 投稿戦略の切り替え
• プレゼン（論⽂含む）はクリアに
• 「狙え」さもなくばAwardは獲れない

16.
アイディアは徹底して尖らせよう
2016/05: アイディアを発想，研究を開始 ←「これまでの流れ」に対応
以降，全ての期間でアイディアは考えていた
• アイディア（及びストーリー）は常にアップデート
– 最初のアイディアは⼗中⼋九，⼤したことない︕
• アイディアを磨くタイミング
– 論⽂（読み書き），打ち合わせ，学会発表など
• 但し，↑は初期テーマに固執した場合は起こりえない
– アンテナを凡ゆる⽅向に伸ばそう
最初のアイディアはそこまで磨かれていなかった
（⾃然物とは︖⼈⼯物とは︖という問題に⾏き着いた）

17.
良いと信じたテーマは続けよう
2017/03: 引き継ぎによりロストテクノロジーに,,,
2017/04: ここから体制の変更
成果はほぼ出ていなかったので普通なら辞めていた，，，
• 絶対使えるものになる/するという確信/信念(?)
– 当時からImageNetを置き換えたいとは思っていた
• TDUの⼆⼈が技術を蘇らせて先に進めてくれた
– 特に岡安くんの貢献は⼤きかった
– というわけで2nd Authorとして残り続けた

18.
研究は改善あるのみ
2017/07: FractalDB（代表60カテゴリ）
2018/07: FractalDB-1k（ここで現在のベース完成）
2018/08: MIRUʼ18 発表（だがOral落ちでPoster）
2018/11: CVPRʼ19投稿（リジェクト）
2019/03: ICCVʼ19投稿（リジェクト）
2019/11: CVPRʼ20 投稿（リジェクト）
落とされる度に改善を⾏なっていく︕
• テーマ・実験・プレゼン全ての⾯で強化
– 「アイディアは徹底して尖らせよう」に通じる
• 査読コメントは重要
– 特にCVPR/ICCVともなると読んでいるのはトップ研究者

19.
⼈を巻き込め
• 2018/10: 科研費申請
• 2019/04: 科研費基盤(A)採択（ここから⽚岡が主著）
ここら辺が転機，研究が縦横に拡がる
• 産総研 / 電⼤ 2研究室 / 東⼯⼤の4研究室連携
– 前⽥英作先⽣, 井上中順先⽣の加⼊
– 元々連携していた中村研究室にも研究費++
• 研究の拡がり
– 研究する学⽣さんが増える
– 現状，関連研究が拡がり続けている
• 遠回りのようで，基盤となる技術を持った⽅が後々の業績は⼤きい
• さらに，縦横無尽に知識の相互作⽤

20.
最⾼のリソースを使う
2019/01: スパコンABCI使⽤開始
時間を研究費により短縮
• 実験の加速
– 90⽇分の実験を週末で完了
– DeepBox（TitanX x4） vs. ABCI（V100 x4 xN(Nmax = 1088)）
• 課⾦制につき研究費次第
– ICCVʼ19〜CVPRʼ20〜ACCVʼ20で（少なく⾒積もっても）200,000GPU時間
– 予算は多少必要...
当時の感想
ABCIはImageNet学習の
世界最速記録も出している︕
https://twitter.com/HirokatuKataoka/status/1101262001517412352

21.
⾃らの⼿を動かそう
2019/03: ICCVʼ19投稿（リジェクト）
2019/04: 科研費基盤(A)採択（ここから⽚岡が主著）
どちらかと⾔えばGL/Ph.D.メンバー向け
• 「良いと信じたテーマは続けよう」を引き続き実践
– ⾃ら主著となったのは学⽣同⼠の引継ぎの時間ロスを無くすため
• 主著|共同主著論⽂|共著論⽂を書こう
– 論⽂を通して新しい提案を世に出す
– 実験を通して知⾒を⽣み出す以外は進捗ではない
• ...と思っていれば最近研究したかどうかが分かるのでは︖
• MTG/Tweet/論⽂読み/雑務して進捗か︖（⾃らに⾔い聞かせています）

22.
投稿戦略の切り替え
2019/11: CVPRʼ20 投稿（リジェクト）
2020/07: ACCVʼ20 投稿（Accept (Oral); Strong Accept x3）
より理解されやすい戦略を考える
• 問題提起型研究は最初に出た時のインパクトが重要
– 初出が⼀番BPを獲得しやすいが，理解されにくいのも事実
• CVPR/ICCVだと精度（完成度）重視で理解されない
– ImageNet事前学習よりも精度が悪いものをなぜ投稿するのか︖
→ 最初からACCV投稿直前までずっと続いた
• 「⾯⽩いけど，何に使えるの︖」はずっと続いた
– 転機になったのが2019年のImageNet公平性問題か︖
– 2020年，相次ぐデータセット公開停⽌で理解が追いついた︖
受賞後IJCVへの推薦，というのもTop-tier → ACCVへの切り替えとしては⼤きかった

23.
プレゼン（論⽂含む）はクリアに
2020/07: ACCVʼ20 投稿（Accept (Oral); Strong Accept x3）
早く書く，何度も改善︕
• 1ヶ⽉前完成 & 毎回ver.20前後まで修正
– cvpaper.challenge内部査読の流れは徹底
• ver.1(⼀ヶ⽉前)〜内部査読〜追加実験/イントロ修正
– 直前も役割分担
• 内部英語チェック，図の改善，追加実験，論⽂執筆，休憩
CVPR 2017 投稿挑戦は1.5p書いて断念 ACCV 2020 投稿直前まで徹底した改善
トータルでver.50は優に超えてる

24.
「狙え」さもなくばAwardは獲れない
2020/09: ACCVʼ20 コンテンツ作成（サムネ, 動画x2, コード, 論⽂）
賞候補委員会向けのメッセージとして
• もちろん賞を獲ることが全てではない
– 受賞論⽂以外にもいい論⽂/研究はいくらでもある
• Code / Dataset / Oral / Poster / Videoを全て提出
– Project PageをACCV側に提出，あとは順次追加
– (恐らく)賞を選定する11⽉後半までには全て更新
https://hirokatsukataoka16.github.io/Pretraining-without-Natural-Images/
Project PageはACCV側にも提出

25.
https://accv2020.github.io/programs/awards/index.html

26.
さらに必要なこと︖
● 「受賞して終わり」ではない︕そこから始まり
● 宣伝する
○ SNS，Blog等
● 分野内で広める
○ WS/コンペの運営
● ⼀般レベルで広める
○ 研究連携・共同研究
○ システムとしてリリース
● 研究を継続する
○ 続編を出し続ける

27.
（おわりに）同プロジェクト開始前後の⾃分
• 博⼠課程時に投稿したTop/2nd-tierはほぼSR
– ICCV 2011︓Strong Reject x3
– ICPR 2012: Reject
– ICIP 2012: Reject
– CVPR 2012︓Strong Reject x3
– CVPR 2013︓Strong Reject x3
– WACV 2013︓Strong Reject x3
– FG2013︓Strong Reject x3
– CVPR 2014︓Borderline x1, Strong Reject x2
– ICPR 2014: Reject
– 絶望的...
• Strong Reject x3 → Strong Accept x3まで積み上げた
– 良いものも，悪いものも蓄積され⾃分の糧になっている
どんなにRejectされても諦めない，⾃分の直感を信じて前向きに取り組む
本質を⾒直すところから研究テーマ設定しよう︕