「CVPR 2020 網羅的サーベイ」により作成された Datasets and Evaluation エリアのメタサーベイ資料です。 CVPR 2020 網羅的サーベイ: http://xpaperchallenge.org/cv/survey/cvpr2020_summaries/listall/ cvpaper.challengeはコンピュータビジョン分野の今を映し、トレンドを創り出す挑戦です。論文サマリ作成・アイディア考案・議論・実装・論文投稿に取り組み、凡ゆる知識を共有します。2020の目標は「トップ会議に30+本投稿」することです。 http://xpaperchallenge.org/cv/

1. CVPR 2020の動向・気付き・メタサーベイ
1
小暮駿介, 沖本祐典
Group 9: Datasets and Evaluation

2. 2
既存タスクの超大規模なデータセット
タスクの
新規性
データセットの
規模
小
大
大 小
• 応用系
• 3D・ロボティクス
• 応用系（自動運転・医療・re-identification）と
3D・ロボティクスが中心
• 分野の課題感が透ける
• マルチモーダル
• アイディアの勝利
• 動物などを対象

3. 3
新規タスクの中規模なデータセット
分野の課題感が透ける / マルチモーダル多
タスクの
新規性
データセットの
規模
小
大
大 小
• 応用系
• 3D・ロボティクス
• 分野の課題感が透ける
• マルチモーダル
• アイディアの勝利
• 動物などを対象

4. 4
タスクの新規性が大きいデータセット
アイディアの勝利
タスクの
新規性
データセットの
規模
小
大
大 小
• 応用系
• 3D・ロボティクス
• 分野の課題感が透ける
• マルチモーダル
• アイディアの勝利
• 動物などを対象

5. 5
Google Landmarks Dataset v2
- A Large-Scale Benchmark for Instance-Level Recognition and Retrieval
• 世界各地のランドマーク画像を収集
– 従来のデータセットをはるかに凌駕する規模
・画像検索やインスタンス認識において優れた性能を達成
・データセットの不均衡性についても踏み込んで言及
http://openaccess.thecvf.com/content_CVPR_2020/html/Weyand_Google_Landmarks_Dataset_v2_-_A
_Large-Scale_Benchmark_for_Instance-Level_CVPR_2020_paper.html

6. 6
Dynamic Traffic Modeling From Overhead Imagery
• 交通流解析のためのデータセットを提案
– City-levelかつPixel-levelの交通流推定
• 衛星画像と交通情報の融合
・道路網,進行方向,速度をマルチタスクで推定
・衛星画像に加えて補助情報としてGPSや時刻情報を使用することで
コンテキストを考慮
→上で述べた3つの観点から推定精度が向上
http://openaccess.thecvf.com/content_CVPR_2020/html/Workman_Dynamic_Traffic_Modeling_From_O
verhead_Imagery_CVPR_2020_paper.html

7. 7
Oops! Predicting Unintentional Action in Video
• 予測できない行動を収集したデータセットの提案
– 映像中のハプニングを認識,特定→予測
• 行動予測のタスクの収集データとしてはかなり斬新
対象シーンの一例
http://openaccess.thecvf.com/content_CVPR_2020/html/Epstein_Oops_Predicting_Unintentional_Action
_in_Video_CVPR_2020_paper.html

8. 8
Agriculture-Vision:
A Large Aerial Image Database for Agricultural Pattern Analysis
•農地に限定した航空画像データセットの提案
– 農地を対象とした認識は経済的価値は大きいが
研究としての取り組みは少ないことに着目
・農地の画像に加えて「NIR(赤外線)情報」も取得
・農学者の監督下で厳密なアノテーションを実行
http://openaccess.thecvf.com/content_CVPR_2020/html/Chiu_Agriculture-Vision_A_Large_Aerial_Imag
e_Database_for_Agricultural_Pattern_Analysis_CVPR_2020_paper.html

9. 9
Camouflaged Object Detection
• 擬態物体検出という人間でも困難なタスクを提案
● 擬態物体検出タスクに有効なフレームワークを提案
○ 自然のシーン画像においてセマンティックセグメンテーションを実
現
○ SOTAな物体検出手法を凌駕
http://openaccess.thecvf.com/content_CVPR_2020/html/Fan_Camouflaged_Object_Detection_CVPR_2
020_paper.html

10. 10
新規データセットの傾向
新しい研究タスクの開拓を行うために
一緒にデータセットも提案してしまおうという傾向が見られる
→既存タスクに対する新しいデータセットの提案では
インパクトに欠ける(インパクトを残すには既存データセットをはるか
に凌駕する規模のものが求められている印象)
→その結果が，マルチモーダルなデータセットの提案による
タスクの複雑化につながっているのではないか？

11. 11
まとめ
新規性が光るのはマルチモーダル
○ マルチモーダルにすることで
産業面への応用により期待が持てるような印象を受けた
○ 各モダリティの役割,そしてどのようなタスクへの利用が
想定されているかを明確にすることが重要
従来タスクに対するデータセットの採択数は割合的には少ない？
○ 手法同様, 真新しい構築方法の提案が必要である
(アノテーションコスト軽減や高速化など)
ニッチなデータセットの存在も個人的には興味を持った
○ 生物の擬態のデータセットに至っては、
発想すら思いつかなかったほど...
○ ただ前提として、分野への貢献を目的とした
データベースの構築であることを忘れてはならない.