20181207 社内論文読み会 PaperFriday での発表資料。 SAVOIAS: A Diverse, Multi-Category Visual Complexity Dataset。 画像の視覚的複雑度に関するデータセット論文です。

1. SAVOIAS: A Diverse,
Multi-Category Visual
Complexity Dataset
Elham Saraee
Mona Jalal
Margrit Betke
社内論文読み会
Paper Friday
Dec. 07, 2018
Kazuhiro Ota
1

2. Contributions of this paper
1. Visual Complexity 解析のためのデータセットである SAVOIAS を構築
○ 様々なトピックをカバーし、各トピックにおいて十分な量の画像を提供
○ 7カテゴリ、計1,420画像
2. クラウドソーシングによって Ground-truth ラベルを取得
○ Visual Complexity についてどちらがより複雑かの二者選択式で 37,000ペアの画像に対して 1,687
人のワーカーから回答を収集
○ さらに Bradley-Terry 法で相対スコアから絶対スコアに変換
3. データセットのそれぞれのカテゴリにおいて、5つの SOTA なアルゴリズムの応用
性を調査し、それらの性能差についてレポート
○ カテゴリごとに特化したテクニックを新開発する必要性を強調する結果となった
2

3. なぜ読んだか
最近の業務で
● 広告クリエイティブの素材画像
● CDN 画像配信における画像品質評価・自動最適化
● クラウドソーシング
などに関わっている身としては、画像の複雑性についてクラウドソーシングでワーカーか
ら回答集めた論文とのことで参考にしてみたい。
WACV 2019 採択。
3

4. ● 精神物理学、認知心理学、製品設計など、様々
な分野にまたがる歴史ある幅広い概念
● Visual Complexity を分析することは人間がど
のように画像を知覚するかの評価を容易にする
● 画像の複雑度・詳細度、画像説明の困難度
● 視覚的乱雑性、画像情報量
Visual Complexity
4

5. Related Work
5

6. Related Work
Visual Complexity に注目した既存のデータセットもあるが
● 枚数・カテゴリのバリエーションが少ない
● ワーカーからの回答をそのまま利用している
● オープンデータセットになってない
● スコアのレンジが狭い
などなどの制限が。
6

7. SAVOIAS https://github.com/esaraee/Savoias-Dataset
Acronym for
● Scenes
● Advertisement
● Visualization and Infographics
● Objects
● Interior design
● Art
● Suprematism （抽象絵画）
名前の由来はイタリア最大規模の塩田 Margherita di Savoia らしい
7

8. Sample images from Savoias dataset
with increased visual complexity from left to right
8

9. 9

10. Image Collection: Advertisements
● 200枚
● from “Automatic Understanding of Image and Video Advertisements”
● テキストの量・サイズ、ブランドロゴの重要性
● Visual Complexity について影響を与える要因を見極める能力をデザイナーに
10

11. Image Collection: Objects
● 200枚
● from “MS COCO dataset”
● 様々な物体とその数や組み合わせは人間の Visual Complexity の知覚にどのよう
に影響を与えるのか
11

12. Image Collection: Scene
● 200枚
● from “Place 2 dataset”
● 人間が様々なシーンにおける Visual Complexity をどのように感じ取るのか
● 画像における前景・背景の役割の研究を容易に
12

13. Image Collection: Interior Design
● 100枚
● from “IKEA website”
● 寝室、リビング、ダイニングルーム、キッチン、バスルーム
● 人間は家屋空間における Visual Complexity をどのように知覚するのか
13

14. Image Collection: Visualization and Infographics
● 200枚
● from “MASSViS dataset”
● チャート、グラフ、テキスト、表
● それぞれの要素の影響と構成を理解し、可視化法に対する知覚的処理やそれらの
デザインによる情報の記憶力や理解度に対する影響を理解する
14

15. Image Collection: Art
● 420枚
● from “PeopleArt dataset”
● Naturalism、Cubism、Social Realism、Impressionism
● アート作品の Visual Complexity を理解することは芸術家がより精力的な芸術作
品を制作する手助けになる
15

16. Image Collection: Suprematism
● 100枚
● from “Suprematism category in the PeopleArt dataset”
● 様々な幾何学的形状と抽象的なオブジェクト
● これらの図形やオブジェクトおよびその構図が Visual Complexity の認識に及ぼす
影響
16

17. Dataset Groundtruthing
● Visual Complexity に対する絶対的なランキングスコアを付与したい
● しかし、ほとんどの人間は一度には5〜9のレンジでしか評価できないことが示され
ている
○ さらに評価スケールの偏りもあるらしい
○ G. A. Miller. The magical number seven, plus or minus two: Some limits on our capacity for
processing information. Psychological review, 63(2):81, 1956.
● 代替手段として、まずは一対比較（Pairwise Comparison）を行い、そこでの結果を
全体ランキングに変換するという段階を踏む
17

18. Crowd Sourcing methodlogy by Figure-Eight
A と B でどちらがより複雑かを選ばせ
る二者選択（forced-choice）形式で出
題
● 1件5人
● 1ページ10件出題
● Level3 Contributor
● 1人300件まで（下限はなし）
● 地理的制限はなし
● $0.10
● TestQuestion 90% 以上正解
18

19. Pairwise Comparison Algorithm
画像を1対1で比較することで、それぞれの Visual Complexity の知覚差を反映したラン
ク付けを行う。評価スケールのバイアスを軽減するのにも役立つ。
ちなみに
の画像があったとしたら、ペアの組み合わせは
となる。ただ、これら全ペアについて比較せずとも、
で全体ランキングを得ることは可能である。
H. Chang, F. Yu, J. Wang, D. Ashley, and A. Finkelstein. Automatic Triage for a Photo Series. ACM Transactions on Graphics,
35(4):148:1–148:10, 2016
19

20. Pairwise Ranking versus Global Ranking
Bradley-Terry 法
一対比較結果行列:
画像 i の絶対スコア:
画像 i が画像 j より複雑として選ばれた確率を絶対
スコアの差の関数として
下式をMAP問題として解くことで全体スコア
を得る。
得られた部分的な一対比較結果から画像1枚に対する絶対的な全体
ランキングを導出する。
手法は下記の2種類:
● Bradley-Terry 法
● Matrix Completion 法
2手法の正しさを検証するためにそれぞれの手法における
最終的な全体スコア値の相関をとってみたところ
全カテゴリにおいて0.98以上だった。
このあとの Results では Bradley-Terry 法による
結果を述べる。
ちなみに各カテゴリごとで集めたペア数は以下の通り:
● Scenes, Advertisement, Visualization, Objects: 4,000 ペア
● Interior design: 2,000 ペア
● Art: 14,700 ペア
● Suprematism: 4,950 ペア（100枚なので全ペア）
20

21. Distribution of absolute visual complexity scores per categorry
スケーリングを施してはいるがいい感じに分散した形となった
21

22. Results on the Groundtruthing Methodology
Overall satisfaction score
クラウドソーシングに対するワーカーの満足度。
5点満点で下記の事項について調査し、全体平均は4.2。
● instruction score
● test questions fair
● ease of job
● pay
22

23. Results on the Groundtruthing Methodology
Validity of partial matrix versus full matrix comparison
ペア数ℓが全体スコアにどのように影響してくるのか。
全ペアについての一対比較行列を持っている Suprematism カテゴリを利用し、
ペア数ℓによって全体スコアとの相関がどう変化しているのかを確認。
2,000ペアあれば0.96の強い相関が出る。
十分少ないペア数でもそれなりなのは
他のカテゴリでも同様なのではと仮説。
23

24. Baseline Results
● 画像特徴を抽出する5つの SOTA なアルゴリズムを用いて各カテゴリごとに
Goundtruthing された Visual Complexity との相関を確認
○ Edge Density
■ R. Rosenholtz, Y. Li, and L. Nakano. Measuring Visual Clutter. Journal of vision, 7(2):17, 2007.
○ Compression Ratio
■ S. Corchs, F. Gasparini, and R. Schettini. No reference image quality classification for jpeg-distorted images. Digital
Signal Processing, 30:86–100, 2014.
○ Number of Regions
■ D. Comaniciu and P. Meer. Mean shift: A robust approach toward feature space analysis. IEEE Transactions on
pattern analysis and machine intelligence, 24(5):603–619, 2002.
○ Feature Congestion
■ R. Rosenholtz, Y. Li, and L. Nakano. Measuring Visual Clutter. Journal of vision, 7(2):17, 2007.
○ Subband Entoropy
■ R. Rosenholtz, Y. Li, and L. Nakano. Measuring Visual Clutter. Journal of vision, 7(2):17, 2007.
24

25. Baseline Results
● Objects, Scenes, Ads. においては0.6以上の相関を出したアルゴリズムはない
○ より洗練されたアルゴリズムの必要性
● カテゴリごとに高いパフォーマンスを発揮するアルゴリズムは異なる
○ 各カテゴリの幅広い特性に起因していると考えられる
25

26. Discussion
● 今回試したアルゴリズムにとって Suprematism カテゴリにあるような幾何学的模
様、テクスチャ、パターンなどの low-level な特徴は、人間が簡単に認識できる物
体・人物の特徴よりも把握しやすい
● Suprematism カテゴリの幾つかの画像はかなり複雑かそうでないかに2極化してお
り、クラウドワーカーもその点について区別できているが、その他の画像について
は細かな違いの把握が難しく、”ease of job” が低めの結果となった
26

27. （再掲）Contributions of this paper
1. Visual Complexity 解析のためのデータセットである SAVOIAS を構築
○ 様々なトピックをカバーし、各トピックにおいて十分な量の画像を提供
○ 7カテゴリ、計1,420画像
2. クラウドソーシングによって Ground-truth ラベルを取得
○ Visual Complexity についてどちらがより複雑かの二者選択式で 37,000ペアの画像に対して 1,687
人のワーカーから回答を収集
○ さらに Bradley-Terry 法で相対スコアから絶対スコアに変換
3. データセットのそれぞれのカテゴリにおいて、5つの SOTA なアルゴリズムの応用
性を調査し、それらの性能差についてレポート
○ カテゴリごとに特化したテクニックを新開発する必要性を強調する結果となった
27

28. SAVOIAS: A Diverse,
Multi-Category Visual
Complexity Dataset
おしまい Paper Friday
Dec. 07, 2018
Kazuhiro Ota
28