1. Satoshi Iizuka* Edgar Simo-Serra* Hiroshi Ishikawa
Waseda University
(*equal contribution)
画像の認識・理解シンポジウム（MIRU2017）

2. 2
白黒写真

3. 3
研究目的：自動色付け

4. 昔の映画も…
4

5.  スクリブルベース [Levin+ ’04; An+ ’09; Xu+ ’13; Endo+ ’16]
 ユーザが画像上で色を指定
 手間がかかる
 参照画像ベース [Chia+ ’11; Gupta+ ’12]
 他のカラー画像の色を転写
 類似画像が必要
 学習ベース [Cheng+ ’15]
 手動設計の特徴量+小さなニューラルネットワーク
 精度が低い
関連研究
入力 参照 出力
5

6.  大域情報と局所情報から色付けを行うネットワークモデル
 大域特徴と局所特徴を合わせる統合レイヤ
 シーンラベルを利用した学習
 高精度の色付けを実現
提案手法
6
提案手法による色付け

7. 提案モデル
20.60% Formal Garden
16.13% Arch
13.50% Abbey
7.07% Botanical Garden
6.53% Golf Course
彩度マップ
推定ラベル
低レベル特徴抽出
ネットワーク
大域特徴抽出ネットワーク
中レベル特徴抽出
ネットワーク
色付け
ネットワーク
分類
ネットワーク
輝度マップ
（入力画像）
統合レイヤ
7

8.  中レベル特徴マップと大域特徴ベクトルを統合
 どんなサイズの特徴マップにも大域特徴を統合可能
統合レイヤ
8
統合レイヤ
中レベル特徴抽出
ネットワーク
大域特徴抽出ネットワーク
= 𝜎 𝐛 + 𝑊
𝐲 𝑢,𝑣
fusion
𝐲global
𝐲 𝑢,𝑣
mid
統合レイヤ

9.  MIT Places Scene Dataset [Zhou+ ’14]
 約230万枚、205種類のシーン
 解像度は224 × 224を使用
学習データ
Abbey Airport terminal Aquarium Baseball field
Dining room Forest road Gas station Gift shop
⋯
⋯
9

10. 10
色とシーン分類の同時学習
モデル
パラメータを
更新
色の誤差
入力画像
正解画像出力画像
推定
1.1% Airport
25.5% Basement
0.5% Music store
8.1% Restaurant
正解ラベル
…
出力ラベル
分類誤差
0% Airport
100% Basement
0% Music store
0% Restaurant
…

12. 白黒写真の色付け
12

13. 大域特徴の影響
大域特徴あり入力画像 大域特徴なし
13

14.  10人の被験者、それぞれに1500枚の画像を提示
 約90%の結果画像を自然な色と回答
ユーザテスト
14
自然 不自然

15. 比較
入力画像 [Cheng+ ’15] 提案手法大域特徴なし
15

16.  カラフルな物体は出力されにくい
 正確な色を復元するわけではない
制約
入力 正解画像 提案手法
入力 正解画像 提案手法
16

17.  大域特徴と局所特徴による白黒画像の自動色付け
 統合レイヤ
 色とシーン分類の同時学習
まとめ
17
Doffer Boys, 1909年Mount Moran, 1941年 Scott‘s Run, 1937年 Youngsters, 1912年

18.  “Globally and Locally Consistent Image Completion”
[Iizuka+ SIGGRAPH ’17]
 ニューラルネットワークによる画像補完
 補完ネットワーク、大域・局所識別ネットワークによる学習
18
おまけ：今年のSIGGRAPH論文
入力画像 補完結果

19.  質問や感想などありましたらお願いします
 Email: iizuka@aoni.waseda.jp
 ホームページ： http://hi.cs.waseda.ac.jp/~iizuka/
 Twitter: https://twitter.com/stsiizk
 自動着色プロジェクトページ：
http://hi.cs.waseda.ac.jp/~iizuka/projects/colorization/
 画像補完プロジェクトページ：
http://hi.cs.waseda.ac.jp/~iizuka/projects/completion/
19
ご清聴ありがとうございました