グレー画像のカラー化

1. “COLORFUL IMAGE COLORIZATION”
RICHARD ZHANG, PHILLIP ISOLA, ALEXEI A. EFROS
UNIVERSITY OF CALIFORNIA, BERKELEY
5 OCT 2016
https://arxiv.org/pdf/1603.08511.pdf
B4 木戸口 稜Deep Learningゼミ

2. 色彩化
 グレースケールをカラー画像へ変換する。
 以下は、カラー画像への変換が上手くいった例。
2

3. 問題設定
 グレースケール写真はカラー画像から情報の多くが失われているので、
色を復元させるのは難しい。
 実際の元画像の色を完全に再現するのでなく、人間の観察者を欺ける
もっともらしい色彩化を行うことが目標。
 グレースケール画像のセマンティクスやテクスチャと、カラー画像の間
の統計的依存関係をモデル化する
3

4. CIE LAB 色空間
4
http://www.angelfire.com/ga/huntle
yloft/CIELAB.html
 ネットワークの入力画像と教師画像
 入力 ： Lチャネルの画像
 教師 : ab空間の画像
 L空間の画像から、abの値を予測す
る
CIE Lab空間

5. ネットワーク構成
 以下の図に示すアーキテクチャを使用して、グレースケールからカラー
値の出力への分布にCNNをマッピングするように訓練する。
 アーキテクチャの詳細は、プロジェクトWebページの補足資料に記載さ
れており、モデルは一般に公開されている。
 http://richzhang.github.io/colorization/
5

6. 目的関数の設計
6
2
2,
,,2
2
1
),( 


wh
whwh YYYYL
1
 WH
RX
2
 WH
RY
)(ˆ XFY 
： 高さ×幅×Lの値
： 高さ×幅×(a,b)の値
： 学習する関数
 L2損失関数 : 予測された色と、元の色を比較する
この損失は、カラー化問題の本質的なあいまい性およびマルチ
モーダル性に強くはない。

7. 目的関数の設計
 カラー化問題に適した目的関数を設定するために、クラス分布の問題と
して扱う
 ab出力空間を格子サイズ10のビンに量子化し、色領域内の分割した色領
域の数Q=313の値を保持する。
7

8. 目的関数の設計
8
  QWH
Z

 1,0
)(ˆ XGZ 
： 各画素ごとの確率分布
： 学習する関数
 多項式クロスエントロピー損失関数
   
wh q
qwhqwhwhcl ZZZvZZL
,
,,,,, )ˆlog()(,ˆ
)(・v ： 色のクラス希少性に基づいて損失を再調整するために
使用できる重み付け項
また、元の色と比較するために を定義し、
最終的に、 を計算する。
)(1
YHZ gt


)ˆ(ˆ ZHY 

9. クラスリバランス
 自然画像におけるab値の分布はabの低い値に大きく偏っている(雲、埃、
壁などの影響)
 クラスカラーバランスの問題を考慮し、訓練の間にピクセルの色の希少
性に基づいて各ピクセルの損失を再び重み付けする。
9
*, )( qwh wZv  qwh
q
Zq ,,maxarg* 
1
~)1(








Q
pw

  
q
qqwpwE 1~][

10. クラス分布→ABの値を求める
 予測分布Zをab空間の点推定に写像する関数Hを計算する。
 各画素の予測分布のモードを取る(T→0)
 各画素の予想分布の平均を取る(T=1)
 モードを取ると、空間に一貫性がない。平均を取ると、空間に一貫性が
出るがセピア調のようになる。
 ソフトマックス分布の温度Tを再調整する 10
 )()( ,, whTwh ZfEZH 


q
q
T
Tz
Tz
zf
)/)exp(log(
)/)exp(log(
)(

11. 温度Tの調整
11

12. 実験
 Image Netのトレーニングセットから、1.3M枚の画像上でネットワーク
を訓練し、Image Net検証セットの最初の10k枚の画像で検証し、別の
10k枚の画像でテストした。
 Image Netの画像をグレースケールに変換し、入力データをグレー画像、
教師データをもとの画像とする、自己教師アルゴリズム
12

13. 成功した画像
13

14. 失敗した画像
14

15. 評価方法
 作成されたカラー画像の品質を評価するのは、単純な定量評価が難しい。
 よって、以下のような感覚を測定する3つのテストを行う。
 Perceptual realism(AMT)
 Amazon Mechanical Turk(AMT)を利用して実際に人間に対しテストする
 Semantic interpretability (VGG classification)
 クラス分類への入力とする
 Raw accuracy (AuC)
 ab空間エラー閾値が一定以下かを計算
15

16. 評価方法
16
1. Ours(full):本論文で用いられた方法
2. Ours(L2):本論文で用いられた方法（ただし、損失関数をL2にしたもの）
3. Ours(L2,ft):2番を少し微調整(ゼロから訓練されないようにする)
4. Ours(class)：本論文で用いられた方法（ただし、クラスリバランスを用いてい
ない）
5. Larsson et al.” Learning representations for automatic colorization”
6. Dahl” Automatic colorization”

17. 評価(PERCEPTUAL REALISM(AMT))
 方法
 実験の参加者(40人)に、元の画像と作成した画像を示し、作成したと思う
画像を選んでもらう
 実験は10回の練習試験(解答を教え、分析から除外)と40回の本試験（解
答を教えない）を行った
 結果
 ３２％の試行で参加者を騙せていた。（比較したすべてのアルゴリズム
よりも高い）
 損失関数とクラスリバランスの両方を用いることの有用性が示された。
 注意
 アルゴリズムが完全に元の色を再現できた時、参加者は同じ画像から偽
物を選ぶことになり、正解率は50%になる。
17

18. 評価(PERCEPTUAL REALISM(AMT))
18
 テスト結果が以下のようになる。
 元の画像よりもリアリティがあると判断された画像がある。
 元の画像に使われる頻度の少ない色が含まれていたのに対し、この方法で作られた画像が
プロトタイプな色付けであったから？

19. 評価(SEMANTIC INTERPRETABILITY）
 方法
 実際のカラー画像からImageNetクラスを予測するために作られたVGG
ネットワークに偽のカラー画像を入力する
 クラス分類が上手くいく→色付けはクラス識別に必要な情報を再現でき
ている
 結果
 入力から色を除去したとき、分類器の性能は68.3％から52.7％に低下す
る。
 OUR(FULL)では、56.0%に改善された。（OURの他の方法ではわずかに
高い値を達成する）
19

20. 評価(RAW ACCURACY(AUC))
 方法
 ab空間でL2距離がある閾値内の予測の色パーセンテージを計算する。
 0から150までの閾値を作り、累積質量関数を生成し、曲線下面積
（AuC）を積分して正規化する。
 結果
 Ours(full)よりも変種の方が上手くいった。
 Ours(class)はOurs(L2)を上回るが、Ours(L2,ft)はOurs(class)と同等の性
能であった。
 L2損失関数は正確なカラーリングができるが、ゼロからの最適化が難し
い。
 この方法では、rawデータへの予測精度を予測するのに対し、本方法では
妥当性を目標としていることに留意されたい
20

21. 昔の白黒画像に対しても実行
 モデルは、カラー画像のものをグレースケール化したもので訓練してい
たので、元から白黒画像であったものにも適応した。
21

22. まとめ
 グレースケール画像から、カラー画像へ変換することができた。
 Deep CNN を用いた色付けと目的関数の選択によって、実際のカラー画
像と区別できないほど近づけた。
 色彩化の工夫としてクラスリバランスと新しい損失関数を用いた。
22