Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Satoshi Iizuka* Edgar Simo-Serra* Hiroshi Ishikawa
Waseda University
(*equal contribution)
画像の認識・理解シンポジウム(MIRU2017)
2
白黒写真
3
研究目的:自動色付け
昔の映画も…
4
 スクリブルベース [Levin+ ’04; An+ ’09; Xu+ ’13; Endo+ ’16]
 ユーザが画像上で色を指定
 手間がかかる
 参照画像ベース [Chia+ ’11; Gupta+ ’12]
 他のカラー画像の色...
 大域情報と局所情報から色付けを行うネットワークモデル
 大域特徴と局所特徴を合わせる統合レイヤ
 シーンラベルを利用した学習
 高精度の色付けを実現
提案手法
6
提案手法による色付け
提案モデル
20.60% Formal Garden
16.13% Arch
13.50% Abbey
7.07% Botanical Garden
6.53% Golf Course
彩度マップ
推定ラベル
低レベル特徴抽出
ネットワーク
大...
 中レベル特徴マップと大域特徴ベクトルを統合
 どんなサイズの特徴マップにも大域特徴を統合可能
統合レイヤ
8
統合レイヤ
中レベル特徴抽出
ネットワーク
大域特徴抽出ネットワーク
= 𝜎 𝐛 + 𝑊
𝐲 𝑢,𝑣
fusion
𝐲globa...
 MIT Places Scene Dataset [Zhou+ ’14]
 約230万枚、205種類のシーン
 解像度は224 × 224を使用
学習データ
Abbey Airport terminal Aquarium Basebal...
10
色とシーン分類の同時学習
モデル
パラメータを
更新
色の誤差
入力画像
正解画像出力画像
推定
1.1% Airport
25.5% Basement
0.5% Music store
8.1% Restaurant
正解ラベル
…
出...
白黒写真の色付け
12
大域特徴の影響
大域特徴あり入力画像 大域特徴なし
13
 10人の被験者、それぞれに1500枚の画像を提示
 約90%の結果画像を自然な色と回答
ユーザテスト
14
自然 不自然
比較
入力画像 [Cheng+ ’15] 提案手法大域特徴なし
15
 カラフルな物体は出力されにくい
 正確な色を復元するわけではない
制約
入力 正解画像 提案手法
入力 正解画像 提案手法
16
 大域特徴と局所特徴による白黒画像の自動色付け
 統合レイヤ
 色とシーン分類の同時学習
まとめ
17
Doffer Boys, 1909年Mount Moran, 1941年 Scott‘s Run, 1937年 Youngsters,...
 “Globally and Locally Consistent Image Completion”
[Iizuka+ SIGGRAPH ’17]
 ニューラルネットワークによる画像補完
 補完ネットワーク、大域・局所識別ネットワークに...
 質問や感想などありましたらお願いします
 Email: iizuka@aoni.waseda.jp
 ホームページ: http://hi.cs.waseda.ac.jp/~iizuka/
 Twitter: https://twitt...
[MIRU2017 招待講演] 白黒写真の自動色付け (SIGGRAPH 2016)
Upcoming SlideShare
Loading in …5
×

[MIRU2017 招待講演] 白黒写真の自動色付け (SIGGRAPH 2016)

854 views

Published on

MIRU2017招待講演の発表資料です。

Published in: Technology
  • Be the first to comment

[MIRU2017 招待講演] 白黒写真の自動色付け (SIGGRAPH 2016)

  1. 1. Satoshi Iizuka* Edgar Simo-Serra* Hiroshi Ishikawa Waseda University (*equal contribution) 画像の認識・理解シンポジウム(MIRU2017)
  2. 2. 2 白黒写真
  3. 3. 3 研究目的:自動色付け
  4. 4. 昔の映画も… 4
  5. 5.  スクリブルベース [Levin+ ’04; An+ ’09; Xu+ ’13; Endo+ ’16]  ユーザが画像上で色を指定  手間がかかる  参照画像ベース [Chia+ ’11; Gupta+ ’12]  他のカラー画像の色を転写  類似画像が必要  学習ベース [Cheng+ ’15]  手動設計の特徴量+小さなニューラルネットワーク  精度が低い 関連研究 入力 参照 出力 5
  6. 6.  大域情報と局所情報から色付けを行うネットワークモデル  大域特徴と局所特徴を合わせる統合レイヤ  シーンラベルを利用した学習  高精度の色付けを実現 提案手法 6 提案手法による色付け
  7. 7. 提案モデル 20.60% Formal Garden 16.13% Arch 13.50% Abbey 7.07% Botanical Garden 6.53% Golf Course 彩度マップ 推定ラベル 低レベル特徴抽出 ネットワーク 大域特徴抽出ネットワーク 中レベル特徴抽出 ネットワーク 色付け ネットワーク 分類 ネットワーク 輝度マップ (入力画像) 統合レイヤ 7
  8. 8.  中レベル特徴マップと大域特徴ベクトルを統合  どんなサイズの特徴マップにも大域特徴を統合可能 統合レイヤ 8 統合レイヤ 中レベル特徴抽出 ネットワーク 大域特徴抽出ネットワーク = 𝜎 𝐛 + 𝑊 𝐲 𝑢,𝑣 fusion 𝐲global 𝐲 𝑢,𝑣 mid 統合レイヤ
  9. 9.  MIT Places Scene Dataset [Zhou+ ’14]  約230万枚、205種類のシーン  解像度は224 × 224を使用 学習データ Abbey Airport terminal Aquarium Baseball field Dining room Forest road Gas station Gift shop ⋯ ⋯ 9
  10. 10. 10 色とシーン分類の同時学習 モデル パラメータを 更新 色の誤差 入力画像 正解画像出力画像 推定 1.1% Airport 25.5% Basement 0.5% Music store 8.1% Restaurant 正解ラベル … 出力ラベル 分類誤差 0% Airport 100% Basement 0% Music store 0% Restaurant …
  11. 11. 白黒写真の色付け 12
  12. 12. 大域特徴の影響 大域特徴あり入力画像 大域特徴なし 13
  13. 13.  10人の被験者、それぞれに1500枚の画像を提示  約90%の結果画像を自然な色と回答 ユーザテスト 14 自然 不自然
  14. 14. 比較 入力画像 [Cheng+ ’15] 提案手法大域特徴なし 15
  15. 15.  カラフルな物体は出力されにくい  正確な色を復元するわけではない 制約 入力 正解画像 提案手法 入力 正解画像 提案手法 16
  16. 16.  大域特徴と局所特徴による白黒画像の自動色付け  統合レイヤ  色とシーン分類の同時学習 まとめ 17 Doffer Boys, 1909年Mount Moran, 1941年 Scott‘s Run, 1937年 Youngsters, 1912年
  17. 17.  “Globally and Locally Consistent Image Completion” [Iizuka+ SIGGRAPH ’17]  ニューラルネットワークによる画像補完  補完ネットワーク、大域・局所識別ネットワークによる学習 18 おまけ:今年のSIGGRAPH論文 入力画像 補完結果
  18. 18.  質問や感想などありましたらお願いします  Email: iizuka@aoni.waseda.jp  ホームページ: http://hi.cs.waseda.ac.jp/~iizuka/  Twitter: https://twitter.com/stsiizk  自動着色プロジェクトページ: http://hi.cs.waseda.ac.jp/~iizuka/projects/colorization/  画像補完プロジェクトページ: http://hi.cs.waseda.ac.jp/~iizuka/projects/completion/ 19 ご清聴ありがとうございました

×