Successfully reported this slideshow.
Your SlideShare is downloading. ×

[MIRU2017 招待講演] 白黒写真の自動色付け (SIGGRAPH 2016)

More Related Content

Related Books

Free with a 30 day trial from Scribd

See all

Related Audiobooks

Free with a 30 day trial from Scribd

See all

[MIRU2017 招待講演] 白黒写真の自動色付け (SIGGRAPH 2016)

  1. 1. Satoshi Iizuka* Edgar Simo-Serra* Hiroshi Ishikawa Waseda University (*equal contribution) 画像の認識・理解シンポジウム(MIRU2017)
  2. 2. 2 白黒写真
  3. 3. 3 研究目的:自動色付け
  4. 4. 昔の映画も… 4
  5. 5.  スクリブルベース [Levin+ ’04; An+ ’09; Xu+ ’13; Endo+ ’16]  ユーザが画像上で色を指定  手間がかかる  参照画像ベース [Chia+ ’11; Gupta+ ’12]  他のカラー画像の色を転写  類似画像が必要  学習ベース [Cheng+ ’15]  手動設計の特徴量+小さなニューラルネットワーク  精度が低い 関連研究 入力 参照 出力 5
  6. 6.  大域情報と局所情報から色付けを行うネットワークモデル  大域特徴と局所特徴を合わせる統合レイヤ  シーンラベルを利用した学習  高精度の色付けを実現 提案手法 6 提案手法による色付け
  7. 7. 提案モデル 20.60% Formal Garden 16.13% Arch 13.50% Abbey 7.07% Botanical Garden 6.53% Golf Course 彩度マップ 推定ラベル 低レベル特徴抽出 ネットワーク 大域特徴抽出ネットワーク 中レベル特徴抽出 ネットワーク 色付け ネットワーク 分類 ネットワーク 輝度マップ (入力画像) 統合レイヤ 7
  8. 8.  中レベル特徴マップと大域特徴ベクトルを統合  どんなサイズの特徴マップにも大域特徴を統合可能 統合レイヤ 8 統合レイヤ 中レベル特徴抽出 ネットワーク 大域特徴抽出ネットワーク = 𝜎 𝐛 + 𝑊 𝐲 𝑢,𝑣 fusion 𝐲global 𝐲 𝑢,𝑣 mid 統合レイヤ
  9. 9.  MIT Places Scene Dataset [Zhou+ ’14]  約230万枚、205種類のシーン  解像度は224 × 224を使用 学習データ Abbey Airport terminal Aquarium Baseball field Dining room Forest road Gas station Gift shop ⋯ ⋯ 9
  10. 10. 10 色とシーン分類の同時学習 モデル パラメータを 更新 色の誤差 入力画像 正解画像出力画像 推定 1.1% Airport 25.5% Basement 0.5% Music store 8.1% Restaurant 正解ラベル … 出力ラベル 分類誤差 0% Airport 100% Basement 0% Music store 0% Restaurant …
  11. 11. 白黒写真の色付け 12
  12. 12. 大域特徴の影響 大域特徴あり入力画像 大域特徴なし 13
  13. 13.  10人の被験者、それぞれに1500枚の画像を提示  約90%の結果画像を自然な色と回答 ユーザテスト 14 自然 不自然
  14. 14. 比較 入力画像 [Cheng+ ’15] 提案手法大域特徴なし 15
  15. 15.  カラフルな物体は出力されにくい  正確な色を復元するわけではない 制約 入力 正解画像 提案手法 入力 正解画像 提案手法 16
  16. 16.  大域特徴と局所特徴による白黒画像の自動色付け  統合レイヤ  色とシーン分類の同時学習 まとめ 17 Doffer Boys, 1909年Mount Moran, 1941年 Scott‘s Run, 1937年 Youngsters, 1912年
  17. 17.  “Globally and Locally Consistent Image Completion” [Iizuka+ SIGGRAPH ’17]  ニューラルネットワークによる画像補完  補完ネットワーク、大域・局所識別ネットワークによる学習 18 おまけ:今年のSIGGRAPH論文 入力画像 補完結果
  18. 18.  質問や感想などありましたらお願いします  Email: iizuka@aoni.waseda.jp  ホームページ: http://hi.cs.waseda.ac.jp/~iizuka/  Twitter: https://twitter.com/stsiizk  自動着色プロジェクトページ: http://hi.cs.waseda.ac.jp/~iizuka/projects/colorization/  画像補完プロジェクトページ: http://hi.cs.waseda.ac.jp/~iizuka/projects/completion/ 19 ご清聴ありがとうございました

×