Downloaded 14 times
![ スクリブルベース [Levin+ ’04; An+ ’09; Xu+ ’13; Endo+ ’16]
ユーザが画像上で色を指定
手間がかかる
参照画像ベース [Chia+ ’11; Gupta+ ’12]
他のカラー画像の色を転写
類似画像が必要
学習ベース [Cheng+ ’15]
手動設計の特徴量+小さなニューラルネットワーク
精度が低い
関連研究
入力 参照 出力
5](https://image.slidesharecdn.com/miru2017invitedtalkiizuka-170809090023/85/MIRU2017-SIGGRAPH-2016-5-320.jpg)
![ MIT Places Scene Dataset [Zhou+ ’14]
約230万枚、205種類のシーン
解像度は224 × 224を使用
学習データ
Abbey Airport terminal Aquarium Baseball field
Dining room Forest road Gas station Gift shop
⋯
⋯
9](https://image.slidesharecdn.com/miru2017invitedtalkiizuka-170809090023/85/MIRU2017-SIGGRAPH-2016-9-320.jpg)
![比較
入力画像 [Cheng+ ’15] 提案手法大域特徴なし
15](https://image.slidesharecdn.com/miru2017invitedtalkiizuka-170809090023/85/MIRU2017-SIGGRAPH-2016-15-320.jpg)
![ “Globally and Locally Consistent Image Completion”
[Iizuka+ SIGGRAPH ’17]
ニューラルネットワークによる画像補完
補完ネットワーク、大域・局所識別ネットワークによる学習
18
おまけ：今年のSIGGRAPH論文
入力画像 補完結果](https://image.slidesharecdn.com/miru2017invitedtalkiizuka-170809090023/85/MIRU2017-SIGGRAPH-2016-18-320.jpg)
![[IBIS2017 講演] ディープラーニングによる画像変換](https://cdn.slidesharecdn.com/ss_thumbnails/ibis2017iizuka-171120134119-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]Colorful Image Colorization](https://cdn.slidesharecdn.com/ss_thumbnails/170619colorfulimagecolorization-170623022322-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]Let there be color](https://cdn.slidesharecdn.com/ss_thumbnails/lettherebecolor-160729082421-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]RobustNet: Improving Domain Generalization in Urban- Scene Segmentatio...](https://cdn.slidesharecdn.com/ss_thumbnails/20210625robustnetlin-210625020332-thumbnail.jpg?width=640&height=640&fit=bounds)
[MIRU2017 招待講演] 白黒写真の自動色付け (SIGGRAPH 2016)
- 1. Satoshi Iizuka* EdgarSimo-Serra* Hiroshi Ishikawa Waseda University (*equal contribution) 画像の認識・理解シンポジウム（MIRU2017）
- 2.
- 3.
- 4.
- 5. スクリブルベース [Levin+’04; An+ ’09; Xu+ ’13; Endo+ ’16] ユーザが画像上で色を指定 手間がかかる 参照画像ベース [Chia+ ’11; Gupta+ ’12] 他のカラー画像の色を転写 類似画像が必要 学習ベース [Cheng+ ’15] 手動設計の特徴量+小さなニューラルネットワーク 精度が低い 関連研究 入力 参照 出力 5
- 6. 大域情報と局所情報から色付けを行うネットワークモデル 大域特徴と局所特徴を合わせる統合レイヤ シーンラベルを利用した学習 高精度の色付けを実現 提案手法 6 提案手法による色付け
- 7. 提案モデル 20.60% Formal Garden 16.13%Arch 13.50% Abbey 7.07% Botanical Garden 6.53% Golf Course 彩度マップ 推定ラベル 低レベル特徴抽出 ネットワーク 大域特徴抽出ネットワーク 中レベル特徴抽出 ネットワーク 色付け ネットワーク 分類 ネットワーク 輝度マップ （入力画像） 統合レイヤ 7
- 8. 中レベル特徴マップと大域特徴ベクトルを統合 どんなサイズの特徴マップにも大域特徴を統合可能 統合レイヤ 8 統合レイヤ 中レベル特徴抽出 ネットワーク 大域特徴抽出ネットワーク =𝜎 𝐛 + 𝑊 𝐲 𝑢,𝑣 fusion 𝐲global 𝐲 𝑢,𝑣 mid 統合レイヤ
- 9. MIT PlacesScene Dataset [Zhou+ ’14] 約230万枚、205種類のシーン 解像度は224 × 224を使用 学習データ Abbey Airport terminal Aquarium Baseball field Dining room Forest road Gas station Gift shop ⋯ ⋯ 9
- 10. 10 色とシーン分類の同時学習 モデル パラメータを 更新 色の誤差 入力画像 正解画像出力画像 推定 1.1% Airport 25.5% Basement 0.5%Music store 8.1% Restaurant 正解ラベル … 出力ラベル 分類誤差 0% Airport 100% Basement 0% Music store 0% Restaurant …
- 12.
- 13.
- 14.
- 15. 比較 入力画像 [Cheng+ ’15]提案手法大域特徴なし 15
- 16. カラフルな物体は出力されにくい 正確な色を復元するわけではない 制約 入力正解画像 提案手法 入力 正解画像 提案手法 16
- 17. 大域特徴と局所特徴による白黒画像の自動色付け 統合レイヤ 色とシーン分類の同時学習 まとめ 17 Doffer Boys, 1909年Mount Moran, 1941年 Scott‘s Run, 1937年 Youngsters, 1912年
- 18. “Globally andLocally Consistent Image Completion” [Iizuka+ SIGGRAPH ’17] ニューラルネットワークによる画像補完 補完ネットワーク、大域・局所識別ネットワークによる学習 18 おまけ：今年のSIGGRAPH論文 入力画像 補完結果
- 19. 質問や感想などありましたらお願いします Email:iizuka@aoni.waseda.jp ホームページ： http://hi.cs.waseda.ac.jp/~iizuka/ Twitter: https://twitter.com/stsiizk 自動着色プロジェクトページ： http://hi.cs.waseda.ac.jp/~iizuka/projects/colorization/ 画像補完プロジェクトページ： http://hi.cs.waseda.ac.jp/~iizuka/projects/completion/ 19 ご清聴ありがとうございました