Submit Search
Upload
Colorful image colorization
•
Download as PPTX, PDF
•
3 likes
•
4,854 views
Hiroki Yamamoto
Follow
第37回 コンピュータビジョン勉強会@関東で発表する資料です。 タイトル:「Colorful Image Colorization」の論文を読んで発表しました。
Read less
Read more
Software
Report
Share
Report
Share
1 of 37
Download now
Recommended
Multi Scale Recognition with DAG-CNNs
Multi Scale Recognition with DAG-CNNs
Hiroki Yamamoto
ICSE2014参加報告 (SE勉強会 6/12)
ICSE2014参加報告 (SE勉強会 6/12)
Kazunori Sakamoto
[MIRU2017 招待講演] 白黒写真の自動色付け (SIGGRAPH 2016)
[MIRU2017 招待講演] 白黒写真の自動色付け (SIGGRAPH 2016)
Satoshi Iizuka
[DL輪読会]Colorful Image Colorization
[DL輪読会]Colorful Image Colorization
Deep Learning JP
Generating Notifications for Missing Actions:Don’t forget to turn the lights...
Generating Notifications for Missing Actions:Don’t forget to turn the lights...
Yoshitaka Ushiku
Deep Learning による視覚×言語融合の最前線
Deep Learning による視覚×言語融合の最前線
Yoshitaka Ushiku
Colorful image colorization
Colorful image colorization
harmonylab
[最新版] JSAI2018 チュートリアル「"深層学習時代の" ゼロから始める自然言語処理」
[最新版] JSAI2018 チュートリアル「"深層学習時代の" ゼロから始める自然言語処理」
Yuki Arase
Recommended
Multi Scale Recognition with DAG-CNNs
Multi Scale Recognition with DAG-CNNs
Hiroki Yamamoto
ICSE2014参加報告 (SE勉強会 6/12)
ICSE2014参加報告 (SE勉強会 6/12)
Kazunori Sakamoto
[MIRU2017 招待講演] 白黒写真の自動色付け (SIGGRAPH 2016)
[MIRU2017 招待講演] 白黒写真の自動色付け (SIGGRAPH 2016)
Satoshi Iizuka
[DL輪読会]Colorful Image Colorization
[DL輪読会]Colorful Image Colorization
Deep Learning JP
Generating Notifications for Missing Actions:Don’t forget to turn the lights...
Generating Notifications for Missing Actions:Don’t forget to turn the lights...
Yoshitaka Ushiku
Deep Learning による視覚×言語融合の最前線
Deep Learning による視覚×言語融合の最前線
Yoshitaka Ushiku
Colorful image colorization
Colorful image colorization
harmonylab
[最新版] JSAI2018 チュートリアル「"深層学習時代の" ゼロから始める自然言語処理」
[最新版] JSAI2018 チュートリアル「"深層学習時代の" ゼロから始める自然言語処理」
Yuki Arase
[旧版] JSAI2018 チュートリアル「"深層学習時代の" ゼロから始める自然言語処理」
[旧版] JSAI2018 チュートリアル「"深層学習時代の" ゼロから始める自然言語処理」
Yuki Arase
パーフェクト"Elixir情報収集"
パーフェクト"Elixir情報収集"
Keisuke Takahashi
opensource and accessibility (Dec2000) Part 2
opensource and accessibility (Dec2000) Part 2
Takuya Nishimoto
Active Learning from Imperfect Labelers @ NIPS読み会・関西
Active Learning from Imperfect Labelers @ NIPS読み会・関西
Taku Tsuzuki
[DL輪読会]Unsupervised Neural Machine Translation
[DL輪読会]Unsupervised Neural Machine Translation
Deep Learning JP
CVPR2017 参加報告 速報版 本会議 2日目
CVPR2017 参加報告 速報版 本会議 2日目
Atsushi Hashimoto
PFPファシグラ(2009/07/03)
PFPファシグラ(2009/07/03)
nishikawa_makoto7
Dynamic Entity Representations in Neural Language Models
Dynamic Entity Representations in Neural Language Models
Shun Kiyono
More Related Content
Similar to Colorful image colorization
[旧版] JSAI2018 チュートリアル「"深層学習時代の" ゼロから始める自然言語処理」
[旧版] JSAI2018 チュートリアル「"深層学習時代の" ゼロから始める自然言語処理」
Yuki Arase
パーフェクト"Elixir情報収集"
パーフェクト"Elixir情報収集"
Keisuke Takahashi
opensource and accessibility (Dec2000) Part 2
opensource and accessibility (Dec2000) Part 2
Takuya Nishimoto
Active Learning from Imperfect Labelers @ NIPS読み会・関西
Active Learning from Imperfect Labelers @ NIPS読み会・関西
Taku Tsuzuki
[DL輪読会]Unsupervised Neural Machine Translation
[DL輪読会]Unsupervised Neural Machine Translation
Deep Learning JP
CVPR2017 参加報告 速報版 本会議 2日目
CVPR2017 参加報告 速報版 本会議 2日目
Atsushi Hashimoto
PFPファシグラ(2009/07/03)
PFPファシグラ(2009/07/03)
nishikawa_makoto7
Dynamic Entity Representations in Neural Language Models
Dynamic Entity Representations in Neural Language Models
Shun Kiyono
Similar to Colorful image colorization
(8)
[旧版] JSAI2018 チュートリアル「"深層学習時代の" ゼロから始める自然言語処理」
[旧版] JSAI2018 チュートリアル「"深層学習時代の" ゼロから始める自然言語処理」
パーフェクト"Elixir情報収集"
パーフェクト"Elixir情報収集"
opensource and accessibility (Dec2000) Part 2
opensource and accessibility (Dec2000) Part 2
Active Learning from Imperfect Labelers @ NIPS読み会・関西
Active Learning from Imperfect Labelers @ NIPS読み会・関西
[DL輪読会]Unsupervised Neural Machine Translation
[DL輪読会]Unsupervised Neural Machine Translation
CVPR2017 参加報告 速報版 本会議 2日目
CVPR2017 参加報告 速報版 本会議 2日目
PFPファシグラ(2009/07/03)
PFPファシグラ(2009/07/03)
Dynamic Entity Representations in Neural Language Models
Dynamic Entity Representations in Neural Language Models
Colorful image colorization
1.
Colorful Image Colorization @tereka114
2.
自己紹介 1. 山本 大輝 2.
Acroquest Technology株式会社 3. Software Engineer 4. Twitter:@tereka114 5. Blog:のんびりしているエンジニアの日記 1. 「http://nonbiri-tereka.hatenablog.com/」
3.
年末といえば・・・
4.
そう
5.
Advent Calendarですね
6.
Advent Calendar
7.
今日は何の日でしょう?
8.
今日は何の日でしょう? Today!!
9.
目次 1. はじめに 2. 論文概要 3.
論文の提案 4. 実験 5. 実験結果 6. まとめ
10.
1Pでわかる論文概要 1. 白黒画像をDeep Learning(CNN)で彩色する論文 2.
Lを入力とし、ab空間を求めて再構築。 3. Class Rebalanceを考慮した誤差関数を使う。
11.
どんな論文か?
12.
どんな論文か?
13.
どんな論文か?
14.
従来までのColorizationとの違い 1. 従来と異なるところ 1. シーケンシャルなモデル(Single
Streamと表現) 1. Dilated convolutionを使った。 2. 誤差関数を改良した。 1. クラスリバランスな誤差関数を使った
15.
論文の提案 1. 色推定部はクラス分類を実施した。 1. 従来手法は回帰式や通常の分類 2.
レア度を考慮した式を構築 2. 頻出度合いに応じた重み付けを実施した。 1. クラスリバランスな式を構築、検証
16.
ネットワーク構成 L空間 ab空間 Conv + ReLU
+ BatchNorm
17.
問題 1. ネットワークの入力と教師は次の通り 1. 入力画像はL
Channelの画像 2. 教師はab空間の画像 2. L空間の画像を与えた時にab空間はどのようになっ ているかを答えるネットワーク
18.
CIE Lab空間 1. CIE
Lab色空間は人間の視覚を近似するよう設計さ れている。 1. 人間の知覚に最も合う空間 2. L:明度、a,b:カラー軸 引用「http://www.adobe.com/jp/support/techguides/color/colormodels/cielab.html」 これを推定する。
19.
誤差関数の発展 1. 連続値を使用した誤差関数 1. L2誤差関数 2.
多クラス分類を使った誤差関数 3. Class Rebalancingを利用した誤差関数(提案) 1. 2にClassRebalancing項を加えた。
20.
L2 誤差関数 1. 色空間を連続値として扱い、誤差を計算した。 2.
L2 誤差関数は曖昧さに 対して、ロバストではない。
21.
クラス分類の誤差関数 1. 多クラス分類の誤差関数を使い計算を試みた。 1. Lab空間のグリッドをサイズ10ずつで分割した。 2.
分割結果はQ=313となり、この空間を推定する。 Qの分布
22.
Why class rebalance 1.
自然画像はabの値が偏る。 1. 自然画像は壁や背景、塗装が多い。 1. 一色でカラーリングされている箇所が該当しそう。 2. Pixelの出現頻度に応じて重みを付ける。 1. リバランスする為の重みをつける。
23.
Class rebalancing 1. 提案手法であるClass
reblancingは次式 通常のクラス分類と同様クラスリバランシング これを求める。
24.
Class rebalancing 通常のクラス分類と同様クラスリバランシング L値によって分布が異なる。
25.
Class rebalancing 1. 提案手法であるClass
reblancingは次式 通常のクラス分類と同様クラスリバランシング これを求める。
26.
Rebalancing rebalancingで使うWeight 313 0.5
27.
求めるべきYを推定 1. 分布(Z)を求めたので最後はYを推定する。 2. Tの変化により、分布が変化する。 1.
T=1の場合:変化なし 2. T=0に近い場合:ピークが強調される。 3. T=0の場合:1hotになる。 これをどうするか
28.
Tの値による推移
29.
Tの値による推移大体このあたりが 違う。
30.
彩色成功例 提案手法
31.
彩色失敗例
32.
実験内容 1. 実験データはImageNetを利用し、trainとvalidation はそのデータを使っている。 2. 評価手法はAMT、VGG
top1、AuCのスコアを使い、 評価している。
33.
評価手法 1. AMT(Amazon Mechanical
Turk) 1. AMTを使って生成とGround Truth画像を2枚見せ、どちら がよりリアルかを判定する。 2. VGG Top1 1. クラス分類の正答率を計算 3. AuC 1. ab空間のエラー閾値が一定以下かを計算する。
34.
結果 最も良い
35.
GTと生成手法で並べた
36.
昔からある白黒画像を入力した
37.
まとめ 1. グレー画像からカラー画像へ変換するタスクを解 いた。 2. クラスリバランスを行った。 3.
よりリアルな彩色が可能となった。
Download now