2020/05/01 Deep Learning JP: http://deeplearning.jp/seminar-2/

1. 1
DEEP LEARNING JP
[DL Papers]
http://deeplearning.jp/
High-Quality Self-Supervised Deep Image Denoising
Hirono Okamoto, Matsuo Lab

2. 書誌情報: High-Quality Self-Supervised Deep Image Denoising
n NIPS 2019 accepted
n 筆頭著者: Samuli Laine (NVIDIA)
n ⼀⾔でいうと:
n ベイジアンアプローチと効率的なblind-spot networkにより，教師なしで(訓練データはノイズあり画像
のみで)，ハイクオリティな画像デノイジングを可能にした
教師ありデノイジングと
ほぼ変わらない結果

3. 背景: これまでの学習⽅法
n 教師としてノイズなし画像が必要
※ 以下，著者のスライドから図や⽂章を断りなく引⽤している

4. 背景: Noise2Noiseを使った学習⽅法 [Lehtinen+, 2018]
n 教師としてノイズなし学習は必要ではないが，別のノイズ画像が必要

5. 背景: Noise2Voidを使った学習⽅法 [Krull+, 2018]
n ノイズなし画像なしで学習が可能に

6. 表記について

7. 表記について

8. 表記について

9. 表記について

10. 背景: これまでの教師あり学習は何をやっているのか︖
n ノイズ画像 𝑦, Ω! を⼊⼒として， 𝑓" (e.g. DNN) の出⼒がノイズなしピクセル𝑥になるように，
L2ロスを使って 𝑓" を学習する
n 教師データである 𝑥 が必要になる

11. 関連⼿法: Noise2Voidとは︖
n まわりのピクセル Ω! のみからノイズがないピクセル 𝑥 を予測するように 𝑓" を学習する
n ここで，教師はノイズのピクセル 𝑦 とするため，ノイズなしデータはいらない
n ノイズの平均が0のときならOK [Lehtinen+, 2018]

12. 関連⼿法: Noise2Voidの限界
n Noise2Voidは 𝑥 の情報を多く持った 𝑦 を⼊⼒として使っていない
n 使ってしまうと， 𝑦 はターゲットなので，モデル 𝑓! が学習してくれなくなるから
n → そこで，筆者らは訓練時には使わずに，テスト時に使うことを提案する
n 事後分布 p 𝑥 𝑦, Ω" を計算する

13. 提案⼿法: 𝑥の事後分布(の平均)を利⽤する
n 訓練時: ノイズモデル p(𝑦|𝑥) は Ω! と独⽴だと仮定すると，周辺分布は次の式
n p(𝑥|Ω") を⾊のチャネル次元を持つ多変量ガウシアン分布 𝑁(µ#, Σ# ) とする
n µ#, Σ# は Ω" を⼊⼒としたときの 𝑓! の出⼒である
n 推論時: 𝑥の事後分布は，ベイズの定理より次のように求まる
n 最終的には事後平均𝐸# p 𝑥 𝑦, Ω" を計算する（このときPSNRが最⼤化されるため）

14. 提案⼿法: テスト時の推論のイメージ

15. 提案⼿法: ノイズモデルがガウシアンの例
n 平均0，分散σ# 𝐼のノイズが元画像の加わったと仮定した場合，
𝑝 𝑦 𝑥 = 𝑓 𝑦; µ!, Σ! = 𝑁(µ$, Σ$ + σ# 𝐼) となる
n このとき，𝑓" を最適化するためのロス関数は負の対数尤度で以下の式となる
n Σ"が単位⾏列ならNoise2Voidのときと同じ
n ここで，正規化されていない事後分布は次の式
n 最後に，事後分布の平均を求める
n 実は上記の平均は事後分布の平均に⼀致する [Bromiley, 2018]
← 𝑥の推論に𝑦の値を使っていることがわかる

16. 提案⼿法: ノイズモデルがポアソン分布の例
n ポアソンノイズは，シグナルに依存するガウシアンノイズに近似できる [Hasinoff, 2014]
n よって，𝑝 𝑦 𝑥 の平均と共分散は下式
n あとはガウシアンノイズのときと同じ

17. 提案⼿法: ノイズモデルがインパルス分布の例
n 確率αでピクセル値が 0, 1 %からサンプルされた値に置き換えたときの平均と共分散⾏列
n このときの(正規化されていない)事後分布
n 事後分布の平均は解析的に計算できる
n µ#と𝑦の線形補完になる

18. 提案⼿法: 効率的なblind-spot network
n blind-spot network: ノイズのない，あるピクセル 𝑥 を予測するために，4⽅向からpixelCNN
のように回帰するネットワーク [Krull+, 2018]
効率的に
パラメタシェアでパラメタ数を1/4になる

19. 実験: 定性的結果 (ガウシアンノイズの場合)
n q

20. 実験: 定量的結果 (ガウシアンノイズの場合)

21. 実験: 定性的結果 (ポアソン・インパルスノイズの場合)
インパルスノイズ（α=0.5）
ポアソンノイズ（λ=30）

22. 実験: 定量的結果 (ポアソン・インパルスノイズの場合)
N2C(教師あり)に
匹敵する結果

23. 実験: ネットワーク構造の評価
n 新blind-spot network(提案⼿法)とNoise2Voidで使われたネットワーク(Masking)との⽐較

24. 結論・今後の課題
n まとめ
n ノイズ画像のみからデノイジングの訓練が可能になった
n デノイジング結果としてこれまでの教師あり画像とほぼ同じクオリティが得られた
n 今後の研究
n 今回はピクセルごとにノイズがiidである仮定をおいている(画像で共通のσである)が，iidではない
場合の仮定に和らげることはできないか︖
n データからノイズモデルが推定できると良い