Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
東京工業大学
田中正行
見えない画像を見るための
2次元画像再構成
~画像を知る・学ぶ・作る~
SSII2014 チュートリアル
2014年6月11日
概要
1.知る-自然画像の性質,ノイズの性質
2.作る-2次元画像再構成,2次元画像補間
3.学ぶ-学習に基づく2次元画像処理
1
ノイズ
信号
撮影モデル(劣化モデル)
2
原画像 レンズ センサ 回路 メモリ
ぶれ・ぼけ 離散化 ノイズ
原画像は2次元のグレイ画像とし,圧縮ひずみは考えない.
𝒚 = 𝑨𝒙 + 𝒏
結局,2次元画像処理でやりたいこと!
3
原画像
ぼけ画像離散画像
ノイズ画像
デノイズ
ぶれ復元
超解像
𝒚 = 𝑨𝒙 + 𝒏
共通の定式化
4
mmm nxDFy  nAxy 
超解像
ぶれ復元
デノイジング
劣化モデル(生成モデル)
nBxy  nAxy 
nxy  nAxy 
劣化モデル(生成モデル)
劣化モデル(生成モデル)
共通の...
概要
1.知る-自然画像の性質,ノイズの性質
(1)自然画像の事前確率
(2)ノイズ推定
2.作る-2次元画像再構成,2次元画像補間
3.学ぶ-学習に基づく2次元画像処理
5
ノイズ
信号
拘束付き最小二乗法
6
𝒚 = 𝑨𝒙 + 𝒏
2
2
2
2
HxAxy I
拘束付き最小二乗法
y: 観測画像
x: 真の画像
A: 劣化モデル
n: ノイズ
H: ハイパスフィルタ
尤度 自然画像の
事前確率
事後確率最大化
(MA...
事後確率最大化と拘束付き最小二乗法
7
2
2
2
2
2
22
2
22
11
'
HxAxy
HxAxy




I
I
)()|()|( xxyyx ppp 
事後確率(ベイズの定理)
尤度事後確率




...
事前確率の重要性
8
例えば,Haarウェーブレットの
低周波成分に相当
nAxy 
2
2
)( Axyx I
式の数(行列Aの行数)が未知数の数(行列Aの列数)より少ない.
問題: 問題に対応する最小二乗コスト:
システム行列 A
...
自然画像とは
9
自然画像:
近年の人間が自然と目にする画像
自然画像以外
自然画像の事前確率とは
10
自然画像の分布(Possible)
数学的に可能性のある画像の分布(Probable)
8x8の画像であれば,
64次元空間に広がる
自然画像は64次元よりも
はるかに小さな次元の空
間にのみ分布している
この小さ...
MAP法(事前確率)に基づく再構成処理
11
Roth & Black(CVPR 2005),Weiss & Freeman(CVPR 2007)
 古典的な事前確率モデル
Rother (SIGGRAPH 2004), Fergus (SI...
ノイズモデルと推定方法
13
劣化モデル:
𝒚 = 𝑨𝒙 + 𝒏一画素のノイズに着目
1.独立なガウスノイズ
2.ポアソン・ガウスノイズ
3.一般化ガウスノイズ
𝑦 = 𝑥 + 𝑛, 𝑛~𝑁(0, 𝜎2)
𝑦 = 𝛼𝜌(𝑥) + 𝑛, 𝑛~𝑁(...
PCAに基づくノイズレベル推定
 自然画像
– 最小固有値はゼロに近い
 ガウスノイズ
– 固有値は一定値
14
ゼロと見なせる
Natural image Image patches
PCA
1 2 3 4 5 6 7 8
Eigenva...
PCAに基づくノイズレベル推定結果
 テクスチャがあまりない画像
 テクスチャがリッチな画像
15
plane
mountain
テクスチャが少なければ良い結果
テクスチャがリッチだと精度は低い
1 2 3 4 5 6 7 8
Natrua...
ノイズレベル推定結果 (BSD dataset)
16
True Zoran et. al.[9] Tai et. al[25] Proposed method
Average Std.dev RMSE Average Std.dev RMSE...
概要
1.知る-自然画像の性質,ノイズの性質
2.作る-2次元画像再構成,2次元画像補間
(1)データを増やす
(2)構造を抽出する(仲間を見つける)
(3)ガイドを利用する(助けを借りる)
3.学ぶ-学習に基づく2次元画像処理
17
ノイズ
...
データを増やす
18
輝度方向にデータを増やす(平均する)
デノイズ(画像フィルタ)
空間方向にデータを増やす
マルチフレーム超解像
時間方向にデータを増やす
高フレームレイト化
19
なぜ高解像度画像が得られるのか?
1次元信号の場合 2次元画像の場合
測定器
測定器
信号源
時刻
時刻
時刻
同期
時間解像度が2倍
観測画像
画像間の位置関係既知
(単純)拡大画像 高解像度画像
空間解像度が2×2倍
半画素ずつ移動
20
複数枚の画像からの超解像処理例
観測画像
(150x30)
超解像画像
(600x120)
観測画像
(150x30)
超解像画像
(600x120)
21
デモンストレーションソフトウェア例
輝度方向にデータを増やす(平均する)効果
22
M個の観測データを平均すると,
平均値のノイズ分散は1/Mになる
𝑉
1
𝑀
𝑖
𝑀
𝑦𝑖 =
1
𝑀
𝑉[𝑦𝑖]
静止シーンを
固定カメラで
複数枚撮影
画像一枚だけの場合は
空間的なフィルタ処...
ガウシアンフィルタ
23
真値の等しい画素を平均する
空間的に近傍の画素の真値は等しいと仮定
ガウシアンフィルタ
位置u
画素値y
空間的重み





j
jis
j
jjis
i
G
yG
x
)(
)(
ˆ
uu
uu
エッジ付...
バイラテラルフィルタ





j
jirjis
j
jjirjis
bi
i
yyGG
yyyGG
x
)()(
)()(
ˆ
uu
uu
空間的な距離に
基づく重み
画素値の差に
基づく重み
位置u
画素値y
24
Tomas...
ノンローカルミーンフィルタ
25
Buades CVPR 2005
画像
注目
パッチ 類似度
計算
位置u
画素y
注目パッチ
類似度小
→重み小
類似度大
→重み大
空間方向の重みは利用しない
(利用してもよい.)
真値の等しい画素を平均す...
処理例
26
入力画像 バイラテラルフィルタ ノンローカルミーンフィルタバイラテラルフィルタノンローカルミーンフィルタ
Paris et al, A Gentle Introduction to Bilateral Filtering and ...
概要
1.知る-自然画像の性質,ノイズの性質
2.作る-2次元画像再構成,2次元画像補間
(1)データを増やす
(2)構造を抽出する(仲間を見つける)
(3)ガイドを利用する(助けを借りる)
3.学ぶ-学習に基づく2次元画像処理
27
ノイズ
...
高性能デノイジング
28
BM3D (Block-matching and 3D) filter,
Dabov et al, Image denoising by sparse 3d transform-domain collaborative...
パッチベースデノイジング手法
 パッチベース手法
– 高性能な手法として注目されている。
– 小さな四角形の領域を処理単位とする。
1. ノイズを含んだ画像
からのパッチ生成
3. デノイジングされた
パッチからの画像再構成
2. パッチごと...
ノンローカルアプローチ
 ノンローカルアプローチとは
– 自然画像の自己相似性に着目し、画像中に含まれる類似パッチの情報
を利用してデノイジングを行う。
1st step : Collaborative
Hard-thresholding
周...
類似パッチを集めることの意味
31
ノイズ
信号
自然画像全体をモデル化するのは困難
ノイズ分布は変化しない
類似パッチを
集める
信号とノイズの分離を
容易にする
画像全体 類似パッチのみ
概要
1.知る-自然画像の性質,ノイズの性質
2.作る-2次元画像再構成,2次元画像補間
(1)データを増やす
(2)構造を抽出する(仲間を見つける)
(3)ガイドを利用する(助けを借りる)
3.学ぶ-学習に基づく2次元画像処理
32
ノイズ
...
ガイドを利用する(助けを借りる)
33
 ジョイントバイラテラルフィルタ
 ガイデットフィルタ
ガイド画像の例:
RGB-NIR:
NIRをガイド画像
としてRGB画像をデノイズ
RGB-D:
RGBをガイド画像
としてD画像をデノイズ
ノ...
ジョイントバイラテラルフィルタ
34
位置u
画素値y
空間的重み
画素値重み
画素値重み 重み小
重み大
位置u
ガイド
画像z
注目画素





j
jirjis
j
jjirjis
i
zzGG
yzzGG
x
)()(
...
ガイデットフィルタ
35
Guide patch I
Input patch p
Linear
transformation
baIk 
 

Nk
kk
ba
apbaI 22
),(
)(min 
N: Sampled p...
ガイドを利用した補間
(ガイデットアップサンプリング)
37
Linear
transformation
baIk 
Interpolation Output image
 

Nk
kk
ba
apbaI 22
),(
)(m...
ガイデットアップサンプリングの応用例
スペクトル間
の相関
ガイデットアップサンプリング
(He et. al., ECCV2010)
マルチスペクトル
CFA
G R G Or G
B G Cy G B
G Or G R G
Cy G B G...
色差補間とガイド画像の関係
39
- +
色差
補間
R −G
初期補間
Gデータ
Rデータ 補間
R画像
G画像
RGB画像 R画像 色差画像(R-G)
高周波エネルギーを低減
補間が容易になる!
ガイド画像 線形変換してみたら?
残差補間
40
- +
残差画像
補間
R − R
初期補間 ガイデット
アップサンプリング
初期推定
R
Gデータ
Rデータ 補間
R画像
RGB画像 R画像 色差画像(R-G) 残差画像
(R − R)
高周波エネルギー
をさらに低減
補間...
概要
1.知る-自然画像の性質,ノイズの性質
2.作る-2次元画像再構成,2次元画像補間
3.学ぶ-学習に基づく2次元画像処理
(1)事例ベース超解像
(2)スパースコーディング
(3)機械学習(Deep learning)
42
Freeman et al,Example-Based Super-Resolution, 2002.
Kim et al, Example-based learning for single-image super-resolution, D...
スパースコーディング
44
≅ + + + +
5.73 0.00 4.12 0.00 0.00
+
高解像度画像辞書D
高解像度辞書
入力
パッチ
𝒚
出力
パッチ
𝒙 = 𝑫 𝜶
入力画像
出力画像
5.73 0.08
スパース係数を推定
...
辞書学習
45
辞書固定
スパース係数推定
スパース係数固定
辞書更新
𝐼 =
𝑖
min
𝜶 𝑖
𝒚𝒊 − 𝑫𝜶𝑖 2
2
+ 𝜆 𝜶𝒊 1
自然画像データベース
高解像度画像辞書
低解像度
画像辞書
BD
課題: 低解像度画像から推定される...
入力低解像度
パッチ𝒚
カップリングを学習
46
He et al, Beta Processing Dictionary Learning for Coupled Feature Space with Application to Singl...
機械学習(Deep learning)
48
Schuler et al, A machine learning approach for non-blind image deconvolution, CVPR2013
(●http://web...
概要
1.知る-自然画像の性質,ノイズの性質
2.作る-2次元画像再構成,2次元画像補間
3.学ぶ-学習に基づく2次元画像処理
49
ノイズ
信号
何かのきっかけになれば嬉しいです!
Xin Li’s Reproducible Research...
Upcoming SlideShare
Loading in …5
×

SSII2014 チュートリアル資料

16,652 views

Published on

Published in: Science
  • Be the first to comment

SSII2014 チュートリアル資料

  1. 1. 東京工業大学 田中正行 見えない画像を見るための 2次元画像再構成 ~画像を知る・学ぶ・作る~ SSII2014 チュートリアル 2014年6月11日
  2. 2. 概要 1.知る-自然画像の性質,ノイズの性質 2.作る-2次元画像再構成,2次元画像補間 3.学ぶ-学習に基づく2次元画像処理 1 ノイズ 信号
  3. 3. 撮影モデル(劣化モデル) 2 原画像 レンズ センサ 回路 メモリ ぶれ・ぼけ 離散化 ノイズ 原画像は2次元のグレイ画像とし,圧縮ひずみは考えない. 𝒚 = 𝑨𝒙 + 𝒏
  4. 4. 結局,2次元画像処理でやりたいこと! 3 原画像 ぼけ画像離散画像 ノイズ画像 デノイズ ぶれ復元 超解像 𝒚 = 𝑨𝒙 + 𝒏
  5. 5. 共通の定式化 4 mmm nxDFy  nAxy  超解像 ぶれ復元 デノイジング 劣化モデル(生成モデル) nBxy  nAxy  nxy  nAxy  劣化モデル(生成モデル) 劣化モデル(生成モデル) 共通の定式化可能 𝒚 = 𝑨𝒙 + 𝒏劣化画像yから,原画像xを復元する処理
  6. 6. 概要 1.知る-自然画像の性質,ノイズの性質 (1)自然画像の事前確率 (2)ノイズ推定 2.作る-2次元画像再構成,2次元画像補間 3.学ぶ-学習に基づく2次元画像処理 5 ノイズ 信号
  7. 7. 拘束付き最小二乗法 6 𝒚 = 𝑨𝒙 + 𝒏 2 2 2 2 HxAxy I 拘束付き最小二乗法 y: 観測画像 x: 真の画像 A: 劣化モデル n: ノイズ H: ハイパスフィルタ 尤度 自然画像の 事前確率 事後確率最大化 (MAP法) 観測 から 観測以外 から
  8. 8. 事後確率最大化と拘束付き最小二乗法 7 2 2 2 2 2 22 2 22 11 ' HxAxy HxAxy     I I )()|()|( xxyyx ppp  事後確率(ベイズの定理) 尤度事後確率           2 2 2 2 exp)|(  Axy xyp          2 2 2 2 exp)(  Hx xp 事前確率 尤度(ノイズモデル): ガウスノイズを仮定 (自然画像の)事前確率: 滑らかな画像を仮定 事後確率の対数に-1をかけて 拘束付き最小二乗法
  9. 9. 事前確率の重要性 8 例えば,Haarウェーブレットの 低周波成分に相当 nAxy  2 2 )( Axyx I 式の数(行列Aの行数)が未知数の数(行列Aの列数)より少ない. 問題: 問題に対応する最小二乗コスト: システム行列 A 原画像 x 観測画像 y 観測画像 y •実際の過程 •可能な解 Haarウェーブレットの高周波成分は,不定. 唯一解を得るためには,付加的な情報(事前確率)が必要. 自然画像の事前確率が重要 より正確には行列Aの 条件数を評価する必要 がある 2 2 2 2 HxAxy I 自然画像の事前確率(拘束項)
  10. 10. 自然画像とは 9 自然画像: 近年の人間が自然と目にする画像 自然画像以外
  11. 11. 自然画像の事前確率とは 10 自然画像の分布(Possible) 数学的に可能性のある画像の分布(Probable) 8x8の画像であれば, 64次元空間に広がる 自然画像は64次元よりも はるかに小さな次元の空 間にのみ分布している この小さな次元の分布が 自然画像の事前確率分布 代表例:滑らかさ拘束 画像空間分布の模式図 画像空間分布の模式図
  12. 12. MAP法(事前確率)に基づく再構成処理 11 Roth & Black(CVPR 2005),Weiss & Freeman(CVPR 2007)  古典的な事前確率モデル Rother (SIGGRAPH 2004), Fergus (SIGGRAPH 2006)  パッチに基づく事前確率モデル  適応的な事前確率モデル  Expected Patch Log Likelihood (EPLL) Tanaka & Okutomi(CVPR 2008),Cho & Freeman (CVPR 2010) Zoran & Weiss(ICCV 2011) ●http://people.csail.mit.edu/danielzoran/
  13. 13. ノイズモデルと推定方法 13 劣化モデル: 𝒚 = 𝑨𝒙 + 𝒏一画素のノイズに着目 1.独立なガウスノイズ 2.ポアソン・ガウスノイズ 3.一般化ガウスノイズ 𝑦 = 𝑥 + 𝑛, 𝑛~𝑁(0, 𝜎2) 𝑦 = 𝛼𝜌(𝑥) + 𝑛, 𝑛~𝑁(0, 𝜎2) 𝑦 = 𝑥 + 𝑛, 𝑛~𝑁 0, 𝜎2 𝑥 , 𝜎2 𝑥 = 𝜎 𝑢 2 𝑥 𝛾 + 𝜎 𝑤 2 𝑁(𝜇, 𝜎2):ガウス分布 𝜌(𝑥):ポアソン分布 Liu et al, TIP 2013 ●http://www.ok.ctrl.titech.ac.jp/res/NLE/AWGNestimation.html Foi et al, TIP 2008 ●http://www.cs.tut.fi/~foi/sensornoise.html Liu et al, ICIP 2013 ●http://www.ok.ctrl.titech.ac.jp/res/NLE/sd_nlevel.html
  14. 14. PCAに基づくノイズレベル推定  自然画像 – 最小固有値はゼロに近い  ガウスノイズ – 固有値は一定値 14 ゼロと見なせる Natural image Image patches PCA 1 2 3 4 5 6 7 8 Eigenvalue Principle component 一定値(ノイズの分散) Image patches PCA Gaussian noise 1 2 3 4 5 6 7 8 Eigenvalue Principle component 1 2 3 4 5 6 7 8 Natrual image Gaussian noise Image patches PCA Noisy image ノイズの分散 Principle component Eigenvalue  ノイズ画像 ノイズ 信号
  15. 15. PCAに基づくノイズレベル推定結果  テクスチャがあまりない画像  テクスチャがリッチな画像 15 plane mountain テクスチャが少なければ良い結果 テクスチャがリッチだと精度は低い 1 2 3 4 5 6 7 8 Natrual image Gaussian noise ほぼゼロ 1 2 3 4 5 6 7 8 Natrual image Gaussian noise ゼロより 大きい Noise level estimation result Noise level estimation result
  16. 16. ノイズレベル推定結果 (BSD dataset) 16 True Zoran et. al.[9] Tai et. al[25] Proposed method Average Std.dev RMSE Average Std.dev RMSE Average Std.dev RMSE 1 2.129 1.662 1.986 2.059 1.574 1.890 1.512 0.986 1.105 5 4.993 1.464 1.455 5.761 1.083 1.320 5.285 0.429 0.507 10 9.741 1.589 1.602 10.635 0.825 1.038 10.282 0.389 0.470 15 14.643 1.606 1.637 15.553 0.677 0.871 15.254 0.336 0.395 20 19.582 1.645 1.689 20.482 0.613 0.778 20.127 0.308 0.327 25 24.464 1.649 1.725 25.458 0.549 0.713 25.057 0.384 0.386 デモ Liu et al, TIP 2013 ●http://www.ok.ctrl.titech.ac.jp/res/NLE/AWGNestimation.html テクスチャレスパッチ 抽出を工夫
  17. 17. 概要 1.知る-自然画像の性質,ノイズの性質 2.作る-2次元画像再構成,2次元画像補間 (1)データを増やす (2)構造を抽出する(仲間を見つける) (3)ガイドを利用する(助けを借りる) 3.学ぶ-学習に基づく2次元画像処理 17 ノイズ 信号
  18. 18. データを増やす 18 輝度方向にデータを増やす(平均する) デノイズ(画像フィルタ) 空間方向にデータを増やす マルチフレーム超解像 時間方向にデータを増やす 高フレームレイト化
  19. 19. 19 なぜ高解像度画像が得られるのか? 1次元信号の場合 2次元画像の場合 測定器 測定器 信号源 時刻 時刻 時刻 同期 時間解像度が2倍 観測画像 画像間の位置関係既知 (単純)拡大画像 高解像度画像 空間解像度が2×2倍 半画素ずつ移動
  20. 20. 20 複数枚の画像からの超解像処理例 観測画像 (150x30) 超解像画像 (600x120) 観測画像 (150x30) 超解像画像 (600x120)
  21. 21. 21 デモンストレーションソフトウェア例
  22. 22. 輝度方向にデータを増やす(平均する)効果 22 M個の観測データを平均すると, 平均値のノイズ分散は1/Mになる 𝑉 1 𝑀 𝑖 𝑀 𝑦𝑖 = 1 𝑀 𝑉[𝑦𝑖] 静止シーンを 固定カメラで 複数枚撮影 画像一枚だけの場合は 空間的なフィルタ処理 フィルタ 真値の等しい画素を平均する
  23. 23. ガウシアンフィルタ 23 真値の等しい画素を平均する 空間的に近傍の画素の真値は等しいと仮定 ガウシアンフィルタ 位置u 画素値y 空間的重み      j jis j jjis i G yG x )( )( ˆ uu uu エッジ付近でぼける ui,uj: 画素位置 yj: 画素値 G:ガウス関数
  24. 24. バイラテラルフィルタ      j jirjis j jjirjis bi i yyGG yyyGG x )()( )()( ˆ uu uu 空間的な距離に 基づく重み 画素値の差に 基づく重み 位置u 画素値y 24 Tomasi, ICCV 1998 空間的重み 画素値重み 画素値重み 重み小 重み大 エッジを保存した平滑化フィルタ 真値の等しい画素を平均する 空間的かつ輝度的に近傍の画素の真値は等しいと仮定 バイラテラルフィルタ
  25. 25. ノンローカルミーンフィルタ 25 Buades CVPR 2005 画像 注目 パッチ 類似度 計算 位置u 画素y 注目パッチ 類似度小 →重み小 類似度大 →重み大 空間方向の重みは利用しない (利用してもよい.) 真値の等しい画素を平均する 構造(パッチ)が似ている画素の真値は等しいと仮定 ノンローカルフィルタ      j jip j j T jip nl i G G x )( )( ˆ yy ycyy
  26. 26. 処理例 26 入力画像 バイラテラルフィルタ ノンローカルミーンフィルタバイラテラルフィルタノンローカルミーンフィルタ Paris et al, A Gentle Introduction to Bilateral Filtering and its Applications ●http://people.csail.mit.edu/sparis/siggraph07_course/ Buades et al, Non-Local Means Denoising ●http://www.ipol.im/pub/art/2011/bcm_nlm/
  27. 27. 概要 1.知る-自然画像の性質,ノイズの性質 2.作る-2次元画像再構成,2次元画像補間 (1)データを増やす (2)構造を抽出する(仲間を見つける) (3)ガイドを利用する(助けを借りる) 3.学ぶ-学習に基づく2次元画像処理 27 ノイズ 信号
  28. 28. 高性能デノイジング 28 BM3D (Block-matching and 3D) filter, Dabov et al, Image denoising by sparse 3d transform-domain collaborative filtering, TIP2007 ●http://www.cs.tut.fi/~foi/GCF-BM3D/ LSSC (learned simultaneous sparse coding) Mairal et al, Non-local sparse models for image restoration, ICCV2009 PLOW (Patch-based Locally Optimal Wiener Filtering for Image Denoising) Priyam et al, Patch-based Near-Optimal Image Denoising, TIP 2012 ●http://users.soe.ucsc.edu/~priyam/PLOW/ パッチベース・ノンローカルアプローチ Zontak et al, Separating Signal from Noise using Patch Recurrence Across Scales, CVPR 2013 http://www.wisdom.weizmann.ac.il/~vision/MultiScaleDenoising.html
  29. 29. パッチベースデノイジング手法  パッチベース手法 – 高性能な手法として注目されている。 – 小さな四角形の領域を処理単位とする。 1. ノイズを含んだ画像 からのパッチ生成 3. デノイジングされた パッチからの画像再構成 2. パッチごとの デノイジング データベースに基づく手法 自然画像データベースの 情報を利用する。 ローカル手法 近傍のパッチの情報を 利用する。 ノンローカル手法 類似したパッチの情報を 利用する。 3種類 29
  30. 30. ノンローカルアプローチ  ノンローカルアプローチとは – 自然画像の自己相似性に着目し、画像中に含まれる類似パッチの情報 を利用してデノイジングを行う。 1st step : Collaborative Hard-thresholding 周波数領域 例:BM3D Filter 繰り返し処理 (ウィナーフィルタ) 30
  31. 31. 類似パッチを集めることの意味 31 ノイズ 信号 自然画像全体をモデル化するのは困難 ノイズ分布は変化しない 類似パッチを 集める 信号とノイズの分離を 容易にする 画像全体 類似パッチのみ
  32. 32. 概要 1.知る-自然画像の性質,ノイズの性質 2.作る-2次元画像再構成,2次元画像補間 (1)データを増やす (2)構造を抽出する(仲間を見つける) (3)ガイドを利用する(助けを借りる) 3.学ぶ-学習に基づく2次元画像処理 32 ノイズ 信号
  33. 33. ガイドを利用する(助けを借りる) 33  ジョイントバイラテラルフィルタ  ガイデットフィルタ ガイド画像の例: RGB-NIR: NIRをガイド画像 としてRGB画像をデノイズ RGB-D: RGBをガイド画像 としてD画像をデノイズ ノイズ 信号 ガイド画像 目的画像 ガイド画像を利用して, 信号とノイズを分離 Kopf et al, Joint bilateral upsampling, SIGGRAPH 2007 実装例: ●http://nma.web.nitech.ac.jp/fukushima/research/weightedjointbilateralfilter.html ●http://www.mathworks.com/matlabcentral/fileexchange/27468-joint-bilateral-filter He et al, Guided Image Filtering, ECCV2012, PAMI2013 ●http://research.microsoft.com/en-us/um/people/kahe/eccv10/
  34. 34. ジョイントバイラテラルフィルタ 34 位置u 画素値y 空間的重み 画素値重み 画素値重み 重み小 重み大 位置u ガイド 画像z 注目画素      j jirjis j jjirjis i zzGG yzzGG x )()( )()( ˆ uu uu 空間的な距離に 基づく重み ガイド画像の 画素値の差に 基づく重み      j jirjis j jjirjis bi i yyGG yyyGG x )()( )()( ˆ uu uu 参考:バイラテラルフィルタ
  35. 35. ガイデットフィルタ 35 Guide patch I Input patch p Linear transformation baIk     Nk kk ba apbaI 22 ),( )(min  N: Sampled pixels ε: Smoothness parameter 残差項 滑らかさ項 残差項:小 滑らかさ項:大 入力画像をガイド画像 に使える! 残差項:大 滑らかさ項:小残差 高速処理 エッジ保存 ●http://research.microsoft.com/en-us/um/people/kahe/eccv10/ 出力画像 出力画像 ε:小 ε:大
  36. 36. ガイドを利用した補間 (ガイデットアップサンプリング) 37 Linear transformation baIk  Interpolation Output image    Nk kk ba apbaI 22 ),( )(min  N: Sampled pixels : Smoothness parameter 適切なガイド画像が得られれば, エッジを保存した補間が,高速に実現できる! ガイド画像 入力データ
  37. 37. ガイデットアップサンプリングの応用例 スペクトル間 の相関 ガイデットアップサンプリング (He et. al., ECCV2010) マルチスペクトル CFA G R G Or G B G Cy G B G Or G R G Cy G B G Cy G R G Or G 38 初期補間 ガイド画像 Y.Monno et al. , “Multispectral demosaicking using guided filter”, EI2011. ガイド画像はどうするの? → マルチスペクトルデモザイキング
  38. 38. 色差補間とガイド画像の関係 39 - + 色差 補間 R −G 初期補間 Gデータ Rデータ 補間 R画像 G画像 RGB画像 R画像 色差画像(R-G) 高周波エネルギーを低減 補間が容易になる! ガイド画像 線形変換してみたら?
  39. 39. 残差補間 40 - + 残差画像 補間 R − R 初期補間 ガイデット アップサンプリング 初期推定 R Gデータ Rデータ 補間 R画像 RGB画像 R画像 色差画像(R-G) 残差画像 (R − R) 高周波エネルギー をさらに低減 補間がさらに 容易になる! ガイデット アップサンプリング matlab code: ●http://www.ok.ctrl.titech.ac.jp/res/DM/RI.html ガイド画像& 線形変換
  40. 40. 概要 1.知る-自然画像の性質,ノイズの性質 2.作る-2次元画像再構成,2次元画像補間 3.学ぶ-学習に基づく2次元画像処理 (1)事例ベース超解像 (2)スパースコーディング (3)機械学習(Deep learning) 42
  41. 41. Freeman et al,Example-Based Super-Resolution, 2002. Kim et al, Example-based learning for single-image super-resolution, DAGM 2008. (●http://www.mpi-inf.mpg.de/~kkim/supres/supres.htm)43 事例ベース超解像 観測画像(低解像度画像) 高解像度画像 画像 データベース 高解像度画像低解像度画像 •一枚でも可能 •データベースの作成が重要(コスト大) •対応付けの問題 失われた(存在しない)高周波成分をデータベースに基づき, 推定する処理
  42. 42. スパースコーディング 44 ≅ + + + + 5.73 0.00 4.12 0.00 0.00 + 高解像度画像辞書D 高解像度辞書 入力 パッチ 𝒚 出力 パッチ 𝒙 = 𝑫 𝜶 入力画像 出力画像 5.73 0.08 スパース係数を推定 ライブラリ ●http://spams-devel.gforge.inria.fr/ ●http://www.cs.technion.ac.il/~elad/software/ 高解像度画像辞書:D 低解像度画像辞書:BD ぼけ&ダウンサンプリング B低解像度画像辞書BD 𝜶 = argmin 𝜶 𝒚 − 𝑩𝑫𝜶 2 2 + 𝜆 𝜶 1 𝒙 = 𝑫 𝜶 スパース係数の推定 再構成出力パッチ スパース係数: 少数の係数のみ非ゼロの値を持つ
  43. 43. 辞書学習 45 辞書固定 スパース係数推定 スパース係数固定 辞書更新 𝐼 = 𝑖 min 𝜶 𝑖 𝒚𝒊 − 𝑫𝜶𝑖 2 2 + 𝜆 𝜶𝒊 1 自然画像データベース 高解像度画像辞書 低解像度 画像辞書 BD 課題: 低解像度画像から推定されるスパース係数と 高解像度画像から推定されるスパース係数が異なる スパース 係数推定 スパース 係数推定 高解像度画像 低解像度画像 0.84 0.22 0.00 0.00 0.000.75 0.34 0.00 1.23 1.23
  44. 44. 入力低解像度 パッチ𝒚 カップリングを学習 46 He et al, Beta Processing Dictionary Learning for Coupled Feature Space with Application to Single Image Super Resolution, CVPR 2013 (●http://web.eecs.utk.edu/~lhe4/) 自然画像 データベース 高解像用辞書 𝑫 𝑯 学習 低解像用辞書 𝑫 𝑳 学習 スパース係数間の カップリングMを学習 𝜶 𝑯 = 𝑴𝜶 𝑳 𝒙 = 𝑫 𝑯 𝜶 𝑯 𝒚 = 𝑫 𝑳 𝜶 𝑳 出力高解像度 パッチ𝒙 高解像係数 変換 低解像用 辞書 𝑫 𝑳 スパース係数 推定 高解像用 辞書 𝑫 𝑯 高解像度 パッチ再構成 𝜶 𝑳 𝑴𝜶 𝑳 𝑫 𝑯 𝑴𝜶 𝑳
  45. 45. 機械学習(Deep learning) 48 Schuler et al, A machine learning approach for non-blind image deconvolution, CVPR2013 (●http://webdav.is.mpg.de/pixel/neural_deconvolution/) Gao et al, Restricted Boltzmann Machine Approach to Couple Dictionary Training for Image Super-Resolution, ICIP2013. Vincent et al, Extracting and Composing Robust Features with Denoising Autoencoders, ICML2008 Nakashika, et al, High-frequency Restoration Using Deep Belief Nets for Super-resolution, International Conference on Signal Image Technology & Internet-Based Systems 2013.
  46. 46. 概要 1.知る-自然画像の性質,ノイズの性質 2.作る-2次元画像再構成,2次元画像補間 3.学ぶ-学習に基づく2次元画像処理 49 ノイズ 信号 何かのきっかけになれば嬉しいです! Xin Li’s Reproducible Research: http://www.csee.wvu.edu/~xinl/source.html

×