Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
2015/1/30 日本画像学会 第26回 フリートーキング 1
冗長変換と
その画像復元応用
平成27年1月30日(金)
新潟大学工学部 電気電子工学科
准教授 村松 正吾
村松 正吾(むらまつ しょうご)
 画像・映像信号処理の教育研究に従事
 電子情報通信学会(IEICE):基礎・境界,情報・システム
 映像情報メディア学会(ITE)
 IEEE:SP, CAS, COMP
 著書
 「マルチメディ...
IoT時代を迎えて
 センシング環境の多様化
センサ端末(エッジ)
 リアルタイム処理
 遠隔・協調処理
 特徴抽出、認識処理
2015/1/30 日本画像学会 第26回 フリートーキング 3
IoT時代の画像処理
 組込みビジョン技術への期待
 処理フローの典型例
2015/1/30 日本画像学会 第26回 フリートーキング 4
組込み
コン
ピュータ
ビジョン
組込み
ビジョン
取得画像 前処理 特徴抽出 認識 解析情報
【例...
昼夜問わず、風雨に耐えて…
劣悪な環境下でのセンシング
 前処理が重要な役割を担う
輝度・色彩調整
幾何補正
ノイズ除去
デモザイキング
ボケ除去
欠損修復
超解像
2015/1/30 日本画像学会 第26回 フリートーキング ...
冗長変換とスパース表現による
ボケ+ノイズ除去の例
2015/1/30 日本画像学会 第26回 フリートーキング 6
原画像
観測画像
PSNR: 23.84 dB
復元画像
PSNR: 27.21 dB
冗長変換とスパース表現による
単一フレーム超解像の例
2015/1/30 日本画像学会 第26回 フリートーキング 7
原画像 観測画像
復元画像
PSNR: 27.61 dB
Bicubic補間画像
PSNR: 23.92 dB
冗長変換とスパース表現による
画像修復の例
2015/1/30 日本画像学会 第26回 フリートーキング 8
原画像
観測画像
PSNR: 12.56 dB
復元画像
PSNR: 32.76 dB
講演内容
 変換と画像処理応用
 冗長変換の概要
 画像のスパース表現
 冗長変換の画像復元応用
 辞書(変換)設計
 まとめ
2015/1/30 日本画像学会 第26回 フリートーキング 9
講演内容
 変換と画像処理応用
 冗長変換の概要
 画像のスパース表現
 スパース表現の画像復元応用
 辞書(変換)設計
 まとめ
2015/1/30 日本画像学会 第26回 フリートーキング 10
画像変換の効果
 3-レベルウェーブレット変換
2015/1/30 日本画像学会 第26回 フリートーキング 11
𝐓
𝐃
スパースな表現を与える
画像変換の応用例
 変換符号化(JPEG/JPEG2000)
順変換
𝐓
逆変換
𝐃
逆量子化
量子化前処理
後処理
2015/1/30 日本画像学会 第26回 フリートーキング 12
エントロピー
符号化
エントロピー
復号
符号化
復号
画像と変換係数の関係
 要素画像の線形結合
1/2 1/2
1/2 1/2
0 2
4 6
-1/2 1/2
-1/2 1/2
-1/2 -1/2
1/2 1/2
1/2 -1/2
-1/2 1/2
=
6 × 2×
4× 0×
変換係数
要...
要素画像(アトム)の例
2015/1/30 日本画像学会 第26回 フリートーキング 14
4 × 4 離散コサイン変換
(DCT)
2 レベル 9/7離散ウェーブレット変換
(9/7 DWT)
画像変換の変遷
2015/1/30 日本画像学会 第26回 フリートーキング 15
 【80年代以前】 ブロック直交変換
 アダマール変換,DCT
 【80~90年代】 重複変換、ウェーブレット変換
 LOT,LBT,5/3 DWT,9...
画像の列ベクトル表現の導入
2015/1/30 日本画像学会 第26回 フリートーキング 16
0
4
2
6
⋮
6
4
0
2
⋮
0 2
4 6
列ベクトル化
𝐱 ∈ ℝ 𝑁 𝐲 ∈ ℝ 𝑀
=
1/2 -1/2 0 0 -1/2 1/2...
講演内容
 変換と画像処理応用
 冗長変換の概要
 画像のスパース表現
 スパース表現の画像復元応用
 辞書(変換)設計
 まとめ
2015/1/30 日本画像学会 第26回 フリートーキング 17
辞書𝐃による画像表現
 アトム𝐝mの線形結合による画像表現
2015/1/30 日本画像学会 第26回 フリートーキング 18
𝐱 = 𝐃𝐲
= …+ + +
𝐝0 𝐝1 𝐝 𝑀−1
・ ・ ・
𝑦 0 𝑦 1 𝑦 𝑀 − 1
𝐱
辞書𝐃 :...
基底とフレーム
 基底:非冗長なアトム集合(辞書𝐃)
 フレーム:冗長なアトム集合(辞書𝐃)
2015/1/30 日本画像学会 第26回 フリートーキング 19
𝑥0
𝑥1
=
𝑑00 𝑑10
𝑑01 𝑑11
𝑦0
𝑦1
𝑥0
𝑥1
=
𝑑...
基底と比べたフレームの利点は?
2015/1/30 日本画像学会 第26回 フリートーキング 20
ℝ 𝑁
ℝ 𝑀
ℝ 𝑁
ℝ 𝑁
𝐱
𝐲
𝐱
変換(唯一)
𝐓
辞書(基底)
𝐃
辞書(フレーム)
𝐃
冗長な辞書(フレーム)では係数 𝐲 を選択...
係数選択の一例:最小二乗解
 画像𝐱,辞書𝐃 に対し無数の係数候補
適切な変換係数 𝐲 を選択する問題
 2(標準)-ノルム最小化問題として解く
2015/1/30 日本画像学会 第26回 フリートーキング 21
𝐲 = arg min 𝐲...
講演内容
 変換と画像処理応用
 冗長変換の概要
 画像のスパース表現
 スパース表現の画像復元応用
 辞書(変換)設計
 まとめ
2015/1/30 日本画像学会 第26回 フリートーキング 22
非線形近似
= …𝐱
近似画像
+ +
|𝑦 𝑚0 | |𝑦 𝑚1 | ⋯ |𝑦 𝑚 𝐾−1 |
+
𝐝 𝑚0 𝐝 𝑚1
𝐝 𝑚 𝐾−1
一部(𝐾個)の係数のみで表現
(誤差が生じる)
もし, 𝐱 = 𝐱
⇒ 𝐱は𝐾-スパース
・ ・ ・
20...
0-ノルム最小化問題
 より少ない係数で良い近似を得たい
 標準ノルムは小さな係数を過小評価,誤差大
 0-ノルム最小化問題として解く
 最適な係数の組合せを探索する問題
 現実的な計算時間内で解を得ることは不可能
 貪欲法(OMP...
1-ノルム最小化問題
 0-ノルム最小化問題は解の探索が困難
0-ノルムに代わるスパース性尺度を導入
 1-ノルム最小化問題として解く
 基底追跡(BP)法と呼ばれる
線形計画問題に帰着
2015/1/30 日本画像学会 第26回 フ...
基底追跡ノイズ除去(BPDN)
 BP法は多項式時間で解くことができる
 しかし、画像信号に対し事実上実現が困難
 再構成誤差を許容して解く
 基底追跡ノイズ除去(BPDN)法と呼ばれる
 演算量を大幅に削減可能
2015/1/30 ...
ソフト縮退ノイズ除去
 もし,𝐃が正規直交ならば
 ‖𝐃 𝑇
𝐱‖2
2
= ‖𝐱 ‖2
2
, 𝐓𝐃 = 𝐃 𝑇
𝐃 = 𝐈より
2015/1/30 日本画像学会 第26回 フリートーキング 27
分析
𝐓 = 𝐃 𝑇
合成
𝐃: :
入...
原画像とノイズ画像の変換係数
𝑻
𝑫
28
𝑻
𝑫
2015/1/30 日本画像学会 第26回 フリートーキング
講演内容
 変換と画像処理応用
 冗長変換の概要
 信号のスパース表現
 スパース表現の画像復元応用
 辞書(変換)設計
 まとめ
2015/1/30 日本画像学会 第26回 フリートーキング 29
スパース表現の画像処理応用
 画像の劣化/復元モデル
2015/1/30 日本画像学会 第26回 フリートーキング 30
𝐱
観測
画像
𝐮
未知の
原画像
𝐏 +
𝐰
観測過程
(既知)
AWGN
𝐃
𝐲
𝐃
𝐲
辞書(既知)
スパース表現...
画像復元問題と観測過程
画像復元
問題
観測過程 𝐏
ボケ除去
レンズの点広がり関数や手ブレによるボケを
線形フィルタ 𝐏 = 𝐇 によりモデル化
超解像
低解像度の観測過程を線形フィルタ𝐇と
間引き処理𝐒↓により 𝐏 = 𝐒↓ 𝐇 とモデル化...
画像復元問題の解法例 ー ISTA
(繰返し縮退/閾値アルゴリズム)
 正則化項(スパース性):𝜌 𝐲 = 𝐲 1
係数 𝐲 の厳密解が得られる
ソフト縮退処理の一般化と見なせる
2015/1/30 日本画像学会 第26回 フリートーキン...
講演内容
 変換と画像処理応用
 冗長変換の概要
 信号のスパース表現
 スパース表現の画像復元応用
 辞書(変換)設計
 まとめ
2015/1/30 日本画像学会 第26回 フリートーキング 33
辞書𝐃の選択
 解析的辞書
数学的な定義に基づいて与えられる
明確な構造を持ち,実装時の演算量が少ない
DCT, LOT, LBT, DWT,Contourlet など
 学習ベース辞書
対象信号や画像の事例を用いて設計
対象信号...
学習ベース辞書
 問題設定の典型例
𝐃, 𝐲𝑖 = argmin 𝐃,𝐲
𝒊
𝐱 𝑖 − 𝐃𝐲𝑖 2
2
s. t. 𝐲𝑖 0 ≤ 𝐾
 スパース符号化
𝐲𝑖 = argmin 𝐲 𝐱 𝑖 − 𝐃𝐲𝑖 2
2
s. t. 𝐲𝑖 0 ≤ 𝐾
...
(a)
(b)
二次元NSOLTの設計例
 学習ベース設計例
2015/1/30 日本画像学会 第26回 フリートーキング 36
事例画像
学習辞書(アトム群) [Muramatsu,ICASSP2014]
2レベル
ツリー構成
三次元NSOLTの設計例
 学習ベース設計例
2015/1/30 日本画像学会 第26回 フリートーキング
[村松,SIPシンポ2014]
関連技術
2015/1/30 日本画像学会 第26回 フリートーキング 38
𝐲 = argmin 𝐲
1
2
𝐱 − 𝐏𝐃𝐲 2
2
+ 𝜆 𝐲 1
係数毎の設定・適応化:𝝀 𝑇
𝐲
BayesShrink, MSIST など
正則化項の変更...
まとめ
 画像変換とその画像復元応用について概説
 冗長変換とスパース表現の有用性を解説
 学習ベース辞書の設計法と設計例を紹介
 医療用画像,光線場画像などボリューム拡張可
 関連技術と発展性
 本講演が,画像のスパース表現への興...
謝辞
 本講演の機会をいただいた(社)日本画像学
会編集委員会の皆様に謝意を申し上げます.
 本報告内容の研究の一部は科研費(No.
26420347) の助成を受けた.
2015/1/30 日本画像学会 第26回 フリートーキング 40
非冗長系-基底
 アトムの数が信号次元と等しい場合
アトム集合 𝐝 𝑚 を基底とよぶ.𝐓は唯一.
双直交基底(例:9/7DWT)
正規直交基底(例:DCT)
2015/1/30 日本画像学会 第26回 フリートーキング 41
𝐓 = 𝐃...
冗長系-フレーム
 アトムの数が信号次元より多い場合
アトム集合 𝐝 𝑚 をフレームとよぶ.𝑻は無数.
 タイトフレーム
 𝜆min = 𝜆max = ℛ を満たす
2015/1/30 日本画像学会 第26回 フリートーキング 42
𝜆...
一般逆行列
 標準ノルム最小化問題はラグランジュ定数𝝀の導
入により
を最小化する問題となる.
より
となるので,最適な係数 𝒚は,
と導かれる.
2015/1/30 日本画像学会 第26回 フリートーキング 43
ℒ 𝐲 = 𝐲 2
2
−...
直交マッチング追跡法(OMP)
 残差に最も近いアトムを逐次選択
2015/1/30 日本画像学会 第26回 フリートーキング 44
𝐝0
𝐝1
𝐝2
𝐝0
𝐝1
𝐝2
𝑦[0]𝐝0
𝐱
𝐝0
𝐝1𝐝2
𝐱 − 𝑦 0 𝐝0
残差
𝑦[1]𝐝...
基底追跡法(BP)
 最短経路となるようアトムを選択
2015/1/30 日本画像学会 第26回 フリートーキング 45
𝐝0
𝐝1
𝐝2
𝐱
𝑦[0]𝐝0
𝑦[1]𝐝1
𝐲 = arg min 𝐲 𝐲 1 subject to 𝐱 = 𝐃𝐲...
Upcoming SlideShare
Loading in …5
×

冗長変換とその画像復元応用

3,011 views

Published on

日本画像学会 第26 回 フリートーキング “Imaging Today”
『画像修復・関連技術』

Published in: Engineering
  • Be the first to comment

冗長変換とその画像復元応用

  1. 1. 2015/1/30 日本画像学会 第26回 フリートーキング 1 冗長変換と その画像復元応用 平成27年1月30日(金) 新潟大学工学部 電気電子工学科 准教授 村松 正吾
  2. 2. 村松 正吾(むらまつ しょうご)  画像・映像信号処理の教育研究に従事  電子情報通信学会(IEICE):基礎・境界,情報・システム  映像情報メディア学会(ITE)  IEEE:SP, CAS, COMP  著書  「マルチメディア技術の基礎DCT入門」 (CQ出版社, 1997年)  「MATLABによる画像&映像信号処理 」 (CQ出版社, 2007年) 日本画像学会 第26回 フリートーキング 22015/1/30
  3. 3. IoT時代を迎えて  センシング環境の多様化 センサ端末(エッジ)  リアルタイム処理  遠隔・協調処理  特徴抽出、認識処理 2015/1/30 日本画像学会 第26回 フリートーキング 3
  4. 4. IoT時代の画像処理  組込みビジョン技術への期待  処理フローの典型例 2015/1/30 日本画像学会 第26回 フリートーキング 4 組込み コン ピュータ ビジョン 組込み ビジョン 取得画像 前処理 特徴抽出 認識 解析情報 【例】 デジカメの 顔検出
  5. 5. 昼夜問わず、風雨に耐えて… 劣悪な環境下でのセンシング  前処理が重要な役割を担う 輝度・色彩調整 幾何補正 ノイズ除去 デモザイキング ボケ除去 欠損修復 超解像 2015/1/30 日本画像学会 第26回 フリートーキング 5 画像復元問題 冗長変換とスパース表現 共通に利用可能なツール
  6. 6. 冗長変換とスパース表現による ボケ+ノイズ除去の例 2015/1/30 日本画像学会 第26回 フリートーキング 6 原画像 観測画像 PSNR: 23.84 dB 復元画像 PSNR: 27.21 dB
  7. 7. 冗長変換とスパース表現による 単一フレーム超解像の例 2015/1/30 日本画像学会 第26回 フリートーキング 7 原画像 観測画像 復元画像 PSNR: 27.61 dB Bicubic補間画像 PSNR: 23.92 dB
  8. 8. 冗長変換とスパース表現による 画像修復の例 2015/1/30 日本画像学会 第26回 フリートーキング 8 原画像 観測画像 PSNR: 12.56 dB 復元画像 PSNR: 32.76 dB
  9. 9. 講演内容  変換と画像処理応用  冗長変換の概要  画像のスパース表現  冗長変換の画像復元応用  辞書(変換)設計  まとめ 2015/1/30 日本画像学会 第26回 フリートーキング 9
  10. 10. 講演内容  変換と画像処理応用  冗長変換の概要  画像のスパース表現  スパース表現の画像復元応用  辞書(変換)設計  まとめ 2015/1/30 日本画像学会 第26回 フリートーキング 10
  11. 11. 画像変換の効果  3-レベルウェーブレット変換 2015/1/30 日本画像学会 第26回 フリートーキング 11 𝐓 𝐃 スパースな表現を与える
  12. 12. 画像変換の応用例  変換符号化(JPEG/JPEG2000) 順変換 𝐓 逆変換 𝐃 逆量子化 量子化前処理 後処理 2015/1/30 日本画像学会 第26回 フリートーキング 12 エントロピー 符号化 エントロピー 復号 符号化 復号
  13. 13. 画像と変換係数の関係  要素画像の線形結合 1/2 1/2 1/2 1/2 0 2 4 6 -1/2 1/2 -1/2 1/2 -1/2 -1/2 1/2 1/2 1/2 -1/2 -1/2 1/2 = 6 × 2× 4× 0× 変換係数 要素画像(アトム) 2015/1/30 日本画像学会 第26回 フリートーキング 13 U + ++
  14. 14. 要素画像(アトム)の例 2015/1/30 日本画像学会 第26回 フリートーキング 14 4 × 4 離散コサイン変換 (DCT) 2 レベル 9/7離散ウェーブレット変換 (9/7 DWT)
  15. 15. 画像変換の変遷 2015/1/30 日本画像学会 第26回 フリートーキング 15  【80年代以前】 ブロック直交変換  アダマール変換,DCT  【80~90年代】 重複変換、ウェーブレット変換  LOT,LBT,5/3 DWT,9/7 DWT  【90~00年代】 指向性変換,冗長変換  X-let系(Contourlet等),DT-ℂWT,混成DirLOT  【00年代以降】 学習ベース辞書(冗長変換)  MOD, K-SVD, 非分離冗長重複変換(NSOLT)
  16. 16. 画像の列ベクトル表現の導入 2015/1/30 日本画像学会 第26回 フリートーキング 16 0 4 2 6 ⋮ 6 4 0 2 ⋮ 0 2 4 6 列ベクトル化 𝐱 ∈ ℝ 𝑁 𝐲 ∈ ℝ 𝑀 = 1/2 -1/2 0 0 -1/2 1/2 0 ⋯ 1/2 1/2 0 0 -1/2 -1/2 0 ⋯ 0 0 0 0 0 0 0 ⋯ 0 0 0 0 0 0 0 ⋯ 1/2 -1/2 0 0 1/2 -1/2 0 ⋯ 1/2 1/2 0 0 1/2 1/2 0 ⋯ 0 0 0 0 ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ 配列化 画像配列 係数画像 𝐗 ∈ ℝ 𝑁0×𝑁1 𝐃 ∈ ℝ 𝑁×𝑀 逆変換行列 (辞書) アトム 𝐝 𝑚∈ ℝ 𝑁
  17. 17. 講演内容  変換と画像処理応用  冗長変換の概要  画像のスパース表現  スパース表現の画像復元応用  辞書(変換)設計  まとめ 2015/1/30 日本画像学会 第26回 フリートーキング 17
  18. 18. 辞書𝐃による画像表現  アトム𝐝mの線形結合による画像表現 2015/1/30 日本画像学会 第26回 フリートーキング 18 𝐱 = 𝐃𝐲 = …+ + + 𝐝0 𝐝1 𝐝 𝑀−1 ・ ・ ・ 𝑦 0 𝑦 1 𝑦 𝑀 − 1 𝐱 辞書𝐃 :アトムの集合
  19. 19. 基底とフレーム  基底:非冗長なアトム集合(辞書𝐃)  フレーム:冗長なアトム集合(辞書𝐃) 2015/1/30 日本画像学会 第26回 フリートーキング 19 𝑥0 𝑥1 = 𝑑00 𝑑10 𝑑01 𝑑11 𝑦0 𝑦1 𝑥0 𝑥1 = 𝑑00 𝑑10 𝑑20 𝑑01 𝑑11 𝑑21 𝑦0 𝑦1 𝑦2 𝑦0 𝑦1 𝑦0 𝑦1 𝑦2 唯一 無数
  20. 20. 基底と比べたフレームの利点は? 2015/1/30 日本画像学会 第26回 フリートーキング 20 ℝ 𝑁 ℝ 𝑀 ℝ 𝑁 ℝ 𝑁 𝐱 𝐲 𝐱 変換(唯一) 𝐓 辞書(基底) 𝐃 辞書(フレーム) 𝐃 冗長な辞書(フレーム)では係数 𝐲 を選択できる 変換(無数) 非冗長 冗長 𝐓 𝐲 ∈ 𝑉𝑥
  21. 21. 係数選択の一例:最小二乗解  画像𝐱,辞書𝐃 に対し無数の係数候補 適切な変換係数 𝐲 を選択する問題  2(標準)-ノルム最小化問題として解く 2015/1/30 日本画像学会 第26回 フリートーキング 21 𝐲 = arg min 𝐲 𝐲 2 2 subject to 𝐱 = 𝐃𝐲 無数に存在する係数𝐲の候補の中から エネルギー 𝐲 2 2 が最小のものを探す 𝐲 = 𝐃 𝑇 𝐃𝐃 𝑇 −1 𝐱 = 𝐃+ 𝐱 ムーア・ペンローズ 一般逆行列
  22. 22. 講演内容  変換と画像処理応用  冗長変換の概要  画像のスパース表現  スパース表現の画像復元応用  辞書(変換)設計  まとめ 2015/1/30 日本画像学会 第26回 フリートーキング 22
  23. 23. 非線形近似 = …𝐱 近似画像 + + |𝑦 𝑚0 | |𝑦 𝑚1 | ⋯ |𝑦 𝑚 𝐾−1 | + 𝐝 𝑚0 𝐝 𝑚1 𝐝 𝑚 𝐾−1 一部(𝐾個)の係数のみで表現 (誤差が生じる) もし, 𝐱 = 𝐱 ⇒ 𝐱は𝐾-スパース ・ ・ ・ 2015/1/30 日本画像学会 第26回 フリートーキング 23 𝐝 𝑚 𝐾 …
  24. 24. 0-ノルム最小化問題  より少ない係数で良い近似を得たい  標準ノルムは小さな係数を過小評価,誤差大  0-ノルム最小化問題として解く  最適な係数の組合せを探索する問題  現実的な計算時間内で解を得ることは不可能  貪欲法(OMP,MP)による近似解の探索が一般的 2015/1/30 日本画像学会 第26回 フリートーキング 24 𝐲 = arg min 𝐲 𝐲 0 subject to 𝐱 = 𝐃𝐲 非零係数の数 係数がスパース なほど良い
  25. 25. 1-ノルム最小化問題  0-ノルム最小化問題は解の探索が困難 0-ノルムに代わるスパース性尺度を導入  1-ノルム最小化問題として解く  基底追跡(BP)法と呼ばれる 線形計画問題に帰着 2015/1/30 日本画像学会 第26回 フリートーキング 25 𝐲 = arg min 𝐲 𝐲 1 subject to 𝐱 = 𝐃𝐲 係数の絶対値和 𝐲 1 = 𝑚=0 𝑀−1 |𝑦 𝑚 |
  26. 26. 基底追跡ノイズ除去(BPDN)  BP法は多項式時間で解くことができる  しかし、画像信号に対し事実上実現が困難  再構成誤差を許容して解く  基底追跡ノイズ除去(BPDN)法と呼ばれる  演算量を大幅に削減可能 2015/1/30 日本画像学会 第26回 フリートーキング 26 𝐲 = arg min 𝐲 1 2 𝐱 − 𝐃𝐲 2 2 + 𝜆 𝐲 1 忠実度 スパース性 制御パラメータ(重み)
  27. 27. ソフト縮退ノイズ除去  もし,𝐃が正規直交ならば  ‖𝐃 𝑇 𝐱‖2 2 = ‖𝐱 ‖2 2 , 𝐓𝐃 = 𝐃 𝑇 𝐃 = 𝐈より 2015/1/30 日本画像学会 第26回 フリートーキング 27 分析 𝐓 = 𝐃 𝑇 合成 𝐃: : 入力 出力 𝜆 −𝜆 ࣮𝜆 𝑣 𝑚 Donoho, Johnstoneらの ソフト縮退処理
  28. 28. 原画像とノイズ画像の変換係数 𝑻 𝑫 28 𝑻 𝑫 2015/1/30 日本画像学会 第26回 フリートーキング
  29. 29. 講演内容  変換と画像処理応用  冗長変換の概要  信号のスパース表現  スパース表現の画像復元応用  辞書(変換)設計  まとめ 2015/1/30 日本画像学会 第26回 フリートーキング 29
  30. 30. スパース表現の画像処理応用  画像の劣化/復元モデル 2015/1/30 日本画像学会 第26回 フリートーキング 30 𝐱 観測 画像 𝐮 未知の 原画像 𝐏 + 𝐰 観測過程 (既知) AWGN 𝐃 𝐲 𝐃 𝐲 辞書(既知) スパース表現 𝐮 復元 画像 復元 𝐱 = 𝐏𝐮 + 𝐰 𝐮 = 𝐃𝐲 𝐲 はスパース 仮定 𝐲 = argmin 𝐲 1 2 𝐱 − 𝐏𝐃𝐲 2 2 + 𝜆𝜌 𝐲 𝐮 = 𝐃 𝐲 正則化項(スパース性) 問題 設定
  31. 31. 画像復元問題と観測過程 画像復元 問題 観測過程 𝐏 ボケ除去 レンズの点広がり関数や手ブレによるボケを 線形フィルタ 𝐏 = 𝐇 によりモデル化 超解像 低解像度の観測過程を線形フィルタ𝐇と 間引き処理𝐒↓により 𝐏 = 𝐒↓ 𝐇 とモデル化 画像修復 画素の欠損を不規則間引き処理𝑺↓と 零値挿入処理𝐒↓ 𝑇 により𝐏 = 𝐒↓ 𝑇 𝐒↓とモデル化 圧縮センシング 線形シフト変フィルタ𝐇と不規則間引き処理𝐒↓ により観測行列を𝐏 = 𝐒↓ 𝐇 とデル化 2015/1/30 日本画像学会 第26回 フリートーキング 31
  32. 32. 画像復元問題の解法例 ー ISTA (繰返し縮退/閾値アルゴリズム)  正則化項(スパース性):𝜌 𝐲 = 𝐲 1 係数 𝐲 の厳密解が得られる ソフト縮退処理の一般化と見なせる 2015/1/30 日本画像学会 第26回 フリートーキング 32 ࣮𝜆 𝐿 ⋅ 𝐱 観測 画像 𝐏 𝑇 𝐃 𝑇 𝐏 𝐃 𝐲(𝑖−1) + + 𝐃 𝐲(𝑖) 𝐮(𝑖) 復元 画像 − 1/𝐿 𝐮(𝑖−1)
  33. 33. 講演内容  変換と画像処理応用  冗長変換の概要  信号のスパース表現  スパース表現の画像復元応用  辞書(変換)設計  まとめ 2015/1/30 日本画像学会 第26回 フリートーキング 33
  34. 34. 辞書𝐃の選択  解析的辞書 数学的な定義に基づいて与えられる 明確な構造を持ち,実装時の演算量が少ない DCT, LOT, LBT, DWT,Contourlet など  学習ベース辞書 対象信号や画像の事例を用いて設計 対象信号や画像に対して詳細に調整可能 MOD, K-SVD, SimCO, NSOLTなど 2015/1/30 日本画像学会 第26回 フリートーキング 34
  35. 35. 学習ベース辞書  問題設定の典型例 𝐃, 𝐲𝑖 = argmin 𝐃,𝐲 𝒊 𝐱 𝑖 − 𝐃𝐲𝑖 2 2 s. t. 𝐲𝑖 0 ≤ 𝐾  スパース符号化 𝐲𝑖 = argmin 𝐲 𝐱 𝑖 − 𝐃𝐲𝑖 2 2 s. t. 𝐲𝑖 0 ≤ 𝐾  辞書更新 𝐃 = argmin 𝐃 𝒊 𝐱 − 𝐃 𝐲𝑖 2 2 日本画像学会 第26回 フリートーキング 352015/1/30 スパース符号化 辞書更新 収束 true false 𝐱 𝑖 𝐃 事例画像群 設計辞書
  36. 36. (a) (b) 二次元NSOLTの設計例  学習ベース設計例 2015/1/30 日本画像学会 第26回 フリートーキング 36 事例画像 学習辞書(アトム群) [Muramatsu,ICASSP2014] 2レベル ツリー構成
  37. 37. 三次元NSOLTの設計例  学習ベース設計例 2015/1/30 日本画像学会 第26回 フリートーキング [村松,SIPシンポ2014]
  38. 38. 関連技術 2015/1/30 日本画像学会 第26回 フリートーキング 38 𝐲 = argmin 𝐲 1 2 𝐱 − 𝐏𝐃𝐲 2 2 + 𝜆 𝐲 1 係数毎の設定・適応化:𝝀 𝑇 𝐲 BayesShrink, MSIST など 正則化項の変更 pノルム 𝑝 < 1 全変動(TV)など 𝑝 𝐲 𝐱 ∝ 𝑝 𝐱 𝐲 𝑝 𝐲 ∝ 𝑒 − 𝐰 2 2 2𝜎 𝑤 2 ⋅ 𝑒 − 𝐲 1 𝜙 𝑦 𝜆 = 𝜎 𝑤 2 𝜙 𝑦最大事後確率 (MAP)推定 ノイズ~正規分布 𝑤[𝑛]~𝒩 0, σw 2 係数~ラプラス分布 𝑦[𝑚]~ℒ 0, 𝜙 𝑦 等価: -2.5 -2 -1.5 -1 -0.5 0 0.5 1 1.5 2 0 0.2 0.4 0.6 0.8 1 x -4 -3 -2 -1 0 1 2 3 4 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 x 辞書𝐃の設計 Contourlet, DT-ℂWTなど 辞書𝐃の学習 MOD, K-SVDなど 局所的画像パッチを利用 BM3Dなど 非線形モデルへ拡張 カーネル回帰法など 分布を仮定しない SURE-LETなど 分散 最適化
  39. 39. まとめ  画像変換とその画像復元応用について概説  冗長変換とスパース表現の有用性を解説  学習ベース辞書の設計法と設計例を紹介  医療用画像,光線場画像などボリューム拡張可  関連技術と発展性  本講演が,画像のスパース表現への興味のきっ かけとして役立てれば幸いです 2015/1/30 日本画像学会 第26回 フリートーキング 39
  40. 40. 謝辞  本講演の機会をいただいた(社)日本画像学 会編集委員会の皆様に謝意を申し上げます.  本報告内容の研究の一部は科研費(No. 26420347) の助成を受けた. 2015/1/30 日本画像学会 第26回 フリートーキング 40
  41. 41. 非冗長系-基底  アトムの数が信号次元と等しい場合 アトム集合 𝐝 𝑚 を基底とよぶ.𝐓は唯一. 双直交基底(例:9/7DWT) 正規直交基底(例:DCT) 2015/1/30 日本画像学会 第26回 フリートーキング 41 𝐓 = 𝐃−1 (≠ 𝐃 𝑇 ) 𝐓 = 𝐃−1 = 𝐃 𝑇 𝐱 2 2 = 𝐲 2 2 が成り立つ ℝ2 ℝ2 𝐝0 𝐝1 𝐝0𝐝1 パーセバル の等式
  42. 42. 冗長系-フレーム  アトムの数が信号次元より多い場合 アトム集合 𝐝 𝑚 をフレームとよぶ.𝑻は無数.  タイトフレーム  𝜆min = 𝜆max = ℛ を満たす 2015/1/30 日本画像学会 第26回 フリートーキング 42 𝜆min 𝐱 2 2 ≤ 𝐃 𝑇 𝐱 2 2 ≤ 𝜆max 𝐱 2 2 ℝ2 𝐝0 𝐝1𝐝2 直交基底と同じ
  43. 43. 一般逆行列  標準ノルム最小化問題はラグランジュ定数𝝀の導 入により を最小化する問題となる. より となるので,最適な係数 𝒚は, と導かれる. 2015/1/30 日本画像学会 第26回 フリートーキング 43 ℒ 𝐲 = 𝐲 2 2 − 𝝀 𝑇(𝐃𝐲 − 𝐱) 𝜕ℒ 𝐲 𝜕𝐲 = 2𝐲 − 𝐃 𝑇 𝝀 = 0 2𝐃𝐲 = 2𝐱 = 𝐃𝐃 𝑇 𝝀 𝝀 = 2 𝐃𝐃 𝑇 −1 𝐱 𝐲 = 𝐃 𝑇 𝐃𝐃 𝑇 −1 𝐱 = 𝐃+ 𝐱 ムーア・ペンローズ一般逆行列
  44. 44. 直交マッチング追跡法(OMP)  残差に最も近いアトムを逐次選択 2015/1/30 日本画像学会 第26回 フリートーキング 44 𝐝0 𝐝1 𝐝2 𝐝0 𝐝1 𝐝2 𝑦[0]𝐝0 𝐱 𝐝0 𝐝1𝐝2 𝐱 − 𝑦 0 𝐝0 残差 𝑦[1]𝐝1 選択されたアトムのみを用いて 最小二乗法により係数を更新 繰り返す
  45. 45. 基底追跡法(BP)  最短経路となるようアトムを選択 2015/1/30 日本画像学会 第26回 フリートーキング 45 𝐝0 𝐝1 𝐝2 𝐱 𝑦[0]𝐝0 𝑦[1]𝐝1 𝐲 = arg min 𝐲 𝐲 1 subject to 𝐱 = 𝐃𝐲 𝐳 = arg min 𝐳 𝟏 𝑇 𝐳 subject to 𝐱 = 𝐃 − 𝐃 𝐳 and 𝐳 ≥ 𝟎 線形計画法に帰着 𝐳 = 𝐲+ 𝐲− ∈ ℝ2𝑁 𝐲 = 𝐲+ − 𝐲− ∈ ℝ 𝑁 𝐲 1 = 𝟏 𝑇(𝐲+ + 𝐲−) 𝐱 = 𝐃𝐲 = 𝐃 (𝐲+ − 𝐲−)

×