Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

非分離冗長重複変換の事例学習設計における効果的辞書更新

740 views

Published on

第30回信号処理シンポジウム発表資料

Published in: Engineering
  • Be the first to comment

  • Be the first to like this

非分離冗長重複変換の事例学習設計における効果的辞書更新

  1. 1. 2015/11/4 第30回信号処理シンポジウム 1 非分離冗長重複変換の 事例学習設計における 効果的辞書更新 平成27年11月4日(水) 新潟大学 村松正吾、石井雅基
  2. 2. 発表内容  研究背景と目的  NSOLTの構成と設計  目的関数の勾配導出  解析的勾配の効果的計算法の提案  確率的勾配降下(SGD)法の導入  NSOLT設計の評価  まとめ 2015/11/4 第30回信号処理シンポジウム 2
  3. 3. 研究背景  冗長変換の応用例:画像復元 2015/11/4 第30回信号処理シンポジウム 3 𝐛 観測 画像 𝐱 未知の 原画像 観測過程 𝐃 𝐲 𝐃 𝐲 冗長変換(辞書) スパース表現 𝐱 復元 画像 復元 冗長変換𝐃の選択は復元性能に影響大
  4. 4.  特徴  非分離性、対称性、重複性を有する冗長変換  事例に基づく設計(辞書学習)が可能 非分離冗長重複変換(NSOLT) 2015/11/4 第30回信号処理シンポジウム 4 事例画像 学習辞書(要素画像群) [Muramatsu,ICASSP2014] 𝐃
  5. 5. スパース表現による画像復元 2015/11/4 第30回信号処理シンポジウム 5 原画像 PSNR→ 観測画像 23.84 [dB] 復元画像 ウィーナー 21.99 [dB] ISTA + → PSNR → 冗長度 → 復元画像 非間引HT 27.17 [dB] ℛ = 4 復元画像 NSOLT 27.27 [dB] ℛ < 2.34
  6. 6. 問題と目的  従来の設計(辞書学習)法  遺伝的アルゴリズム(GA)&準ニュートン法  無数の局所解をもつ非線形な目的関数に対応  問題点  パラメータ数が数百、数千 ➡ 設計困難  特に、準ニュートン法に時間を要する  目的関数の数値的勾配(有限差分)計算がボトルネックに 2015/11/4 第30回信号処理シンポジウム 6 【目的】 設計の効率化 解析的勾配を導出、確率的勾配降下法を導入
  7. 7.  パーセバルタイト実装( 𝐱 2 2 = 𝐲 2 2 ) Type-I NSOLTのラティス構成 2015/11/4 第30回信号処理シンポジウム 7 𝐱 𝐲 垂直 水平 𝐂 𝐌 𝑇 𝐖0 𝑇 𝐔0 𝑇 𝐔 𝑛 𝑑 𝑇 - - 𝑧 𝑑 −1 1/2 1/2 パラメータ 行列 パラメータ 行列𝐃 𝜃0 𝜃1 𝜃 𝑝−1 𝜃 𝑝 𝜃 𝑝(𝑝−1)/2 𝑠0 𝑠1 𝑠2 𝑠 𝑝−2 𝑠 𝑝−1 符号 パラメータ 回転角 パラメータ 偶対称 奇対称
  8. 8. NSOLTの設計(辞書学習)  問題設定 𝐃, 𝐲𝑖 = argmin 𝐃, 𝐲 𝑖 1 𝑆 𝑖=0 𝑆−1 𝐱 𝑖 − 𝐃𝐲𝑖 2 2 s. t. 𝐲𝑖 0 ≤ 𝐾  スパース符号化 𝐲𝑖 = argmin 𝐲 𝑖 𝐱 𝑖 − 𝐃𝐲𝑖 2 2 s. t. 𝐲𝑖 0 ≤ 𝐾, 𝑖 ∈ {0,1, ⋯ , 𝑆 − 1}  辞書更新 𝚯 = argmin 𝚯 1 𝑆 𝑖=0 𝑆−1 𝐱 𝑖 − 𝐃 𝚯 𝐲𝑖 2 2 𝐃 = 𝐃 𝚯 第30回信号処理シンポジウム 82015/11/4 スパース符号化 (変換係数 𝐲𝑖 の更新) 辞書更新 (パラメータ𝚯の更新) 収束判定 true false 事例画像群(事例数𝑆) 𝐱 𝑖 繰返しハード 閾値処理(IHT) 少ない係数で 良い近似を得たい GA + 準ニュートン法 𝐲𝑖 𝐃 𝐃辞書更新が課題.特に, 有限差分による準ニュートン法 辞書 (要素画像群)
  9. 9.  辞書更新の目的関数  目的関数の勾配 ここで、 目的関数の勾配導出 2015/11/4 第30回信号処理シンポジウム 9 𝑓 𝚯 = 1 𝑆 𝑖=0 𝑆−1 𝐫𝑖 𝚯 2 2 = 1 𝑆 𝑖=0 𝑆−1 𝐱 𝑖 − 𝐃 𝚯 𝐲𝑖 2 2 𝛻𝜽 𝑓 𝚯 = 𝜕 𝜕𝜃0 𝑓 𝚯 , 𝜕 𝜕𝜃1 𝑓 𝚯 , ⋯ , 𝜕 𝜕𝜃 𝐽−1 𝑓 𝚯 𝑇 , 𝐃 𝚯 𝐱 𝑖 𝐲𝑖 𝐱 𝑖 𝚯 誤差 𝐫𝑖 𝚯 𝜃0 𝜃1 𝜃 𝑝−1 𝜃 𝑝 𝜃 𝑝(𝑝−1)/2 𝜕 𝜕𝜃𝑗 𝑓 𝚯 = − 2 𝑆 𝑖=0 𝑆−1 𝐫𝑖 𝚯 , 𝜕 𝜕𝜃𝑗 𝐃 𝚯 𝐲𝑖 𝐆 𝚯 𝑗 = 𝜕 𝜕𝜃𝑗 𝐃 𝚯 𝐲𝑖 𝜕 𝜕𝜃𝑗 𝐃 𝚯 𝐲𝑖 偏微分システム 対象となる回転行列の 実装変更のみで良い 0 𝜃𝑗 + 𝜋/2 事例 近似 回転行列 の微分
  10. 10. 解析的勾配計算法の提案  全ての回転角 𝜃𝑗 について評価  同じ演算が繰返し現れる ➡ 非効率  中間結果の再利用. 𝐱, 𝐀 𝑇 𝐲 = 𝐀𝐱, 𝐲 より,回転𝑂(𝐽2 ) ➡ 𝑂(𝐽) 2015/11/4 第30回信号処理シンポジウム 10 𝜕 𝜕𝜃𝑗 𝑓 𝚯 = − 2 𝑆 𝑖=0 𝑆−1 𝐫𝑖 𝚯 , 𝑮 𝚯 𝑗 𝐲𝑖 𝐲𝑖𝐆 𝚯 𝑗 𝐲𝑖 , 𝐫𝑖 𝚯 , 𝐫𝑖 𝚯 , 𝐫𝑖 𝚯 𝐲𝑖 𝐲𝑖 𝐲𝑖 𝑗 = 0 𝑗 = 𝐽 − 1 𝐽回
  11. 11. 解析的勾配の速度評価  数値的勾配(有限差分)と解析的勾配の比較  2次元,4 × 4間引き,次数 2,2 𝑇 ,直流無漏洩,𝑆 = 1, 𝑁 = 32 × 32  準ニュートン法(MATLAB R2015b fminunc, 反復数:20回) 2015/11/4 第30回信号処理シンポジウム 11 帯域数 𝑝𝑠 + 𝑝 𝑎 所要時間[s] 速度 比率 最大 相対誤差 (DerivativeCheck)数値的 解析的 8+8 120.23 1.45 83.14 1.26 × 10−9 9+9 170.79 1.41 121.48 1.63 × 10−9 10+10 228.26 1.69 134.93 1.11 × 10−9 11+11 282.40 1.85 152.80 1.92 × 10−9 12+12 342.52 1.92 178.60 1.02 × 10−9 CPU: Intel Core i7-3667U 2.00GHz, RAM:8GB, OS: Win8.1Pro(64)
  12. 12.  全ての事例 𝐱 𝑖 について評価  事例をランダムに選択して評価 確率的勾配降下(SGD)法の導入 2015/11/4 第30回信号処理シンポジウム 12 𝛻𝜽 𝑓 𝚯 = 1 𝑆 𝑖=0 𝑆−1 𝛻𝜽 𝑓𝑖(𝚯) 𝛻𝛉 𝑓𝑖 𝚯 = 𝛻𝜽 𝐱 𝑖 − 𝐃 𝚯 𝐲𝑖 2 2 𝛻𝜽 𝑓 𝚯 ∼ 𝛻𝛉 𝑓𝑖 𝚯 事例毎の勾配 全事例の勾配(平均) 事例毎の勾配で近似 計算量削減 局所解脱出 𝜽 𝑘+1 = 𝜽 𝑘 − 𝜂 𝑘 𝛻𝜽 𝑓 𝚯 𝜽 𝑘+1 = 𝜽 𝑘 − 𝜂 𝑘 𝛻𝜽 𝑓𝑖 𝑘 𝚯
  13. 13.  要素画像(インパルス応答)群(𝑃 = 𝑝s + 𝑝a = 12 + 12)  事例:barbaraからの32 × 32画素パッチ(ランダム抽出𝑆 = 64)  スパース符号化実験の結果(PSNR[dB])  実験緒言(𝑁 = 512 × 512, 𝐾 = 32,768, 𝐾/𝑁 = 0.125) 確率的勾配降下法による設計 2015/11/4 第30回信号処理シンポジウム 13 辞書 goldhill lena barbara baboon Sparse K-SVD 33.55 34.87 29.35 26.22 SGD-NSOLT(提案法) 33.56 37.40 32.67 25.94
  14. 14. まとめ  辞書更新目的関数の解析的勾配を導出  偏微分合成システムを導出,効果的算出法を提案  数値的手法に比べ数十~数百倍の速度向上を確認  確率的勾配降下(SGD)法の導入  大規模な設計問題の最適化が可能に  Sparse-KSVDと同等か優れた性能も得た  今後の課題  画像復元,特徴抽出等への応用  ボリュームデータへの適用 2015/11/4 第30回信号処理シンポジウム 14

×