SlideShare a Scribd company logo
2015/11/4 第30回信号処理シンポジウム 1
非分離冗長重複変換の
事例学習設計における
効果的辞書更新
平成27年11月4日(水)
新潟大学
村松正吾、石井雅基
発表内容
 研究背景と目的
 NSOLTの構成と設計
 目的関数の勾配導出
 解析的勾配の効果的計算法の提案
 確率的勾配降下(SGD)法の導入
 NSOLT設計の評価
 まとめ
2015/11/4 第30回信号処理シンポジウム 2
研究背景
 冗長変換の応用例:画像復元
2015/11/4 第30回信号処理シンポジウム 3
𝐛
観測
画像
𝐱
未知の
原画像
観測過程
𝐃
𝐲
𝐃
𝐲
冗長変換(辞書)
スパース表現
𝐱
復元
画像
復元
冗長変換𝐃の選択は復元性能に影響大
 特徴
 非分離性、対称性、重複性を有する冗長変換
 事例に基づく設計(辞書学習)が可能
非分離冗長重複変換(NSOLT)
2015/11/4 第30回信号処理シンポジウム 4
事例画像
学習辞書(要素画像群) [Muramatsu,ICASSP2014]
𝐃
スパース表現による画像復元
2015/11/4 第30回信号処理シンポジウム 5
原画像
PSNR→
観測画像
23.84 [dB]
復元画像
ウィーナー
21.99 [dB]
ISTA + →
PSNR →
冗長度 →
復元画像
非間引HT
27.17 [dB]
ℛ = 4
復元画像
NSOLT
27.27 [dB]
ℛ < 2.34
問題と目的
 従来の設計(辞書学習)法
 遺伝的アルゴリズム(GA)&準ニュートン法
 無数の局所解をもつ非線形な目的関数に対応
 問題点
 パラメータ数が数百、数千 ➡ 設計困難
 特に、準ニュートン法に時間を要する
 目的関数の数値的勾配(有限差分)計算がボトルネックに
2015/11/4 第30回信号処理シンポジウム 6
【目的】 設計の効率化
解析的勾配を導出、確率的勾配降下法を導入
 パーセバルタイト実装( 𝐱 2
2
= 𝐲 2
2
)
Type-I NSOLTのラティス構成
2015/11/4 第30回信号処理シンポジウム 7
𝐱 𝐲
垂直 水平
𝐂 𝐌
𝑇
𝐖0
𝑇
𝐔0
𝑇
𝐔 𝑛
𝑑 𝑇
- -
𝑧 𝑑
−1 1/2
1/2
パラメータ
行列
パラメータ
行列𝐃
𝜃0 𝜃1 𝜃 𝑝−1
𝜃 𝑝
𝜃 𝑝(𝑝−1)/2
𝑠0
𝑠1
𝑠2
𝑠 𝑝−2
𝑠 𝑝−1
符号
パラメータ
回転角
パラメータ
偶対称
奇対称
NSOLTの設計(辞書学習)
 問題設定
𝐃, 𝐲𝑖 = argmin 𝐃, 𝐲 𝑖
1
𝑆
𝑖=0
𝑆−1
𝐱 𝑖 − 𝐃𝐲𝑖 2
2
s. t. 𝐲𝑖 0 ≤ 𝐾
 スパース符号化
𝐲𝑖 = argmin 𝐲 𝑖
𝐱 𝑖 − 𝐃𝐲𝑖 2
2
s. t. 𝐲𝑖 0 ≤ 𝐾,
𝑖 ∈ {0,1, ⋯ , 𝑆 − 1}
 辞書更新
𝚯 = argmin 𝚯
1
𝑆
𝑖=0
𝑆−1
𝐱 𝑖 − 𝐃 𝚯 𝐲𝑖 2
2
𝐃 = 𝐃 𝚯
第30回信号処理シンポジウム 82015/11/4
スパース符号化
(変換係数 𝐲𝑖 の更新)
辞書更新
(パラメータ𝚯の更新)
収束判定
true
false
事例画像群(事例数𝑆)
𝐱 𝑖
繰返しハード
閾値処理(IHT)
少ない係数で
良い近似を得たい
GA +
準ニュートン法
𝐲𝑖
𝐃
𝐃辞書更新が課題.特に,
有限差分による準ニュートン法
辞書
(要素画像群)
 辞書更新の目的関数
 目的関数の勾配
ここで、
目的関数の勾配導出
2015/11/4 第30回信号処理シンポジウム 9
𝑓 𝚯 =
1
𝑆
𝑖=0
𝑆−1
𝐫𝑖 𝚯 2
2
=
1
𝑆
𝑖=0
𝑆−1
𝐱 𝑖 − 𝐃 𝚯 𝐲𝑖 2
2
𝛻𝜽 𝑓 𝚯 =
𝜕
𝜕𝜃0
𝑓 𝚯 ,
𝜕
𝜕𝜃1
𝑓 𝚯 , ⋯ ,
𝜕
𝜕𝜃 𝐽−1
𝑓 𝚯
𝑇
,
𝐃 𝚯
𝐱 𝑖 𝐲𝑖
𝐱 𝑖 𝚯
誤差 𝐫𝑖 𝚯
𝜃0 𝜃1 𝜃 𝑝−1
𝜃 𝑝
𝜃 𝑝(𝑝−1)/2
𝜕
𝜕𝜃𝑗
𝑓 𝚯 = −
2
𝑆
𝑖=0
𝑆−1
𝐫𝑖 𝚯 ,
𝜕
𝜕𝜃𝑗
𝐃 𝚯 𝐲𝑖
𝐆 𝚯 𝑗 =
𝜕
𝜕𝜃𝑗
𝐃 𝚯
𝐲𝑖
𝜕
𝜕𝜃𝑗
𝐃 𝚯 𝐲𝑖
偏微分システム
対象となる回転行列の
実装変更のみで良い
0
𝜃𝑗 + 𝜋/2
事例 近似
回転行列
の微分
解析的勾配計算法の提案
 全ての回転角 𝜃𝑗 について評価
 同じ演算が繰返し現れる ➡ 非効率
 中間結果の再利用. 𝐱, 𝐀 𝑇
𝐲 = 𝐀𝐱, 𝐲 より,回転𝑂(𝐽2
) ➡ 𝑂(𝐽)
2015/11/4 第30回信号処理シンポジウム 10
𝜕
𝜕𝜃𝑗
𝑓 𝚯 = −
2
𝑆
𝑖=0
𝑆−1
𝐫𝑖 𝚯 , 𝑮 𝚯 𝑗 𝐲𝑖
𝐲𝑖𝐆 𝚯 𝑗 𝐲𝑖
,
𝐫𝑖 𝚯 ,
𝐫𝑖 𝚯 ,
𝐫𝑖 𝚯 𝐲𝑖
𝐲𝑖
𝐲𝑖
𝑗 = 0
𝑗 = 𝐽 − 1
𝐽回
解析的勾配の速度評価
 数値的勾配(有限差分)と解析的勾配の比較
 2次元,4 × 4間引き,次数 2,2 𝑇
,直流無漏洩,𝑆 = 1, 𝑁 = 32 × 32
 準ニュートン法(MATLAB R2015b fminunc, 反復数:20回)
2015/11/4 第30回信号処理シンポジウム 11
帯域数
𝑝𝑠 + 𝑝 𝑎
所要時間[s] 速度
比率
最大
相対誤差
(DerivativeCheck)数値的 解析的
8+8 120.23 1.45 83.14 1.26 × 10−9
9+9 170.79 1.41 121.48 1.63 × 10−9
10+10 228.26 1.69 134.93 1.11 × 10−9
11+11 282.40 1.85 152.80 1.92 × 10−9
12+12 342.52 1.92 178.60 1.02 × 10−9
CPU: Intel Core i7-3667U 2.00GHz, RAM:8GB, OS: Win8.1Pro(64)
 全ての事例 𝐱 𝑖 について評価
 事例をランダムに選択して評価
確率的勾配降下(SGD)法の導入
2015/11/4 第30回信号処理シンポジウム 12
𝛻𝜽 𝑓 𝚯 =
1
𝑆
𝑖=0
𝑆−1
𝛻𝜽 𝑓𝑖(𝚯)
𝛻𝛉 𝑓𝑖 𝚯 = 𝛻𝜽 𝐱 𝑖 − 𝐃 𝚯 𝐲𝑖 2
2
𝛻𝜽 𝑓 𝚯 ∼ 𝛻𝛉 𝑓𝑖 𝚯
事例毎の勾配
全事例の勾配(平均)
事例毎の勾配で近似
計算量削減 局所解脱出
𝜽 𝑘+1 = 𝜽 𝑘 − 𝜂 𝑘 𝛻𝜽 𝑓 𝚯
𝜽 𝑘+1 = 𝜽 𝑘 − 𝜂 𝑘 𝛻𝜽 𝑓𝑖 𝑘
𝚯
 要素画像(インパルス応答)群(𝑃 = 𝑝s + 𝑝a = 12 + 12)
 事例:barbaraからの32 × 32画素パッチ(ランダム抽出𝑆 = 64)
 スパース符号化実験の結果(PSNR[dB])
 実験緒言(𝑁 = 512 × 512, 𝐾 = 32,768, 𝐾/𝑁 = 0.125)
確率的勾配降下法による設計
2015/11/4 第30回信号処理シンポジウム 13
辞書 goldhill lena barbara baboon
Sparse K-SVD 33.55 34.87 29.35 26.22
SGD-NSOLT(提案法) 33.56 37.40 32.67 25.94
まとめ
 辞書更新目的関数の解析的勾配を導出
 偏微分合成システムを導出,効果的算出法を提案
 数値的手法に比べ数十~数百倍の速度向上を確認
 確率的勾配降下(SGD)法の導入
 大規模な設計問題の最適化が可能に
 Sparse-KSVDと同等か優れた性能も得た
 今後の課題
 画像復元,特徴抽出等への応用
 ボリュームデータへの適用
2015/11/4 第30回信号処理シンポジウム 14

More Related Content

What's hot

Aishima140714
Aishima140714Aishima140714
Aishima140714
nwpmq516
 
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
Morpho, Inc.
 
64ビット高性能線形擬似乱数発生法の開発
64ビット高性能線形擬似乱数発生法の開発64ビット高性能線形擬似乱数発生法の開発
64ビット高性能線形擬似乱数発生法の開発
Shin Harase
 
機械学習とこれを支える並列計算 : 並列計算の現状と産業応用について
機械学習とこれを支える並列計算 : 並列計算の現状と産業応用について機械学習とこれを支える並列計算 : 並列計算の現状と産業応用について
機械学習とこれを支える並列計算 : 並列計算の現状と産業応用について
ハイシンク創研 / Laboratory of Hi-Think Corporation
 
200730material fujita
200730material fujita200730material fujita
200730material fujita
RCCSRENKEI
 
Data assim r
Data assim rData assim r
Data assim r
Xiangze
 
Jokyonokai130531
Jokyonokai130531Jokyonokai130531
Jokyonokai130531
nwpmq516
 
(文献紹介) 画像復元:Plug-and-Play ADMM
(文献紹介) 画像復元:Plug-and-Play ADMM(文献紹介) 画像復元:Plug-and-Play ADMM
(文献紹介) 画像復元:Plug-and-Play ADMM
Morpho, Inc.
 
はじめてのKrylov部分空間法
はじめてのKrylov部分空間法はじめてのKrylov部分空間法
はじめてのKrylov部分空間法
tmaehara
 
行列およびテンソルデータに対する機械学習(数理助教の会 2011/11/28)
行列およびテンソルデータに対する機械学習(数理助教の会 2011/11/28)行列およびテンソルデータに対する機械学習(数理助教の会 2011/11/28)
行列およびテンソルデータに対する機械学習(数理助教の会 2011/11/28)
ryotat
 
(文献紹介)エッジ保存フィルタ:Side Window Filter, Curvature Filter
(文献紹介)エッジ保存フィルタ:Side Window Filter, Curvature Filter(文献紹介)エッジ保存フィルタ:Side Window Filter, Curvature Filter
(文献紹介)エッジ保存フィルタ:Side Window Filter, Curvature Filter
Morpho, Inc.
 
Jokyonokai
JokyonokaiJokyonokai
Jokyonokai
nwpmq516
 
PRML 5.2.1-5.3.3 ニューラルネットワークの学習 (誤差逆伝播) / Training Neural Networks (Backpropa...
PRML 5.2.1-5.3.3 ニューラルネットワークの学習 (誤差逆伝播) / Training Neural Networks (Backpropa...PRML 5.2.1-5.3.3 ニューラルネットワークの学習 (誤差逆伝播) / Training Neural Networks (Backpropa...
PRML 5.2.1-5.3.3 ニューラルネットワークの学習 (誤差逆伝播) / Training Neural Networks (Backpropa...
Akihiro Nitta
 
【Unity道場スペシャル 2017大阪】クォータニオン完全マスター
【Unity道場スペシャル 2017大阪】クォータニオン完全マスター【Unity道場スペシャル 2017大阪】クォータニオン完全マスター
【Unity道場スペシャル 2017大阪】クォータニオン完全マスター
Unity Technologies Japan K.K.
 
明日機械学習に役立つかもしれない数学
明日機械学習に役立つかもしれない数学明日機械学習に役立つかもしれない数学
明日機械学習に役立つかもしれない数学
Yu(u)ki IWABUCHI
 
Chainerで流体計算
Chainerで流体計算Chainerで流体計算
Chainerで流体計算
Preferred Networks
 
フラクタル音楽 〜可視化と可聴化の世界〜
フラクタル音楽 〜可視化と可聴化の世界〜フラクタル音楽 〜可視化と可聴化の世界〜
フラクタル音楽 〜可視化と可聴化の世界〜
Yu(u)ki IWABUCHI
 
20161203 cv 3_d_recon_tracking_eventcamera
20161203 cv 3_d_recon_tracking_eventcamera20161203 cv 3_d_recon_tracking_eventcamera
20161203 cv 3_d_recon_tracking_eventcamera
Kyohei Unno
 
機械学習による統計的実験計画(ベイズ最適化を中心に)
機械学習による統計的実験計画(ベイズ最適化を中心に)機械学習による統計的実験計画(ベイズ最適化を中心に)
機械学習による統計的実験計画(ベイズ最適化を中心に)
Kota Matsui
 
低ランク行列補完のためのマトロイド理論
低ランク行列補完のためのマトロイド理論低ランク行列補完のためのマトロイド理論
低ランク行列補完のためのマトロイド理論
ryotat
 

What's hot (20)

Aishima140714
Aishima140714Aishima140714
Aishima140714
 
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
(文献紹介)Deep Unrolling: Learned ISTA (LISTA)
 
64ビット高性能線形擬似乱数発生法の開発
64ビット高性能線形擬似乱数発生法の開発64ビット高性能線形擬似乱数発生法の開発
64ビット高性能線形擬似乱数発生法の開発
 
機械学習とこれを支える並列計算 : 並列計算の現状と産業応用について
機械学習とこれを支える並列計算 : 並列計算の現状と産業応用について機械学習とこれを支える並列計算 : 並列計算の現状と産業応用について
機械学習とこれを支える並列計算 : 並列計算の現状と産業応用について
 
200730material fujita
200730material fujita200730material fujita
200730material fujita
 
Data assim r
Data assim rData assim r
Data assim r
 
Jokyonokai130531
Jokyonokai130531Jokyonokai130531
Jokyonokai130531
 
(文献紹介) 画像復元:Plug-and-Play ADMM
(文献紹介) 画像復元:Plug-and-Play ADMM(文献紹介) 画像復元:Plug-and-Play ADMM
(文献紹介) 画像復元:Plug-and-Play ADMM
 
はじめてのKrylov部分空間法
はじめてのKrylov部分空間法はじめてのKrylov部分空間法
はじめてのKrylov部分空間法
 
行列およびテンソルデータに対する機械学習(数理助教の会 2011/11/28)
行列およびテンソルデータに対する機械学習(数理助教の会 2011/11/28)行列およびテンソルデータに対する機械学習(数理助教の会 2011/11/28)
行列およびテンソルデータに対する機械学習(数理助教の会 2011/11/28)
 
(文献紹介)エッジ保存フィルタ:Side Window Filter, Curvature Filter
(文献紹介)エッジ保存フィルタ:Side Window Filter, Curvature Filter(文献紹介)エッジ保存フィルタ:Side Window Filter, Curvature Filter
(文献紹介)エッジ保存フィルタ:Side Window Filter, Curvature Filter
 
Jokyonokai
JokyonokaiJokyonokai
Jokyonokai
 
PRML 5.2.1-5.3.3 ニューラルネットワークの学習 (誤差逆伝播) / Training Neural Networks (Backpropa...
PRML 5.2.1-5.3.3 ニューラルネットワークの学習 (誤差逆伝播) / Training Neural Networks (Backpropa...PRML 5.2.1-5.3.3 ニューラルネットワークの学習 (誤差逆伝播) / Training Neural Networks (Backpropa...
PRML 5.2.1-5.3.3 ニューラルネットワークの学習 (誤差逆伝播) / Training Neural Networks (Backpropa...
 
【Unity道場スペシャル 2017大阪】クォータニオン完全マスター
【Unity道場スペシャル 2017大阪】クォータニオン完全マスター【Unity道場スペシャル 2017大阪】クォータニオン完全マスター
【Unity道場スペシャル 2017大阪】クォータニオン完全マスター
 
明日機械学習に役立つかもしれない数学
明日機械学習に役立つかもしれない数学明日機械学習に役立つかもしれない数学
明日機械学習に役立つかもしれない数学
 
Chainerで流体計算
Chainerで流体計算Chainerで流体計算
Chainerで流体計算
 
フラクタル音楽 〜可視化と可聴化の世界〜
フラクタル音楽 〜可視化と可聴化の世界〜フラクタル音楽 〜可視化と可聴化の世界〜
フラクタル音楽 〜可視化と可聴化の世界〜
 
20161203 cv 3_d_recon_tracking_eventcamera
20161203 cv 3_d_recon_tracking_eventcamera20161203 cv 3_d_recon_tracking_eventcamera
20161203 cv 3_d_recon_tracking_eventcamera
 
機械学習による統計的実験計画(ベイズ最適化を中心に)
機械学習による統計的実験計画(ベイズ最適化を中心に)機械学習による統計的実験計画(ベイズ最適化を中心に)
機械学習による統計的実験計画(ベイズ最適化を中心に)
 
低ランク行列補完のためのマトロイド理論
低ランク行列補完のためのマトロイド理論低ランク行列補完のためのマトロイド理論
低ランク行列補完のためのマトロイド理論
 

Viewers also liked

Design Method of Directional GenLOT with Trend Vanishing Moments
Design Method of Directional GenLOT with Trend Vanishing MomentsDesign Method of Directional GenLOT with Trend Vanishing Moments
Design Method of Directional GenLOT with Trend Vanishing Moments
Shogo Muramatsu
 
Image Restoration with Union of Directional Orthonormal DWTs
Image Restoration with Union of Directional Orthonormal DWTsImage Restoration with Union of Directional Orthonormal DWTs
Image Restoration with Union of Directional Orthonormal DWTs
Shogo Muramatsu
 
Developing Video Signal Processing Algorithms for Embedded Vision Systems
Developing Video Signal Processing Algorithms for Embedded Vision SystemsDeveloping Video Signal Processing Algorithms for Embedded Vision Systems
Developing Video Signal Processing Algorithms for Embedded Vision Systems
Shogo Muramatsu
 
OpenOpt の線形計画で圧縮センシング
OpenOpt の線形計画で圧縮センシングOpenOpt の線形計画で圧縮センシング
OpenOpt の線形計画で圧縮センシング
Toshihiro Kamishima
 
Этносправочник "Содружество культур Тюменской области"
Этносправочник "Содружество культур Тюменской области"Этносправочник "Содружество культур Тюменской области"
Этносправочник "Содружество культур Тюменской области"
dialog-urfo
 
Blend with Care - Virtual Patients
Blend with Care - Virtual PatientsBlend with Care - Virtual Patients
Blend with Care - Virtual Patients
Wiebe Dijkstra
 
Untitled Presentation
Untitled PresentationUntitled Presentation
Untitled Presentation
Josias Padilha
 
ApplicationPackaging
ApplicationPackagingApplicationPackaging
ApplicationPackaging
krithikha ramesh
 
Blend with Care - Learning from games: serious??
Blend with Care - Learning from games: serious??Blend with Care - Learning from games: serious??
Blend with Care - Learning from games: serious??
Wiebe Dijkstra
 

Viewers also liked (9)

Design Method of Directional GenLOT with Trend Vanishing Moments
Design Method of Directional GenLOT with Trend Vanishing MomentsDesign Method of Directional GenLOT with Trend Vanishing Moments
Design Method of Directional GenLOT with Trend Vanishing Moments
 
Image Restoration with Union of Directional Orthonormal DWTs
Image Restoration with Union of Directional Orthonormal DWTsImage Restoration with Union of Directional Orthonormal DWTs
Image Restoration with Union of Directional Orthonormal DWTs
 
Developing Video Signal Processing Algorithms for Embedded Vision Systems
Developing Video Signal Processing Algorithms for Embedded Vision SystemsDeveloping Video Signal Processing Algorithms for Embedded Vision Systems
Developing Video Signal Processing Algorithms for Embedded Vision Systems
 
OpenOpt の線形計画で圧縮センシング
OpenOpt の線形計画で圧縮センシングOpenOpt の線形計画で圧縮センシング
OpenOpt の線形計画で圧縮センシング
 
Этносправочник "Содружество культур Тюменской области"
Этносправочник "Содружество культур Тюменской области"Этносправочник "Содружество культур Тюменской области"
Этносправочник "Содружество культур Тюменской области"
 
Blend with Care - Virtual Patients
Blend with Care - Virtual PatientsBlend with Care - Virtual Patients
Blend with Care - Virtual Patients
 
Untitled Presentation
Untitled PresentationUntitled Presentation
Untitled Presentation
 
ApplicationPackaging
ApplicationPackagingApplicationPackaging
ApplicationPackaging
 
Blend with Care - Learning from games: serious??
Blend with Care - Learning from games: serious??Blend with Care - Learning from games: serious??
Blend with Care - Learning from games: serious??
 

Similar to 非分離冗長重複変換の事例学習設計における効果的辞書更新

Eureka agora tech talk 20170829
Eureka agora tech talk 20170829Eureka agora tech talk 20170829
Eureka agora tech talk 20170829
Shinnosuke Ohkubo
 
Deep learning実装の基礎と実践
Deep learning実装の基礎と実践Deep learning実装の基礎と実践
Deep learning実装の基礎と実践
Seiya Tokui
 
Get To The Point: Summarization with Pointer-Generator Networks_acl17_論文紹介
Get To The Point: Summarization with Pointer-Generator Networks_acl17_論文紹介Get To The Point: Summarization with Pointer-Generator Networks_acl17_論文紹介
Get To The Point: Summarization with Pointer-Generator Networks_acl17_論文紹介
Masayoshi Kondo
 
Quantum Support Vector Machine
Quantum Support Vector MachineQuantum Support Vector Machine
Quantum Support Vector Machine
Yuma Nakamura
 
Or学会用20160915.ver2
Or学会用20160915.ver2Or学会用20160915.ver2
Or学会用20160915.ver2
Ryoma Nakagawa
 
逐次モンテカルロ法の基礎
逐次モンテカルロ法の基礎逐次モンテカルロ法の基礎
逐次モンテカルロ法の基礎
ShoutoYonekura
 
NN, CNN, and Image Analysis
NN, CNN, and Image AnalysisNN, CNN, and Image Analysis
NN, CNN, and Image Analysis
Yuki Shimada
 
Scan Registration for Autonomous Mining Vehicles Using 3D-NDT
Scan Registration for Autonomous Mining Vehicles Using 3D-NDTScan Registration for Autonomous Mining Vehicles Using 3D-NDT
Scan Registration for Autonomous Mining Vehicles Using 3D-NDT
Kitsukawa Yuki
 
アイテム分散表現の階層化・集約演算に基づくセッションベース推薦システム
アイテム分散表現の階層化・集約演算に基づくセッションベース推薦システムアイテム分散表現の階層化・集約演算に基づくセッションベース推薦システム
アイテム分散表現の階層化・集約演算に基づくセッションベース推薦システム
Okamoto Laboratory, The University of Electro-Communications
 
ランダムフォレストとそのコンピュータビジョンへの応用
ランダムフォレストとそのコンピュータビジョンへの応用ランダムフォレストとそのコンピュータビジョンへの応用
ランダムフォレストとそのコンピュータビジョンへの応用
Kinki University
 
Hayashi tutorial ne2017
Hayashi tutorial ne2017Hayashi tutorial ne2017
Hayashi tutorial ne2017
yukisachi
 
テンソル多重線形ランクの推定法について(Estimation of Multi-linear Tensor Rank)
テンソル多重線形ランクの推定法について(Estimation of Multi-linear Tensor Rank)テンソル多重線形ランクの推定法について(Estimation of Multi-linear Tensor Rank)
テンソル多重線形ランクの推定法について(Estimation of Multi-linear Tensor Rank)
Tatsuya Yokota
 
Deep Learningについて(改訂版)
Deep Learningについて(改訂版)Deep Learningについて(改訂版)
Deep Learningについて(改訂版)
Brains Consulting, Inc.
 
非同期時系列のLead-lag効果推定のための新しい推定量
非同期時系列のLead-lag効果推定のための新しい推定量非同期時系列のLead-lag効果推定のための新しい推定量
非同期時系列のLead-lag効果推定のための新しい推定量
Katsuya Ito
 
kagami_comput2015_10
kagami_comput2015_10kagami_comput2015_10
kagami_comput2015_10
swkagami
 
論文紹介:「End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF」
論文紹介:「End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF」論文紹介:「End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF」
論文紹介:「End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF」
Naonori Nagano
 
ベイズ統計によるデータ解析
ベイズ統計によるデータ解析ベイズ統計によるデータ解析
ベイズ統計によるデータ解析
Kunihiro Hisatsune
 
Visual SLAM: Why Bundle Adjust?の解説(第4回3D勉強会@関東)
Visual SLAM: Why Bundle Adjust?の解説(第4回3D勉強会@関東)Visual SLAM: Why Bundle Adjust?の解説(第4回3D勉強会@関東)
Visual SLAM: Why Bundle Adjust?の解説(第4回3D勉強会@関東)
Masaya Kaneko
 
多数のセンサーによる 時空間センシングデータの 効率的な集約送信技術
多数のセンサーによる時空間センシングデータの効率的な集約送信技術多数のセンサーによる時空間センシングデータの効率的な集約送信技術
多数のセンサーによる 時空間センシングデータの 効率的な集約送信技術
奈良先端大 情報科学研究科
 

Similar to 非分離冗長重複変換の事例学習設計における効果的辞書更新 (20)

Eureka agora tech talk 20170829
Eureka agora tech talk 20170829Eureka agora tech talk 20170829
Eureka agora tech talk 20170829
 
Deep learning実装の基礎と実践
Deep learning実装の基礎と実践Deep learning実装の基礎と実践
Deep learning実装の基礎と実践
 
Get To The Point: Summarization with Pointer-Generator Networks_acl17_論文紹介
Get To The Point: Summarization with Pointer-Generator Networks_acl17_論文紹介Get To The Point: Summarization with Pointer-Generator Networks_acl17_論文紹介
Get To The Point: Summarization with Pointer-Generator Networks_acl17_論文紹介
 
Quantum Support Vector Machine
Quantum Support Vector MachineQuantum Support Vector Machine
Quantum Support Vector Machine
 
Or学会用20160915.ver2
Or学会用20160915.ver2Or学会用20160915.ver2
Or学会用20160915.ver2
 
逐次モンテカルロ法の基礎
逐次モンテカルロ法の基礎逐次モンテカルロ法の基礎
逐次モンテカルロ法の基礎
 
NN, CNN, and Image Analysis
NN, CNN, and Image AnalysisNN, CNN, and Image Analysis
NN, CNN, and Image Analysis
 
Scan Registration for Autonomous Mining Vehicles Using 3D-NDT
Scan Registration for Autonomous Mining Vehicles Using 3D-NDTScan Registration for Autonomous Mining Vehicles Using 3D-NDT
Scan Registration for Autonomous Mining Vehicles Using 3D-NDT
 
CMSI計算科学技術特論A(14) 量子化学計算の大規模化1
CMSI計算科学技術特論A(14) 量子化学計算の大規模化1CMSI計算科学技術特論A(14) 量子化学計算の大規模化1
CMSI計算科学技術特論A(14) 量子化学計算の大規模化1
 
アイテム分散表現の階層化・集約演算に基づくセッションベース推薦システム
アイテム分散表現の階層化・集約演算に基づくセッションベース推薦システムアイテム分散表現の階層化・集約演算に基づくセッションベース推薦システム
アイテム分散表現の階層化・集約演算に基づくセッションベース推薦システム
 
ランダムフォレストとそのコンピュータビジョンへの応用
ランダムフォレストとそのコンピュータビジョンへの応用ランダムフォレストとそのコンピュータビジョンへの応用
ランダムフォレストとそのコンピュータビジョンへの応用
 
Hayashi tutorial ne2017
Hayashi tutorial ne2017Hayashi tutorial ne2017
Hayashi tutorial ne2017
 
テンソル多重線形ランクの推定法について(Estimation of Multi-linear Tensor Rank)
テンソル多重線形ランクの推定法について(Estimation of Multi-linear Tensor Rank)テンソル多重線形ランクの推定法について(Estimation of Multi-linear Tensor Rank)
テンソル多重線形ランクの推定法について(Estimation of Multi-linear Tensor Rank)
 
Deep Learningについて(改訂版)
Deep Learningについて(改訂版)Deep Learningについて(改訂版)
Deep Learningについて(改訂版)
 
非同期時系列のLead-lag効果推定のための新しい推定量
非同期時系列のLead-lag効果推定のための新しい推定量非同期時系列のLead-lag効果推定のための新しい推定量
非同期時系列のLead-lag効果推定のための新しい推定量
 
kagami_comput2015_10
kagami_comput2015_10kagami_comput2015_10
kagami_comput2015_10
 
論文紹介:「End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF」
論文紹介:「End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF」論文紹介:「End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF」
論文紹介:「End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF」
 
ベイズ統計によるデータ解析
ベイズ統計によるデータ解析ベイズ統計によるデータ解析
ベイズ統計によるデータ解析
 
Visual SLAM: Why Bundle Adjust?の解説(第4回3D勉強会@関東)
Visual SLAM: Why Bundle Adjust?の解説(第4回3D勉強会@関東)Visual SLAM: Why Bundle Adjust?の解説(第4回3D勉強会@関東)
Visual SLAM: Why Bundle Adjust?の解説(第4回3D勉強会@関東)
 
多数のセンサーによる 時空間センシングデータの 効率的な集約送信技術
多数のセンサーによる時空間センシングデータの効率的な集約送信技術多数のセンサーによる時空間センシングデータの効率的な集約送信技術
多数のセンサーによる 時空間センシングデータの 効率的な集約送信技術
 

非分離冗長重複変換の事例学習設計における効果的辞書更新

  • 2. 発表内容  研究背景と目的  NSOLTの構成と設計  目的関数の勾配導出  解析的勾配の効果的計算法の提案  確率的勾配降下(SGD)法の導入  NSOLT設計の評価  まとめ 2015/11/4 第30回信号処理シンポジウム 2
  • 3. 研究背景  冗長変換の応用例:画像復元 2015/11/4 第30回信号処理シンポジウム 3 𝐛 観測 画像 𝐱 未知の 原画像 観測過程 𝐃 𝐲 𝐃 𝐲 冗長変換(辞書) スパース表現 𝐱 復元 画像 復元 冗長変換𝐃の選択は復元性能に影響大
  • 4.  特徴  非分離性、対称性、重複性を有する冗長変換  事例に基づく設計(辞書学習)が可能 非分離冗長重複変換(NSOLT) 2015/11/4 第30回信号処理シンポジウム 4 事例画像 学習辞書(要素画像群) [Muramatsu,ICASSP2014] 𝐃
  • 5. スパース表現による画像復元 2015/11/4 第30回信号処理シンポジウム 5 原画像 PSNR→ 観測画像 23.84 [dB] 復元画像 ウィーナー 21.99 [dB] ISTA + → PSNR → 冗長度 → 復元画像 非間引HT 27.17 [dB] ℛ = 4 復元画像 NSOLT 27.27 [dB] ℛ < 2.34
  • 6. 問題と目的  従来の設計(辞書学習)法  遺伝的アルゴリズム(GA)&準ニュートン法  無数の局所解をもつ非線形な目的関数に対応  問題点  パラメータ数が数百、数千 ➡ 設計困難  特に、準ニュートン法に時間を要する  目的関数の数値的勾配(有限差分)計算がボトルネックに 2015/11/4 第30回信号処理シンポジウム 6 【目的】 設計の効率化 解析的勾配を導出、確率的勾配降下法を導入
  • 7.  パーセバルタイト実装( 𝐱 2 2 = 𝐲 2 2 ) Type-I NSOLTのラティス構成 2015/11/4 第30回信号処理シンポジウム 7 𝐱 𝐲 垂直 水平 𝐂 𝐌 𝑇 𝐖0 𝑇 𝐔0 𝑇 𝐔 𝑛 𝑑 𝑇 - - 𝑧 𝑑 −1 1/2 1/2 パラメータ 行列 パラメータ 行列𝐃 𝜃0 𝜃1 𝜃 𝑝−1 𝜃 𝑝 𝜃 𝑝(𝑝−1)/2 𝑠0 𝑠1 𝑠2 𝑠 𝑝−2 𝑠 𝑝−1 符号 パラメータ 回転角 パラメータ 偶対称 奇対称
  • 8. NSOLTの設計(辞書学習)  問題設定 𝐃, 𝐲𝑖 = argmin 𝐃, 𝐲 𝑖 1 𝑆 𝑖=0 𝑆−1 𝐱 𝑖 − 𝐃𝐲𝑖 2 2 s. t. 𝐲𝑖 0 ≤ 𝐾  スパース符号化 𝐲𝑖 = argmin 𝐲 𝑖 𝐱 𝑖 − 𝐃𝐲𝑖 2 2 s. t. 𝐲𝑖 0 ≤ 𝐾, 𝑖 ∈ {0,1, ⋯ , 𝑆 − 1}  辞書更新 𝚯 = argmin 𝚯 1 𝑆 𝑖=0 𝑆−1 𝐱 𝑖 − 𝐃 𝚯 𝐲𝑖 2 2 𝐃 = 𝐃 𝚯 第30回信号処理シンポジウム 82015/11/4 スパース符号化 (変換係数 𝐲𝑖 の更新) 辞書更新 (パラメータ𝚯の更新) 収束判定 true false 事例画像群(事例数𝑆) 𝐱 𝑖 繰返しハード 閾値処理(IHT) 少ない係数で 良い近似を得たい GA + 準ニュートン法 𝐲𝑖 𝐃 𝐃辞書更新が課題.特に, 有限差分による準ニュートン法 辞書 (要素画像群)
  • 9.  辞書更新の目的関数  目的関数の勾配 ここで、 目的関数の勾配導出 2015/11/4 第30回信号処理シンポジウム 9 𝑓 𝚯 = 1 𝑆 𝑖=0 𝑆−1 𝐫𝑖 𝚯 2 2 = 1 𝑆 𝑖=0 𝑆−1 𝐱 𝑖 − 𝐃 𝚯 𝐲𝑖 2 2 𝛻𝜽 𝑓 𝚯 = 𝜕 𝜕𝜃0 𝑓 𝚯 , 𝜕 𝜕𝜃1 𝑓 𝚯 , ⋯ , 𝜕 𝜕𝜃 𝐽−1 𝑓 𝚯 𝑇 , 𝐃 𝚯 𝐱 𝑖 𝐲𝑖 𝐱 𝑖 𝚯 誤差 𝐫𝑖 𝚯 𝜃0 𝜃1 𝜃 𝑝−1 𝜃 𝑝 𝜃 𝑝(𝑝−1)/2 𝜕 𝜕𝜃𝑗 𝑓 𝚯 = − 2 𝑆 𝑖=0 𝑆−1 𝐫𝑖 𝚯 , 𝜕 𝜕𝜃𝑗 𝐃 𝚯 𝐲𝑖 𝐆 𝚯 𝑗 = 𝜕 𝜕𝜃𝑗 𝐃 𝚯 𝐲𝑖 𝜕 𝜕𝜃𝑗 𝐃 𝚯 𝐲𝑖 偏微分システム 対象となる回転行列の 実装変更のみで良い 0 𝜃𝑗 + 𝜋/2 事例 近似 回転行列 の微分
  • 10. 解析的勾配計算法の提案  全ての回転角 𝜃𝑗 について評価  同じ演算が繰返し現れる ➡ 非効率  中間結果の再利用. 𝐱, 𝐀 𝑇 𝐲 = 𝐀𝐱, 𝐲 より,回転𝑂(𝐽2 ) ➡ 𝑂(𝐽) 2015/11/4 第30回信号処理シンポジウム 10 𝜕 𝜕𝜃𝑗 𝑓 𝚯 = − 2 𝑆 𝑖=0 𝑆−1 𝐫𝑖 𝚯 , 𝑮 𝚯 𝑗 𝐲𝑖 𝐲𝑖𝐆 𝚯 𝑗 𝐲𝑖 , 𝐫𝑖 𝚯 , 𝐫𝑖 𝚯 , 𝐫𝑖 𝚯 𝐲𝑖 𝐲𝑖 𝐲𝑖 𝑗 = 0 𝑗 = 𝐽 − 1 𝐽回
  • 11. 解析的勾配の速度評価  数値的勾配(有限差分)と解析的勾配の比較  2次元,4 × 4間引き,次数 2,2 𝑇 ,直流無漏洩,𝑆 = 1, 𝑁 = 32 × 32  準ニュートン法(MATLAB R2015b fminunc, 反復数:20回) 2015/11/4 第30回信号処理シンポジウム 11 帯域数 𝑝𝑠 + 𝑝 𝑎 所要時間[s] 速度 比率 最大 相対誤差 (DerivativeCheck)数値的 解析的 8+8 120.23 1.45 83.14 1.26 × 10−9 9+9 170.79 1.41 121.48 1.63 × 10−9 10+10 228.26 1.69 134.93 1.11 × 10−9 11+11 282.40 1.85 152.80 1.92 × 10−9 12+12 342.52 1.92 178.60 1.02 × 10−9 CPU: Intel Core i7-3667U 2.00GHz, RAM:8GB, OS: Win8.1Pro(64)
  • 12.  全ての事例 𝐱 𝑖 について評価  事例をランダムに選択して評価 確率的勾配降下(SGD)法の導入 2015/11/4 第30回信号処理シンポジウム 12 𝛻𝜽 𝑓 𝚯 = 1 𝑆 𝑖=0 𝑆−1 𝛻𝜽 𝑓𝑖(𝚯) 𝛻𝛉 𝑓𝑖 𝚯 = 𝛻𝜽 𝐱 𝑖 − 𝐃 𝚯 𝐲𝑖 2 2 𝛻𝜽 𝑓 𝚯 ∼ 𝛻𝛉 𝑓𝑖 𝚯 事例毎の勾配 全事例の勾配(平均) 事例毎の勾配で近似 計算量削減 局所解脱出 𝜽 𝑘+1 = 𝜽 𝑘 − 𝜂 𝑘 𝛻𝜽 𝑓 𝚯 𝜽 𝑘+1 = 𝜽 𝑘 − 𝜂 𝑘 𝛻𝜽 𝑓𝑖 𝑘 𝚯
  • 13.  要素画像(インパルス応答)群(𝑃 = 𝑝s + 𝑝a = 12 + 12)  事例:barbaraからの32 × 32画素パッチ(ランダム抽出𝑆 = 64)  スパース符号化実験の結果(PSNR[dB])  実験緒言(𝑁 = 512 × 512, 𝐾 = 32,768, 𝐾/𝑁 = 0.125) 確率的勾配降下法による設計 2015/11/4 第30回信号処理シンポジウム 13 辞書 goldhill lena barbara baboon Sparse K-SVD 33.55 34.87 29.35 26.22 SGD-NSOLT(提案法) 33.56 37.40 32.67 25.94
  • 14. まとめ  辞書更新目的関数の解析的勾配を導出  偏微分合成システムを導出,効果的算出法を提案  数値的手法に比べ数十~数百倍の速度向上を確認  確率的勾配降下(SGD)法の導入  大規模な設計問題の最適化が可能に  Sparse-KSVDと同等か優れた性能も得た  今後の課題  画像復元,特徴抽出等への応用  ボリュームデータへの適用 2015/11/4 第30回信号処理シンポジウム 14