東京都市大学データ解析入門 4 スパース性と圧縮センシング1

大規模データ解析応用事例
４. スパース性と
圧縮センシング１
情報工学部知能情報工学科田中宏和

講義スケジュール
1. 講義概要＆ MATLAB入門
2. 行列分解１：特異値分解、行列近似、最小二乗法、擬逆行列
3. 行列分解２：主成分分析、固有顔、次元打ち切り、ランダム化SVD
4. スパース性と圧縮センシング１：フーリエ変換、圧縮センシング
5. スパース性と圧縮センシング２：スパース回帰、スパース分類、RPCA
6. 回帰分析とモデル選択１：線形回帰、非線形回帰、数値最適化
7. 回帰分析とモデル選択２：モデル選択、交差検証法、情報量基準
8. クラスタリングと分類分析１：特徴抽出、クラスタリング法
9. クラスタリングと分類分析２：教師あり学習、分類分析
10. ニューラルネットワーク1：パーセプトロン、誤差逆伝播法
11. ニューラルネットワーク2：確率勾配法、深層ネットワーク
12. 発展学習：神経データ解析

スパース性と圧縮センシング１
3.1 Sparsity and Compression
3.2 Compressed Sensing
3.3 Compressed Sensing Examples
3.4 The Geometry of Compression
3.5 Sparse Regression
3.6 Sparse Representation
3.7 Robust PCA
3.8 Sparse Sensor Placement

スパース性と圧縮センシング１
% 3.1 Sparsity and Compression
CH03_SEC01_Compress.m
% 3.2 Compressed Sensing Examples
CH03_SEC03_1_Underdetermined.m
CH03_SEC03_2_AudioCS.m
CH03_SEC04_Matrices.m
% 3.5 Sparse Regression
CH03_SEC05_1_RobustRegression.m
CH03_SEC05_1_RobustRegression_production.m
CH03_SEC05_2_LASSO.m
% 3.6 Sparse Representation
CH03_SEC06_SparseRepresentation.m
CH03_SEC06_SparseRepresentation_production.m
% 3.7 Robust PCA
CH03_SEC07_RPCA.m

【本日の内容】スパース性と圧縮センシング１
1. 最適化パッケージCVX
- インストール方法
- 簡単な紹介
2. フーリエ変換
- 時間表現と周波数表現
- 周波数表現での情報圧縮
3. スパース性と圧縮センシング
- スパース性
- ベクトルのLpノルム
- 劣決定系
- 圧縮センシング

準備：最適化ソルバーとしてCVXを使います 1

zipファイルをダウン
ロードして解凍

CVXインストールの手順
• 以下のサイトから”cvx-w64.zip”をダウンロードして、解凍しましょう。
http://cvxr.com/cvx/download/
• 解凍してできたフォルダ”cvx”を適当なディレクトリ、例えば、
ユーザー名DocumentsMatlab
の下に移動させましょう。
• MALABを起動して、先ほどの”cvx”フォルダに移動しましょう。MATLABのコマンド
プロンプトで、以下のコマンドを実行しましょう。
>> cvx_setup
分からない場合は、インストール手順の説明を参照してください。
http://web.cvxr.com/cvx/doc/install.html

% L1 minimum norm solution s_L1
cvx_begin;
variable s(n);
minimize( norm(s,1) );
subject to
Theta*s == y;
cvx_end;
n
∈s 
1
1
n
i
i
s
=
= ∑s
=Θs y
Minimize
subject to
最適化する変数を定義
最適化する関数（L1ノルム）を定義
拘束条件を定義

時系列データの二つの表現：時間表現と周波数表現
( ) ( ) ( )
( ) ( )
0
1 2
0
1
1 2
1
sin cos sin 2 cos 2
2
sin cos
2
k k
k k
a
x t a t b t a t b t
a
a kt b kt
∞
=
∞
=
=
=+ + + + +
+ +∑ ∑

フーリエ変換
時系列データは時間表現（時間の関数）と周波数表現（正弦関数の和）の両方で表
すことができる

1−

( )x t時間表現 { } { },k ka b周波数表現
フーリエ変換
逆フーリエ変換
( ) ( )2x t x tπ+ =
ここでx(t)は周期2πの周期関数

時系列データの二つの表現：時間表現と周波数表現
( ) ( ) ( )
( ) ( )
0
1 2
0
1
1 2
1
sin cos sin 2 cos 2
2
sin cos
2
k k
k k
a
x t a t b t a t b t
a
a kt b kt
∞
=
∞
=
=
=+ + + + +
+ +∑ ∑

フーリエ変換
時系列データは時間表現（時間の関数）と周波数表現（正弦関数の和）の両方で表
すことができる
( ) ( )2x t x tπ+ =
ここでx(t)は周期2πの周期関数
= +( ) ( ) ( ) ( ) ( )
1 1
2 2
0
1
1
sin sin 2 cos cos 2
2
a b
a b
a
x t t t t t
         
         
         
         =+ +
         
         
         
         
    
  
  
+

フーリエ変換によるデータ圧縮の原理

1−

フーリエ変換
高周波成分（）を打ち切り16k ≥

フーリエ変換によるノイズ除去の例
CH02_SEC02_2_Denoise_production
%% create a simple signal with two frequencies
dt = .001;
t = 0:dt:1;
x = sin(2*pi*50*t) + sin(2*pi*120*t); % クリーンデータ
y = x + 2.5*randn(size(t)); % ガウスノイズを付加
%% Compute the Fast Fourier Transform FFT
N = length(t);
Y = fft(y,N); % computes the (fast) discrete Fourier transform
PSD = Y.*conj(Y)/N; % Power spectrum (how much power in each freq)
freq = 1/(dt*N)*(0:N); %create the x-axis of frequencies in Hz
L = 1:floor(N/2); % only plot the first half of freqs
%% Use the PSD to filter out noise
indices = PSD>100; % Find all freqs with large power
PSDclean = PSD.*indices; % Zero out all others
Y = indices.*Y; % zero out small Fourier coefficients in Y
yfilt = ifft(Y); % inverse FFT to get filtered time-domain signal
x: 元のデータ
y: 観測データ
Y: フーリエ級数
yfilt: フィルタデータ
ノイズ付加
フーリエ変換

フーリエ変換によるノイズ除去の例
%% create a simple signal with two frequencies
dt = .001;
t = 0:dt:1;
x = sin(2*pi*50*t) + sin(2*pi*120*t);
y = x + 2.5*randn(size(t));
%% Compute the Fast Fourier Transform FFT
N = length(t);
Y = fft(y,N);
PSD = Y.*conj(Y)/N;
freq = 1/(dt*N)*(0:N);
L = 1:floor(N/2);
%% Use the PSD to filter out noise
indices = PSD>100;
PSDclean = PSD.*indices;
Y = indices.*Y;
yfilt = ifft(Y);

二次元フーリエ変換による画像圧縮
clear all, close all, clc
A = imread('../DATA/dog.jpg');
% A = imread('../../CH01_SVD/DATA/dog.jpg');
B = rgb2gray(A);
%% FFT Compression
Bt=fft2(B); % B is grayscale image from above
Btsort = sort(abs(Bt(:))); % Sort by magnitude
% Zero out all small coefficients and inverse transform
for keep=[.1 .05 .01 .002];
thresh = Btsort(floor((1-keep)*length(Btsort)));
ind = abs(Bt)>thresh; % Find small indices
Atlow = Bt.*ind; % Threshold small
indices
Alow=uint8(ifft2(Atlow)); % Compressed image
figure, imshow(Alow) % Plot Reconstruction
end
CH02_SEC06_2_Compress.m

ここで演習
以下のコードを走らせて、内容を理解してください。
• 1次元フーリエ変換によるノイズ除去
• 2次元フーリエ変換による画像圧縮
CH02_SEC06_2_Compress.m

スパース性（Sparsity）と情報圧縮（Compression）：画像の例

スパース性（Sparsity）と情報圧縮（Compression）

スパース性（Sparsity）と情報圧縮（Compression）
元画像対数パワー再構成画像対数パワー
 1−
フ
ー
リ
エ
変
換
逆
フ
ー
リ
エ
変
換
打
ち
切
り
• 画像に関する情報のほとんどは対数パワーの大きな値に含まれている。
• 適切な表現（この例ではフーリエ係数）では、データは疎（スパース）である。

フーリエ変換に基づく画像圧縮のMATLABコード（1/2）
%% 画像の読み込みと表示
figure(1);
A = imread('jelly', 'jpeg'); % Load image
Abw = rgb2gray(A); % Convert image to grayscale
imshow(Abw); % Plot image
axis image off
%% fft2関数を用いた二次元フーリエ変換
figure(2);
At = fft2(Abw); % フーリエ変換（FFT=Fast Fourier Transform）
F = log(abs(fftshift(At))+1); % put FFT on log-scale
imshow(mat2gray(F),[]);
axis image off
元画像
フーリエ変換
（の対数をとったもの）

フーリエ変換
打ち切り：小さい係数を0に
して、大きい係数だけ残す

フーリエ変換に基づく画像圧縮のMATLABコード（2/2）
%% Zero out all small coefficients and inverse transform
figure(3);
Bt = sort(abs(At(:)));
keep = 0.05;
thresh = Bt(floor((1-keep)*length(Bt)));
ind = abs(At)>thresh;
Atlow = At.*ind;
Flow = log(abs(fftshift(Atlow))+1); % put FFT on log-
scale
imshow(mat2gray(Flow),[]);
axis image off
%% Plot Reconstruction
figure(4);
Alow=uint8(ifft2(Atlow));
imshow(Alow)
axis image off
フーリエ変換の打ち切り
再構成画像
1−


スパース性（Sparsity）とLpノルム
( )2
1
2 2 22
1 22
1
n
n i
i
x xx x
=
= + + =+ ∑x 
( )1 2, , , n
nx x x= ∈x  

( )2
1
1
1
1
n pp p p pp
i
i
np
x x x x
=
 
= + ++ =  
 
∑x 
n次元ベクトル
ユークリッド距離
Lp ノルム（距離）
1
4
1=x 1∞
=x1
2
1=x
1
1=x 3
2
1=x
2
1=x 4
1=x

スパース性（Sparsity）とLpノルム：具体例の図示
( ) 2
1 2,x x= ∈x 

( )1 2,x x
( )1 2,x x
1x 1x
2x2x 2 2
1 22
xx= +x
1 21
x x= +x
( )1 2max ,x x∞
=x
2 1∞
≤ ≤x x x

観測データの生成過程と圧縮センシング
観測データ（低次元）
復元データ（高次元）
圧縮センシング
原信号（高次元）
観測データ（低次元）
生成過程

【復習】劣決定系（under-determined system）
=Ax b
, ,m nn m×
∈ ∈ ∈A x b  
A x b= A x =A =
(# 方程式) > (# 未定変数)
優決定系
(# 方程式) = (# 未定変数) (# 方程式) < (# 未定変数)
劣決定系
bx b
1−
=x A b+
=x A b
スパース解
（講義４,５でやります）逆行列擬逆行列

復習：優決定系（over-determined）と劣決定系（under-determined）
A x b= A x b=
優決定系 (# 方程式) > (# 未定変数) 劣決定系 (# 方程式) < (# 未定変数)
擬逆行列による解法（講義１）
= +
x A b
圧縮センシングによるスパース解
（本講義）

次元縮約と圧縮センシング
0L 0
ˆ arg min subject to=
s
Ψss s y C
スパース性の背後にある考え方
- 観測データは（うまく表現を選べば）低い次元から構成されている。
- したがって、適切な表現の下で、観測データに当てはまる低次元の説明変数を
見つけるべき。
0
s L0 ノルム：ゼロでない要素の数
線形方程式を満たす解の中で、ベクトルのゼロでない要素の数を最小にす
る解を見つけよ
=y CΨs s

問題点：L0ノルムの最適化には非ゼロの要素数を全探索する必要がある。
考え方としてはよいが、実用的ではない。
解決策：L0ノルムをL1ノルムに置き換えることで、凸最適化問題として効率的に解け
る。
次元縮約と圧縮センシング
0
s L0 ノルム：ゼロでない要素の数
1
1
n
i
i
s
=
= ∑s L1 ノルム：成分の絶対値の和
1 1L
ˆ arg min subject to=
s
Ψss s y C
L1ノルム最小化問題としての圧縮センシング

劣決定系の一つの解：L1 ノルム最小解
% Solve y = Theta * s for "s"
n = 1000; % dimension of s
p = 200; % number of measurements
Theta = randn(p,n);
y = randn(p,1);
cvx_begin;
variable s_L1(n);
minimize( norm(s_L1,1) );
subject to
Theta*s_L1 == y;
cvx_end;
s_L2 = pinv(Theta)*y;
L1ノルム最小解：
s_L1
s_L2
1L 1
ˆ arg min subject to= =
s
s s y CΨs
2L 2
ˆ arg min subject to= =
s
s s y CΨs

% Solve y = Theta * s for "s"
n = 1000; % dimension of s
p = 200; % number of measurements
Theta = randn(p,n);
y = randn(p,1);
cvx_begin;
variable s_L1(n);
minimize( norm(s_L1,1) );
subject to
Theta*s_L1 == y;
cvx_end;
s_L2 = pinv(Theta)*y;
- ほとんどの係数が0
- 0でない係数は大きな値をとる
- ほとんどの係数は0でない
- 全体的に中庸な値を取る
s_L1
s_L2

%% Generate signal, DCT of signal
n = 4096; % points in high resolution signal
t = linspace(0, 1, n);
x = cos(2* 97 * pi * t) + cos(2* 777 * pi * t);
xt = fft(x); % Fourier transformed signal
PSD = xt.*conj(xt)/n; % Power spectral density
%% Randomly sample signal
p = 128; % num. random samples, p=n/32
perm = round(rand(p, 1) * n);
y = x(perm); % compressed measurement
%% Solve compressed sensing problem
Psi = dct(eye(n, n)); % build Psi
Theta = Psi(perm, :); % Measure rows of Psi
% s = cosamp(Theta,y',10,1.e-10,10); % CS via matching pursuit
opts.maxiter = 10;
opts.normTol = 1.e-10;
s = CoSaMP(Theta,y',5,[],opts); % CS via matching pursuit
xrecon = idct(s); % reconstruct full signal

>> soundsc(x)
>> soundsc(xrecon)
原信号と再構成信号を聞き比べてみよう

x sΨ=
==
y xC=
ス
パ
ー
ス
信
号
離
散
コ
サ
イ
ン
変
換
正
弦
波
正
弦
波
ラ
ン
ダ
ム
サ
ン
プ
リ
ン
グ
観
測
デ
ー
タ
正弦波信号の生成過程ランダムサンプリングの観測過程

劣決定系の一つの解：L1ノルム最小解
y sΘ=
=
( )Θ = CΨ
1 1L sˆ arg min ubject to= =
s
Ψss y Cs
2 2L sˆ arg min ubject to= =
s
Ψss y Cs

スパース解の例
y C
Ψ s
Θ
s
C = eye(n);
perm = randperm(n,p);
C = C(perm,:);
Psi = dct(eye(n));
s = zeros(n,1);
s(3) = 1.4;
s(14) = 0.7;
s(28) = 2.2;
= =

スパース解の例
sL2 = pinv(Theta)*y;
L2ノルム最小解 L1ノルム最小解
cvx_begin;
variable s2(n);
minimize( norm(s2,1) );
subject to
Theta*s2 == y;
cvx_end;

幾何学的考察：なぜL1ノルム最小解はスパース信号を再構成できるのか
1 1 2 2 0minimize subject top
a s a s a+ =s
二次元信号 s が直線状にあるという拘束条件の下、Lpノルムを最小化せよ。
1p ≤
2p ≥
1 20, 0s s= ≠
1 20, 0s s≠ ≠
疎（スパース）な解
密（デンス, dense）な解

圧縮センシングの数学：再構成に必要なサンプル数
• スパース性と必要な観測サンプル数
スパースな解を再構成できるためには、どれくらいの観測点が必要か？
• 圧縮センシングを特徴づける量 (N, K, P)
N：信号ベクトル s の次元
K： s の成分のうち、K 個のみが非ゼロの値を取ること
（「K-スパース」という）
P：観測ベクトル y の次元
• K-スパースベクトル
(2K個の自由度) = (非ゼロであるK個成分の位置) + (そのK個の値)
→ 直感的には観測ベクトルの次元Pがスパースベクトルの自由度2Kより大きければ
再構成可能
=s N
∈
=y P
∈

圧縮センシングの数学：再構成に必要なサンプル数
• スパース性と必要な観測サンプル数
スパースな解を再構成できるためには、どれくらいの観測点が必要か？
• 圧縮センシングを特徴づける量 (N, K, P)
N：信号ベクトル s の次元
K： s の成分のうち、K 個のみが非ゼロの値を取ること
（「K-スパース」という）
P：観測ベクトル y の次元
=s N
∈
=y P
∈
log
N
P K
K
 
 
 
 再構成の条件

観測行列の条件 Incoherence
( ) ,
, max ,j k
j k
cnµ ψ=C ΨIncoherence （定義）
• Incoherenceは、観測行列と生成行列の類似度の指標
• Incoherenceはなるべく小さく、つまり観測と生成が独立であるようにする
• 実用的には、観測行列はランダムに取るのがよい（以下参照）。

【まとめ】スパース性と圧縮センシング１
1. 最適化パッケージCVX
- インストール方法
- 簡単な紹介
2. フーリエ変換
- 時間表現と周波数表現
- 周波数表現での情報圧縮
3. スパース性と圧縮センシング
- スパース性
- ベクトルのLpノルム
- 劣決定系
- 圧縮センシング

追加説明 MATLABツールボックスの追加
オプション製品の追加インストールについて
https://jp.mathworks.com/matlabcentral/answers/114068-
手順：
MATLAB のメニューバー「ホーム」内の「アドオン」項目をクリックし、「アドオンの入手」をクリックします。
「アドオンエクスプローラー」が起動しますので、以下の手順にて追加製品の追加インストールを行います。
1. [アドオンの検索] ウィンドウで、ライセンスに関連付いている製品を検索します。
2. 製品が表示されたら、製品名上にクリックし、[サインインしてインストール] ボタンをクリックします。
3. ログインウィンドウ上、MathWorks Account にサインインします。
4. [インストール]ボタンをクリックし、「選択した製品をインストールするため、MATLABをシャットダウンしま
す。」メッセージが表示されたら、[続行]ボタンをクリックします。開いているMATLAB が一旦終了し、
MathWorks インストーラーが起動します。
5. インストーラ画面上、追加でインストールされる製品名が表示されますので、よかったら[次へ]ボタンをクリッ
クします。
6. ライセンス許諾文面を確認いただき、同意の[はい]を選択し、[次へ]ボタンをクリックします。
7. [確認]画面上で、製品名、インストールディレクトリを確認し、[インストール]ボタンをクリックします。
8. [インストールが完了]画面が表示されたら[終了]ボタンをクリックすると、追加インストールが完了します。

追加説明パスの設定 (1/2)
問題：いくつかのスクリプトファイルを実行すると、”cosamp”や”padflip”などといった関数がないとい
うエラーが出ます。
解決策：これらの関数は”CODE”直下の”UTIL”フォルダにありますので、パスを通してください。MATLAB
でのパスの追加はaddpathコマンドを使います。
>> addpath (folder name)
UTILフォルダ
の場所
UTILフォルダ
の中身

追加説明パスの設定 (2/2)
（注）ダウンロードしたままだと、ファイル名が”CoSAMP.m”となっているかもしれません。MATLABで
はファイル名と関数名が同じでないといけないので、ファイル名”CoSAMP”と関数名”CoSAMP”、もしく
はファイル名”cosamp”と関数名”cosamp”のように、統一してください。
ファイル名
関数名

東京都市大学データ解析入門 4 スパース性と圧縮センシング1

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to 東京都市大学データ解析入門 4 スパース性と圧縮センシング1

Similar to 東京都市大学データ解析入門 4 スパース性と圧縮センシング1 (20)

More from hirokazutanaka

More from hirokazutanaka (14)