適応フィルタの簡単な説明．

1. ウィナーフィルタと
適応フィルタ
∼ 現代信号処理入門 ∼
東京農工大学
田中聡久
1

2. FIRフィルタ
• 出力は，現在と過
去のサンプルの線
形重み和
2
x[n] y[n]
z-1
h[0]
h[1]
z-1
z-1
z-1
h[2]
h[M-2]
h[M-1]
y[n] =
M 1
k=0
h[k]x[n k]

3. 似た問題
• 線形自己回帰
x[n] = Σk=1
M h[k] x[n-k]
• 多チャンネル信号の重みつき平均
y[n] = Σk=1
M wk xk[n]
• 回帰分析
y = Σk=1
M wk fk(x)
3

4. 理想出力（参照信号）
• 理想の出力d[n]（参
照信号）があると
き，誤差信号
e[n] = d[n] - y[n]
を考える．
• 誤差最小となるよ
うにフィルタ設計
4
x[n]
y[n]
z-1
h[0]
h[1]
z-1
z-1
z-1
h[2]
h[M-2]
h[M-1]
e[n]
d[n]
−
+

5. 2乗誤差基準
• 誤差信号の2乗平均を最小にする．
J[h] = E |e[n]|2 = E |d[n] - y[n]|2
= E |d[n] - hTx[n] |2 → min
ここで，
•h = [h[0], ..., h[M-1]]T
•x[n] = [x[n], x[n-1], ..., x[n-(M-1)]]T
•E[・] は信号の期待値 ∫(・) p(x) dx
5

6. ウィナーフィルタ
• 平均2乗誤差を最小にする（MMSE）フィ
ルタを，ウィナーフィルタと呼ぶ．
• x[n] の確率密度関数 p(x) はわからないの
で，サンプル平均（経験平均）をとる:
J[h] ≒ (1/N) Σn=0
N-1 |d[n] - hTx[n] |2
• 簡単のために，データの開始点をn=0に
取った． 6

7. コスト関数を最小化
• 考え方1: J[h]をhについて偏微分して0とお
く．∂J[h] / ∂h = 0
• 考え方2: 幾何的な考え方．
• まずは，コスト関数を書き換えてみよう
• J[h] = || d - X h ||2
• d = [d[0], ..., d[N-1]]T
7

8. Xの定義
8
X =
x[0] x[ 1] · · · x[ (M 1)]
x[1] x[0] · · · x[ (M 2)]
...
...
...
x[N 1] x[N 2] · · · x[N M]
x1 x2 xM

9. コスト関数の意味
9
• コスト J[h] = || d - X h||2
• J[h]が測っているのは，Xの列ベクトルの
線形和 Xh と d との距離
x1
x2
d
Xh*

10. 正規方程式
• d と Xh が最短になる（J[h]が最小にな
る）のは，Xh が d の Xの列ベクトルの張
る部分空間への正射影と一致するとき．
• このとき，X の列ベクトルと (d-Xh) が直
交するため
XT(d-Xh) = 0 より XTXh = XTd
10

11. FIRウィナーフィルタの解
• 正規方程式を解くことでウィナーフィルタ
が得られる．
• XTX が正則の場合
h* = (XTX)-1XTd
• これは最小二乗法の一般的な解の形になっ
ている．
11

12. 一般的なウィナーフィルタ
• 出力信号 y = hTx (x ∈ CN)，原信号 d ∈ C
• 評価関数 J[h] = Ex,d |d - hTx|2
• この最小解は，原信号を観測信号xの各要
素が張る空間に射影したもの．
• 確率的直交条件 E[x (d - hTx)] = 0
• E[xxT]h = E[xd] より h=(E[xxT])-1E[xd]
12

13. センサアレイ
• 1つの信号を複数のセンサ（アンテナ・マイ
クロフォンなど）で観測する．
• 信号の相関行列がわかっていれば，hi をウィ
ナーフィルタとして構成できる． 13
センサ N 個
入力信号
h1 h2 hN
y=Σi hi xi
x1 x2 xN

14. 回帰分析との関係
• データ集合{(xi, yi)}
をモデリングする
回帰式 y = ax + b
• y=[yi], X=[xi 1],
h=[a, b]T とおくと
ウィナーフィルタ
と同じ解．
14
0
5
10
15
20
0 5 10 15 20
データサイエンス（）

15. 線形モデル
15
hx[n] y[n]
h* d[n]
真の信号を生成す
るシステム（未知）
信号を推定する
システム
未知のシステムh*を推定する

16. 相関行列がわからない場合
• ウィナーフィルタの評価関数
J[h] = Ex,d|d - hTx|2
=E|d|2 - tr{2E[dxT]h - hTE[xxT]h}
相関行列Rdx=E[dxT]，Rxx=E[xxT] が必要．
• 実際にはわからない．推定しなくては．
•方法1: 幾つか観測しておく（説明済）
•方法2: 適応フィルタ 16

17. 適応フィルタ
• 時々刻々とフィルタ係数 h を更新する．
• 代表的なもの
• 確率勾配法（Least Mean Square;
LMS）
• アフィン射影法（APA）
• Recursive Least Square (RLS)
17
計算速い
収束速い

18. 最急降下法（勾配法）
• 関数 f(x) の最小値/最大値を数値的に求め
るアルゴリズム．
xn+1 = xn - µ∇f(xn)
18
f(x)の等高線
xn
xn+1
-µ∇f(xn)

19. 確率勾配法（LMS）
• 評価関数
J[h] = 1/2[E|d|2 - tr{2E[dxT]h - hTE[xxT]h}]
をhで偏微分する．
∂J/∂h = -E[xd] + E[xxT]h
• これを ∂J/∂h = 0 とおけば解が得られる
が，ここで期待値を瞬時値で置き換える．
• このとき ∂J/∂h ≒ -x[n]d[n] + x[n]x[n]Th[n] 19

20. LMSの逐次更新則
• ∂J/∂h ≒ -x[n]d[n] + x[n]x[n]Th[n]
= -(d[n] - y[n]) x[n]
= -e[n] x[n]
• この勾配を用いた最急降下法（確率勾配
法）は
h[n+1] = h[n] + µ e[n] x[n]
• µは小さい定数．（本当は範囲がある）
20

21. アフィン射影法
• 信号モデル
• 参照信号は d[n] = h*Tx[n] で決まる．
• 未知数 h の解空間は d[n] = hTx[n] 21
hx[n] y[n]
h* d[n]
未知

22. 2次元 h=[h1, h2]Tの場合
• h が満たすべき方程式は
h1 x1[n] + h2 x2[n] = d[n]
h1 x1[n+1] + h2 x2[n+1] = d[n+1]
22
h1
h2
h*
xTh = d

23. L次元に一般化
• 解は直線 xT[n] h = d[n] (n=0, ..., L-1) 上に
存在する．
• h[n-1] を解空間（直線）に射影する．
23
h1
h2
h* xT [n] h = d[n]
h[n-1]
h[n]
xT [n+1] h = d[n+1]

24. 解直線への射影
• 直線の方程式 xT[n] h = d[n] より，射影方
向は法線ベクトル x[n] に沿う．
• h[n] = h[n-1] + α x[n] よりαが決まる．
24
h1
h2
xT [n] h = d[n]
h[n-1]
h[n]
x[n]

25. 凸射影（Convex Projection）
• 凸集合 Cn に対して射影Pnが決まる．
• P = PN PN-1・・・P2 P1 を定義すると
• [定理] 異なる凸集合への射影を繰り返す
と，共通部分の元に収束する．
Pkh → h* ∈ C1∩C2∩・・・∩CN
• 直線（線形多様体）は凸集合
25

26. 更新則
• αは
• したがって，アフィン射影法の更新則は
• 正規化LMS（Normalized LMS）
26
=
d[n] xT
[n]h[n 1]
x[n] 2
h[n] = h[n 1] +
x[n]
x[n] 2
(d[n] xT
[n]h[n 1])
h[n] = h[n 1] + µ
x[n]
x[n] 2 +
(d[n] xT
[n]h[n 1])

27. 線形多様体への射影
• hnはH上の最もhn-1
に近い点．
hn = Xa + PN(X
T
)hn-1
• XT(Xa)=dより
a=(XTX)-1d
• また
PN(X
T
)=I-X(XTX)-1XT
27N(XT)=R(X)⊥
: XTh=0
H: XTh=d
hn-1
R(X): Xの列ベクトルが張る空間
O
hn
Xa
PN(X
T
)hn-1

28. APAの更新式
• 結局
を得る．
• ここで，Mをメモリのデータ数として，
X = [x[n], x[n-1], ..., x[n-M]]
28
hn = (I X(XT
X) 1
XT
)hn 1 + X(XT
X) 1
d
= hn 1 + X(XT
X) 1
(d XT
hn 1)

29. 例: ラインエンハンサ
• 雑音の影響を受けた正弦波の推定
x[n] = sin (2πfn) + v[n]
• v[n]: ガウス性雑音
• 参照信号 d[n] = x[n]
• 入力ベクトルを x[n] = [x[n-1], ..., x[n-L]]T
と定義する．
29

30. 受信信号
30
1000 1100 1200 1300 1400 1500 1600
−1
−0.5
0
0.5
1
1.5
2

31. 推定信号
31
0 50 100 150 200 250 300
−1.5
−1
−0.5
0
0.5
1
1.5