1. 1/21
固有値問題に対する射影法について
東京大学大学院 情報理工学系研究科
数理情報学専攻
相島 健助
2013.5.31

2. 対称固有値問題とその数値解法
NN
AuAu ×
∈= R,λ
対称行列
λ ：固有値
2/21
べき乗法，QR法，Lanczos法（射影法の一つ）,
数値解法：
λ
u：固有ベクトル

3. 射影法とは
基本的な方針：問題のサイズを小さく基本的な方針：問題のサイズを小さく基本的な方針：問題のサイズを小さく基本的な方針：問題のサイズを小さく
)(),,,(span 21 Nmvvv m <K
NN
AuAu ×
∈=− R,0λ
•部分空間を生成
方程式
3/21
)(),,,(span 21 Nmvvv m <K•部分空間を生成
•この部分空間から近似解を得る
),,,(span 21 mvvvx K∈
x近似固有ベクトル は Galerkin 条件を満たすよう定める

4. 近似解の定め方
),,span(for0)( 1
T
mvvsxAxs K∈∀=−θ
),,,(span 21 mvvvx K∈
),,span( 1 mvv K意味: への直交射影が0 ),,span( 1 mvv K
xAx θ−
4/21
目的
以下の条件を満たす を求めたい
Galerkin 条件:
正規直交基底を計算 ],,,[ 21 mm vvvV K=
yyAVVyVyAVV mmmmm θθ =⇔=−
TT
0)(
小さい固有値問題に帰着できた（Rayleigh-Ritzの技法）
yVx m=
),,span( 1 mvv K意味: への直交射影が0 ),,span( 1 mvv K
注：
計算方法

5. Rayleigh-Ritzの技法
],,,[ 21 mm vvvV K=1. 正規直交基底を生成
2. 固有値問題 を解くyyAVV mm θ=
T
0≈− yVyAV mm θ（ なら の固有対が得られてる）A
をRitz値, をRitzベクトルと呼ぶθ yVm
Ritz
5/21
yy
yAVVy
xx
Axx mm
yvvx mm
m
T
TT
R
T
T
),,span(
maxmax
1
×
∈∈
⇔
K
yAVVy mm
y
TT
1
max
=
に対するラグランジュ未定乗数法より
0
T
=− yyAVV mm θ
名前の由来は Ritz 法から？

6. 射影法に属するアルゴリズム
Lanczos 法 [Lanczos, 1950]
大きい方からいくつかの固有値を求める際に有力
べき乗法の拡張
非対称用のArnoldi法，Bi-Lanczos法に拡張される
Jacobi-Davidson 法 [Sleijpen, van der Vorst,1996]
6/21
Jacobi-Davidson 法 [Sleijpen, van der Vorst,1996]
ある点の近傍の固有値を求める際に有力
シフト付き逆反復法の拡張（Davidson法の変種）
非対称用にも用いられる
Z. Bai, J. Demmel, J. Dongarra, A. Ruhe, H. van der Vorst: Templates for the
Solution of Algebraic Eigenvalue Problems: A Practical Guide, SIAM, 2000.
参考文献参考文献参考文献参考文献

7. べき乗法
nn Axx =+1
0x初期ベクトル を設定
反復計算
7/21
mλλλ >>> L21固有値 とおく（重複しないと仮定）
))/()/(( 12122111
222111
m
n
mm
nn
mm
n
m
nnn
ucucuc
ucucucxA
λλλλλ
λλλ
+++=
+++=
L
L
mmucucucx +++= L2211
絶対値最大の固有値に収束
：固有ベクトルで展開

8. Krylov部分空間 –べき乗法で生成
),,,(span),( 1
xAAxxxA m
m
−
= Kκ
xAAxx m 1
,,, −
K mvvv ,,, 21 Kに対するgram-schmidtの直交化
8/21
Krylov部分空間
],,,[ 21 mm vvvV K= に基づく射影法→ Lanczos法

9. Lanczos 法 [Lanczos, 1950] 9/21
],,,[ 21 mm vvvV K=2. 正規直交基底を生成
3. 固有値問題 を解くyyAVV mm θ=
T
0≈− yVyAV mm θ なら の固有対が得られてるA
),,,(span),( 1
xAAxxxA m
m
−
= KκKrylov部分空間
1. 初期ベクトル からKrylov部分空間を生成x
0≈− yVyAV mm θ なら の固有対が得られてるA
問題点：基底を増やしすぎると 3 の計算が重い→リスタート
精度が不十分なら基底を追加する
mm AVV
T
特徴： は三重対角行列





 Krylov部分空間の性質
計算量の小さい実装が可能（Lanczos算法）

10. リスタート付き Lanczos 法 10/21
],,,[ 21 mm vvvV K=2. 正規直交基底を生成
yyAVV mm θ=
T
0≈− yVyAV mm θ（ なら の固有対が得られてる）A
最大固有値を求める場合
1. 初期ベクトル からKrylov部分空間を生成x
3. 固有値問題 を解く（最大のもの）
0≈− yVyAV mm θ（ なら の固有対が得られてる）A
mm AVV
T
特徴： は三重対角行列





 Krylov部分空間の性質
計算量の小さい実装が可能（Lanczos算法）
4. 精度が不十分なら として 1へyVx m=:
MATLABのeigsのデフォルトは 20=m

11. 大域的収束 [Karush, 1951] 11/21
],,,[ 21 mm vvvV K=2. 正規直交基底を生成
3. 固有値問題 を解く（最大のもの）yyAVV mm θ=
T
0≈− yVyAV mm θ（ なら の固有対が得られてる）A
最大固有値を求める場合
1. 初期ベクトル からKrylov部分空間を生成x
0≈− yVyAV mm θ（ なら の固有対が得られてる）A
4. 精度が不十分なら として 1へyVx m=:
収束定理 [Karush, 1951]
Ritz値 は最大固有値 に，Ritzベクトル は
固有ベクトル に収束する
証明はべき乗法の収束証明ほど簡単ではない
θ yVm1λ
1u

12. リスタート付き Lanczos 法（一般） 12/21
],,,[ 21 mm vvvV K=2. 正規直交基底を生成
3. 固有値問題 を解く（大きい方から 対）yyAVV mm θ=
T
0≈− yVyAV mm θ（ なら の固有対が得られてる）A
大きい方から 個の固有値を求める場合
1. 初期ベクトル からKrylov部分空間を生成x
k
k
0≈− yVyAV mm θ（ なら の固有対が得られてる）A
mm AVV
T
特徴： は三重対角行列





 Krylov部分空間の性質
計算量の小さい実装が可能（Lanczos算法）
4. 精度が不十分なら以下の更新後2へ
kkmk CyyVvv ],,[:],,[ 11 KK =
MATLABのeigsのデフォルトは 6,20 == km
kC（ は適切な直交行列）

13. リスタート付き Lanczos 法（一般） 13/21
],,,[ 21 mm vvvV K=2. 正規直交基底を生成
3. 固有値問題 を解く（大きい方から 対）yyAVV mm θ=
T
0≈− yVyAV mm θ（ なら の固有対が得られてる）A
大きい方から 個の固有値を求める場合
1. 初期ベクトル からKrylov部分空間を生成x
k
k
0≈− yVyAV mm θ（ なら の固有対が得られてる）A
4. 精度が不十分なら以下の更新後2へ
kkmk CyyVvv ],,[:],,[ 11 KK = kC（ は適切な直交行列）
収束定理 [Sorensen, 1992]
一定の条件下で， 個のRitz値が固有値 に，
Karushの証明とは方針が少し違う
k
kλλ >>L1
kuu ,,1 K
k
本のRitzベクトルが固有ベクトル に収束する

14. 射影法に属するアルゴリズム（再）
Lanczos 法 [Lanczos, 1950]
大きい方からいくつかの固有値を求める際に有力
べき乗法の拡張
非対称用のArnoldi法，Bi-Lanczos法に拡張される
Jacobi-Davidson 法 [Sleijpen, van der Vorst,1996]
14/21
Jacobi-Davidson 法 [Sleijpen, van der Vorst,1996]
ある点の近傍の固有値を求める際に有力
シフト付き逆反復法の拡張（Davidson法の変種）
非対称用にも用いられる
Z. Bai, J. Demmel, J. Dongarra, A. Ruhe, H. van der Vorst: Templates for the
Solution of Algebraic Eigenvalue Problems: A Practical Guide, SIAM, 2000.
参考文献参考文献参考文献参考文献

15. Jacobi-Davidson 法 15/21
2. 固有値問題 を解くyyAVV mm θ=
T
0≈− yVyAV mm θ（ なら の固有対が得られてる）A
3. 精度が不十分なら基底を追加して 2 へ
rxzzIIAzzI =−−− ))()(( TT
θ
1. 正規化された初期ベクトル
修正方程式
)0(00 == mVv
)1( +← mm
rxzzIIAzzI =−−− ))()(( θ
ただし zAzryVz m θ−== ,
x を と直交化したものを新たな基底 にmV 1+mv
DrxID ,)( =−θ（比較） Davidson法： は の対角部分A
べき乗法と関連付けると収束性が理解しやすい
修正方程式において なら が固有ベクトルλθ = xz +

16. シフト付き逆反復法
111
1
1
/
,)(
+++
−
+
=
−=
nnn
nn
yyx
xsIAy
0x初期ベクトル を設定
反復計算
16/21
111 / +++ = nnn yyx
シフトの値に最も近い固有ベクトルに収束
シフトを更新すると収束が加速

17. Rayleigh 商反復法
1
1
T
,)(
,
−
+ −=
=
nnn
nnn
xIsAy
Axxs
0x初期ベクトル を設定
反復計算
17/21
111
1
/ +++
+
= nnn
nnn
yyx
漸近収束速度は3次（倍精度なら5反復くらいで収束）
疑問：必ず収束する？






−
≈







−−
≈⇒





≈





= ++
)1/(
1
,
)1/(
/11
,
0
01
312
2
1
δδεδεδε
δε
εδ nnn xyxA
（例）

18. Rayleigh商反復法の収束定理 18/21
nnn xsAx −つまり は単調に減少
nnnnnn xsAxxsAx −≤− +++ 111
ほとんどすべての初期ベクトルに対しほとんどすべての初期ベクトルに対し
0lim =−
∞→
nnn
n
xsAx
漸近収束速度は3次
実はJacobi-Davidson法はRayleigh商反復法の拡張

19. 修正方程式との対応 19/21
))()(( TT
=−−− rxzzIIAzzI θ
3. 精度が不十分なら基底を追加して 2 へ
rxzzIIAzzI =−−− ))()(( TT
θ
ただし zAzryVz m θ−== ,
x を と直交化したものを新たな基底 にmV 1+mv
修正方程式
)1( +← mm
)0))((()(
)()(
)0())((
))()((
1T1
1T
TT
TT
=+−+−=⇔
+−=−⇔
=+=−−⇔
=−−−
−−
−
zzIAzzzIAx
zzIAxzzI
rzrzxzzIIA
rxzzIIAzzI
βθαβθα
θα
αθ
θ
Q
zIAx 1
)( −
−=∴ θ （Rayleigh商反復）としても は同じ1+mv

20. リスタート付き Jacobi-Davidson 法 20/21
基底を増やしすぎると を解くのが大変→リスタートyyAVV mm θ=
T
],,,[ 21 mm vvvV K=
2. 固有値問題 を解くyyAVV mm θ=
T
1. 初期ベクトル からJacobi-Davidson法で正規直交基底を生成x
yyAVV mm θ=
0≈− yVyAV mm θ（ なら の固有対が得られてる）A
3. 精度が不十分なら として 1へyVx m=:
収束速度は3次（Rayleigh商反復法と同じ）

21. まとめ
対称固有値問題に対する射影法を説明した
Lanczos 法 [Lanczos, 1950]
大きい方からいくつかの固有値を求める際に有力
べき乗法の拡張
非対称用のArnoldi法，Bi-Lanczos法に拡張される
Jacobi-Davidson 法 [Sleijpen, van der Vorst,1996]
21/21
Jacobi-Davidson 法 [Sleijpen, van der Vorst,1996]
ある点の近傍の固有値を求める際に有力
シフト付き逆反復法の拡張（Davidson法の変種）
非対称用にも用いられる
Z. Bai, J. Demmel, J. Dongarra, A. Ruhe, H. van der Vorst: Templates for the
Solution of Algebraic Eigenvalue Problems: A Practical Guide, SIAM, 2000.
参考文献参考文献参考文献参考文献

22. 参考文献