Aishima140714

対称固有値問題に対するリスタート付きの
Rayleigh-Ritzの技法の収束性について
東京大学大学院情報理工学系研究科
数理情報学専攻
相島健助
2014.7.14
1/26

対称固有値問題とその数値解法
NN
jjj AxAx ×
∈= R,λ
対称行列
典型的解法：QR法（全固有値を計算）
Nλλ >>L1 ：固有値
Nxx ,,1 K ：固有ベクトル
Rayleigh-Ritz の技法（RR法）の枠組み
に属する（いわゆる射影法）
Lanczos法（一部の固有値を高速に）
2/26

対称固有値問題に対するRR法
Lanczos 法 [Lanczos, 1950]
大きい方からいくつかの固有値を高速に求める
射影する部分空間をべき乗法で生成（Krylov部分空間）
非対称用のArnoldi法，Bi-Lanczos法に拡張される
他のRR法：Davidson法，Jacobi-Davidson法，PSD法，
PCG法，LOBPCG，有理Krylov部分空間法
本研究：リスタート付きLanczos法の収束を理論保証
Aishima, K.: Global convergence of the restarted Lanczos method and
Jacobi-Davidson method for symmetric eigenvalue problems. METR 2013-27
3/26

RR法（部分空間を用いる解法）
1. 正規直交基底を生成
2. の固有値固有ベクトルmm AVV
T
)1(0 kjzAz jjj ≤≤≈−θ（なら近似解が得られてる）
),,span( 1 mvv K
jjj zAz θ−
)(],,,[ 21 kmvvvV mm >= K
[大きい方から個の固有値を求める場合]kλλ >>L1
k
mθθ ≥≥L1 myy ,,1 K
およびを計算)1( kjyVz jmj ≤≤=
部分空間の次元が大きすぎると
2の計算が重い→リスタート（固定）
m
m
がKrylov部分空間→Lanczos法mV
が修正方程式の解→Jacobi-Davidson法mV
)0)(( T
=− jmjm yVIAV θ
0)(T
=yVfV mm0)( =xf※非線形方程式をで近似的に解く
4/26

リスタートの導入
1. 正規直交基底を生成
2. の固有値固有ベクトルmm AVV
T
)1(0 kjzAz jjj ≤≤≈−θ（なら近似解が得られてる）
)(],,,[ 21 kmvvvV mm >= K
k
mθθ ≥≥L1 myy ,,1 K
およびを計算)1( kjyVz jmj ≤≤=
3. 精度が不十分ならとして1へ],,[:],,[ 11 kk zzvv KK =
),,span( 1 mvv K
jjj zAz θ−疑問：収束する？？？
5/26

発表の流れ
リスタート付き Lanczos 法の収束定理
Sorensenの定理 (1992) を修正
収束定理の一般化
RR法における一般的な収束性を用いて証明
他のRR法の収束性解析
Davidson法，Jacobi-Davidson法，PSD法，PCG法，
LOBPCG法，有理Krylov部分空間法
6/26

Lanczos法 [Lanczos, 1950]
),,,(span),( 1
xAAxxxA m
m
−
= Kκ
xAAxx m 1
,,, −
K mvvv ,,, 21 Kに対するGram-Schmidtの直交化
],,,[ 21 mm vvvV K= に基づく射影法→ Lanczos法
Krylov部分空間
mm AVV
T
特徴：は三重対角行列





 Krylov部分空間の性質
計算量の小さい実装（CG法の漸化式）
7/26

リスタート付き Lanczos 法
特徴：三重対角行列






計算量の小さい実装（CG法の漸化式）
MATLABのeigsのデフォルトは 6,20 == km
Krylov部分空間の正規直交基底を生成
の固有値固有ベクトル)(T)( l
m
l
m AVV
)(],,[ )()(
1
)(
kmvvV l
m
ll
m >= K
およびを計算
)(T)( l
m
l
m AVV
...,2,1,0=lfor
end for
)()(
1
l
m
l
θθ ≥≥L
)()(
1 ,, l
m
l
yy K
)1()()()(
kjyVz l
j
l
m
l
j ≤≤=
)()()(
1
)1()1(
1 ],,[:],,[ ll
k
ll
k
l
Qzzvv KK =++
ある直交行列
8/26

Sorensenの収束定理 (1992)
あるが存在して，任意のに対しての副対角成分
)1(lim,lim )()(
kjxz j
l
j
l
j
l
j
l
≤≤==
∞→∞→
λθ
0>ε
特徴：は三重対角行列






)(T)( l
m
l
m AVV
)(T)( l
m
l
m AVV の首座小行列をとする．jj× )1()(
mjT l
j ≤≤
)(l
kTl
の絶対値がより大きいと仮定すると，ε
)(l
kT の副対角成分が0に近づかないと仮定
0に近づいたら減次を行えばよい
9/26

数値例










=
**
**0039.0
0039.0*
)13(
3T










=
**
**0023.0
0023.0*
)14(
3T










=
**
**0015.0
0015.0*
)15(
3T














−
−
−
−
=
21
121
121
12
A
3,2 == mk






の例
右の振る舞いは
多くの例での
副対角は0に収束
する
)(l
kT
観察：
)(l
kT
10/26

Sorensenの収束定理 (1992) 再掲
あるが存在して，任意のに対しての副対角成分
)1(lim,lim )()(
kjxz j
l
j
l
j
l
j
l
≤≤==
∞→∞→
λθ
0>ε
)(T)( l
m
l
mjT l
j ≤≤
)(l
kTl
の絶対値がより大きいと仮定すると，ε
定理の仮定は成り立つ？





多くの例での
する
)(l
kT
観察：
11/26

本研究による収束定理
)1(lim,lim )()(
kjxz j
l
j
l
j
l
j
l
≤≤==
∞→∞→
λθ
)(T)( l
m
l
mjT l
j ≤≤
),,(diaglim 1
)(
k
l
k
l
T λλ K=
∞→
が成り立ち，さらに
観察される現象が
理論保証できた！





多くの例での
する
)(l
kT
観察：
12/26

発表の流れ
13/26

リスタート付き Lanczos 法（再）
は固定していた





 km,
の固有値固有ベクトル)(T)( l
m
l
m AVV
)(],,[ )()(
1
)(
kmvvV l
m
ll
m >= K
)()(
1
l
m
l
θθ ≥≥L
)()(
1 ,, l
m
l
yy K
およびを計算)1()()()(
kjyVz l
j
l
m
l
j ≤≤=
)()()(
1
)1()1(
1 ],,[:],,[ ll
k
ll
k
l
Qzzvv KK =++
)(T)( l
m
l
m AVV
...,2,1,0=lfor
end for ある直交行列
14/26

リスタート戦略の一般化
の固有値固有ベクトル
)(T)( l
m
l
m ll
AVV
)(],,[ )()(
1
)(
ll
l
m
ll
m kmvvV ll
>= K
)()(
1
l
m
l
l
θθ ≥≥L
)()(
1 ,, l
m
l
l
yy K
およびを計算)1( 1
)()()(
+≤≤= l
l
j
l
m
l
j kjyVz l
)()()(
1
)1()1(
1 ],,[:],,[ 11
ll
k
ll
k
l
Qzzvv ll ++
=++
KK
...,2,1,0=lfor
end for
)( 1 kkl ≥+
を動的に変えて収束加速






ll km ,)(T)( l
m
l
m ll
AVV
Heuristicな戦略
ある直交行列
15/26

一般化したリスタート戦略に対する
収束定理 [本研究]
)1(lim,lim )()(
kjxz j
l
j
l
j
l
j
l
≤≤==
∞→∞→
λθ
)(T)( l
m
l
m ll
AVV の首座小行列をとする．jj× )1()(
l
l
j mjT ≤≤
),,(diaglim 1
)(
k
l
k
l
T λλ K=
∞→
が成り立ち，さらに
自然な拡張！
16/26

リスタート戦略の一般化（２）
)(T)( l
m
l
m ll
AVV
)(],,[ )()(
1
)(
lll
l
m
ll
m qpmvvV ll
+>= K
)()(
1
l
m
l
l
θθ ≥≥L
)()(
1 ,, l
m
l
l
yy K
および )1,1( 11
)()()(
llll
l
j
l
m
l
j mjqmpjyVz l
≤≤+−≤≤= ++
)()()(
1
)()(
1
)1()1(
1 ],,,,,[:],,[ 111
ll
m
l
qm
l
p
ll
k
l
Qzzzzvv llll
KKK +−
++
+++
=
...,2,1,0=lfor
end for ある直交行列
大きいほうから個，小さいほうから個もとめたい
動機：アプリケーション上，アルゴリズム上の理由
p q ):( qpk +=
17/26

一般化したリスタート戦略に対する
収束定理 [本研究]
)1(lim,lim )()(
pjxz j
l
j
l
j
l
j
l
≤≤==
∞→∞→
λθ
が成り立つ．
自然な拡張！ただし対角行列に収束するわけではない
大きいほうから個，小さいほうから個もとめるp q
Lanczos法において
)1(lim,lim )()(
qjxz jqN
l
jqm
l
jqN
l
jqm
l ll
≤≤== +−+−
∞→
+−+−
∞→
λθ
18/26

発表の流れ
19/26

リスタート付きのRR法（再掲）
k
基本性質：
ある部分空間の正規直交基底を生成
)(T)( l
m
l
m ll
AVV
)(],,[ )()(
1
)(
ll
l
m
ll
m kmvvV ll
>= K
)()(
1
l
m
l
l
θθ ≥≥L
)()(
1 ,, l
m
l
l
yy K
)()()(
+≤≤= l
l
j
l
m
l
j kjyVz l
)()()(
1
)1()1(
1 ],,[:],,[ 11
ll
k
ll
k
l
Qzzvv ll ++
=++
KK
...,2,1,0=lfor
end for
)( 1 kkl ≥+
zz
Azz
xx
Axx
l
m
NN
Vz
l
x
T
T
}span{
)(
1T
T
R
1 )(
max,max
∈∈
== ×
θλ
20/26

リスタート付き射影法の収束性
kk,θ,θD
VAV
WW
WD
l-
k
l-l
l
m
l
mll
ll
ll
×=
=







:)(diag
,
~~
:
)1()1(
1
)(
11
)(T)(
)(
22
T)(
12
)(
12
)(
11
K
0lim )(
12 =
∞→
l
l
W






0
0
Lanczos 法に限らず任意のRR法に対して成り立つ！
※Crouzeix, Philippe, Sadkane (1994) の変形版
],,,,,,[:
~ )()(
1
)1()1(
1
)( l
k
l
k
l
k
ll
m llll
vvzzV KK +
−−
=
)1()()1(
kjθθ l
j
l
j ≤≤≤−
∞→
→
l
l
m
l
m ll
VAV )(T)( ~~
)1()(
kjθ jj ≤≤≤∞
λ
対角行列
21/26

Lanczos法の収束性解析
→ ∞→ll
N
l
N VAV )(T)( ~~






0
0
Krylov部分空間の性質より
よってはの固有値は固有ベクトル
)()(
1
∞∞
>> kθθ L NN
A ×
∈R )()(
1 ,, ∞∞
kzz K
※大きい固有値への収束証明はSorensenと同様
相似変換
)(T)( l
m
l
m AVV
)(T)( l
m
l
m ll
AVV
)(],,[ )()(
1
)(
ll
l
m
ll
m kmvvV ll
>= K
)()(
1
l
m
l
l
θθ ≥≥L
)()(
1 ,, l
m
l
l
yy K
)()()(
+≤≤= l
l
j
l
m
l
j kjyVz l
)()()(
1
)1()1(
1 ],,[:],,[ 11
ll
k
ll
k
l
Qzzvv ll ++
=++
KK
...,2,1,0=lfor
end for
)( 1 kkl ≥+
ある直交行列
22/26

発表の流れ
23/26

RR法の例
Lanczos法 (1950)
Davidson法 (1975)
Jacobi-Davidson法 (Sleijpen, van der Vorst 1996)
有理Krylov部分空間法 (Rehe 1984)
Rayleigh商に対する最適化問題に帰着する解法
PSD (Preconditioned Steepest Descent) 法
PCG (Preconditioned Conjugate Gradient) 法
LOBPCG (Locally Optimal Block PCG) 法 (Knyazev
2001)
24/26

リスタート付きのRR法（再掲）
k
ある部分空間の正規直交基底を生成
)(T)( l
m
l
m ll
AVV
)(],,[ )()(
1
)(
ll
l
m
ll
m kmvvV ll
>= K
)()(
1
l
m
l
l
θθ ≥≥L
)()(
1 ,, l
m
l
l
yy K
)()()(
+≤≤= l
l
j
l
m
l
j kjyVz l
として1へ
)()()(
1
)1()1(
1 ],,[:],,[ 11
ll
k
ll
k
l
Qzzvv ll ++
=++
KK
...,2,1,0=lfor
end for
)( 1 kkl ≥+
25/26

収束定理 (C., P., S. 1994)
}{span)()( )1()()()(T)()(
1
+
+
∈−− l
m
l
i
l
i
l
i
l
m
l
m lll
VzIACVVI θ
)()(
, ∞∞
ii zθすべてのに対してはの固有対A
任意のに対して}{span )(l
ml
Vv ⊥
)0,0( 21 >> KK を満たし（正定値性），かつ
※Lanczos法はが単位行列，Davidson法は正定値対角行列
)(
,
l
ijC
0,)())(( )(
,
)(
,2
)()()(T)()(
=≤−− ∞
ij
l
ij
l
i
l
i
l
i
l
i
l
i wwAKzIACzIA θθキー不等式:
すべてのに対して，行列集合がki ,,2,1 K= K,1,0
)(
}{ =l
l
iC
2
2
)(T2
1 vKvCvvK l
i ≤≤
ki ,,2,1 K=
26/26

Aishima140714

More Related Content

What's hot

Similar to Aishima140714

Aishima140714