Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Aishima140714

9,609 views

Published on

Published in: Art & Photos
  • Be the first to comment

Aishima140714

  1. 1. 対称固有値問題に対するリスタート付きの Rayleigh-Ritzの技法の収束性について 東京大学大学院 情報理工学系研究科 数理情報学専攻 相島 健助 2014.7.14 1/26
  2. 2. 対称固有値問題とその数値解法 NN jjj AxAx × ∈= R,λ 対称行列 典型的解法:QR法(全固有値を計算) Nλλ >>L1 :固有値 Nxx ,,1 K :固有ベクトル Rayleigh-Ritz の技法(RR法)の枠組み に属する(いわゆる射影法) Lanczos法(一部の固有値を高速に) 2/26
  3. 3. 対称固有値問題に対するRR法 Lanczos 法 [Lanczos, 1950] 大きい方からいくつかの固有値を高速に求める 射影する部分空間をべき乗法で生成(Krylov部分空間) 非対称用のArnoldi法,Bi-Lanczos法に拡張される 他のRR法:Davidson法,Jacobi-Davidson法,PSD法, PCG法,LOBPCG,有理Krylov部分空間法 本研究:リスタート付きLanczos法の収束を理論保証 Aishima, K.: Global convergence of the restarted Lanczos method and Jacobi-Davidson method for symmetric eigenvalue problems. METR 2013-27 3/26
  4. 4. RR法 (部分空間を用いる解法) 1. 正規直交基底を生成 2. の固有値 固有ベクトルmm AVV T )1(0 kjzAz jjj ≤≤≈−θ( なら近似解が得られてる) ),,span( 1 mvv K jjj zAz θ− )(],,,[ 21 kmvvvV mm >= K [大きい方から 個の固有値 を求める場合]kλλ >>L1 k mθθ ≥≥L1 myy ,,1 K および を計算)1( kjyVz jmj ≤≤= 部分空間の次元 が大きすぎると 2の計算が重い→リスタート( 固定) m m がKrylov部分空間→Lanczos法mV が修正方程式の解→Jacobi-Davidson法mV )0)(( T =− jmjm yVIAV θ 0)(T =yVfV mm0)( =xf※非線形方程式 を で近似的に解く 4/26
  5. 5. リスタートの導入 1. 正規直交基底を生成 2. の固有値 固有ベクトルmm AVV T )1(0 kjzAz jjj ≤≤≈−θ( なら近似解が得られてる) )(],,,[ 21 kmvvvV mm >= K [大きい方から 個の固有値 を求める場合]kλλ >>L1 k mθθ ≥≥L1 myy ,,1 K および を計算)1( kjyVz jmj ≤≤= 3. 精度が不十分なら として1へ],,[:],,[ 11 kk zzvv KK = ),,span( 1 mvv K jjj zAz θ−疑問:収束する??? 5/26
  6. 6. 発表の流れ リスタート付き Lanczos 法の収束定理 Sorensenの定理 (1992) を修正 収束定理の一般化 RR法における一般的な収束性を用いて証明 他のRR法の収束性解析 Davidson法,Jacobi-Davidson法,PSD法,PCG法, LOBPCG法,有理Krylov部分空間法 6/26
  7. 7. Lanczos法 [Lanczos, 1950] ),,,(span),( 1 xAAxxxA m m − = Kκ xAAxx m 1 ,,, − K mvvv ,,, 21 Kに対するGram-Schmidtの直交化 ],,,[ 21 mm vvvV K= に基づく射影法→ Lanczos法 Krylov部分空間 mm AVV T 特徴: は三重対角行列       Krylov部分空間の性質 計算量の小さい実装(CG法の漸化式) 7/26
  8. 8. リスタート付き Lanczos 法 特徴: 三重対角行列       計算量の小さい実装(CG法の漸化式) MATLABのeigsのデフォルトは 6,20 == km Krylov部分空間の正規直交基底を生成 の固有値 固有ベクトル)(T)( l m l m AVV )(],,[ )()( 1 )( kmvvV l m ll m >= K および を計算 )(T)( l m l m AVV ...,2,1,0=lfor end for )()( 1 l m l θθ ≥≥L )()( 1 ,, l m l yy K )1()()()( kjyVz l j l m l j ≤≤= )()()( 1 )1()1( 1 ],,[:],,[ ll k ll k l Qzzvv KK =++ ある直交行列 8/26
  9. 9. Sorensenの収束定理 (1992) ある が存在して,任意の に対して の副対角成分 )1(lim,lim )()( kjxz j l j l j l j l ≤≤== ∞→∞→ λθ 0>ε 特徴: は三重対角行列       )(T)( l m l m AVV )(T)( l m l m AVV の 首座小行列を とする.jj× )1()( mjT l j ≤≤ )(l kTl の絶対値が より大きいと仮定すると,ε )(l kT の副対角成分が0に近づかないと仮定 0に近づいたら減次を行えばよい 9/26
  10. 10. 数値例           = ** **0039.0 0039.0* )13( 3T           = ** **0023.0 0023.0* )14( 3T           = ** **0015.0 0015.0* )15( 3T               − − − − = 21 121 121 12 A 3,2 == mk       の例 右の振る舞いは 多くの例で の 副対角は0に収束 する )(l kT 観察: )(l kT 10/26
  11. 11. Sorensenの収束定理 (1992) 再掲 ある が存在して,任意の に対して の副対角成分 )1(lim,lim )()( kjxz j l j l j l j l ≤≤== ∞→∞→ λθ 0>ε )(T)( l m l m AVV の 首座小行列を とする.jj× )1()( mjT l j ≤≤ )(l kTl の絶対値が より大きいと仮定すると,ε 定理の仮定は成り立つ?      多くの例で の 副対角は0に収束 する )(l kT 観察: 11/26
  12. 12. 本研究による収束定理 )1(lim,lim )()( kjxz j l j l j l j l ≤≤== ∞→∞→ λθ )(T)( l m l m AVV の 首座小行列を とする.jj× )1()( mjT l j ≤≤ ),,(diaglim 1 )( k l k l T λλ K= ∞→ が成り立ち,さらに 観察される現象が 理論保証できた!      多くの例で の 副対角は0に収束 する )(l kT 観察: 12/26
  13. 13. 発表の流れ リスタート付き Lanczos 法の収束定理 Sorensenの定理 (1992) を修正 収束定理の一般化 RR法における一般的な収束性を用いて証明 他のRR法の収束性解析 Davidson法,Jacobi-Davidson法,PSD法,PCG法, LOBPCG法,有理Krylov部分空間法 13/26
  14. 14. リスタート付き Lanczos 法(再) は固定していた       km, Krylov部分空間の正規直交基底を生成 の固有値 固有ベクトル)(T)( l m l m AVV )(],,[ )()( 1 )( kmvvV l m ll m >= K )()( 1 l m l θθ ≥≥L )()( 1 ,, l m l yy K および を計算)1()()()( kjyVz l j l m l j ≤≤= )()()( 1 )1()1( 1 ],,[:],,[ ll k ll k l Qzzvv KK =++ )(T)( l m l m AVV ...,2,1,0=lfor end for ある直交行列 14/26
  15. 15. リスタート戦略の一般化 Krylov部分空間の正規直交基底を生成 の固有値 固有ベクトル )(T)( l m l m ll AVV )(],,[ )()( 1 )( ll l m ll m kmvvV ll >= K )()( 1 l m l l θθ ≥≥L )()( 1 ,, l m l l yy K および を計算)1( 1 )()()( +≤≤= l l j l m l j kjyVz l )()()( 1 )1()1( 1 ],,[:],,[ 11 ll k ll k l Qzzvv ll ++ =++ KK ...,2,1,0=lfor end for )( 1 kkl ≥+ を動的に変えて収束加速       ll km ,)(T)( l m l m ll AVV Heuristicな戦略 ある直交行列 15/26
  16. 16. 一般化したリスタート戦略に対する 収束定理 [本研究] )1(lim,lim )()( kjxz j l j l j l j l ≤≤== ∞→∞→ λθ )(T)( l m l m ll AVV の 首座小行列を とする.jj× )1()( l l j mjT ≤≤ ),,(diaglim 1 )( k l k l T λλ K= ∞→ が成り立ち,さらに 自然な拡張! 16/26
  17. 17. リスタート戦略の一般化(2) Krylov部分空間の正規直交基底を生成 の固有値 固有ベクトル )(T)( l m l m ll AVV )(],,[ )()( 1 )( lll l m ll m qpmvvV ll +>= K )()( 1 l m l l θθ ≥≥L )()( 1 ,, l m l l yy K および )1,1( 11 )()()( llll l j l m l j mjqmpjyVz l ≤≤+−≤≤= ++ )()()( 1 )()( 1 )1()1( 1 ],,,,,[:],,[ 111 ll m l qm l p ll k l Qzzzzvv llll KKK +− ++ +++ = ...,2,1,0=lfor end for ある直交行列 大きいほうから 個,小さいほうから 個もとめたい 動機:アプリケーション上,アルゴリズム上の理由 p q ):( qpk += 17/26
  18. 18. 一般化したリスタート戦略に対する 収束定理 [本研究] )1(lim,lim )()( pjxz j l j l j l j l ≤≤== ∞→∞→ λθ が成り立つ. 自然な拡張!ただし対角行列に収束するわけではない 大きいほうから 個,小さいほうから 個もとめるp q Lanczos法において )1(lim,lim )()( qjxz jqN l jqm l jqN l jqm l ll ≤≤== +−+− ∞→ +−+− ∞→ λθ 18/26
  19. 19. 発表の流れ リスタート付き Lanczos 法の収束定理 Sorensenの定理 (1992) を修正 収束定理の一般化 RR法における一般的な収束性を用いて証明 他のRR法の収束性解析 Davidson法,Jacobi-Davidson法,PSD法,PCG法, LOBPCG法,有理Krylov部分空間法 19/26
  20. 20. リスタート付きのRR法(再掲) [大きい方から 個の固有値 を求める場合]kλλ >>L1 k 基本性質: ある部分空間の正規直交基底を生成 の固有値 固有ベクトル )(T)( l m l m ll AVV )(],,[ )()( 1 )( ll l m ll m kmvvV ll >= K )()( 1 l m l l θθ ≥≥L )()( 1 ,, l m l l yy K および を計算)1( 1 )()()( +≤≤= l l j l m l j kjyVz l )()()( 1 )1()1( 1 ],,[:],,[ 11 ll k ll k l Qzzvv ll ++ =++ KK ...,2,1,0=lfor end for )( 1 kkl ≥+ zz Azz xx Axx l m NN Vz l x T T }span{ )( 1T T R 1 )( max,max ∈∈ == × θλ 20/26
  21. 21. リスタート付き射影法の収束性 kk,θ,θD VAV WW WD l- k l-l l m l mll ll ll ×= =        :)(diag , ~~ : )1()1( 1 )( 11 )(T)( )( 22 T)( 12 )( 12 )( 11 K 0lim )( 12 = ∞→ l l W       0 0 Lanczos 法に限らず任意のRR法に対して成り立つ! ※Crouzeix, Philippe, Sadkane (1994) の変形版 ],,,,,,[: ~ )()( 1 )1()1( 1 )( l k l k l k ll m llll vvzzV KK + −− = )1()()1( kjθθ l j l j ≤≤≤− ∞→ → l l m l m ll VAV )(T)( ~~ )1()( kjθ jj ≤≤≤∞ λ 対角行列 21/26
  22. 22. Lanczos法の収束性解析 → ∞→ll N l N VAV )(T)( ~~       0 0 Krylov部分空間の性質より よって は の固有値 は固有ベクトル )()( 1 ∞∞ >> kθθ L NN A × ∈R )()( 1 ,, ∞∞ kzz K ※大きい固有値への収束証明はSorensenと同様 相似変換 )(T)( l m l m AVV Krylov部分空間の正規直交基底を生成 の固有値 固有ベクトル )(T)( l m l m ll AVV )(],,[ )()( 1 )( ll l m ll m kmvvV ll >= K )()( 1 l m l l θθ ≥≥L )()( 1 ,, l m l l yy K および を計算)1( 1 )()()( +≤≤= l l j l m l j kjyVz l )()()( 1 )1()1( 1 ],,[:],,[ 11 ll k ll k l Qzzvv ll ++ =++ KK ...,2,1,0=lfor end for )( 1 kkl ≥+ ある直交行列 22/26
  23. 23. 発表の流れ リスタート付き Lanczos 法の収束定理 Sorensenの定理 (1992) を修正 収束定理の一般化 RR法における一般的な収束性を用いて証明 他のRR法の収束性解析 Davidson法,Jacobi-Davidson法,PSD法,PCG法, LOBPCG法,有理Krylov部分空間法 23/26
  24. 24. RR法の例 Lanczos法 (1950) Davidson法 (1975) Jacobi-Davidson法 (Sleijpen, van der Vorst 1996) 有理Krylov部分空間法 (Rehe 1984) Rayleigh商に対する最適化問題に帰着する解法 PSD (Preconditioned Steepest Descent) 法 PCG (Preconditioned Conjugate Gradient) 法 LOBPCG (Locally Optimal Block PCG) 法 (Knyazev 2001) 24/26
  25. 25. リスタート付きのRR法(再掲) [大きい方から 個の固有値 を求める場合]kλλ >>L1 k ある部分空間の正規直交基底を生成 の固有値 固有ベクトル )(T)( l m l m ll AVV )(],,[ )()( 1 )( ll l m ll m kmvvV ll >= K )()( 1 l m l l θθ ≥≥L )()( 1 ,, l m l l yy K および を計算)1( 1 )()()( +≤≤= l l j l m l j kjyVz l として1へ )()()( 1 )1()1( 1 ],,[:],,[ 11 ll k ll k l Qzzvv ll ++ =++ KK ...,2,1,0=lfor end for )( 1 kkl ≥+ 25/26
  26. 26. 収束定理 (C., P., S. 1994) }{span)()( )1()()()(T)()( 1 + + ∈−− l m l i l i l i l m l m lll VzIACVVI θ )()( , ∞∞ ii zθすべての に対して は の固有対A 任意の に対して}{span )(l ml Vv ⊥ )0,0( 21 >> KK を満たし(正定値性),かつ ※Lanczos法は が単位行列,Davidson法は正定値対角行列 )( , l ijC 0,)())(( )( , )( ,2 )()()(T)()( =≤−− ∞ ij l ij l i l i l i l i l i wwAKzIACzIA θθキー不等式: すべての に対して,行列集合 がki ,,2,1 K= K,1,0 )( }{ =l l iC 2 2 )(T2 1 vKvCvvK l i ≤≤ ki ,,2,1 K= 26/26

×