Akira Imakura

/ 56
周回積分型固有値解法と
その並列ソフトウェア
今倉暁
筑波大学システム情報系
2014/11/24数理人セミナー@早稲田大学
1

/ 56
大もくじ
CRESTプロジェクトの紹介
研究領域・課題
領域：「ポストペタスケール高性能計算に資するシ
ステムソフトウェア技術の創出」
課題：「ポストペタスケールに対応した階層モデル
のよる超並列固有値解析エンジンの開発」
（研究代表者：櫻井鉄也）
主な成果物
固有値解析エンジン：z-Pares、EigenExa
周回積分型固有値解法とその並列ソフトウェア
周回積分型固有値解法の概略
並列ソフトウェア
2

/ 56
はじめに：研究背景
ポストペタスケールで想定される計算機構成
 階層構造
 計算ノード/コア
 メモリーストレージ
 ネットワーク
 各種アクセラレータ
 GPU
 MIC（Many Integrated Core）
3
ハードウェアの階層性
階層的なアーキテクチャで性能を発揮するためには、
アルゴリズムに対しても高い階層性を持つことが望まれるRemark

/ 56
はじめに：プロジェクトの概要
研究プロジェクト：CREST
研究領域「ポストペタスケール高性能計算に資するシステムソフ
トウェア技術の創出」
研究課題「ポストペタスケールに対応した階層モデルのよる超並
列固有値解析エンジンの開発」（研究代表者：櫻井鉄也）
プロジェクトの目的
大規模並列のハードウェア性能を十分に引き出すことの
できる次世代型並列アルゴリズムとソフトウェアの開発
疎行列向け並列固有値解析エンジン：z-Pares
密行列向け並列固有値解析エンジン：EigenExa
高性能化基盤技術
高度利用技術
4

/ 56
はじめに：プロジェクトの概要
プロジェクトの意義
5
超並列固有値解析エンジン
z-Pares, EigenExa
疎行列向け・密行列向け固有値解析エンジンを提供することで、
各種のアプリケーションの高速化を支える

/ 56
小もくじ
はじめに
プロジェクトの進捗および構成
疎行列向け固有値解析エンジンz-Paresの概要
密行列向け固有値解析エンジンEigenExaの概要
6

/ 56
プロジェクトの進捗状況
7
H24年度、H25年度
固有値解析ソフトウェアの公開
H26年度
「京」での性能評価
と高性能化
H27年度
実アプリケーションに特化した
高性能アダプタの開発
H28年度以降
高性能固有値解析
インフラの開発
 疎行列・部分固有対：z-Pares
 密行列・全固有対：EigenExa
 「京」での性能評価
 大規模並列時のボトルネック改善
 アプリケーションからの典型的ニー
ズに対する高性能化技術の開発
 開発ソフトウェアz-Pares、EigenExaの更なる高性
能化
 階層性の深化と演算の高密度化
 通信回避
 高信頼性
 戦略分野に特化した高性能アダプタの開発・整備
→ 次年度以降の高性能固有値解析インフラの
整備につなげる
 開発した高性能固有値解析ソフトウェアを基盤とした高
性能固有値解析インフラを整備し、各種アプリケー
ションを基盤として支える高性能インフラ
の実現

/ 56
プロジェクトのグループ構成
8
疎行列向け固有値解析
エンジングループ
-- 櫻井グループ
>> 疎行列向け固有値解
法の開発
>> z-Paresの開発
-- 張グループ
>> 疎行列向け固有値解
法およびその基盤技
術の開発
密行列向け固有値解析
エンジングループ
-- 今村グループ
>> 密行列向け固有値解
法の開発
>> EigenExaの開発
-- 山本グループ
>> 密行列向け固有値解
法およびその基盤技
術の開発
アプリケーショングループ
-- 藏増グループ
>> 基礎科学分野における固有値解析エンジンの高度利用技術の開発
-- 星グループ
>> 物質科学分野における固有値解析エンジンの高度利用技術の開発

/ 56
プロジェクトの主なグループメンバー
疎行列グループ
櫻井グループ
– 櫻井鉄也、多田野寛人、今倉暁、二村保徳（筑波
大）、池上努（産総研）、中務佑治（東大）
張グループ
– 張紹良（名大）、曽我部知広（愛知県立大）、
宮田考史（名大）
密行列グループ
今村グループ
– 今村俊幸、深谷猛、廣田悠輔（理研 AICS）
山本グループ
– 山本有作（電気通信大）
9

/ 56
プロジェクトの主なグループメンバー
アプリケーショングループ
星グループ
– 星健夫、井町宏人（鳥取大）
藏増グループ
– 藏増嘉伸（筑波大、理研 AICS）、石川健一
（広島大）、中村宜文（理研 AICS）
10

/ 56
z-Paresの概要
疎行列向け固有値解析エンジン：z-Pares
対象とする問題設定
標準/一般化固有値問題、実/複素、対称/非対称
部分固有対（数個～10%程度）
内部固有値問題（任意領域）
基本アルゴリズム
周回積分型固有値解法：
– Block SS-RR法、Block SS-Hankel法
– （一部）パラメータ自動設定付き
11

/ 56
z-Paresの概要
並列化構造：3段階の階層性
積分領域、数値積分、線形方程式
12
Top layer
Middle layer
Bottom layer
周回積分型固有値解法の階層性ハードウェアの階層性
アルゴリズムの階層性に併せて計算リソースを割り当てる
→ ノード間通信性能を改善
周回積分に基づき
指定領域内部の固有対を抽出
各積分点での計算は
独立した線形方程式の求解

/ 56
z-Paresの概要
z-Pares開発・リリース状況
2013.12 ：ver. 0.9.3 リリース
2014.7 ：ver. 0.9.5 リリース
2014.9 ：ver. 0.9.6 リリース
主たる成果
企業の振動解析における大規模問題を高速化
今後の展開
電子構造計算の各種アプリで性能を発揮する計算
カーネルの開発と性能評価
– RSDFT
– CONQUEST
– ETH-CSCSの電子構造計算コード
13

/ 56
EigenExaの概要
密行列向け固有値解析エンジン：EigenExa
対象とする問題設定
標準固有値問題、実、対称
全固有対を計算
基本アルゴリズム
3重対角行列を経由しない新1stepアルゴリズム
– Householder法による帯行列化
– 帯行列向け分割統治法
14

/ 56
EigenExaの概要
アルゴリズムの概要
15
A B
T
real symmetric banded eigenpairs of B eigenpairs of A
tridiagonal eigenpairs of T 高性能実装が困難
メモリバンド幅律速
1-step scheme
(ScaLAPACK)
2-step scheme
(ELPA, DPLASMA)
new 1-step scheme
(EigenExa)

/ 56
EigenExaの概要
EigenExa開発・リリース状況
2013.8 ：ver. 1.0 リリース
2013.12 ：ver. 2.0 リリース
※三重対角化版（eigen_s）を提供
主たる成果
京のフルノードを用いた100万次元の実対称密行列の
固有値計算（全固有対計算を1時間弱で実現）
データ同化（理研の三好Tとの共同研究）での利用
今後の展開
計算式の変形による通信回避技術の導入
京以外のシステムでの性能評価
（JulichのBlueGene/Q)
16

/ 56
大もくじ
CRESTプロジェクトの紹介
研究領域「ポストペタスケール高性能計算に資するシス
テムソフトウェア技術の創出」
研究課題「ポストペタスケールに対応した階層モデルの
よる超並列固有値解析エンジンの開発」
（研究代表者：櫻井鉄也）
周回積分型固有値解法とその並列ソフトウェア
周回積分型固有値解法の概略
並列ソフトウェア
17

/ 56
はじめに
対象とする問題
（特定領域の固有値を求める）一般化固有値問題：
Re
Im
18
Ω内部の固有値数をとする
固有対
を求めたい

/ 56
はじめに
対象とする数値解法
周回積分型固有値解法：SS-RR法 [Sakurai&Sugiura:2003]
周回積分により対象の固有ベクトル成分を取り出す
関連解法
(block) SS-Hankel法
[Sakurai&Sugiura:2003,Ikegami et al.:2010]
(block) SS-RR法
[Sakurai&Tadano:2007,Ikegami&Sakurai:2010]
FEAST法 [Polizzi:2009]
block SS-Arnoldi法 [I,Du&Sakurai:2013]
Beyn法 [Beyn:2012] （非線形固有値問題向け）
19

/ 56
はじめに
本講演の目的
周回積分型固有値解法の概略を示す
block SS-RR法
block SS-Hankel法
階層型並列固有値解析ソフトウェアを紹介する
SSEIG
CISS
z-Pares
超並列環境での実用化するための関連技術を紹介
耐故障性
20

/ 56
小もくじ
はじめに
一般化固有値問題に対する周回積分型固有値解法
階層型並列固有値解析ソフトウェア
超並列環境での実用化するための関連技術
まとめ
21

/ 56
周回積分型固有値解法の概略
基本的アイディア [Sakurai&Sugiura:2003]
一般化固有値問題の固有値を極に持つ有理関数
の領域Ω内の極をCauchyの積分公式
に基づく手法により計算する.ここで, ΓはJordan閉曲線
（Ωの境界）
22

/ 56
関数の領域Γ内部の極の計算 [Kravanja,Sakurai&van Barel:1999]
複素モーメント：
正則関数の領域Γ内部の極はHankel行列
を係数にもつ（小規模）一般化固有値問題
を解くことで得られる.
23

/ 56
関連解法
原著論文とその改良法
その他の関連解法
FEAST eigensolver [Polizzi:2009]
Beyn法（非線形） [Beyn:2012]
24
（原著論文）
[Sakurai&Sugiura:2003]
ブロック化に基づく
高安定化
[Ikegami et.al.:2010]
RR法に基づく
高精度化
[Sakurai&Tadano:2007]
ブロック化＋ RR法
（SS-RR法）
[Ikegami&Sakurai:2010]
Arnoldi法に基づく
新解釈・新解法
（SS-Arnoldi法）
[I,Du&Sakurai:2014]

/ 56
SS-Hankel法
複素モーメント（）
Hankel一般化固有値問題（サイズ：M x M）
block SS-Hankel法の概略
25

/ 56
block SS-Hankel法
block複素モーメント（）
block Hankel一般化固有値問題（サイズ：LM x LM）
26

/ 56
アルゴリズム
block複素モーメント（）
block Hankel一般化固有値問題（サイズ：LM x LM）
27

/ 56
実用上の工夫
block Hankel行列の低ランク近似：
標準固有値問題（サイズ：d x d, m < d ≦ LM）
28
対象の一般化固有値問題はblock Hankel行列から得られる標準
固有値問題に帰着される

/ 56
block SS-Hankel法 [Ikegami et al.:2010]
アルゴリズム
29
Algorithm: block SS-Hankel
1. Compute basis vectors:
2. Construct block Hessenberg matrices
3. Compute low-rank approx. of :
4. Solve
and set

/ 56
block SS-RR法の概略
基本戦略：以下の定理に基づきRRの技法を利用
定理が意味すること
周回積分により対象の固有ベクトルで張られる部分空間
が生成される
→ Rayleigh-Ritzの技法により対象の固有対が計算できる
30
Theorem 3
対象の固有値数がを満たし, また入力行列
ががフルランクとなる行列であるとする. この時, 以
下が成り立つ.

/ 56
アルゴリズム
射影条件：
Ritz-Galerkin条件：
実用上の工夫
基底の低ランク近似：
一般化固有値問題（サイズ：d x d, m ≦ d ≦ LM）
31
対象の一般化固有値問題は一般化固有値問題に帰着される

/ 56
block SS-RR法 [Ikegami&Sakurai:2010]
アルゴリズム
32
Algorithm: block SS-RR
1. Compute basis vectors:
2. Compute low-rank approx. of :
4. Solve
and set

/ 56
並列固有値解析ソフトウェア
周回積分型固有値解法のアルゴリズムの流れ
１：積分点毎の線形方程式の求解
２：積分計算
３：行列の特異値分解、小規模固有値問題の求解
周回積分型固有値解法の階層的並列性
計算コストの主要部（線形方程式の求解）に対し、
3階層の並列性を持つ
積分領域：複数の積分領域を並列に計算
数値積分：積分点毎の計算を並列に計算
線形方程式：線形方程式を並列計算
33

/ 56
周回積分型固有値解法の階層的並列性
計算コストの主要部に対する3階層の並列性を持つ
積分領域、数値積分、線形方程式
34
Top layer
Middle layer
Bottom layer
周回積分型固有値解法の階層性ハードウェアの階層性
アルゴリズムの階層性に併せて計算リソースを割り当てる
→ ノード間通信性能を改善
周回積分に基づき
指定領域内部の固有対を抽出
各積分点での計算は
独立した線形方程式の求解

/ 56
関連ソフトウェアとの比較
35
A B
部分空間
PARPACK
S
複数線形方程式を逐次に求解
固有対
係数行列
逐次演算であるため、
並列化が困難
複数ブロック線形方程式を独立に求解
FEAST
演算量が多い
階層型アルゴリズムにより
ノード間演算コストを削減複数線形方程式を独立に求解
z-Pares
高次モーメントを利用

/ 56
公開済みソフトウェア
SSEIG (MATLAB)
– 周回積分型固有値解法の有効性検証のための利用
を想定
CISS (SLEPc)
– 分散並列環境での利用を想定
z-Pares (Fortran90・MPI)
– 大規模分散並列環境での利用を想定
公開ポリシー：フリー
Web：http://zpares.cs.tsukuba.ac.jp/
36

/ 56
SSEIG
概要
目的：周回積分型固有値解法の有効性検証用
動作環境：MATLAB
並列化：逐次版（MATLABの自動並列は有効）
機能・仕様
対象固有値問題：実/複素・標準/一般化・密/疎
数値積分：楕円・N点台形則
線形方程式の求解：LU分解
37

/ 56
SSEIGの実行例
テスト行列
– 複素非エルミート一般化固有値問題
» MHD1280（電磁気問題）, n = 1280
領域・パラメータ
– 中心：-0.1+0.6i, 半径：0.2の円
– L=16, M=8, N=32
38

/ 56
CISS
概要
目的：周回積分型固有値解法を分散並列環境で利用
動作環境：SLEPc・PETSc
並列化：全ての階層の分散並列化に対応
機能・仕様
数値積分：楕円・N点台形則
線形方程式の求解：PETScのライブラリから選択可能
行列の格納形式：PETScの行列格納形式に準拠
39

/ 56
40
PETSc
Portable, Extensible Toolkit
for Scientific Computation
PETSc・SLEPcの組み込みソフトウェア
SLEPc
Scalable Library for Eigenvalue
Problem Computations

/ 56
z-Pares
概要
目的：周回積分型解法を大規模分散並列環境で利用
動作環境：Fortran90、MPI
並列化：全ての階層の分散並列化に対応
機能・仕様
数値積分：楕円・N点台形則・その他
線形方程式の求解：
– Krylov部分空間法・疎行列向け直接法・その他
行列の格納形式：ユーザー定義
41

/ 56
z-Paresのデータ構造
疎行列向けソフトウェアではアプリケーション毎に異な
るデータ分散形式に対応することが必要
z-Paresでは, 線形方程式の求解および行列ベクトル積
において異なるデータ分散形式に対する対応を考える必
要がある
z-Paresでは行列やベクトルのデータ分散形式に自由度
与えるReverse communication interface (RCI)を採用
42

/ 56
RCI
線形方程式の求解や行列ベクトル積などのデータ分散に
依存する計算が必要になる度にユーザーに制御を戻す
ユーザー自身が線形方程式の求解や行列ベクトル積
のコードを作成する
特定の分散データ構造に対しては, z-Pares側で高速
なルーチンを用意する
ユーザーは終了サインが出るまでwhile文で何度も
z-Paresのサブルーチンを呼び出す
ARPACK(1996)やFEAST(2009), BLOSS(2012)という固有値
解法パッケージに採用されている
43

/ 56
program user_code
use zpares
!＜中略＞
! 初期化
task = ZPARES_TASK_INIT
do while ( task /= ZPARES_TASK_FINISH )
! 固有値解析エンジン呼び出し
call zpares(task, work1, work2, …)
! taskにユーザーコード側の処理が指定される
if ( task == ZPARES_TASK_MATVEC )
! ユーザーの行列ベクトル積ルーチン呼び出し
call user_matvec(work1, work2)
else if ( task == ZPARES_TASK_SOLVE)
! ユーザーの線形ソルバルーチン呼び出し
call user_solver(work1, work2)
end if
end do
RCI
44

/ 56
z-Paresの（簡易的な）実行例 I
テスト行列
実対称・一般化固有値問題
– VCNT9000(ELSES Matrix Library)
– n=9,000, Nnz=3,464,136
領域・パラメータ
中心：-0.55, 半径：0.04, 半径比：0.1の楕円
L=32, M=16, N=32
線形方程式：MUMPUS
プロセス数：1, 2, 4, 8, 16（中位階層のみ並列化）
計算機環境
「京」, 1プロセス/1ノード
45

/ 56
z-Paresの（簡易的な）実行結果 I
並列性能
46
0
10
20
30
40
50
60
1 2 4 8 16
misc Mult B
Mult A Small diag
Orth Solve
Fact
Elapsedtime[sec]
Number of Nodes

/ 56
z-Paresの（簡易的な）実行結果 I
相対残差ノルム
47
eigenvalue
Relativeresidualnorm

/ 56
z-Paresの（簡易的な）実行例 II
テスト行列
複素エルミート・一般化固有値問題
– VCNT10800h(ELSES Matrix Library)
– n=10,800, Nnz=8,511,588
領域・パラメータ
中心：-0.55, 半径：0.07, 半径比：0.1の楕円
L=32, M=16, N=32
線形方程式：MUMPUS
プロセス数：1, 2, 4, 8, 16（中位階層のみ並列化）
計算機環境
「京」, 1プロセス/1ノード
48

/ 56
z-Paresの（簡易的な）実行結果 II
並列性能
49
Elapsedtime[sec]
Number of Nodes
0
20
40
60
80
100
120
140
160
180
1 2 4 8 16
misc Mult B
Mult A Small diag
Orth Solve
Fact

/ 56
z-Paresの（簡易的な）実行結果 II
相対残差ノルム
50
eigenvalue
Relativeresidualnorm

/ 56
block SS-RR法の誤差解析
定理の意味
各固有対の残差ノルム（みたいなもの）は,
との比で抑えられる
部分空間サイズLMを大きく取れば対象の固有対は高精度
で得られる
周回積分型固有値解法の誤差解析
51
Theorem：故障（誤差）なしの場合
（定数）

/ 56
フィルター関数
（領域Ω：単位円）
52
領域内部
領域外部（遠方）

/ 56
block SS-RR法の誤差解析
定理の意味
各固有対の残差ノルム（みたいなもの）は,
との比で抑えられる
故障により部分空間サイズが縮小される（ような効果）
部分空間サイズを大きくとっておけばほぼ影響しない
53
Theorem：故障発生時（誤差混入時）の解析
（定数）

/ 56
54
数値実験（故障なし）

Ω：単位円-> m=10, 外部近接固有値=1.01


/ 56
55
数値実験（故障発生時）

Ω：単位円-> m=10, 外部近接固有値=1.01


/ 56
まとめ
本講演では, 一般化固有値問題に対する周回積分型
固有値解法のアルゴリズムおよびその並列ソフト
ウェアを紹介した
SSEIG：お試し用（MATLAB）
CISS：分散並列用（PETSc）
z-Pares：大規模分散並列用（Fortran90、MPI）
これらのソフトウェアはwebで公開されている
（z-Paresは2013年12月末公開予定）
http://zpares.cs.tsukuba.ac.jp/
56

Akira Imakura

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (8)

Similar to Akira Imakura

Similar to Akira Imakura (20)

More from Suurist

More from Suurist (12)

Akira Imakura