More Related Content
Similar to ADVENTUREの他のモジュール・関連プロジェクトの紹介
Similar to ADVENTUREの他のモジュール・関連プロジェクトの紹介 (13)
More from ADVENTURE Project
More from ADVENTURE Project (20)
ADVENTUREの他のモジュール・関連プロジェクトの紹介
- 1. http://adventure.sys.t.u-tokyo.ac.jp e-mail: adv-info@save.sys.t.u-tokyo.ac.jp ADVENTUREの他のモジュール・関連 プロジェクトの紹介 吉村 忍 ADVENTUREプロジェクトリーダー 東京大学大学院工学系研究科システム創成学専攻 http://save.sys.t.u-tokyo.ac.jp e-mail: yoshi@sys.t.u-tokyo.ac.jp 第８回ADVENTURE定期セミナー（2013.5.28） 1
- 2. ADVENTUREプロジェクトの経緯(1) 1997.8-2002.3 日本学術振興会 未来開拓学術研究推進事業「計算科学」分野 「設計用大規模計算力学システムの開発」プロジェクト 2002.4-現在 オープンソースCAEソフトウエア開発プロジェクト（ADVENTUREシステム） 2002.7-2012 日本原子力機構 システム計算科学センターとの協力研究 「ADVENTUREシステムのITBLシステムのコミュニティーソフトウエア化」 2002.12-2008.9 地球シミュレータへの展開 「バーチャル実証試験のための次世代計算固体力学シミュレータの開発」 2009.4-2013.3 地球シミュレータ２への展開 「安全・安心な持続可能社会のための次世代計算破壊力学シミュレータの開発」 2005.7-2008.3 文科省革新的シミュレーションソフト開発プロジェクト 「革新的連成シミュレーションシステム」への展開 2008.10-2013.3 文科省イノベーション基盤シミュレーションソフト開発プロジェクト 「マルチ力学解析システム」への展開 ⇒ REVOCAPファミリー（Coupler, Mesh, Visual, Magnetic） 2
- 4. ADVENTUREシステムの特徴 (1) 数百～数十億自由度メッシュによる丸ごと解析 (2) 数千～数万プロセッサの超並列計算機環境でも高い並列効率 (3) 優れた移植性 : 単一プロセッサ, PCクラスター, 超並列計算機（京など）, 2005.3.10 Windows版公開(登録ユーザー数3,510人) (4) ライセンスフリー / オープンソース : 登録ユーザー数7,624人 ダウンロードされたモジュール数37,947本 商用バージョン ADVENTUREcluster（アライドエンジニアリング) ⇒ IEEE/ACM SC2006 Gordon Bell Award finalist 2008年日本機械学会賞（技術） 2009年科学技術分野の文部科学大臣表彰・科学技術賞 2013年日本計算工学会技術賞 (5) 拡張性と保守性 :モジュール構造とIOの標準化、Commodity技術 4
- 5. ADVENTUREシステムのモジュール構造 （22 モジュール） http://adventure.sys.t.u-tokyo.ac.jp ユーティリティ : ADV_iAgent ADV_Material ADV_FEMAPtool ADV_DecisionMaker ADV_CAD 商用CAD ADV_TriPatch ADV_TetMesh ADV_BCtool ADV_Metis ADV_Solid / ADV_Forge / ADV_Impact /ADV_sFlow ADV_Thermal / ADV_Fluid / ADV_Magnetic / ADV_Coupler ADV_POSTtool ADV_IO ADV_Opt/ADV_Shape withADV_Auto 5
- 6. ADVENTURE2（2012.8より無料公開）の主要Ｒ＆Ｄ項目 （１） ADVENTURE_Solid ver.2開発 ・材料非線形解析機能（金属材料、コンクリート・地盤） ・大規模アセンブリ構造対応（MPC・要素混在） ・マルチコア／京コンピュータ向け性能チューニング （２） ADVENTURE_Metis ver.2開発 ・数100億自由度のメッシュの階層型領域分割データ作成 （３） ADVENTURE_Coupler ver.1開発 ・分離反復法による双方向連成解析ツール （流体構造連成、磁場構造連成） （４） ADVENTURE_BCtool ver.2開発 ・解析モデル作成支援（MPC、連成解析等） （５） ADVENTURE_POSTtool ver.1開発 ・大規模並列可視化（オンライン、オフライン、ウォークスルー） 6
- 10. 100億自由度の階層型領域分割メッシュ Original mesh 1000万頂点 (2億DOF) メッシュ細分割1回 7100万頂点 (16億DOF) メッシュ細分割2回 5億4000万頂点 (125億DOF) Original mesh 10
- 11. 100億自由度の階層型領域分割メッシュ 計算機環境 東大T2K： 256 cores (2.3 GHz), 32 GB/16cores Model 頂点数 (2次要素のDOF) parts subdomains Total time Total file size BWR+建屋 (メッシュ細分割2回) 5.4億 (125億) 8192 82万 (8192x100) 1340sec (22min) 458GB 11
- 17. 連成解析法の分類２ 一括型解法（Monolithic Approach） 強連成 連成系全体を一括して解く Strong Coupling 分離型解法（Partitioned Approach） 各物理現象を独立に解く 境界面での条件を満たすよう工夫 反復計算により、境界面の条件をほぼ陰的に満たす ⇒ （準）強連成 反復計算を行わず、境界面の条件を陽にしか満たさない ⇒ 弱連成 17
- 18. 変形 圧力 流体・構造連成（FSI: Fluid-Structure Interaction） )(tFUKUCUM SSSSSSS )(tFUK fff 0nσnσ ssff t s sf d uu連続条件 平衡条件 流体解析 構造解析 18
- 19. 流体解析 流体解析 時刻 t 時刻 t+Δt 構造解析 構造解析 圧力 圧力 t p tt p 分離型連成解析法の分類 片方向連成（流体 → 構造）／Off-line vs. On-line 多段遠心ポンプの流体誘起固体伝播音の高精度計算法と騒音発生機構の解明、 日本機械学会論文集C編、Vol.72, No.719, pp.2065-2072, (2006.7) （姜玉雁、吉村忍、今井隆太、桂裕之、吉田哲也、加藤千幸） 19
- 20. 流体解析 流体解析 時刻 t 時刻 t+Δt 構造解析 構造解析 構造予測子 構造予測子 圧力 圧力 変位 tt d ttttt dtdtdd 2 )( 2 1 t p tt p 分離型連成解析法の分類 双方向連成（流体 → 構造）：単純互い違い法の場合 Simple Staggered Method 20
- 21. )1()()( )1( ititit ddd 流体解析 流体解析 時刻 t 時刻 t+Δt 構造解析 構造解析 圧力 圧力 変位 )(it d )1( it p )1( itt p 変位 )(itt d 反復計算 分離型連成解析法の分類 双方向連成（流体 ⇔ 構造）：分離反復法の場合 (1) Line Search Partitioned Approach for Fluid-Structure Interaction Analysis of Flapping Wing, Computer Modeling in Engineering and Sciences, Vol.24, No.1, pp.51-60, (2008) (Tomonori Yamada, Shinobu Yoshimura) (2) Performance Evaluation on Nonlinear Algorithms with Line-Search for Partitioned Coupling Techniques for Fluid-Structure Interactions”, International Journal for Numerical Methods in Fluids, Vol.64, Nos.10-12, pp. 1129-1147, (2010) (Satsuki Minami, Shinobu Yoshimura) 21
- 22. 音響流体構造連成解析の支配方程式 F s surfacefree FSI FSI nd Fρn/p surfacefree F Fluid domain S Structure domain surfacefree Free surface FSI Interface of fluid and structure p pressure d displacement of structure 流体領域：低速, 非粘性, 非圧縮F s 0cρ SSS fσdd 動弾性体領域 0p 0p 自由表面 流体構造連成界面の連続条件 Fρ Density of fluid Sρ Density of structure Sc damping 22
- 23. 0000 0 0 0 S T S f S f p d K SK p dC p d S M F S dSpKf fpSdKdCdM T sss Kf： stiffness matrix of fluid S： coupling matrix Ms： mass matrix of solid Ks： stiffness matrix of solid AFSI問題のモノリシック形式 ADVENTURE_Solid ADVENTURE_Thermal 二領域に分割 各領域をADVENTURE System (HDDM with BDD preconditioner)で解く d p 音響流体構造連成解析の支配方程式 23
- 24. カップラーを用いた分離型FSI解析 TS TF Tc (communication) Number of iterations 分離型解析の計算時間 Coupler Structural Analysis Acoustic Fluid Analysis ADV_SOLID ADV_THERMAL d p Coupling algorithm TC •ロバストで収束性のよい反復連成解析アルゴリズム •完全並列 ADVENTURE_Coupler ： 分離反復型並列連成解析 構造解析 音響流体 24 片岡俊二，南さつき，河合浩志，吉村忍，分離反復型解法を用いた大規模並列音響流体構造連成解析， 日本計算工学会論文集，No.20120007, (2012)
- 25. MPI ADVENTURE_Couplerの特徴 MPI並列 (M+N) プロセス、構造解析はMプロセス、流体解析はNプロセス 通信ライブラリを各ソルバに実装 非適合メッシュの場合、物理量を内挿 ADVENTURE Coupler M+Nプロセス 構造解析 Mプロセス 流体解析 Nプロセス Unix socket Unix socket MPI MPI 25
- 26. 非線形反復アルゴリズムの選択 種々の非線形反復アルゴリズムの中から、次の特徴を勘案し て選択 • ロバストな収束性 • 各ソルバをブラックボックス的に活用 • 並列化が容易かつ効率的 行列とヤコビ行列が必要 Newton’s method Inexact Newton 各ソルバをブラックボックス的に活用 Gauss Seidel Matrix free Newton-Klyrov Quasi-Newton S. Minami, S. Yoshimura, “Performance Evaluation on Nonlinear Algorithms with Line-Search for Partitioned Coupling Techniques for Fluid-Structure Interactions”, International Journal for Numerical Methods in Fluids, 64(10-12) (2010), 1129-1147. 26
- 27. ADVENTURE Coupler ADVENTURE_Coupler による分離反復型解析 11 nn F dp )( 11 nn S pd tn-1 tn d p d p d p 構造解析 流体解析 ADVENTURE_Solid 収束判定 更新量の計算 (Broyden法など) 物理量マッピング d ADVENTURE_Thermal 物理量マッピング p 構造解析ソルバー 音響流体用ポアソン解析ソルバー 反復 27
- 28. AFSI解析の並列性能評価用テスト 液体中の柱列の連成振動解析 柱列数を1から324まで変更(総自由度数は最大2400万自由度) 連成界面(1,877,000節点, 750万自由度) structure model fluid model surface total number of rods elements nodes elements nodes nodes dofs 1 9,920 16,005 28,933 46,125 5,796 94,140 4 39,160 63,328 123,301 184,827 23,184 374,811 9 87,200 141,277 247,295 367,241 52,164 791,072 25 242,800 393,205 616,913 908,971 144,900 2,088,586 64 620,320 1,004,944 1,403,647 2,069,487 370,944 5,084,319 169 1,635,920 2,650,869 3,423,184 5,048,896 979,524 13,001,503 324 3,134,520 5,079,744 6,083,872 9,010,446 1,877,904 24,249,678 28
- 29. x y z bottom fixed ux=uy=uz=0 0.25 0.125 fluid model structure model Free surface condition pressure = 0 25柱列モデル X方向にステップ状の体積力を負荷 自由表面条件, p=0 流体モデル 構造モデル 構造の底面を完全固定 時間加速度 29 Ex. 現実の大型原子炉では燃料集合体数は900
- 30. One fixed point iteration 性能試験 TEST1 プロセッサ数を16に固定 柱列数を1から16に変更(10万自由度から240万自由度) TEST2 柱列数を64に固定 (500万自由度) プロセッサ数を1から16に変更 ADVENTURE Solid ADVENTURE Thermal Socket Broyden Mapping communication Socket Mapping Socket 30
- 31. 計算機環境 PC cluster (16ノード） Intel Core i7-870 （Nehalem) 2.93 GHz Giga-bit Ethernet Nノード, マルチコアは使用せず structure process Fluid process Coupler process Coupler process 4ノード計算機環境の場合 31
- 32. Test 1 モデルサイズの依存性 0.1 1 10 100 1000 1.E+04 1.E+05 1.E+06 1.E+07 1.E+08 averagetime(sec) degrees of freedom in each domain/ both domain ADVENTURE_Thermal ADVENTURE_Solid Coupled analysis 0.001 0.01 0.1 1 1.E+04 1.E+05 1.E+06 1.E+07 averagetime(sec) degrees of freedom on interface ADVENTURE_Coupler Socket Mapping Broyden Time for each fixed point iteration カプラの処理時間は、各ソルバでの解析時間よりもはるかに小さい カプラの処理時間は、通信レイテンシに支配されている 32
- 33. モデルサイズが大きくなると、カプラの処理時間の比率が徐々に低下 ADV_Coupler は各ソルバの並列効率にほとんど影響しない 4.33% 1.46% 0.61% 0.46% 0.20% 0.13% 0.13% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% 1 4 9 25 64 169 324 Ratioofcalculationtime Number of beams Coupler Fluid analysis Structural Analysis Number of rods Test 1 モデルサイズの依存性 33
- 34. Test 2 プロセッサ数への依存性 0.001 0.01 0.1 1 1 2 4 8 16 averagetime(sec) number of processors ADVENTURE_Coupler Socket Mapping Broyden 1 10 100 1000 1 2 4 8 16 averagetime(sec) number of processors ADVENTURE_Thermal ADVENTURE_Solid Coupled analysis ADV_Couplerの処理時間は、プロセッサ数を変えてもほとんど変化しない ADV_Couplerの処理時間は十分小さい Time for each fixed point iteration 34
- 35. 0.02% 0.08% 0.10% 0.18% 0.20% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% 1 2 4 8 16 Ratioofcalculationtime Number of processors Coupler Fluid analysis Structural Analysis Test 2 プロセッサ数への依存性 35
- 38. BWR燃料集合体の流体構造連成振動解析 Side View Section View A B C D E Ｘ方向にEl Centro地震加速度を入力 Free surface condition pressure=0 -4 -2 0 2 4 -0.1 -0.05 0 0.05 0.1 0 1 2 3 acceleration(m/sec2) displacement(m) time(sec) displacement acceleration 構造領域： ６００万DOFs 流体領域： ３００万DOFs El Centro seismic wave-NS 38
- 40. NUPEC実証試験と連成解析結果の比較 10.0 20.0 30.0 40.0 Time (sec) 0.04 0.02 0.00 -0.02 -0.04 Disp.(mm) 0.0 【実証試験結果】 Fuel arrangement Fuel Shroud X Y Shaking direction 【連成解析結果】 40
- 43. アニメーション 43
- 44. -1.50E-02 -1.00E-02 -5.00E-03 0.00E+00 5.00E-03 1.00E-02 1.50E-02 0 0.5 1 1.5 2 2.5 3 3.5 4 displacement(m) time(sec) 本解析 Yamada & Yoshimura (CMES 2008) Peric et. al (Comp. Mech. 2008) 精度検証 垂直変位 44
- 45. 弾性円柱周りの流れ 5 16 5 101 10 outflowinflo w Cylinder wall：non-slip Top/side wall: slip Ux=Uy=Uz=0 xy z Uz=0 Re=100 OD =1m ID =0.9m ヤング率 =1ｘ106 Pa 質量密度 = 4000kg/m3 45
- 46. 結果 (V=0.45m/sec, V=1.0m/sec) V=0.45m/sec ρf=79kg/m3 Re =100 V=1m/sec ρf=16kg/m3 Re = 100 46
- 47. 結果(V=0.45m/sec, V=1.0m/sec) V=0.45m/sec ρf=79kg/m3 Re =100 V=1m/sec ρf=16kg/m3 Re = 100 -2.00E-02 -1.00E-02 0.00E+00 1.00E-02 2.00E-02 3.00E-02 4.00E-02 5.00E-02 150 160 170 180 190 displacement(m) time(sec) X Y -5.E-01 -4.E-01 -3.E-01 -2.E-01 -1.E-01 0.E+00 1.E-01 2.E-01 3.E-01 4.E-01 5.E-01 80 85 90 95 100 displacement(m) time(sec) X Y 47