IPDPS & HPDC 報告

Copyright© 2016 NTT Corp. All Rights Reserved.
IPDPS & HPDC 報告
新井淳也
日本電信電話株式会社
ビッグデータ基盤研究会 (BDI)
平成28年7月4日

新井淳也, “IPDPS & HPDC 報告,” ビッグデータ基盤研究会, 2016年7月. Copyright© 2016 NTT Corp. All Rights Reserved. 2
自己紹介
新井淳也（アライジュンヤ）
日本電信電話（株）ソフトウェアイノベーションセンタ所属
興味：並列分散処理
頂点順序の最適化による高速なグラフ処理
• 昨年8月の BDI や IPDPS’16 等にて発表
リモート DMA による「京」上の分散ファイルキャッシュ
• 修論（東大石川裕研究室 ’13）
Haskell プログラムの自動並列化
• 卒論（東大米澤明憲研究室 ’11）
趣味：神社巡り, 旅行

最近の研究
Rabbit Order: Just-in-time Parallel
Reordering for Fast Graph Analysis
J. Arai (NTT) et al. IPDPS’16.
グラフ処理の前に頂点を並び替えることで,
メモリアクセスの局所性を向上させる手法の提案
頂点の順序を
最適化
Graph Algorithms セッションの様子→
• アクセスされるデータの場所がバラバラ
• 同じデータの再利用が少ない
キャッシュを活用できない！
• アクセスされるデータが密集
• データの再利用が多い
キャッシュを活用できる！

2週連続で国際会議に参加してきました
IPDPS@シカゴ
HPDC@京都

IPDPS’16 概要
並列分散処理・高性能計算 (HPC) 分野の一流国際会議
SC (Supercomputing) と IPDPS が HPC 分野で最も重要な会議
正式名：30th IEEE International Parallel and Distributed Processing
Symposium
開催地：Hyatt Regency Chicago, シカゴ, 米国
開催日：5/23～27（23, 27 はワークショップ）
論文数：114 (採択率 23%, 1 round)
参加者：約650名
ほとんどが大学や研究機関の研究者
日本からの参加組織：
筑波大, 東大, 京大, 東工大, 名大, 成蹊大,
九州工大, 理研, NTT (合計12名*1)
会場外観
*1) 発表プログラムの確認と日本人参加者からの伝聞による算出

IPDPS’16 写真

HPDC’16 概要
並列分散処理・HPC 分野の一流国際会議
IPDPS と比べ小規模ながら質は高い
正式名：25th ACM International Symposium on High Performance
Distributed Computing
開催地：京都市国際交流会館, 京都, 日本
開催日：5/31～6/4（5/31, 6/1 はワークショップ）
論文数：20 full + 9 short (採択率 15.5%, 2 rounds) さらにポスター発表28件
参加者：約150名
ほとんどが大学や研究機関の研究者
日本からの参加組織：
東工大, 理研, 産総研, 京大, 東大, 北大,
九大, お茶大, …… (概ね人数順)
ざっと見たところ日本人は参加者の約3割
会場外観
シングルトラックなので
全ての発表を聴ける

HPDC’16 写真

HPC の研究分野
IPDPS における4区分 (HPDC のフォーカスも含む)
アルゴリズム：数値計算, シミュレーション, 機械学習, リソース管理, 通信
アプリケーション：計算科学 (自然科学シミュレーション等), ビッグデータ, クラウド
アーキテクチャ：プロセッサ, メモリ, インタコネクト, ストレージ, 省電力, 耐故障
ソフトウェア：プログラミング言語, ミドルウェア, OS, リソース管理
ほとんどの論文が分散 or アクセラレータ (GPU, Xeon Phi) 関連
CPUによる共有メモリ型並列処理の論文は少数派
実験では HPC クラスタ (スパコン) がよく用いられる
大規模 (数十～十万ノード)
低遅延・広帯域のインタコネクト (InfiniBand, Gemini, Tofu, ...)
遅いファイルアクセス (ノード毎のローカルディスクと比べて)
• 全ノード共有の並列ファイルシステム (Lustre 等) を使用するため

スポンサー
http://www.ipdps.org/ipdps2016/2016_partners_exhibitors.html
より引用
http://www.hpdc.org/2016/sponsorship/
より引用
IPDPS HPDC
イリノイ州にあるBI企業

国別論文件数（第一著者の所属で判定）
両会議とも同じ傾向：米が圧倒的多数, 2位は同数で中独
USA 70
China 8
Germany 8
6
3
3
2
Japan 2
2 211111111
USA China Germany France
India Switzerland Italy Japan
Singapore Spain Austria Brazil
Canada Greece Ireland Netherlands
Saudi Arabia Sweden
IPDPS
114件
USA 22
China 2
Germany 2 1 1
USA China Germany India Switzerland
HPDC
28件
理研とNTT

ワークショップ（青字はビッグデータ関連）
IPDPS
1. Heterogeneity in Computing Workshop (HCW)
2. Reconfigurable Architectures Workshop (RAW)
3. Workshop on High-Level Parallel Programming Models & Supportive Environments (HIPS)
4. Workshop on High Performance Computational Biology (HiCOMB)
5. Advances in Parallel and Distributed Computational Models (APDCM)
6. Accelerators and Hybrid Exascale Systems (ASHES)
7. Parallel Computing and Optimization (PCO)
8. Graph Algorithms Building Blocks (GABB)
9. NSF/TCPP Workshop on Parallel and Distributed Computing Education (EduPar)
10. High Performance Data Analysis and Visualization (HPDAV)
11. Variability in Parallel and Distributed Systems (VarSys)
12. High-Performance, Power-Aware Computing (HPPAC)
13. Workshop on Parallel and Distributed Scientific and Engineering Computing (PDSEC)
14. Dependable Parallel, Distributed and Network-Centric Systems (DPDNS)
15. Large-Scale Parallel Processing (LSPP)
16. Parallel and Distributed Computing for Large Scale Machine Learning and Big Data Analytics (ParLearning)
17. Workshop on Job Scheduling Strategies for Parallel Processing (JSSPP)
18. International Workshop on Automatic Performance Tuning (iWAPT)
19. Chapel Implementers and Users Workshop (CHIUW)
20. High-Performance Big Data Computing (HPBDC)
21. Monitoring and Analysis for High Performance Computing Systems Plus Applications (HPCMASPA)
22. Emerging Parallel and Distributed Runtime Systems and Middleware (IPDRM)
23. Parallel and Distributed Processing for Computational Social Systems (ParSocial)
HPDC
1. Workshop on Fault-Tolerance for HPC at Extreme Scale (FTXS)
2. High Performance Graph Processing (HPGP)
3. Software Engineering Methods for Parallel and High Performance Applications (SEM4HPC)
4. Seventh International Workshop on Data-Intensive Distributed Computing (DIDC)
5. 6th International Workshop on Runtime and Operating Systems for Supercomputers (ROSS)
6. 7th Workshop on Scientific Cloud Computing (ScienceCloud)
多い

基調講演
IPDPS
1. 破壊的な技術とは何か, どうしたら生み出せるのか
Disruptive Research and Innovation (Kai Li, Princeton U.)
2. HPC における今後のメモリ技術の方向性
Memory, Storage and Processing in Future Parallel and Distributed Processing Systems
(Thomas Pawlowski, Micron)
3. 宇宙論研究のためのポータブルなソフトウェアの開発
Unlocking the Mysteries of the Universe with Supercomputers
(Katrin Heitmann, Argonne National Lab.)
HPDC
1. ムーアの法則の終焉という「第6の波」への対応
Preparing for Supercomputing’s Sixth Wave (Jeffrey Vetter, Oak Ridge National Lab.)
2. 今後のスーパーコンピュータの発展の方向性と研究課題
With Extreme Scale Computing the Rules Have Changed (Jack Dongarra, U. Tennessee)
3. 将来の計算機に必要なメモリの抽象化, NVM の活用
Implications of Heterogeneous Memories in Next Generation Server Systems
(Ada Gavrilovska, Georgia Tech.)

基調講演
IPDPS
1. 破壊的な技術とは何か, どうしたら生み出せるのか
Disruptive Research and Innovation (Kai Li, Princeton U.)
2. HPC における今後のメモリ技術の方向性
Memory, Storage and Processing in Future Parallel and Distributed Processing Systems
(Thomas Pawlowski, Micron)
3. 宇宙論研究のためのポータブルなソフトウェアの開発
Unlocking the Mysteries of the Universe with Supercomputers
(Katrin Heitmann, Argonne National Lab.)
HPDC
1. ムーアの法則の終焉という「第6の波」への対応
Preparing for Supercomputing’s Sixth Wave (Jeffrey Vetter, Oak Ridge National Lab.)
2. 今後のスーパーコンピュータの発展の方向性と研究課題
With Extreme Scale Computing the Rules Have Changed (Jack Dongarra, U. Tennessee)
3. 将来の計算機に必要なメモリの抽象化, NVM の活用
Implications of Heterogeneous Memories in Next Generation Server Systems
(Ada Gavrilovska, Georgia Tech.)
「ムーアの法則」の終焉
に関連する話題が頻出

基調講演まとめ：
「ムーアの法則」の終焉
ムーアの法則：プロセッサの集積密度は約2年で倍増する
性能向上と省電力化が同時に進行 (デナードスケーリング)
物理学的制約と経済的制約によってムーアの法則は終わる
トランジスタ数∝消費電力に近づく (コア数2倍なら電力も倍)
集積度向上のためのコストが高騰し, 利益に対して割に合わなくなる
2020年半ばには計算機の性能向上が止まる (かも？)
これまでの世界：FLOPS は勝手に上昇する
• ただし並列化はソフトウェア側でうまくやる必要がある
ムーアの法則終焉後の世界：FLOPS も増えない
• 消費電力の制約で性能を上げられなくなる

「ムーアの法則」終焉への対策 (ハード)
• 計算用途向けに特殊化したアーキテクチャ
広義には GPU や FPGA も
組込みでは Digital Signal Processor (DSP) などで以前からやっている
• NVM や, HMC, HBM など低消費電力なメモリ
• 3次元積層 (縦方向への回路の積み重ね) など高度な半導体技術
• 計算ノード間光インタコネクト
• 脳を模したプロセッサ (IBM TrueNorth, SpiNNaker 等)
• 量子計算

「ムーアの法則」終焉への対策 (ソフト)
• データ移動を減らすアルゴリズム設計
演算よりもメモリアクセスのほうが多くの電力を消費する
• 複雑なハードを効率的に扱えるシステムやプログラミングモデル
深くなるメモリ階層や多様なアクセラレータの活用
64-bit multiply add 
Read 64 bits from cache 
Move 64 bits across chip 
Execute and instruction 
Read 64 bits from DRAM 
HPDC Keynote 2
(by Jack Dongarra) より

セッション構成 (青字はビッグデータ関連)
IPDPS
1. Graph Algorithms
2. Software Environments and Tools
3. Network Architecture
4. Application Optimization
5. Linear Algebra & Solvers
6. Fault Tolerance & Resilience
7. Modeling and Evaluation
8. Graph Applications
9. Cloud Resource Allocation
10. Memory Management
11. Scheduling and Resource Management
12. Scientific Applications (1)
13. Clustering & Partitioning
14. Accelerated Computing
15. Memory Hieracrchy
16. Optimization Techniques
17. Communication Efficiency & Avoidance
Algorithms
18. Distributed Algorithms
19. I/O and Storage
20. Scientific Applications (2)
21. Numerical Algorithms
22. Graphs and Tensors
23. Runtime Systems
24. GPUs
25. Scheduling
26. System Software
27. Security & Fault Tolerance
28. Data Streaming
HPDC
1. High Performance Networks
2. Parallel and Fault Tolerant algorithms
3. Big Data Processing and I/O
4. Systems, networks, and architectures for
high-end computing
5. Cloud and resource management
6. Massively Multicore Systems
7. Graph Algorithms
8. Potpourri
グラフが目立つが, 疎行列演算や SGD 等は数値計算系のセッションにも含まれる

論文タイトルのワードクラウド
Parallel 23
Memory 16
Algorithm 16
Graph 12
Distributed 12
Data 12
出現回数上位5つ
Aware 5
System 4
Performance 4
Memory 4
Graph 4
Distributed 4
出現回数上位5つ
全体のワード数が
少ないので浮上
IPDPS
HPDC
Distributed-
/Shared-
Memory
注目されている

グラフ関連研究の傾向
多数の採択 (全体の約15%), 併催ワークショップなど関心が高い
Graph Algorithms Building Blocks (GABB) ― IPDPS 併催
High Performance Graph Processing (HPGP) ― HPDC 併催
アルゴリズムから実験・実測まで広範
• Subgraph counting アルゴリズムとその分散実装 [Chakaravarthy+ IPDPS’16],
• MPI と OpenMP による簡潔な分散グラフ処理の実装 [Slota+ IPDPS’16] など
HPC では単純な問題 (PageRank や BFS) の高速化が多い印象だが, IPDPS は
多彩な問題を扱う傾向にある (subgraph counting, 極大マッチ, 彩色, ...)
ワークショップでは実世界のタスクを意識した研究が多い
特に動的グラフの管理と分析は GABB での発表の半数を占めた
• 実世界のグラフ (ソーシャルネットワークや Web グラフ) は時間経過で変化する
• HPGP でも IBM ワトソン研の鈴村氏より動的グラフの重要性が強調された
会議本体よりも問題設定が DB 分野に近い印象

そのほかビッグデータ関連の発表
Spark 高速化
• 透過的に GPU を利用可能にするライブラリ [Grossman+ HPDC’16],
• 動的なメモリ割当て最適化 [Xu+ IPDPS’16] など
機械学習研究者に HPC クラスタの高い計算能力を提供したい
Hadoop MapReduce に関する論文はゼロ (Spark に移行？)
機械学習 (ML)
• マルチコア・メニーコアでの CNN 高速化 [Zlateski+ IPDPS’16 best paper],
• 確率的勾配降下法 (SGD) の高速化 [Sallinen+ IPDPS’16]
世の中は AI ブームだが, 論文数は意外と少ない印象
ML を用いたスケジューリング [Ukidave+ IPDPS’16], エラー予測 [Vishnu＋ IPDPS’16] も
DB 感のあるもの
• RDMA と SSD を用いた Key-Value Store [Shankar+ IPDPS’16]

まとめ
IPDPS と HPDC について俯瞰した
どちらも HPC 分野で重要な国際会議
ムーアの法則の終焉について基調講演をまとめた
消費電力問題を解決するためハードウェアとソフトウェア両面の取組みが必要
ビッグデータ関連の研究動向について紹介した
グラフは依然注目を集めており, 機械学習に対しても足回りとして関係している

IPDPS & HPDC 報告

More Related Content

Similar to IPDPS & HPDC 報告

IPDPS & HPDC 報告