Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Supercomputing’19 参加報告
Keisuke Fukuda
Engineer
Preferred Networks, Inc.
2019/12/20 JAWS-UG HPC#17勉強会
※スライドの内容は個人の見解/感想です
Outline
1. SCとは
2. Top500
3. Green500
4. Gordon Bell Prize
5. Seymour Cray Award
6. Exhibition
7. まとめ
Supercomputing (SC) ‘19 とは
● HPC分野のトップカンファレンス
● 参加者 13,950人(過去最大)、出展数 370(過去最大) *1
● 2019年11月18日〜21日@Devner, CO
● Top500, ...
Outline
1. SCとは
2. Top500
3. Green500
4. Gordon Bell Prize
5. Seymour Cray Award
6. Exhibition
7. まとめ
Top500
今年のTop500は…
無風
もしくは嵐の前の静けさ?
Rank Machine Score Notes Country
1 Summit 148.6 PF Tesla V100
2 Sierra 94.6 PF Tesla V100
3 Sunway TaihuLight 93.0 PF SW26...
Top500 感想
● 上位陣は無風
● 500位のRMaxが 1.142 [PFlops]
○ (June.2019は 1.021 [PFlops] 、Nov.2018は 0.874 [PFlops])
● 日本からは29サイト
○ Rese...
Outline
1. SCとは
2. Top500
3. Green500
4. Gordon Bell Prize
5. Seymour Cray Award
6. Exhibition
7. まとめ
Green500とは
● スパコンの省電力性能のランキング
● Top500と同様、LINPACKベンチマークの性能をもとに計測する
○ Green500に載せるためには、 Top500に載ることが必要→ 1 PFlops程度の性能を持つクラス...
Rank Machine Score Notes Country
1 A64FX prototype 16.876 GF/W Fujitsu, A64FX
2 NA-1 16.256 GF/W PEXY-SC2
3 AiMOS 15.771 G...
引用:Toshiyuki Shimizu, “Green500 BoF Presentation”, P.4
Outline
1. SCとは
2. Top500
3. Green500
4. Gordon Bell Prize
5. Seymour Cray Award
6. Exhibition
7. まとめ
Gordon Bell Prize
今年はFinalistが2つ
● Ziogas et al. “A data-centric approach to extreme-scale ab initio dissipative
quantum t...
Gordon Bell Prize
受賞:Ziogas et al. “A data-centric approach to extreme-scale ab initio dissipative
quantum transport simul...
Gordon Bell Prize (cont)
● DaCeフレームワークを使って、計算式とデータ配置/分散実行のロジックを分離
● 高速化のポイント:
1. Communication avoidance
■ データフローをもとにした計算配...
引用:Ziogas et al. “A data-centric approach to extreme-scale ab initio dissipative quantum transport simulations”
Outline
1. SCとは
2. Top500
3. Green500
4. Gordon Bell Prize
5. Seymour Cray Award
6. Exhibition
7. まとめ
Seymour Cray Computer Engineering Award
● Computer Engineering(アーキテクチャとか)に長年の功
績があった人に贈られる賞
● NVIDIA GPU(+CUDA)を作った人
https...
Outline
1. SCとは
2. Top500
3. Green500
4. Gordon Bell Prize
5. Seymour Cray Award
6. Exhibition
7. まとめ
Exhibition
出展数370団体
○ 参考:
○ Interop Tokyo 535団体(2017)
○ CEATEC 725団体 (2018)
※福田撮影
Cerebras
● Hot Chips 31で発表された、深層学習向けのチップ
“WSE”
● 300mmウェーハから切り出せる最大サイズの
215mm x 215mmをまるごと単一のチップにした
● スペック
○ 40万コア
○ 100 P...
印象に残った点:
● どうやってデータ供給するの?
○ → 1.2Tbit/s (12 x 100Gb Ethernet)のネッ
トワークでデータ供給する。 PCIexは遅いの
で、FPGAで受けてチップに直接供給する
● どうやって電力供給し...
※福田撮影
その他
Torsten Hoefler最強伝説
Torsten Hoefler教授とは
● ETH Zurich 教授
● HPC業界の多くの学会でBest Paper等を獲っていく
● SC’19 における業績
○ 論文9本
○ うち、Gordon ...
※福田撮影
※福田撮影
Outline
1. SCとは
2. Top500
3. Green500
4. Gordon Bell Prize
5. Technical Programs
6. Exhibition
7. まとめ
まとめ
● 伝統的アプリ(流体、バイオ、etc)が減って、機械学習が増えた
○ ML for HPC, HPC for MLの両方
● しかしGordon Bellは堅実な正統的HPC
● Top500は無風、Green500はFugaku-p...
※福田撮影
Thank you!
Upcoming SlideShare
Loading in …5
×
Upcoming SlideShare
What to Upload to SlideShare
Next
Download to read offline and view in fullscreen.

1

Share

Download to read offline

JAWS-UG HPC #17 - Supercomputing'19 参加報告 - PFN 福田圭祐

Download to read offline

2019年12月20日に開催した JAWS-UG HPC #17 におけるPFN福田圭祐の発表資料「SC'19参加報告」です。
https://jawsug-hpc.connpass.com/event/153900/

Related Books

Free with a 30 day trial from Scribd

See all

JAWS-UG HPC #17 - Supercomputing'19 参加報告 - PFN 福田圭祐

  1. 1. Supercomputing’19 参加報告 Keisuke Fukuda Engineer Preferred Networks, Inc. 2019/12/20 JAWS-UG HPC#17勉強会
  2. 2. ※スライドの内容は個人の見解/感想です
  3. 3. Outline 1. SCとは 2. Top500 3. Green500 4. Gordon Bell Prize 5. Seymour Cray Award 6. Exhibition 7. まとめ
  4. 4. Supercomputing (SC) ‘19 とは ● HPC分野のトップカンファレンス ● 参加者 13,950人(過去最大)、出展数 370(過去最大) *1 ● 2019年11月18日〜21日@Devner, CO ● Top500, Green500, Gordon Bell Prizeなどが発表される ● Technical Program/Exhibitionもさることながら、 Meeting /Connectionの機会としても最大 *1 https://sc19.supercomputing.org/2019/11/25/congratulations-to-the-sc-and-society-awardees-for-sc19-in-denver/ ※福田撮影
  5. 5. Outline 1. SCとは 2. Top500 3. Green500 4. Gordon Bell Prize 5. Seymour Cray Award 6. Exhibition 7. まとめ
  6. 6. Top500 今年のTop500は… 無風 もしくは嵐の前の静けさ?
  7. 7. Rank Machine Score Notes Country 1 Summit 148.6 PF Tesla V100 2 Sierra 94.6 PF Tesla V100 3 Sunway TaihuLight 93.0 PF SW26010 4 Tianhe-2A 61.4 PF Matrix-2000 5 Frontera 23.5 PF Xeon Platinum 上位10システムに変動なし 引用: https://www.top500.org/
  8. 8. Top500 感想 ● 上位陣は無風 ● 500位のRMaxが 1.142 [PFlops] ○ (June.2019は 1.021 [PFlops] 、Nov.2018は 0.874 [PFlops]) ● 日本からは29サイト ○ Research / Academic 24サイト ■ ABCI 8位 ■ Oakforest-PACS 15位 ■ TSUBAME3.0 23位 ■ TSUBAME2.5 90位(えっ) ○ Industry / Vendor 5サイト ■ A64FX prototype 159位 ■ MN-1 (NTT/PFN) 396位(299位→399位)
  9. 9. Outline 1. SCとは 2. Top500 3. Green500 4. Gordon Bell Prize 5. Seymour Cray Award 6. Exhibition 7. まとめ
  10. 10. Green500とは ● スパコンの省電力性能のランキング ● Top500と同様、LINPACKベンチマークの性能をもとに計測する ○ Green500に載せるためには、 Top500に載ることが必要→ 1 PFlops程度の性能を持つクラスタで ないと対象外 = だいたい V100 × 180基程度の規模が必要 ○ 計測はかなり大変:3段階の計測レベル ● 単位は (G)Flops/W ○ 参考:1 ExaFlopsを目指すにあたって、データセンターの消費電力は 20MW程度が目標とされてい るので、単純計算で 50GFlops/W が当面の業界目標 参考: https://news.mynavi.jp/article/sc17_green500-1/ https://qiita.com/telmin_orca/items/b2ddfbd0332c1adce834
  11. 11. Rank Machine Score Notes Country 1 A64FX prototype 16.876 GF/W Fujitsu, A64FX 2 NA-1 16.256 GF/W PEXY-SC2 3 AiMOS 15.771 GF/W Power9+V100 4 Satori 15.574 GF/W Power9+V100 5 Summit 14.719 GF/W Power9+V100 引用:https://www.top500.org/green500
  12. 12. 引用:Toshiyuki Shimizu, “Green500 BoF Presentation”, P.4
  13. 13. Outline 1. SCとは 2. Top500 3. Green500 4. Gordon Bell Prize 5. Seymour Cray Award 6. Exhibition 7. まとめ
  14. 14. Gordon Bell Prize 今年はFinalistが2つ ● Ziogas et al. “A data-centric approach to extreme-scale ab initio dissipative quantum transport simulations” ● Das et al. “Fast, scalable and accurate finite-element based ab initio calculations using mixed precision computing: 46 PFLOPS simulation of a metallic dislocation system”
  15. 15. Gordon Bell Prize 受賞:Ziogas et al. “A data-centric approach to extreme-scale ab initio dissipative quantum transport simulations” “散逸的量子輸送の第一原理シミュレーションに対するData-Centricアプローチ” ● マイクロトランジスタ(要するにプロセッサの回路、特にFinFET)の中の電子の self-heating現象が発熱効率に大きく影響する → シミュレーション ● OMEN(C++/MPI)というシミュレーターを136倍高速化、Summit上で4560 node (27036 GPUs)を使って85.45 PFlopsを達成、≧10,000原子のシミュレーションを 実現(10x) ○ (NOTE: Summitは全4608 Node、27,648GPUs) 引用:Ziogas et al. “A data-centric approach to extreme-scale ab initio dissipative quantum transport simulations”
  16. 16. Gordon Bell Prize (cont) ● DaCeフレームワークを使って、計算式とデータ配置/分散実行のロジックを分離 ● 高速化のポイント: 1. Communication avoidance ■ データフローをもとにした計算配置の最適化 ■ 計算と通信の交換: 計算を余分にしてもよいので通信を減らす 2. 通信と計算のオーバーラップ 3. 密行列と疎行列の使い分け 4. 計算の最適化(batched strided matrix multiply) 引用:Ziogas et al. “A data-centric approach to extreme-scale ab initio dissipative quantum transport simulations”
  17. 17. 引用:Ziogas et al. “A data-centric approach to extreme-scale ab initio dissipative quantum transport simulations”
  18. 18. Outline 1. SCとは 2. Top500 3. Green500 4. Gordon Bell Prize 5. Seymour Cray Award 6. Exhibition 7. まとめ
  19. 19. Seymour Cray Computer Engineering Award ● Computer Engineering(アーキテクチャとか)に長年の功 績があった人に贈られる賞 ● NVIDIA GPU(+CUDA)を作った人 https://twitter.com/ogawa_tter/status/1205632598845771776 写真: https://www.computer.org/press-room/2019-news/2019-ieee-cray-award-kirk
  20. 20. Outline 1. SCとは 2. Top500 3. Green500 4. Gordon Bell Prize 5. Seymour Cray Award 6. Exhibition 7. まとめ
  21. 21. Exhibition 出展数370団体 ○ 参考: ○ Interop Tokyo 535団体(2017) ○ CEATEC 725団体 (2018) ※福田撮影
  22. 22. Cerebras ● Hot Chips 31で発表された、深層学習向けのチップ “WSE” ● 300mmウェーハから切り出せる最大サイズの 215mm x 215mmをまるごと単一のチップにした ● スペック ○ 40万コア ○ 100 Pb/sの内部インターコネクト(メッシュ) ○ 18GBのオンチップメモリ 帯域 9 PB/s 参考: https://www.cerebras.net/wafer-scale-deep-learning-hot-chips-2019-presentation/ https://pc.watch.impress.co.jp/docs/column/kaigai/1203577.html ※福田撮影
  23. 23. 印象に残った点: ● どうやってデータ供給するの? ○ → 1.2Tbit/s (12 x 100Gb Ethernet)のネッ トワークでデータ供給する。 PCIexは遅いの で、FPGAで受けてチップに直接供給する ● どうやって電力供給してるの? ○ チップの端からの供給だけだと間に合わな いので、3次元的にチップの下から給電して いる ● 消費電力は?冷却は? ○ 20kWくらい(チップが15kW) ○ 液冷 撮影:福田
  24. 24. ※福田撮影
  25. 25. その他
  26. 26. Torsten Hoefler最強伝説 Torsten Hoefler教授とは ● ETH Zurich 教授 ● HPC業界の多くの学会でBest Paper等を獲っていく ● SC’19 における業績 ○ 論文9本 ○ うち、Gordon Bell受賞 ○ Best student Paper受賞 ● 2018年、ポスドクのTal Ben-Nun氏とともに分散Deep Learningに関する47ページ のサーベイ論文を発表 https://arxiv.org/abs/1802.09941 写真:https://htor.inf.ethz.ch/
  27. 27. ※福田撮影
  28. 28. ※福田撮影
  29. 29. Outline 1. SCとは 2. Top500 3. Green500 4. Gordon Bell Prize 5. Technical Programs 6. Exhibition 7. まとめ
  30. 30. まとめ ● 伝統的アプリ(流体、バイオ、etc)が減って、機械学習が増えた ○ ML for HPC, HPC for MLの両方 ● しかしGordon Bellは堅実な正統的HPC ● Top500は無風、Green500はFugaku-protoが制覇 ● 昨年に比べ、機械学習チップは減ったがシステムは増えた(Crebaras etc.)
  31. 31. ※福田撮影
  32. 32. Thank you!
  • sakai

    Jan. 12, 2020

2019年12月20日に開催した JAWS-UG HPC #17 におけるPFN福田圭祐の発表資料「SC'19参加報告」です。 https://jawsug-hpc.connpass.com/event/153900/

Views

Total views

2,435

On Slideshare

0

From embeds

0

Number of embeds

169

Actions

Downloads

5

Shares

0

Comments

0

Likes

1

×