• Like
IEEE/ACM SC2013報告
Upcoming SlideShare
Loading in...5
×

IEEE/ACM SC2013報告

  • 562 views
Uploaded on

第41回グリッド協議会ワークショップ

第41回グリッド協議会ワークショップ

More in: Technology
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
No Downloads

Views

Total Views
562
On Slideshare
0
From Embeds
0
Number of Embeds
3

Actions

Shares
Downloads
6
Comments
0
Likes
1

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. IEEE/ACM  SC2013報告 ⾼高野  了了成 産業技術総合研究所  情報技術研究研究部⾨門 2014年年1⽉月15⽇日  第41回グリッド協議会ワークショップ@秋葉葉原
  • 2. SC13  “HPC  Everywhere” •  25th  IEEE/ACM  International  Conference  for  High   performance  computing,  Networking,  Storage  and   Analysis –  会議名にSuper  Computingは残っていない。。 –  今年年はBig  data  (Analysis)に注⽬目 •  11⽉月10⽇日〜~16⽇日  ⽶米国コロラド州デンバー •  HPC関連のトップカンファレンス –  今年年の採択率率率20%  (90/456) •  TOP500、各種Awards、 Workshop、Tutorial、BoFなど •  巨⼤大な展⽰示会場 –  ⽶米国DoE傘下研究所ブースが不不在 •  参加者  10,500名 2
  • 3. Big Data •  基調講演:  G.  Bell  (Intel),  “The  Secret  Life  of  Data” •  招待講演 –  A.  N.  Choudhary  (Northwestern  University) –  S.  Koonin  (New  York  University) Data  Intensive Data  Driven A.N.Choudhary,  “Big  Data  +  Big  Compute  =  An   Extreme  Scale  Marriage  for  Smarter  Science?” http://cusp.nyu.edu/ S.  Koonin,  “Big  Data  for  Big  Ci-es”   3
  • 4. TOP  500 •  ランキングに⼤大きな変動無し #   System Rmax  (TFlop/s) Rpeak  (TFlop/s) Power  (kW) 1 1 Tianhe-­‐2  (Xeon/Phi) 33862.7 54902.4 17808   2 2 Titan  (Opteron/K20x) 17590.0 27112.5 8209 3 3 Sequoia  (BG/Q) 17173.2 20132.7 7890 4 4 K  computer  (SPARC64) 10510.0 11280.4 12660 5 5 Mira  (BG/Q) 8586.6 10066.3 3945 6 -­‐ Piz  Daint  (Xeon/K20x) 6271.0 7788.9 2325 7 6 Stampede  (Xeon/Phi) 5168.1 8520.1 4510 8 7 JUQUEEN  (BG/Q) 5008.9 5872.0 2301 9 8 Vulcan  (BG/Q) 4293.3 5033.2 1972 SuperMUC  (Xeon) 2897.0 3185.1 3423 10 9 4
  • 5. Green  500 •  Xeon  +  NVIDIA  K20xの圧勝 # System MFlops/W 1 TSUBAME-­‐KFC  (Xeon/K20x) 2 Wilkes  (Xeon/K20) 3 HA-­‐PACS  TCA  (Xeon/K20x) 4 Piz  Daint  (Xeon/K20x) 3185.91 1753.66 5 romeo  (Xeon/K20x) 3130.95 81.41 6 TSUBAME  2.5  (Xeon/K20x) 3068.71 922.54 7 iDataPlex  DX360M4  (Xeon/K20x) 2702.16 53.62 8 iDataPlex  DX360M4  (Xeon/K20x) 2629.10 269.94 9 iDataPlex  DX360M4  (Xeon/K20x) 2629.10 55.62 10 CSIRO  GPU  Cluster  (Xeon/K20m) 2358.69 71.01 4503.17   Power  (kW) 27.78 3631.86 52.62 TSUBAME-‐‑‒KFC(油浸冷冷却) 3517.84 78.77 5
  • 6. Graph  500 •  前回と変動なし #   System *)  TEPS:  Edge  Traverse  Per  Second GTEPS 1 1 Sequoia  (BG/Q) 15363 2 2 Mira  (BG/Q) 14328   3 3 JUQUEEN  (BG/Q) 4 4 K  computer  (SPARC64) 5 5 Fermi  (BG/Q) 6 6 Tianhe-­‐2  (Xeon/Phi) 7 7 Turing  (BG/Q) 1427 7 7 Blue  Joule  (BG/Q) 1427 7 7 DIRAC  (BG/Q) 1427 7 7 Zumbrota  (BG/Q) 1427 5848 5524.12 2567 2061.48 6
  • 7. Green  Graph  500 •  TSUBAME-‐‑‒KFCはGreen  500との⼆二冠 •  Small  DataではGraph  CRESTチーム圧勝 Big  data  category: # System small  data  category  (scale  <  30): MTEPS/ W Graph5 00  rank 1 TSUBAME-­‐KFC 6.72   47 2 JUQUEEN 5.41   3 3 Mira 4.42 2 4 EBD-­‐RH5885v2 4.35 96 5 Sequoia 3.55 1 # System MTEPS Graph5 /W 00  rank 1 GraphCREST-­‐Xperia-­‐ A-­‐SO-­‐04E 153.17   143 2 GraphCREST-­‐ NEXUS7-­‐2013 129.63   141 3 Kicy6 73.57 58 4 GraphCREST-­‐Tegra3 64.12 150 5 GraphCREST-­‐Intel-­‐ NUC 53.82 124 7
  • 8. 30  Technical  Sessions •  Application  Performance  Characterization •  •  •  Energy  Management Engineering  Scalable  Applications Extreme-‐‑‒Scale  Applications •  •  •  •  •  Fault-‐‑‒Tolerant  Computing GPU  Programming Graph  Partitioning  and  Data  Clustering I/O  Tuning Improving  Large-‐‑‒Scale  Computation  and   Data  Resources In-‐‑‒Situ  Data  Analytics  and  Reduction Inter-‐‑‒Node  Communication Load  Balancing •  Cloud  Resource  Management  and   Scheduling •  Data  Management  in  the  Cloud •  Fault  Tolerance  and  Migration  in   the  Cloud •  •  •  •  •  •  •  MPI  Performance  and  Debugging Matrix  Computations Memory  Hierarchy Memory  Resilience •  •  •  •  Optimizing  Numerical  Code Parallel  Performance  Tools Parallel  Programming  Models  and  Compilation Performance  Analysis  of  Applications  at  Large   Scale •  •  •  •  •  •  •  Optimizing  Data  Movement Performance  Management  of  HPC   Systems Physical  Frontiers Preconditioners  and  Unstructured  Meshes Sorting  and  Graph  Algorithms System-‐‑‒wide  Application  Performance   Assessments Tools  for  Scalable  Analysis 8
  • 9. ⾼高速VMマイグレーション •  ⾼高速かつネットワーク負荷が⼩小さいライブマイ グレーションであるガイドコピーを提案 –  ポストコピー⽅方式の派⽣生 –  マイグレーション元に残したガイドVMのヒント情報 に従い、ページ転送を最適化 –  c.f.  流流鏑⾺馬、都⿃鳥 source destination time CPU A A background copy B B D D time context transfer CPU background copy shared memory shared memory guide VM page request migration manager migration manager migrated VM page fault read log hypervisor D page request command signal memory access log B C (a) Guide-copy architecture C wait page transfer C memory mapper A B page transfer new memory access A C D hypervisor (b) Guided memory transfer mechanism Figure 3: The guide-copy migration’s architecture with an example of a guided memory transfer scenario. J.  Kim  (POSTECH),  et  al.,  “Guide-‐‑‒copy:  fast  and  silent  migration  of  virtual  machine  for   data  centers” 9
  • 10. 900 300 guidecopy 2.1 Delay (s) guidecopy 30 0 average calculix dealII (b) Delay - 1Gbps postcopy 60 postcopy 1.4 guidecopy 0.7 average cactusADM lbm milc bwaves GemsFDTD average cactusADM lbm milc bwaves 0.8 0.6 0.4 0.2 0.0 Post-copy Guide-copy 0.2 0.4 0.6 0.8 0.0 (c) Page faults - 5Gbps Figure 6: The execution time of workloads repeating back-to-back post-copy and guide-copy migrations ↓利利⽤用帯域の削減 with a 5s interval. Delay (s) 90 xalancbmk gcc average calculix dealII xalancbmk leslie3d bzip2 gcc (a) Page faults - 1Gbps leslie3d 0 0 1 Network bandwidth (Gbps) (a) Delay - bzip2 Delay (s) guidecopy ←ページフォルトおよび遅延の削減 postcopy bzip2 10 600 mcf 20 postcopy Delay (ms) 30 GemsFDTD ts on e, ue of Unpredicted 40 mcf ns. wo ehe uhe he nb) st rng Predicted Page fault (MB) es kn2, er c, ⾼高速VMマイグレーション Page fault (MB) y Figure 8: Guide-copy’s cost-e↵ective adaptive migrat (normalized to the baseline post-copy scheme) 2.0 1.5 1.0 0.5 0.0 Post-copy Guide-copy 1 2 3 4 5 Network bandwidth (Gbps) (b) Delay - cactusADM (d) Delay - 5Gbps Figure 5: Guide-copy’s in-time memory transfer reducing the number of page faults and their service latency. ds TCP bu↵ering does not a↵ect the guide-copy’s performance Figure 7: The guide-copy migration delay with varying network bandwidth availability. bandwidth while limiting the bandwidth given to the 10
  • 11. クラウド資源管理理 •  背景と動機 Processors –  パブリッククラウド上に仮想クラスタを 作成する環境の整備  e.g.,  StarCluster –  予約インスタンスを活⽤用して安く計算したい C (1,0.75) (0.25,0.5) D (1.75,1.5) B A (0,1.5) •  クラウド資源を「グルーポン」のように 共同購⼊入して利利⽤用するSemi-‐‑‒Elastic   Cluster  (SEC)を提案 •  負荷に応じてクラスタサイズを動的に調整 •  バッチスケジューリングの拡張で実現 1 2 3 Time (Hour) (a) Pure on-demand cloud Processors (0.25,0.5) C (1,0.75) B A (0,1.5) 1 2 D (1.75,1.5) 3 Time (Hour) (b) Traditional local cluster Processors C (1,0.75) (0.25,0.5) –  シミュレーション実験で61%コスト削減 B D (1.75,1.5) A (0,1.5) 1 2 3 Time (Hour) (c) Semi-elastic cluster Figure 2: Semi-elastic cluster model S.  Niu  (Tsinghua  Univ.),  et  al.,  “Cost-‐‑‒effective  Cloud  HPC  Resource  Provisioning  by   with its (arrival time, execution time) pair. The g Building  Semi-‐‑‒Elastic  Virtual  Clusters” indicate the actual job execution periods on all 11
  • 12. クラウドのデータ管理理(1) •  背景 –  超⼤大規模データを扱うデータサイエンス分野では、データを GridFTPで転送してクライアントサイドで処理理するか、SaaS版 Globus  Onlineを⽤用いるのが⼀一般的 –  WAN越しに転送する場合、サーバサイドでユーザが定義した データのサブセット化を⽀支援してデータ量量を削減する機能が必要 •  GridFTPのプラグインとしてSDQuery  DSI  (Scientific  Data  Query   Data  Storage  Interface)を開発 –  HDF5とNetCDFデータフォーマットに対応したサブセット化APIを提供 –  システム最適化 •  データセグメントのインデキシングベース検索索とインメモリフィルタリングによる 全検索索を⾃自動的に選択する性能モデル •  異異なるディスクブロックが読み出される場合、別のTCPストリームを⽤用いる 並列列ストリームデータ転送 •  各サブブロックに対して同時にインデキシングを実⾏行行する並列列インデキシング Y.  Su  (Ohio  State  Univ.),  et  al.,  “SDQuery  DSI:  Integrating  Data  Management  Support   with  a  Wide  Area  Data  Transfer  Protocol” 12
  • 13. クラウドのデータ管理理(1) 実験では、以下を⽰示した •  性能モデルの妥当性 •  広帯域ネットワークではサブセット化 の効果が少ないが、帯域が⼗十分ない場 合は効果が⼤大きい •  並列列ストリームや並列列インデキシング による性能向上 13
  • 14. クラウドのデータ管理理(2) •  背景 –  データインテンシブアプリケーションでは超⾼高性能データ転送 ツールが必要 –  end-‐‑‒to-‐‑‒endパスにおけるホスト、ネットワーク、ストレージの 3つのボトルネックへの対応が必要 •  100Gbpsのend-‐‑‒to-‐‑‒end⾼高速データ転送システムの設計、 最適化、性能評価を実施 –  バックエンドストレージ接続にiSER(iSCSI  Extensions  for   RDMA)を使⽤用 –  ホスト間通信にRFTP(RDMAベースファイル転送プロトコル) を使⽤用 –  各ホストでNUMA⽤用チューニングによる性能最適化 Y.  Ren  (Stony  Brook  Univ.),  et  al.,  “Design  and  Performance  Evaluation  of  NUMA-‐‑‒ Aware  RDMA-‐‑‒Based  End-‐‑‒to-‐‑‒End  Data  Transfer  Systems” 14
  • 15. クラウドのデータ管理理(2) バックエンドSANの設計 •  提案⼿手法(RFTP)では100Gbps環境で •  iSERプロトコルを利利⽤用 91Gbpsを達成。GridFTPでは29Gbps •  各ファイルを指定したNUMAノードメモリに置き、 CPU使⽤用率率率も提案⼿手法では削減できた •  local  I/Oになるようtargetプロセスを割り当て •  特にRFTP  sink側(RDMA  Write) RDMAベースプロトコルRFTPの利利⽤用 では⼤大幅に削減できる •  ゼロコピーで⾼高速データ転送するため、 CPU使⽤用率率率を⼤大幅に削減できる 15
  • 16. ポストペタに向けた耐障害性 •  テクニカルセッション –  Fault-‐‑‒Tolerant  Computing –  Fault  Tolerance  and  Migration  in  the  Cloud –  Matrix  Computation •  パネル –  Fault  Tolerance/Resilience  at  Petascale/Exascale:  Is  it   Really  Critical?... •  並列列Hessenberg変換(チェックサム付きの線形代数 演算)のように、FTをアルゴリズムに⼊入れ込む発表は あるが、Checkpoint/Restartで何とかなってしまう (何とかしよう)という印象 Y.  Jia  (Univ.  of  Tennessee),  et  al.,  “Parallel  Reduction  to  Hessenberg  Form  with   Algorithm-‐‑‒Based  Fault  Tolerance” 16
  • 17. Exhibition •  58カ国、350件の展⽰示、10,550名の参加 •  各種メディアでレポート –  http://news.mynavi.jp/column/sc13/ •  CUDA6、Post-‐‑‒FX10、SX-‐‑‒ACEなど –  http://www.hpcwire.com/tag/sc13/ •  3  main  trends:  Big  data、Cloud、Exascale 17
  • 18. ARM-‐‑‒based  system EU  exascale  super-‐‑‒ computer  research  project: Mont-‐‑‒Blanc The  above  is  another  projectʼ’s  photo:-‐‑‒) Tiled  wall  display  controlled by  RasPi  cluster@SDSC Charm++  cluster  in  a  bag 18
  • 19. FPGA Convey  HC  memcached  appliance@DELL memcached  benchmark: 3,644,876  -‐‑‒>  11,756,645  opts/s 19
  • 20. Non  silicon-‐‑‒based  computers CNT  Computer@Stanford LEGO  Turing  Machine@Inria  (http://rubens.ens-‐‑‒lyon.fr/) 20
  • 21. 21
  • 22. 雑感 •  HPC  Everywhere  =  HPC  +  ビッグデータ –  すでにHPCは科学技術のためだけのものではない –  ハイブリッドアーキテクチャが必要(?) •  HPC  Cloudに対する注⽬目の⾼高まり –  システム系会議かというような論論⽂文も –  ここ数年年AISTブースではHPCクラウドについて展⽰示し ているが、年年々興味を持ってくれる⼈人が増えているこ とを肌で感じた http://sc13.supercomputing.org/ 22