Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

NAIST小規模計算サーバの 利用状況と今後の展望

169 views

Published on

第2回データサイエンス支援サービスシンポジウムでの発表スライド

Published in: Engineering
  • Be the first to comment

  • Be the first to like this

NAIST小規模計算サーバの 利用状況と今後の展望

  1. 1. NAIST⼩規模計算サーバの 利⽤状況と今後の展望 2017/6/20 奈良先端科学技術⼤学院⼤学 総合情報基盤センター 新井イスマイル
  2. 2. • 3研究科(H30に1研究科) • 情報科学研究科 • バイオサイエンス研究科 • 物質創成科学研究科 • ⼩規模 • 教員: 250 • 職員: 150 • 学⽣:1100 • 新しい • 1991年10⽉〜 2017/6/20 2
  3. 3. 総合情報基盤センター • 2010年9⽉〜 2017/6/20 3 5名 10名 14名
  4. 4. 曼陀羅システム • 3原理 • 最先端の研究プラットフォーム • ⾼いモビリティ • 協調分散処理環境 • 世界最速レベルへ • 25.4PB(テープドライブ含) • TFLOPSクラスの計算サーバ群 • 100Gbpsの基幹ネットワーク • ⼀⼈1台のワークステーション・PC • 課⾦なし 2017/6/20 4
  5. 5. 曼陀羅システムの構成 • 全学情報環境システム 4年リース機器を毎年更新(4年で⼀巡) • 個⼈常⽤端末 • 共通基盤サーバシステム • プレゼンテーション⽀援システム • ⼩規模計算サーバ(H30更新) • 各研究科システム • 電⼦図書館システム 4年リース機器を隔年更新 • メディアセンター(電⼦書籍、雑誌、動画等) • 論⽂・蔵書検索(修論・D論、購読論⽂も) • 授業アーカイブ(H30から⽇英相互翻訳) • ネットワーク機器 買取で約8年更新 2017/6/20 5
  6. 6. 曼陀羅ネットワーク • 4000+端末 2017/6/20 6
  7. 7. コンテナサーバルーム • PUE: 1.2台 2017/6/20 7 42U ブレーカ電源レール, ブレーカ
  8. 8. 2017/6/20 8 Disaster*Recovery**( )* *************for*ICT**in* Oracle*ZFS* ********Storage*ZS3>2* **320TBNetApp NAIST*Server* SPARC*T4>1 OIST*Server rsync iSCSI* LUN#2 iSCSI* LUN#1iSCSI* LUN#1 iSCSI* LUN#1 NAIST*Server* SPARC*T4>1 OIST*Server Fig1.* * >*OIST* >* * ** ******************** (Jan.*2013*Cutover)* For*Disaster$Recovery$Plan$ $ (DRP)* ***>* * * *** * * **********BCP*(Business*ConMnuity*Plan)* * **** OKINAWA**INSTITUTE*of* SCIENCE*and*TECHNOLOGY* $ ZFS*send*/*recv
  9. 9. ⼩規模計算サーバ(H25年度導⼊) 2017/6/20 9�o���������������������������no��o����on���o��o����on 40Gbps InfiniBand ネットワーク (Oracle Fabric Interconnect F1-4 が仮想的に Ethernet を作成) クラスタノード120台 Sun Blade X4-2B 1台あたり20コア、 64GB メモリ ⼤容量共有 メモリノード他6台 Sun Server X2-8 1台あたり80コア、 2TB メモリ 管理・開発ノード4台 Sun Server X4-2超並列演算ノード2台 HP ProLiant SL270s NVIDIA Tesla 広帯域分散ファイルサーバ 18台 Sun Server X4-2L 1台あたり48TB HDD 学内 10GbE ネットワーク (Juniper EX2200他) ネットワーク構成 ⼤容量データ処理ノード Oracle Big Data Appliance X3-2L Server が18台 1台あたり36TB 統合ストレージ Oracle ZFS Storage ZS3-2 I/O仮想化コントローラ2台 Oracle Fabric Interconnect F1-4 曼曼陀陀羅羅NW Gluster
  10. 10. 使⽤量(⼤容量共有メモリノード) 2017/6/20 10
  11. 11. 使⽤量(クラスタノード) 2017/6/20 11
  12. 12. 使⽤量(超並列演算ノード) 2017/6/20 12
  13. 13. 利⽤動向(5⽉) • ユーザは100⼈を超えない • ヘビーユーザは数⼈ 2017/6/20 13
  14. 14. ヘビーユーザ • 情報科学研究科の学⽣が多い 2017/6/20 14   ⾝分 ユーザ時間(秒) システム時間(秒) CPU MEMORY IOオペレーション数 IO待ち時間 博⼠前期課程 71377631.80 989227.38 173748858.93 652564731.54 29.31 0.00 博⼠前期課程 50013244.50 417632.11 54301181.89 35726756.98 832.64 0.00 博⼠前期課程 20646335.23 1649.62 20654665.09 1041730.55 26.33 0.00 特任准教授 16048601.88 49048.57 1067401560.66 23717043147.43 146.47 0.00 博⼠後期課程 11489805.96 3662.43 11543395.46 204109.48 40.93 0.00 博⼠前期課程 6968705.20 2406.46 19867391.58 388195805.57 18.47 0.00 博⼠後期課程 3855927.80 596130.49 9239470.15 1019910592.96 279.11 0.00 助教 1756816.52 475100.74 10368331.70 24533088.20 17691.22 0.00 博⼠前期課程 1603342.47 1704.35 1698840.98 1906123.64 0.06 0.00 博⼠後期課程 1603342.47 1704.35 1698840.98 1906123.64 0.06 0.00 博⼠後期課程 1017007.41 639945.62 1734030.94 1294922.20 8930.51 0.00 准教授 758707.50 10606.12 625800943.12 8672816023.92 344.77 0.00 博⼠前期課程 716588.88 229427.38 9386158.58 517243055.53 222419.90 0.00 助教 712382.35 319.93 3641349.41 299223.77 38.32 0.00 博⼠前期課程 584593.32 55.26 584648.58 72546.28 0.86 0.00 博⼠後期課程 224388.53 984.04 578481.88 45752.96 19.27 0.00 共同研究員[7] 191563.12 91041.06 512194.14 547851.53 34.63 0.00 博⼠前期課程 151895.65 3872.64 187031.50 885190.73 3.28 0.00 助教 124866.79 26.99 124893.78 469.11 0.35 0.00 特別研究学⽣ 105932.13 126579.98 288577.38 417082.09 190.12 0.00   研究科 情報科学研究科 情報科学研究科 情報科学研究科 情報科学研究科 情報科学研究科 物質創成科学研究科 バイオサイエンス研究科 情報科学研究科 情報科学研究科 情報科学研究科 情報科学研究科 情報科学研究科 情報科学研究科 情報科学研究科 情報科学研究科 物質創成科学研究科 バイオサイエンス研究科 情報科学研究科 物質創成科学研究科 情報科学研究科
  15. 15. 使わない⼈の意⾒ • ライブラリが古くて使えない • ソースコードを⾃分のホーム領域でコンパイル・利 ⽤するスキルはない • ⾃前構築困難なライブラリももちろんある • バージョンを固定した需要も • ルート権が欲しい • ジョブスケジューラとかよく分からない • GPU少ない・古い 2017/6/20 15
  16. 16. GPUノードをたくさん買って仮想化したい • ハイパーバイザ型・ホスト型 • GPU, InfiniBandが仮想化できない • GPUパススルー&Ethernet?(GPUの多重化になって いない) • NVIDIA GRID • VDI⽤途でHPC向けではない • NVIDIA Docker • GPU多重利⽤可 2017/6/20 16
  17. 17. ⼩規模計算サーバ(H29更新) • ⼤容量共有メモリノード:4台 • メインメモリ:2TB〜 • クラスタノード:43ノード〜 • メインメモリ:128GB〜 • GPU:単精度浮動⼩数点演算 5.3 TFLOPS〜 • 超並列演算ノード:8ノード〜 • GPU:単精度(18.5 TFLOPS)・倍精度 • ⼤容量データ処理ノード:2ノード〜 • HDD:75TiB〜 • 本当はHadoopとか動かすのでノード数が⼤事なのだが 予算的に厳しい・・・加点獲得お願いします! • 広帯域分散ファイルサーバ • 680TiB〜 • 56Gbps FDR InfiniBand 2017/6/20 17
  18. 18. もう計算サーバもクラウドでいい? • GPU陳腐化のスピードが速い • ネットワーク・CPU・ストレージはもう安い • Azure • GPUノードを早々と導⼊ • Azure ML • 国⽴⾼専機構でプリペイドディスカウント • さくらインターネット • ⾼⽕⼒コンピューティング • Rescale • HPCターゲットのクラウド • http://www.rescale.com/ 2017/6/20 18
  19. 19. その他 2017/6/20 19
  20. 20. ビッグデータのセンターが⽴ち上がります http://bigdata.naist.jp/ 2017/6/20 20
  21. 21. NAIST SIMとかも・・・ • LTE基地局を⽴てる • ⼀陸技+局免許+機材・・・ • MVNO事業者さんと組む 2017/6/20 21
  22. 22. 2017/6/20 22

×