20130601わんくま「序hpcクラスターを作ろう！まずはオンプレで」公開用
•
3 likes•4,226 views
Microsoft HPC Pack 2012が公開され、わんくま勉強会にて3連作予定のHPCを作ろう企画！のためのイントロダクション。 手元（オンプレミス）にHPCクラスターを作る手順と、今後のAzureクラウドを利用できる機能を紹介した。 （保存用）
Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Similar to 20130601わんくま「序hpcクラスターを作ろう！まずはオンプレで」公開用
Similar to 20130601わんくま「序hpcクラスターを作ろう！まずはオンプレで」公開用 (20)
Recently uploaded
Recently uploaded (10)
20130601わんくま「序hpcクラスターを作ろう！まずはオンプレで」公開用
- 2. 「株式会社ニュージェック」 情報システムグループに勤務。 HPCに関してはおしゃべりしてもいいけど、 「個人的な見解は会社には帰属しません。」（重要） 現在、Microsoft MVP 「Windows Azure Administration」 として静かに活動中。 ・FaceBookは本名の「黒田幸智」です。 WEBsite http://kurodayk.wordpress.com/ 自己紹介
- 3. これからの予定 （１）本日の登壇 ・誰でも「Microsoft HPC Servser 2012」を使えば、 ほーら、マイスパコンだよ！ 『HPC（ハイパフォーマンスコンピューティング）入門 序：HPCクラスターを作ろう！まずはオンプレで』 （２）今後の登壇 ・次回わんくま大阪勉強会（予定）にて 『破：Windows AzureでHPCを作ろう！』（仮） 『Q：ビッグデータといえば、HD ｉnsight！』（仮仮） ・・・・などへと続く予定です。
- 4. 今日の目標 High Performance Computing って何よ？ Microsoft HPC Pack 2012 って？ 作ってみようよ！マイスパコン！ Tips集
- 5. １．High Performance Computing って何よ？
- 6. その前に「スーパーコンピューター」・・・ スーパーコンピュータ（英: supercomputer）は、内部の演算処理速度 がその時代の一般的なコンピュータより極めて高速なコンピュータの こと。略称はスパコン。 膨大な計算処理が目的であり、それを実現するための大規模なハー ドウェアやソフトウェアを備える。有限要素法や境界要素法などに基 づく構造解析、気象予測、分子動力学、シミュレーション天文学、最 適化問題、金融工学のような大規模数値解析に基づくシミュレーショ ンに利用される。
- 7. 高度計算が必要な理由 土木・建築分野での、地震による影響シミュレ ーション →構造物に対する地震波形の影響分析、アニ メーション作成など 港湾・海岸分野での、「波」の計算シュミレーシ ョン →連続波形によるアニメーション作成など 河川分野での、洪水シナリオシミュレーション 解析など・・・・・・・・ 天文や宇宙開発・・・・ とにかくでかい計算！
- 10. 計算科学研究機構（理研）－『京』 2011年度世界一位 CPU 548,352コア 機構パンフレットより引用
- 11. で？HPCって・・・
- 12. 少ないCPUを躯体ごと仲良く同期させて、一体多数なCPUを作り出す技術 スーパーコンピューターを容易に構築できないか。 大型コンピューターを用意しなくとも、 汎用なパソコンを連結して、 仮想的なクラスター（群）コンピューターを作る。 安価な投資で、 必要なサイズの群を作り、 高性能な計算システムを入手できる。 HPC（PCクラスター）と呼ばれる技術
- 14. （１）物理的なコンピューター サーバー筐体型 特徴 ① 拡張性に優れている。 ② 過酷な環境下でも動作し続ける。 ③ パーツのクオリティーが高い。 欠点 ① 高い 本体価格、土地代、騒音対策・・・・
- 15. （１）物理的なコンピューター 汎用筐体（パソコン）型 特徴 ① わかりやすく、安価に持ってこれる。 ② 集積度が高くない。 ③ パーツのクオリティーはそれなり。 ④ 一般の手が届く。 欠点 ① 壊れやすい。 ② 拡張性が低い。
- 16. 汎用なPCを連結して作られたスパコン事例（長崎大学） 長崎大学 「DEGIMA」 July 2011 GREEN 500にて 第３位
- 17. 具体例として・・・ （当社事例）
- 19. 2012年現在の構成（HPC 2008R2ベース） ＜計算ノード＞ DELL Optiplex 790×25台 DELL Optiplex 780×25台 ＜ヘッドノード その他＞ HP DL380 G5 ×１台（仮想2台） DELL PowerEdge ×１台 Windows2008 R2 ×２台 HP SANストレージ 常設ノード 50台 専用ファイルサー バー SAN 3.4TB Microsoft Hyper-V Microsoft SCOM サーバー 仮想マシン 「HPC01」 仮想マシン 「HPC02」R2 2012年8月現在は、300CPU相当を実現。
- 21. 物理的に効果がある着眼点としては、 ① CPUは近くでたくさんあるほうがよい。 ② データバスは早いほうがいい。 ③ ハードディスクよりも、SSDなどの速い記憶装置がよい。 ④ （最近のトレンド） 大容量メモリ装置（例：IBM eX5：最大2TBのメモリ） ⑤ ネットワークはデータ交換で混雑するので、 10Gbやinfinibandを複数持ってくる。 ⑥ CPUの実質水増しのため、GPUボードを利用する。 ⑦ 冷却装置に水冷を採用する。 ・・・・・・・もうお金のかかるお話になってしまいます。
- 22. OSといえば・・・ Microsoft HPC Pack 2012 って？
- 23. HPCのためのOSといえば・・・ Microsoft Windows Server 2012 （2008 R2も可） Linuxもお手軽ですが、今回はWindowsということで。（笑） ここへ、HPCを走らせるためのパッケージを追加します。 これだけです。 http://www.microsoft.com/ja-jp/download/details.aspx?id=36054
- 24. Windows HPC の製品構成 Windows OSに HPC Pack（ダウンロードセンターで無償提供）を インストールする。 – クラスターを構築する全ノードに HPC Pack をインストール。 対応 OS は、Windows Server 2012, Windows Server 2008 R2, Windows 7 Professional 以上、Windows 8 – ヘッドノードは Windows Server 2012 必須 Active Directory によるセキュアな認証基盤 OS HPC Pack（無償） • Windows Server 2012 • Windows Server 2008 R2 • Windows 8 • Windows 7 Professional以上 • ジョブスケジューラー • MPI ライブラリ • マルチノード管理ツール • ジョブ投入/管理ツール • レポーティングツール • ネットワークインストールツール 25 実質のお金のかかるところ （Excelを使う場合も・・・）
- 26. システム要件 サポートされるオペレーティング システム Windows 7, Windows 8, Windows Server 2008 R2, Windows Server 2012 •Head nodes: Windows Server 2012 Standard or Datacenter •Compute nodes: Windows Server 2012 Standard, Datacenter, or x64-based versions of Windows Server 2008 R2 Standard, Enterprise, Datacenter, or HPC Edition •（Broker nodes: Windows Server 2012 Standard or Datacenter） •Workstation nodes: x86 or x64 versions of Windows 7 Professional or Enterprise, Windows 8 Pro or Enterprise CPU: x64 architecture computer 但し、 Workstation nodes which may run x86-based or x64-based processors で可。 RAM: 1 GB、Minimum disk space for setup: 50 GB Multiprocessor support: HPC Pack 2012 can address up to 64 cores on a single machine, if the operating system supports it.
- 28. ついにペタFLOPSの壁を越えたWindows HPC TSUBAME 2.0 上で実行された Windows HPC Server 2008 R2 は、 1296 ノードでの HPL ベンチマークで 1.127 ペタFLOPSを達成 現在（当時）の TOP500 ランキングで 6 位に相当する性能 29
- 29. Excel2010 CADデータ変換 CAEプリポスト ソルバー Windows HPC Pack 2012 Windows HPC Packとは Active Directory （ユーザーの管理） 計算クラスターの構築に最適化されたWindows ミドルウェアです。 PC/サーバー/クラウドの三種類を計算機資源として利用できます クラウド サーバー PC Task Task Task Task Task ヘッドノード （管理用サーバー） JOB JOB JOB ブローカーノード 規模に応じて複数台 PC 30
- 30. ワークステーションノード（Windows 7Client流用機能）の機能 Windows 7を計算ノードに 参加させられるので、 HPCクラスタ フロアのWin7 クライアント 急なスケールアウトの際に、 追加コストをかけず、ノードを 増やせる。 （パフォーマンスは犠牲になると思 われるが・・・） 平日の夜間や休日の事務職PCを利用。 （順次計算プログラムで有利か） HPC HPC HPC
- 31. 「HPC Services for Excel 2010」の機能 プログラムは組めないけれども、 EXCELならいろいろできるユーザー 繰り返し計算など、表の中で高度計算を 行う。→再計算の度に時間がかかる。 バックエンドでHPCに 計算を自動的に依頼。 ユーザーは高速化の恩恵 のみを受ける HPCクラスタ
- 33. ＜並列化技法＞ GPGPUプログラミング（GPUコンピューティング）とは １台のPC部分の本来のCPUは４コア～12コア グラフィックアクセラレーター（GPU）をCPUとして、 計算に流用する技術 NVIDIA社の「TESLA」などが代表。 NVIDIA ホームページより引用 参考
- 35. 作ってみようよ！マイスパコン！
- 36. 作ってみよう！マイスパコン！ 今回は、Hyper-V 上に １． 2012 Server １台 （HEAD-node) （AD基本構成済み） ２． 2012 Server １台（計算node） ３． 2008R2 Server １台（計算node） で構成してみた。 同様の手順で、Windows7/8もワークステーションnodeに できます。
- 37. １．ヘッドノードの構築 ヘッドノードとなる Windows Serverを初期構成する。 ・Active Directory の構成（非2012モードで可） ・DNS ・DHCP ・必要により、WSUS 【重要】 ヘッドノードとなれるのは、 Microsoft Windows Server 2012 だけです。
- 38. １．ヘッドノードの構築 ダウンロードした「HPC Pack 2012」を解凍し、ヘッドノード となる Microsoft Windows Server 2012 上で実行する。
- 43. 難関！SQLサーバーのインストール 【注意】失敗多発地帯！ (1) .NET 3.5の導入 (2) SQL Server の導入 特に、WEBからupdateをダウンロードし ようとするので、ネット接続があったほうが、 成功しやすい。
- 45. ２．ヘッドノードで構成を確認
- 48. 別途AD操作推奨！
- 52. ひと段落です。
- 54. ADでグループ、何が便利なのか。 ① HPCシステムを使うユーザーを一か所で管理できる。 ② データ用ストレージのフォルダに、グループで アクセス権制御すると、整理しやすい。 ③ その他いろいろ・・・
- 56. ２．計算ノードの構築 ・計算専用ノード Windows Serverを初期構成する。 ただし、役割の追加は不要。 ・安上がり計算ノード Windows 7/8 を初期構成する。 （x64でもx86でもどちらでも構わない） ※Windows展開サービスを用いる方法の場合は、PXEで可。
- 57. ヘッドノードへ アクセス
- 59. サーバー名
- 68. ジョブを投入する
- 70. Tips集！ とりあえずHPCするんだったら、複数台のPCを使わないとダメ 。（1台なんだったら、そのままでいい） 物理的にくっついてないPCをくっつけるような使い方をするの で、くっついている部分の手当てが重要。 （１） ネットワーク （２） 共有ハードディスク ↑とにかく、ボトルネックになる。 簡単に行くなら、PC増設。高度に進めるならGPGPUもOK。 マザーボードにいくつもCPUがのる製品は好条件！ バス速度はボトルネックの基本！
- 71. 注意事項 GPGPUを搭載する場合、NVIDIA純正ボードでない場合 は、注意が必要！ →チップだけOEMされて、基盤は別製品というケースが あり、この場合バスが燃える可能性がある！ CPUがフル回転する場合、排熱が非常に多くなるので、 部屋の換気や冷房には十分注意しましょう。 補助記憶装置がHDDの場合、安い機器は避けましょう。 （書き込みキューがあふれてしまって、たちまち動かなく なります。RAID5装置などで安物は危険です。）
- 72. さて・・・・・・最後に。
- 74. 次回予告！ 『破：Windows AzureでHPCを作ろう！』（仮） HPC on Azure (クラウドへの拡張)
- 75. クラウド、サーバー、デスクトップをシームレス につなぐ HPC SOA プログラミングモデル 社内（オンプレミス） デスクトップ HPC ヘッドノード WCF ブローカーノード HPC クラスタ ワークステーションノード （有休の Windows7 リソース） クラウド Windows Azure Azure 計算インスタンス Azure 計算 プロクシ
- 76. 次回は・・・ 『破：Windows AzureでHPCを作ろう！』（仮） Windows Azure 上に、 HPC計算ノードを構築します。 メリット もう、オンプレミス（社内）にでっかいサーバー いらないもんね～～ いえいえ、いるのですよ。やっぱり・・・・
- 77. Windows HPC on Azure Windows Azureのロールインスタンスを計算ノードとしてHPCクラスタ ーへ追加 ピーク需要の際、AzureにHPCリソースを拡張して活用 既存のクラスターノードと同じ扱い ジョブは変更なくオンプレミス/Azure双方のHPCリソース上で実行可能 Azureノードは、クラスターマネージャーで統一管理が可能 Jobs Requests Head & Broker Nodes Azure Gateway Azure HPC Clients 78
- 78. Windows HPC on Azure 混合環境：オンプレミスとクラウド On-premise RDB Blobs • 計算リソースが不足した際、 クラウドを活用 • 利用した分だけ課金. • 動的にオンプレミスと クラウドのリソースを調整 Azure Compute Nodes DesktopsHPC Head Node Broker Node Worker/Web Role Worker/Web Role Worker/Web Role 79
- 79. Windows HPC on Azure 全てクラウド Azure RDB Blobs • クラスターを管理、メ ンテナンスすることな くHPCを利用 HPC Head Node Worker/Web Role Worker/Web Role HPC VM 80
- 80. Windows HPC ヘッドノード （管理用サーバー） ブローカーノード （Excel 高速化） 規模に応じて複数台 Windows HPC あらゆる Windows 環境を HPC に利用できるソリューションです。 専用サーバー, PC, サーバーの空き時間、クラウドを 1 つのクラスターとして活 用することが可能です。 クラウドHPC 専用高速サーバー Task Task JOB JOB JOB Task Task Active Directory （ユーザー認証） Excel 2010ユーザーアプリ PC やファイルサーバー等の 空き時間を有効活用 （Windows 7 / Windows Server 2008 R2) TaskTask 金融アプリ 81