Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

北海道大学情報基盤センター10周年記念講演スライド(公開版)

2,343 views

Published on

2013年11月12日(火)北海道大学百年記念会館大会議室

  • Was a little hesitant about using ⇒⇒⇒WRITE-MY-PAPER.net ⇐⇐⇐ at first, but am very happy that I did. The writer was able to write my paper by the deadline and it was very well written. So guys don’t hesitate to use it.
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • Best dissertation help you can get, thank god a friend suggested me ⇒⇒⇒WRITE-MY-PAPER.net ⇐⇐⇐ otherwise I could have never completed my dissertation on time.
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • Did u try to use external powers for studying? Like ⇒ www.HelpWriting.net ⇐ ? They helped me a lot once.
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • P.35について、9月の時にも思っていたのですが、Hadamardは「invention」については述べていますが、しかしinvention ≠ innovationですよね (ということはご存知の上で敢えてこのように述べてらっしゃるのでしょうけれども)。
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

北海道大学情報基盤センター10周年記念講演スライド(公開版)

  1. 1. 北海道大学情報基盤センター 10周年記念式典 記念講演 平成25年11月12日 アカデミックインタークラウド HPC基盤の実現に向けて 棟朝 雅晴 北海道大学 情報基盤センター  副センター長・教授  munetomo@iic.hokudai.ac.jp
  2. 2. 自己紹介 棟朝 雅晴(むねとも まさはる) 北海道大学情報基盤センター 副センター長 デジタルコンテンツ研究部門 教授 専門:クラウドコンピューティング・分散処理    進化計算・メタヒューリスティクス・最適化   「北海道大学アカデミッククラウド」の設計・構築を担当 情報基盤センター クラウドコンピューティング研究会 主査 大学ICT推進協議会クラウド部会 副査 情報処理学会数理モデル化と問題解決研究会 主査 クラウド利用促進機構 総合アドバイザー Open Compute Project Japan 発起人・運営委員 2
  3. 3. 北海道大学情報基盤センター • ネットワーク型「学際大規模情報基盤共同利用・共同研究拠点」 (他に 東大、京大、東北大、東工大、名大、阪大、九大) • 1962年:大型計算機センターとして発足     (全国共同利用施設) • 2003年:1979年に発足した情報処理教育セン ター(後に情報メディア教育研究総合センター) とともに情報基盤センターとなる • スーパーコンピュータ、クラウドシステム、キャンパスネットワーク、 教育情報システムなどに関する研究開発を推進 3
  4. 4. 学際大規模計算機システム(2011年11月∼) SR16000 Model M1 22 Total: 172 TFlops Power 7 3.83GHz 8 core / Processor 32 core / 256 core / 1TB / BladeSymphony BS2000 A1 : 600TB (SAS) : 300TB (SATA) 114 Total: 43 TFlops Xeon E7 8870 2.4GHz 10 core / Processor 40 core / 128GB / 10GbE x 2 / VM : 260TB FC-SAN 500TB (NAS) 4
  5. 5. 学際大規模計算機システム 5
  6. 6. 北海道大学アカデミッククラウド • 国内最大(本格的なクラウドとしては世界的にも最大級)の学術クラウド  → 最先端のクラウドミドルウェアを採用した最初の事例として    国内はもちろんのこと、国際的にも注目を集めている  → スパコン並みの高性能(43.8TFlops, 2,000以上のVMを実行可能) • ビッグデータ処理システム(Hadoopクラスタ)を自動的に設定し利用者が占 有して利用できる基盤を整備 6
  7. 7. クラウドシステムのソフトウェア基盤 SSO CloudStack API Portal system ( Cloud Middleware (CloudStack) RedHat/CentOS HW Hypervisor ( XenServer / VMWare) Boot/VM Image: SAN Data: NAS 7
  8. 8. 「ビッグデータ」処理パッケージの提供 • ビッグデータ関連研究に必要となるクラスタシステムをパケージ化して提供 • 機械学習に必要なライブラリも含めた(Hadoop, Hive, Mahout, R)大規模並 列処理システムを、ストレージの負荷分散も考慮しつつ自動構築 Zone Balancing!overheads!of!disk!I/O!with! round8robin!assignment!of!Virtual!disks.! ! ! POD Resource Pool #1 Shared Storage #1 HyperVisor #1 VM( Virtual( Disk Storage #1 HyperVisor #2 Resource Pool #2 HyperVisor #3 VM( Shared Storage #2 Virtual( Disk HyperVisor #4 Hadoop Cluster VM( Resouce Pool #3 HyperVisor #5 VM( Virtual(( Disk HyperVisor #6 VM( HyperVisor #8 VM( Shared Storage #4 Virtual( Disk Virtual( Disk Storage #3 VM( Resouce Pool #4 HyperVisor #7 Storage #2 VM( Shared Storage #3 Virtual( Disk Virtual( Disk Storage #4 Virtual( Disk
  9. 9. シミュレーション・計算環境として • 研究室内で構築されていた、計算サーバやクラスタの置き換えとして利用 → 大幅なコストダウン&システム構築時間の短縮(数ヶ月→1時間!) • パソコン∼スパコンの間のギャップを埋める
  10. 10. 創薬化学の”in silico screening”システムの構築 • Structure Based Drug Design (SBDD)を用いて、医薬品候補化合物を探索す るための大型計算機としてXLサーバを使用 • Management appとして、modeFRONTIER®を、Docking appとして、 AutoDockを使用している。(XLサーバへは、 AutoDockをインストール) AutoDock [1] AutoDock AutoDock [2] AutoDock AutoDock AutoDock
  11. 11. 水産科学における応用:漁場予測データ処理 • 漁船群からあつめたアカイカに関するデータを集約して、北大アカデミック クラウドシステムを用いて公開 • ピンポイントでのアカイカ漁場予測・海洋環境の提供を行えるシステム整備
  12. 12. PaaSによる世界規模でのインタラクティブ進化計算 • PaaS (CloudFoundry) を用いることで、数百万人∼数億人規模のユーザが協調 して、進化計算による最適解の「進化」を実現するフレームワークを構築 Present cadndates of solutions from the system Users select solutions according to their preferences ・・・ Interactive Evolutionary Computation using PaaS CloudFoundry Load Balancer iGA Redis Database Redis Ubuntu Ubuntu VM VM ・・・ iGA iGA Applycation resource instance instance instance Redis Ubuntu Ubuntu Ubuntu VM VM VM CloudStack Sever ・・・ Ubuntu VM
  13. 13. ありがちな誤解 「クラウド」=「Google?」 「クラウド」=「単なるバズワード」 「クラウド」=「コスト削減」 「クラウド」=「アウトソーシング」 「クラウド」=「仮想化」 13
  14. 14. 「クラウドコンピューティング」の定義 • Cloud computing is a model for enabling convenient, ondemand network access to a shared pool of configurable computing resources (e.g., networks, servers, storage, applications, and services) that can be rapidly provisioned and released with minimal management effort or service provider interaction. (NISTによる定義) • 最小限の管理コストで、計算機、ネットワーク、ストレ ージ、サービスなど様々な共有リソースを需要に応じて すぐに設定し、利用できる仕組み。 14
  15. 15. XaaS: Everything as a Service! SaaS (ソフトウェア) PaaS (プラットフォーム) IaaS (システム基盤) 15
  16. 16. National Supercomputers hierarchy toward 2018 National Leadership System (The next “K” : 1 Exa Flops in 2018) “HPCI” systems Supercomputers in major universities and laboratories (1∼100 Peta Flops in 2018) Clusters in other univ., labo., and companies
  17. 17. 「アカデミッククラウド」の必要性 • ほとんどのユーザは、とても速いパソコン、とても速いアプ リケーション(ソフト)を必要としている。 • スパコンは必要だが、現状、活用できるユーザが限られる。 使いやすさが重要。 • 計算科学、計算機科学、情報科学の発展のためには裾野のマ ーケットを広げることが特に重要である。 • 「アカデミッククラウド」はそのために極めて有効である!
  18. 18. アカデミッククラウドと商用データセンターの違い • 商用データセンターでは、大規模Webシステムがほとんどであり、Web3層 システム(Web, App, DB)によるホスティングサービスを前提としている • 学術クラウドでは大規模Webシステムの必要性はほとんどなく、HPC、パラ メータサーベイ、ビッグデータ処理、 試験システムの構築、M2M (Machineto-Machine)やIoT (Internet of Things)、センサーネットワークなど、多種多様 なシステム構築が求められる • 例えば、センサーデータをクラウドに集約 → Hadoopなどで大規模データを処理 → Webサービスとして処理結果を公開 → 他の様々なサービスとの連携 マルチパラメータサーベイ型シミュレーションのクラウド化 18
  19. 19. アカデミッククラウド連携の必要性 • それぞれの組織では予算上の制約から比較的小規模なプライベートクラウド となる → 連携による大規模化で、スケーラビリティ、規模の経済を確保 • それぞれの大学・研究所の特色や資源を生かしたシステム構築、研究開発 (例)スパコン、実験機器、観測機器、センサー、データベース, etc. • アカデミッククラウド連携により、 「インタークラウドシステム」の インフラを全国レベルで実現する • 研究者の交流・共同研究の推進 → クラウドをその起爆剤とする 19
  20. 20. インタークラウド(Inter-Cloud) • インターネット(Inter-net)がネットワークを相互接続することで世界規模の インフラを構築したように、クラウドシステムが相互接続、連携することで 世界規模のインフラとしてのインタークラウド(Inter-Cloud)を実現 • 相互運用性(Inter-Operability)が重要な条件となる:サービスAPIの共通化、 認証連携などの要素技術に加えて、資源割当ポリシー、運用モデルの確立な ど、運用システムとしての実現にあたっては課題も多い 20
  21. 21. インタークラウド関連技術の開発(JHPCN) ! Heterogeneous ! ! Contr oller MapReduce/MPI ! 21
  22. 22. アカデミックインタークラウドマネージャの開発 • 全国規模、世界規模のアカデミックインタークラウドシステムを実現し、そ こから利用者が自由に自分専用のシステム(Virtual Private Cloud, VPC)を切 り出せるようにすることを目的とする(国立情報学研究所CSI委託研究) Cloud A   Cloud B IaaS         Cloud C   VM            VM       IaaS     VM IaaS             Internet VPC 2   VPC 1                       User     22
  23. 23. スパコン・インタークラウド連携による設計探査 • 全国規模の大規模分散設計探査 フレームワークの実現 • シミュレーション(スパコン) Simulation, (Supercomputer) Distributed, Database と多目的最適化(クラウド) を分散データベースで連携 Optimization)&, DB)management, (Cloud)system) Visualization • パレート最適解の データベースを構築 Automated, replication, for)DR)and, load)balancing (有望な設計パラメータ) → 可視化、最適設計 (www.jaxa.jp) Solutions)DB, (distributed) 23
  24. 24. アカデミッククラウド環境構築に係るシステム研究 • 研究支援に係るアカデミッククラウド&基盤技術標準の調査を担当 1-1 実施体制 事務業務 棟朝教授(北海道大学) 副代表(基盤技術標準担当) 調査 結果 提案 調整 安浦理事(九州大学) 岡田教授(九州大学) 副代表(サービス技術標準担当) 久志部長 (九州大学) 調査 内容 事業推進グループ 梶田教授(京都大学) 連携 事業代表 (全体統括・調査担当) 統括 契約業務 副代表(CIO連携担当) 連携 益森部長 (九州大学) 深澤教授(早稲田大学) 副代表(大学経営担当) 報告 調整 依頼 実施 報告 委託 契約 システム研究グループ 認証連携分野 事業代表: 山地准教授 (国立情報学研究所) ネットワーク分野 事業代表: 菅沼教授 (東北大学) プライ バシ 分野 事業代表: 中村教授 (慶應義塾) 事業代表: 西村教授 (広島大学) コンテンツ分野 セキュリ ティ 分野 事務 分野 事業代表: 岡田教授 (九州大学) 研究分野 教育分野 事業代表: 棟朝教授 (北海道大学) 事業代表: 梶田教授 (京都大学) 事業代表: 森原特任教授 (大阪大学) 大学経営・システムアーキテクチャ分野 事業代表: 安浦理事 (九州大学) コミュニティ連携 全国共同利用 情報基盤センター長会議 クラウドコンピューティング 研究会 棟朝主査(北海道大学) 事務局 久志事務局長 (九州大学) クラウド部会 梶田主査(京都大学) 委託調査タスクフォース 岡田主査(九州大学) 各システム研究チームの 事業代表者・研究者 (キックオフミーティング 九大:岡田教授資料より) CIO部会 安浦会長 (九州大学) 24
  25. 25. 10分野で研究コミュニティを形成しコミュニティ間の連携を図り事業を推進 アカデミッククラウドシステム基盤の構築 • 以下に示すいくつかの候補の中から検討を行う(用途に応じた混在も可能) アカデミッククラウドシステムのクラウド基盤 全国中核拠点型 地域拠点連携型 中核拠点 Data Center 地域拠点 Data Center 地域拠点 Data Center 全国の大学が利用可能な,クラウ ド計算資源を備えたクラウドセン ターを設立。 災害に備え,2つ以上を拠点として 設置し,Live migrationやBackupな どで,高可用性かつ迅速な災害復 旧(Disaster Recovery)可能な構成 にする。 個別連携型 地域拠点 Data Center 地域拠点 Data Center 少し大きめのクラウド計算セン ターを,日本国内に数箇所設置し, それらが連携する型。1つのクラ ウド計算センターで,全国の総需 要を賄うことは出来ないものの, 数個のクラウドセンターでは賄う 事が出来る。 初期の大学インターネットの様に, 各大学が計算資源を提供し,そ れを連携して一つの大きなクラウ ド計算資源に見せる仕組み。 広域分散システムとなるため,一 部が壊れても全体として問題なく 稼働する仕組みを実現する必要 がある。 (キックオフミーティング 九大:岡田教授資料より) 25 8
  26. 26. 大学間共同データセンター(米国の例) • HMDC (Harvard-MIT Data Center) ハーバード大とMITの共同によるデータセンター(社会科学系) • Massachusetts Green High Performance Computing Center (MGHPCC) マサチューセッツ州の大学(Boston University, Harvard University, MIT, Northeastern University, and the University of Massachusetts)間で共同利用 のHPCクラウドデータセンター → “Massachusetts Open Cloud” (http://www.mghpcc.org) 26
  27. 27. NeCTAR(オーストラリア) • National eResearch Collaboration Tools and Resources project • オーストラリアの大学間クラウド連携プロジェクト 全体予算: $101 million-dollar 、メルボルン大学が中心的役割を担う • OpenStack によりクラウドインフラを各拠点で整備して連携して運用 27
  28. 28. ビッグデータは必然 • facebook: 毎日500TB以上のデータを処理 写真・動画で300PB以上を蓄積 • CERN: Large Hadron Collider(加速器)の出力は raw data だと 1ZB/year →遠隔地にもデータ  センターを構築
  29. 29. “Controlling data” is essential • 「データ」がイノベーション、競争力の源泉となる • 「クラウド」の本質は「データ」 → 「ビッグデータ」と直結した「クラウド」 「スパコン」により大規模並列処理を加速 → 有用な知見を速やかに発見し、活用する! • Imperial College London: Research Data Service → 将来 100PBを目指した、大学全体としての  データストージを整備
  30. 30. Real-world “Big data” on private or community clouds “Open data” on public clouds
  31. 31. The “4-th” paradigm : Data-intensive Science 4th: data-intensive (データ中心) 3rd: computational (計算シミュレーション) 2nd: theoretical (理論的手法) 1st: empirical (経験的手法)
  32. 32. 6th: evolution (of eco-system)(自律進化) evolutionary computation automated innovations 5th: (machine) intelligence (知識指向) machine learning artificial intelligence 4th: data-intensive (データ中心) 3rd: computational (計算シミュレーション) 2nd: theoretical (理論的手法) 1st: empirical (経験的手法)
  33. 33. Academic Cloud + Big Data = Innovations • 全国規模のアカデミッククラウドの連携により、ありとあらゆるデータ、コ ンテンツ、リソースなどを統一的な枠組みで利用できるようにする → ネットワーク効果、規模の経済による研究開発の効率化 • データやリソースなど予想外の「組み合わせ」をうながす環境を整備する → 新たな研究分野の開拓を支援するイノベーションの基盤を実現する • 基本的な技術については特に新しいものではなく、基盤となるソフトウェア も整備されつつあるので、どれだけ徹底的かつ早く「やるのか」が重要 → 大規模な運用システムを実現するのは結構難しい
  34. 34. F E DER A L CL OU D COM P U T I NG S T R AT E G Y Vivek Kundra U.S. Chief Information Officer F E BRUA RY 8 , 2 011 “Applying cloud technologies across the entire Federal Government can yield tremendous benefits in efficiency, agility, and innovation“
  35. 35. Jacques Salomon Hadamard (1865-1963) “Indeed, it is obvious that invention or discovery, be it in mathematics or anywhere else, takes place by combining ideas.” (The Mathematician’s Mind) 35
  36. 36. インタークラウドHPC基盤の実現とその目的 • スパコンも含めたすべての情報資源を、インタークラウド の「エコシステム」として統合する • 規模の経済による効率化と、オンデマンドサービスによる 研究開発プロセスのスピードアップ • 計算に加え(ビッグ)データの集約・処理・活用が本質的 • 「ネットワーク効果」による「予想外の組み合わせ」を促 し、イノベーションを加速
  37. 37. (“ecosystem” in wikipedia)

×