Download to read offline
分散クラウドシステムにおける遠隔連携技術
- 1.
- 2. 本研究課題の背景と目的 • 各大学でのプライベートクラウド構築が進みつつあるが、 比較的小規模に留まる→規模の経済、スケーラビリティの 面で問題あり • それぞれの大学や組織の有する特徴的な資源（スパコン、 実験機器、観測機器、センサー、データベース,etc.）の連 携が必要 • そこで、地理的に分散配置されたプライベートクラウドシ ステムを連携させるために必要となる技術的課題について 検討、検証する • 特に異なるクラウドミドルウェア間の連携、およびその運 用面での課題について検討、検証する 1 /15
- 3. 利用者から見たニーズ • インタークラウドシステムから、自分（研究室、研究プロ ジェクト）専用のVirtual PrivateCloud (VPC) を自由に構 築、設定したい Cloud A （IaaS） Cloud B （IaaS） Cloud C （IaaS） User VPC 1 Internet VM VM VM VPC 2 2 /15
- 4. • SINET4の北端である北見工業大学〜南端の琉球大学に至る 分散クラウドテストベッドを構築 • ApacheCloudStack ver. 3 で北海道大学、北見工業大学、 琉球大学の環境を構築（今後、4.1にバージョンアップを予 定） • HPCI-AE (OpenNebula環境）との連携 • 全国規模での遠隔連携試験環境 として活用 • AWS (Tokyo, North Virginia) との 連携試験も実施 全国規模の分散クラウドテストベッドの構築 3 /15
- 5. Hadoop 環境の構築 • 北大側でのCloudStack環境上に整備、今後遠隔環境への展開を予定 •大きく分けて2つのコンポーネントから構成される • 大規模分散処理フレームワーク：Hadoop MapReduce Framework • 分散ファイルシステム：HDFS（Hadoop Distributed File System） • CloudStack上のVM129台を使い,完全分散モードで構築 • 形態素解析エンジン Mecab,機械学習ライブラリ Mahoutとの連携 マスターサーバ（1台） スレーブサーバ群（128台） NameNode JobTracker DataNode TaskTracker ディスク DataNode TaskTracker ディスク DataNode TaskTracker ディスク ・・・・ 4 /15
- 6. PaaS環境（CloudFoundry）の構築 • VMware社が開発したオープンソースのPaaSオファレンス • 北大でのCloudStack上でVM40台使用、今後遠隔への展開を予定 アプリケーショ ン利用者 アプリケーショ ン管理者 ・・・ ルーターVM（3台） MessageBus DEA DEA DEA DEA DEA DEA アプリケーションVMs （32台） ServiceNode ServiceNode ServiceNode データVMs（3台） コントロールVM（1台） CloudController HealtManager VMCコマンド Webブラウザ RouterRouter Router 5 /15
- 7. ・CloudStack上にVM50台で構成されるCloudFoundry環境を構築 ・CloudFoundryにJavaのWebアプリケーションとしてiGAプログラムをデプロイ ・データベースにインメモリ型KVSのRedisを利用 7 構築したiGAシステムについて CloudStack VM Ubuntu instance VM Ubuntu Redis VM Ubuntu Redis VM Ubuntu Redis データベース ・・・ VM Ubuntu instance VM Ubuntu instance ・・・ アプリケーションリソース iGA iGA iGA ロードバランサ CloudFoundry サーバー ・・・ 大規模PaaSによるビッグデータ処理基盤 CloudFoundry ・様々な言語に対応したWebアプリケーションをデプロイするPaaS ・API操作によるインスタンスの増減やデータベース利用が出来る •CloudFoundryを用いることで任意にスケールアウトできる 処理基盤を構築し、Machine Learning と組み合わせた実行 環境を実現 遺 ・ ・ ・ 例として作成したプログラム説明 ・遺伝子は手や足、アクセサリーなどの各パーツのパ ラメータなどを保持し、パーツが組み合わさって一枚 の画像が作成される ・評価値はユーザーによる選択時に増加し、最適解と して終了時に選択された場合には大きく増加する 構築したiGAシステムについて データベースインスタンス 選択を反映 遺伝子を表示 大規模分散DB を用いること でスケールア ウトを容易に 実現 6 /15
- 8. インタークラウドマネージャのプロトタイプ構築 • ユースケース検討のためのインタークラウドマネージャのプ ロトタイプを構築 →ポータル部分はDrupalを用いて、関連モ ジュールを統合 Drupal Core Drupal Modules IaaS Eucalyptus IaaS Amazon EC2 IaaS CloudStack Drupal Public Private Private UI Module SHINCLOM CloudStack Autonomic Functions Cluster Tool VPC Tool Eucalyptus AWS Management Functions 7 /15
- 9. 認証連携に関する検討 • クラウド管理ミドルウェアとShibbolethとの連携方式の検 討 • 認証鍵の管理方式に関する検討を実施 •異なるクラウド管理ミドルウェアとの連携のためのドライ バ開発 Bridge Layout Shibboleth SAML JAVA Bridge Package JAVA Driver Interface JAVA Driver CloudStack JAVA Driver OpenNebula JAVA Driver OpenStack HokudaiCloud KyushuCloud TokyoTechCloud Shinclom Portal Shibboleth Resource ACLMyProxy X.509 X.509 X.509 X.509 CloudStack OpenNebulaVCL OAuth Bridge SAML2 Bridge SAML2 Bridge Sign in ONCE SSO Access Authorization Authentication Access 8 /15
- 10. VPC構築のための仮想ネットワークに関する検討 • 仮想ネットワークにより異なるクラウドミドルウェア間で連 携してVPCを構築 Internet 10.1.0.0/16 Physical Machines Physical Infrastructure VirtualInfrastructure (Homogeneous Context for VMs) 192.168.0.0/24 10.0.0.0/24 10.0.0.0/8 172.16.0.0/16 SSH links 9 /15
- 11. 遠隔連携試験 • 北大、北見工大、AWS (NorthVirginia, Tokyo) 、ECC (Eucalyptus community cloud)間での遠隔連携によるVPC構 築試験を実施：VDE (Virtual Distributed Ethernet)を使用 Physical machine 133.50.162.207 133.87.4.53/32 VDE Switch sgemaster phys-slave aws-slave VDE-Kitami tap0 =172.16.0.1/16 tap0 =172.16.1.1/16 eth0 =10.1.37.12 tap0 =172.16.3.1/16 tap0 =172.16.2.1/16 vde-switch aws-slave002 tap0 =172.16.3.2/16 VDE-Hokudai 133.50.162.206 eth0 =192.168.0.185 sgeslave001 eth0 =10.1.17.162 tap0 =172.16.2.2/16 eth0 =10.1.160.164 eth0 =10.160.75.92 eth0 =10.202.189.163 Region = Tokyo Region = N. Virginia 10 /15
- 12. 帯域測定試験 • 当然の結果ではあるが、SINET4（北大⇔北見工大）間は問 題なく、ECC、AWSが極端に遅い （数十〜百分の一） • AWSなどのPubliccloudを用いて 研究向けのVPCを構築するのは 現実的ではない。 11 /15
- 13. 12/11/27 Master SlaveSlave AWS-Specific API Connec ons StarCluster Mul-Cloud API Connec ons (Apache LibCloud) Launch Plan Configura on via local scripts Launch Coordina on Monitoring & Repair CloudInit.d Mul -Cloud API Connec ons (Apache LibCloud) Launch Plan Configura on via local scripts Launch Coordina on Monitoring & Repair Master SlaveSlave Slave Modifica on & Integra on SHINCLOM Clusters VPC（仮想マシンクラスタ）構築について • 分散クラウド環境で仮想マシンクラスタを自動的に構築す る方法について検討中 • Cloudinit.d + Apache LibCloud での実装検証 • Chef, Puppetなど のDeployment toolを使う方法に ついても検討中 12 /15
- 14. 当初計画の達成状況について • インタークラウドマネージャのプロトタイプ開発およびその 検証 → 認証基盤との連携方式も含めて、当初の目的をほぼ達成 →基礎的な技術に関する検討、検証を完了 • VPC構築に必要となる仮想ネットワークに関する検証 → 基礎的なネットワーク接続に関する検証は完了 → 認証連携など運用面での検討、性能向上については課題 • VPCにおける仮想マシンクラスタの自動構築に関する検証 → 基礎的な基盤技術に関する検討を完了 → インタークラウドマネージャへの組み込みについては課 題 13 /15
- 15. 今後の課題と展望 • 仮想ネットワーク接続の運用方式に関する検討 • 大規模分散ストレージ、データベースに関する検 討 •大規模分散PaaS (Platform as a Service) への展開 • 運用システムでの検証および実装、サービス提供 14 /15
- 16. 研究成果・論文リスト 1) Omar Abdul-Rahman,Masaharu Munetomo, Kiyoshi Akama: Toward A Genetic Algorithm Based Flexible Approach for the Management of Virtualized Application Environments in Cloud Platforms, The 21th International Conference on Computer Communications and Networks (ICCCN2012) (2012) 2) Shinichiro Takizawa, Satoshi Matsuoka, Masaharu Munetomo, Taizo Kobayashi, and Hideyuki Jitsumoto: A Virtual Machine Hosting System on e-Scinece Cyberinfrastructure, IWCCA2012 (2012) 3) Masaharu Munetomo: Hokkaido University Academic Cloud: Largest Academic Cloud System in Japan, Cloud Technical Leadership Forum, (2012) 4) 棟朝 雅晴: 全国規模の学術インタークラウドシステムの構築, アカデミッククラウドシンポジウム2012 ＠北海道大学 (2012) 5) 横山 重俊: アカデミックコミュニティクラウドの実現に向けて, アカデミッククラウドシンポジウム 2012＠北海道大学 (2012) 6) 滝澤 真一朗: HPCI先端ソフトウェア運用基盤の設計と構築, アカデミッククラウドシンポジウム2012＠ 北海道大学 (2012) 7) 伊東 栄典, 九大キャンパスクラウドの現状と課題, アカデミッククラウドシンポジウム2012＠北海道大 学 (2012) 8) 小林 泰三, UBIM：シンプル且つコンパクトな広域分散環境の管理運用機構, アカデミッククラウドシン ポジウム2012＠北海道大学 (2012) 9) 熊谷 悠平, 認証フェデレーションに基づく分散ファイル管理システムの開発, アカデミッククラウドシン ポジウム2012＠北海道大学 (2012) 10) 棟朝 雅晴: 北海道大学アカデミッククラウドにおける大規模データ処理環境について, 2012年度統計関 連学会連合大会 (2012) 11) 棟朝 雅晴: アカデミッククラウドとビッグデータ, 第１回ビッグデータと統計学研究集会 (2012) 15 /15