JHPCN第５回シンポジウム The Grand Hall 品川 ２０１３年７月９日

1. 分散クラウドシステムにおける
遠隔連携技術
12-IS01
北海道大学
情報基盤センター
棟朝 雅晴

2. 本研究課題の背景と目的
• 各大学でのプライベートクラウド構築が進みつつあるが、
比較的小規模に留まる→規模の経済、スケーラビリティの
面で問題あり
• それぞれの大学や組織の有する特徴的な資源（スパコン、
実験機器、観測機器、センサー、データベース, etc.）の連
携が必要
• そこで、地理的に分散配置されたプライベートクラウドシ
ステムを連携させるために必要となる技術的課題について
検討、検証する
• 特に異なるクラウドミドルウェア間の連携、およびその運
用面での課題について検討、検証する
1 /15

3. 利用者から見たニーズ
• インタークラウドシステムから、自分（研究室、研究プロ
ジェクト）専用のVirtual Private Cloud (VPC) を自由に構
築、設定したい
Cloud A （IaaS）
Cloud B （IaaS）
Cloud C （IaaS）
User
VPC 1
Internet
VM
VM
VM
VPC 2
2 /15

4. • SINET4の北端である北見工業大学〜南端の琉球大学に至る
分散クラウドテストベッドを構築
• Apache CloudStack ver. 3 で北海道大学、北見工業大学、
琉球大学の環境を構築（今後、4.1にバージョンアップを予
定）
• HPCI-AE (OpenNebula環境）との連携
• 全国規模での遠隔連携試験環境
として活用
• AWS (Tokyo, North Virginia) との
連携試験も実施
全国規模の分散クラウドテストベッドの構築
3 /15

5. Hadoop 環境の構築
• 北大側でのCloudStack環境上に整備、今後遠隔環境への展開を予定
• 大きく分けて2つのコンポーネントから構成される
• 大規模分散処理フレームワーク：Hadoop MapReduce Framework
• 分散ファイルシステム：HDFS（Hadoop Distributed File System）
• CloudStack上のVM129台を使い,完全分散モードで構築
• 形態素解析エンジン Mecab,機械学習ライブラリ Mahoutとの連携
マスターサーバ（1台） スレーブサーバ群（128台）
NameNode
JobTracker
DataNode
TaskTracker
ディスク
DataNode
TaskTracker
ディスク
DataNode
TaskTracker
ディスク
・・・・
4 /15

6. PaaS環境（CloudFoundry）の構築
• VMware社が開発したオープンソースのPaaSオファレンス
• 北大でのCloudStack上でVM40台使用、今後遠隔への展開を予定
アプリケーショ
ン利用者
アプリケーショ
ン管理者
・・・
ルーターVM（3台）
Message Bus
DEA
DEA
DEA
DEA
DEA
DEA
アプリケーションVMs
（32台）
ServiceNode
ServiceNode
ServiceNode
データVMs（3台）
コントロールVM（1台）
CloudController
HealtManager
VMCコマンド
Webブラウザ
RouterRouter
Router
5 /15

7. ・CloudStack上にVM50台で構成されるCloudFoundry環境を構築
・CloudFoundryにJavaのWebアプリケーションとしてiGAプログラムをデプロイ
・データベースにインメモリ型KVSのRedisを利用
7
構築したiGAシステムについて
CloudStack
VM
Ubuntu
instance
VM
Ubuntu
Redis
VM
Ubuntu
Redis
VM
Ubuntu
Redis
データベース
・・・
VM
Ubuntu
instance
VM
Ubuntu
instance
・・・
アプリケーションリソース
iGA iGA iGA
ロードバランサ
CloudFoundry
サーバー
・・・
大規模PaaSによるビッグデータ処理基盤
CloudFoundry
・様々な言語に対応したWebアプリケーションをデプロイするPaaS
・API操作によるインスタンスの増減やデータベース利用が出来る
• CloudFoundryを用いることで任意にスケールアウトできる
処理基盤を構築し、Machine Learning と組み合わせた実行
環境を実現
遺
・
・
・
例として作成したプログラム説明
・遺伝子は手や足、アクセサリーなどの各パーツのパ
ラメータなどを保持し、パーツが組み合わさって一枚
の画像が作成される
・評価値はユーザーによる選択時に増加し、最適解と
して終了時に選択された場合には大きく増加する
構築したiGAシステムについて
データベースインスタンス
選択を反映
遺伝子を表示
大規模分散DB
を用いること
でスケールア
ウトを容易に
実現
6 /15

8. インタークラウドマネージャのプロトタイプ構築
• ユースケース検討のためのインタークラウドマネージャのプ
ロトタイプを構築 → ポータル部分はDrupalを用いて、関連モ
ジュールを統合
Drupal Core Drupal Modules
IaaS
Eucalyptus
IaaS
Amazon
EC2
IaaS
CloudStack
Drupal
Public
Private
Private
UI
Module
SHINCLOM
CloudStack
Autonomic
Functions
Cluster Tool
VPC Tool
Eucalyptus
AWS
Management
Functions
7 /15

9. 認証連携に関する検討
• クラウド管理ミドルウェアとShibbolethとの連携方式の検
討
• 認証鍵の管理方式に関する検討を実施
• 異なるクラウド管理ミドルウェアとの連携のためのドライ
バ開発
Bridge Layout
Shibboleth
SAML
JAVA Bridge Package
JAVA Driver Interface
JAVA Driver
CloudStack
JAVA Driver
OpenNebula
JAVA Driver
OpenStack
HokudaiCloud
KyushuCloud
TokyoTechCloud
Shinclom Portal
Shibboleth
Resource ACLMyProxy
X.509
X.509
X.509
X.509
CloudStack OpenNebulaVCL
OAuth
Bridge
SAML2
Bridge
SAML2
Bridge
Sign in ONCE
SSO Access
Authorization
Authentication
Access
8 /15

10. VPC構築のための仮想ネットワークに関する検討
• 仮想ネットワークにより異なるクラウドミドルウェア間で連
携してVPCを構築
Internet
10.1.0.0/16
Physical Machines
Physical
Infrastructure
Virtual Infrastructure
(Homogeneous Context for VMs)
192.168.0.0/24
10.0.0.0/24
10.0.0.0/8
172.16.0.0/16
SSH links
9 /15

11. 遠隔連携試験
• 北大、北見工大、AWS (North Virginia, Tokyo) 、ECC
(Eucalyptus community cloud)間での遠隔連携によるVPC構
築試験を実施：VDE (Virtual Distributed Ethernet)を使用
Physical
machine
133.50.162.207
133.87.4.53/32
VDE Switch
sgemaster
phys-slave
aws-slave
VDE-Kitami
tap0 =172.16.0.1/16
tap0 =172.16.1.1/16
eth0 =10.1.37.12
tap0 =172.16.3.1/16
tap0 =172.16.2.1/16
vde-switch
aws-slave002
tap0 =172.16.3.2/16
VDE-Hokudai
133.50.162.206
eth0 =192.168.0.185
sgeslave001
eth0 =10.1.17.162
tap0 =172.16.2.2/16
eth0 =10.1.160.164
eth0 =10.160.75.92
eth0 =10.202.189.163
Region = Tokyo
Region = N. Virginia
10 /15

12. 帯域測定試験
• 当然の結果ではあるが、SINET4（北大⇔北見工大）間は問
題なく、ECC、AWSが極端に遅い
（数十〜百分の一）
• AWSなどのPublic cloudを用いて
研究向けのVPCを構築するのは
現実的ではない。
11 /15

13. 12/11/27
Master
SlaveSlave
AWS-Specific API
Connec ons
StarCluster
Mul -Cloud API Connec ons
(Apache LibCloud)
Launch Plan Configura on
via local scripts
Launch
Coordina on
Monitoring &
Repair
CloudInit.d
Mul -Cloud API Connec ons
(Apache LibCloud)
Launch Plan Configura on
via local scripts
Launch
Coordina on
Monitoring &
Repair
Master
SlaveSlave
Slave
Modifica on &
Integra on
SHINCLOM Clusters
VPC（仮想マシンクラスタ）構築について
• 分散クラウド環境で仮想マシンクラスタを自動的に構築す
る方法について検討中
• Cloudinit.d +
Apache LibCloud
での実装検証
• Chef, Puppetなど
のDeployment
toolを使う方法に
ついても検討中
12 /15

14. 当初計画の達成状況について
• インタークラウドマネージャのプロトタイプ開発およびその
検証
→ 認証基盤との連携方式も含めて、当初の目的をほぼ達成
→ 基礎的な技術に関する検討、検証を完了
• VPC構築に必要となる仮想ネットワークに関する検証
→ 基礎的なネットワーク接続に関する検証は完了
→ 認証連携など運用面での検討、性能向上については課題
• VPCにおける仮想マシンクラスタの自動構築に関する検証
→ 基礎的な基盤技術に関する検討を完了
→ インタークラウドマネージャへの組み込みについては課
題
13 /15

15. 今後の課題と展望
• 仮想ネットワーク接続の運用方式に関する検討
• 大規模分散ストレージ、データベースに関する検
討
• 大規模分散PaaS (Platform as a Service) への展開
• 運用システムでの検証および実装、サービス提供
14 /15

16. 研究成果・論文リスト
1) Omar Abdul-Rahman, Masaharu Munetomo, Kiyoshi Akama: Toward A Genetic Algorithm Based Flexible
Approach for the Management of Virtualized Application Environments in Cloud Platforms, The 21th
International Conference on Computer Communications and Networks (ICCCN2012) (2012)
2) Shinichiro Takizawa, Satoshi Matsuoka, Masaharu Munetomo, Taizo Kobayashi, and Hideyuki Jitsumoto:
A Virtual Machine Hosting System on e-Scinece Cyberinfrastructure, IWCCA2012 (2012)
3) Masaharu Munetomo: Hokkaido University Academic Cloud: Largest Academic Cloud System in
Japan, Cloud Technical Leadership Forum, (2012)
4) 棟朝 雅晴: 全国規模の学術インタークラウドシステムの構築, アカデミッククラウドシンポジウム2012
＠北海道大学 (2012)
5) 横山 重俊: アカデミックコミュニティクラウドの実現に向けて, アカデミッククラウドシンポジウム
2012＠北海道大学 (2012)
6) 滝澤 真一朗: HPCI先端ソフトウェア運用基盤の設計と構築, アカデミッククラウドシンポジウム2012＠
北海道大学 (2012)
7) 伊東 栄典, 九大キャンパスクラウドの現状と課題, アカデミッククラウドシンポジウム2012＠北海道大
学 (2012)
8) 小林 泰三, UBIM：シンプル且つコンパクトな広域分散環境の管理運用機構, アカデミッククラウドシン
ポジウム2012＠北海道大学 (2012)
9) 熊谷 悠平, 認証フェデレーションに基づく分散ファイル管理システムの開発, アカデミッククラウドシン
ポジウム2012＠北海道大学 (2012)
10) 棟朝 雅晴: 北海道大学アカデミッククラウドにおける大規模データ処理環境について, 2012年度統計関
連学会連合大会 (2012)
11) 棟朝 雅晴: アカデミッククラウドとビッグデータ, 第１回ビッグデータと統計学研究集会 (2012)
15 /15