Hadoop on eucalyptus_20110221

オープンクラウド・キャンパス

Eucalyptusで
Hadoopクラウドサービスを実現!

中井悦司
Twitter @enakai00

EucalyptusでHadoopクラウドサービスを実現!

自己紹介

中井悦司 (Etsuji Nakai)
– Twitter: @enakai00 （ぜろぜろ）

所属 IBM Linux/OSS & Cloud Support Center

日々の仕事 2011/05/20
– Linux/OSS Evangelist 好評発売中発売予定
– Linux/OSS の技術相談
– Linux/OSS 技術情報サイトの中の人
– IBM 社内のクラウド・インフラの構築

昔取った杵柄
– 素粒子論（ゲージ場とかストリング理論）
– 予備校講師（物理の先生）
– インフラ担当 SE

2 Open Cloud Campus


Eucalyptus とは？

概要
– IaaS を構築するためのクラウドソフトウェア
– Amazon EC2/S3 をモデルとしており、API の互換性を目指している

名前の由来
– “Elastic Utility Computing Architecture for Linking Your Programs To Useful Systems” の
頭文字を取って付けられた。
– 日本語では、「あなたのプログラムと便利なシステムをリンクするための弾力性を持つユーティ
リティ・コンピューティングのアーキテクチャ」

開発元
– UCSB（カリフォルニア大学サンタバーバラ校）にて 2007 年秋から開発開始
– 2009 年 4 月に開発者達で Eucalyptus Systems, Inc. を設立し、ビジネス化。現在は
Eucalyptus Systems, Inc. で開発・サポートを継続

提供形態
– オープンソースで公開されている Community Edition と有償の Enterprise Editionが提供さ
れている

3 Open Cloud Campus


Eucalyptus のアーキテクチャー

Community Edition では、ハイパーバイザは
Xen もしくは KVM が利用可能
4 Open Cloud Campus


典型的な構成例（シングルクラスタ）

クライアント管理ノード

Cloud Controller
パブリック・ネットワーク NAT Cluster Controller
Warlus / Storage Controller
プライベート・ネットワーク

・・・

Node Controller Node Controller Node Controller

コンピューティングノード
5 Open Cloud Campus


本日のネタは。。。
VM インスタンスで構成した Hadoop クラスタ

導入するソフトウェア・パッケージ、
Hadoop管理ノード
使用する構成ファイルは全て同じ
（ホスト名で役割を認識） JobTrackerデーモン
NameNodeデーモン
SecondaryNameNodeデーモン

計算ノード計算ノード
Hadoop 用のマシンイメージ
から、好きな数だけインスタンス TaskTrackerデーモン TaskTrackerデーモン
DataNodeデーモン DataNodeデーモン
を起動して、Hadoop クラスタを
自動構成しちゃうよ！
・・・

Hadoop 用マシンイメージ HDFS （分散ファイルシステム）

Eucalyptus で作ったプライベート・クラウド

6 Open Cloud Campus


本日のデモ環境の作り方はこちらに掲載しています。

Eucalyptus 環境の構築方法 Eucalyptus のクラウド上に
を解説しています。 Hadoop クラスタを構築！
2010年8月発売 2011年2月発売

7 Open Cloud Campus


デモ画面を YouTube で公開しています。

http://bit.ly/e33AC8

8 Open Cloud Campus


自動構成スクリプトの処理内容

Hadoop 管理ノードから Hadoop 計算ノードに対して以下の処理を実施
– ホスト名の設定と /etc/hosts の配布
– エフェメラル・ディスクのフォーマットとマウント（HDFS 領域として使用）

VM インスタンスにアサインされる仮想ディスク

ルートファイルシステム

エフェメラル・ディスク
（未使用領域）

スワップ領域

※ Hypervisor に KVM を使用した場合の構成

9 Open Cloud Campus


デモンストレーション

OSC の会場に
見に来てね！

10 Open Cloud Campus

オープンクラウド・キャンパス

みなさんもぜひ
“Hadoop on Eucalyptus”
で遊んでみてください！

中井悦司
Twitter @enakai00

Hadoop on eucalyptus_20110221

More Related Content

What's hot

Viewers also liked

Similar to Hadoop on eucalyptus_20110221

More from Etsuji Nakai

Hadoop on eucalyptus_20110221