CloudStack Ecosystem Day - OpenStack/Swift

CloudStack Ecosystem Day

openstack
Open source software to build public and private clouds.

Swiftで学ぶ分散オブジェクトストレージ
〜内部アーキテクチャと構築のポイント〜

2012.07.20
日本 OpenStack ユーザ会
伊藤忠テクノソリューションズ中島倫明
1

自己紹介

● 中島倫明 (Tomoaki Nakajima) @irix_jp
● 伊藤忠テクノソリューションズ勤務
● 日本 OpenStack ユーザ会（ JOSUG ）ボードメンバー
● RedHat 認定アーキテクト

● OpenStack をはじめとする OSS を使ったクラウド
インテグレーションを主な業務としております。
● その傍らで JOSUG メンバーとして、まだまだ歴史
の浅い OpenStack の啓蒙活動にも尽力。

2

なぜ OpenStack ？

3

なぜ OpenStack ？

http://support.citrix.com/servlet/KbServlet/download/30323-102-674022/CloudStack3.0.0ReleaseNotes.pdf 4

Agenda

● OpenStack とは？
● Swift とは？
● Swift の構造
● Swift の設計
● 構築、運用時の注意点
● まとめ
● 日本 OpenStack ユーザ会について

5

OpenStack とは？

6

OpenStack とは？

● 2010/7/19
NASA が開発した IaaS ソフト
　　　　　＋
Rackspace の CloudFiles
=

OpenStack プロジェクト発足

https://twitter.com/nikiacosta/status/225767355148533760/photo/1

http://www.rackspace.com/blog/happy-2nd-birthday-openstack-a-look-at-two-years-of-growth-infographic/ 7

OpenStack とは？

● Python
● Modular Structure(Scalable & Pluggable)
● Amazon EC2/S3 互換 API
● Apache2 ライセンス
● OpenStack Foundation

● OpenSource IaaS Platform Software
● データセンタ、社内、自宅でクラウド

8

OpenStack とは？

● 多数の企業、団体が開発コミュニティへ参加

2012/7/19 現在

http://openstack.org/ 9

OpenStack とは？
● リリース
バージョン公開時期特徴
2010.1 　 Austin 2010/10 Nova, Swift 初リリース（連携せず）
2011.1 　 Bexar 2011/2 Glance ： Swift 上の VM ディスクイメージを Nova から
利用可能に
2011.2 　 Cactus 2011/4 Nova ： LXC ・ VMware ESX 対応、 IPv6 完全対応
Swift ： Swauth 認証採用、性能向上
Glance ： CLI ツール追加、複数イメージフォーマット対
応
2011.3 　 Diablo 2011/10 Nova ：ゾーン間分散スケジューラ、ボリュームブート
Swift ：複数クラスタレプリケーション
Glance ：フィルタリング対応、テナント間イメージ共有
2012.1 　 Essex 2012/4 Keystone ： Nova, Swift 等でユーザ管理を一元化
Horizon ： Nova, Swift 等を WebUI で操作
2012.2 　 Folsom 2012/10 予定 Quantum ：仮想ネットワーク機能が Nova から独立
Cinder ：ボリューム機能が Nova から独立
2013.1 　 Grizzly 2013/4 予想 OpenStack Design Summit October 15-18 で決定。
http://openstack.jp/assets/files/20120512/OSC2012-Nagoya-yosshy.pdf 10

OpenStack とは？
● 事例
● クラウドサービス ● 研究開発基盤
– The Rackspace Cloud – NASA
– HP Public Cloud – University of Melbourne
– Ubuntu Cloud – University of Bedfordshire
– Softlayer Object Storage – Purdue University
● サービス基盤 – Information Sciences Institute
– Instituto de Física de Cantabria(IFCA)
– MercadoLibre, Inc
– Gjøvik University College
– Sina.com
– CC-IN2P3
– Radio Free Asia
– US Department of Energy
– AT&T
– Industrial Technology Research
– RightScale
– Institute (ITRI), CCMA
– X.commerce (eBay/Paypal)

11

OpenStack とは？

● 構成するコンポーネント
● Nova 仮想マシン管理
● Swift オブジェクトストレージ
● Glance イメージ管理
● Keystone 認証・認可
● Horizon ダッシュボード
● Quantum ネットワーク管理（ nova から派生 )
● Cinder ボリューム管理（ nova から派生）

各コンポーネントの単独利用も可能

12

OpenStack とは？

● 利用イメージ
● ダッシュボード

13

OpenStack とは？

● CLI
# nova-manage service list
Binary Host Zone Status State
nova-scheduler openstack-1 nova enabled :-)
nova-compute openstack-2 nova enabled :-)
nova-network openstack-2 nova enabled :-)

14

OpenStack とは？

● Euca2ools
– Amazon EC2/S3 互換 API を操作するコマンドラインツール
# euca-describe-availability-zones verbose
AVAILABILITYZONE nova available
AVAILABILITYZONE |- nova1.sol-net.jp
AVAILABILITYZONE | |- nova-cert enabled :-)
AVAILABILITYZONE | |- nova-compute enabled :-)
AVAILABILITYZONE | |- nova-consoleauth enabled :-)
AVAILABILITYZONE | |- nova-network enabled :-)
AVAILABILITYZONE | |- nova-scheduler enabled :-)
AVAILABILITYZONE | |- nova-volume enabled :-)

15

OpenStack とは？

● API/Library
– python-novaclient
– python-keystoneclient
– python-quantumclient
– （開発中） python-swiftclient , python-glanceclient
from keystoneclient.v2_0 import client
keystone = client.Client(
username=USER, password=PASS,
tenant_name=TENANT_NAME,
tenant_name=KEYSTONE_URL)
http://openstack.jp/assets/files/20120604/KeystoneClient.pdf 16

OpenStack とは？

これまでの OS
物理リソースの制御
インフラを人の手で操作

● Linux
● Windows

● UNIX 系 OS

● etc

17

OpenStack とは？

これまでの OS 新しいレイヤの OS
物理リソースの制御仮想化・分散されたリソースの制御
インフラを人の手で操作インフラをアプリケーションのよう
に操作
● Linux ● OpenStack
● Windows ● CloudStack

● UNIX 系 OS ● Eucalyptus

● etc ● etc

CloudOS
18

OpenStack とは？

● 本日の主題
● Nova 仮想マシン管理
● Swift オブジェクトストレージ
● Glance イメージ管理
● Keystone 認証・認可
● Horizon ダッシュボード
● Quantum ネットワーク管理（ OpenFlow ）
● Cinder ボリューム管理（ nova から派生）

19

Swift とは？

● OpenStack Object Storage
● いわゆる Amazon S3
● REST API で入出力を行うファイルサーバ
– Swift API と S3 互換 API
– オブジェクト≒ファイル
● Proxy Node と Storage Node の 2 つで構成
Swift

Proxy Storage Account
Client
REST REST
Container
Node Node Object
21

Swift とは？

● 特徴
● HTTP REST API を用いた入出力
● 安価な x86 サーバ上での稼働を前提
● シンプル構造
● 「超」安全設計
● サーバを並列化し、リニアに容量・性能を向上可能
– 単一障害点なし
– ボトルネックなし
● ファイルの破損を自動検知＆自己修復
● ファイルと任意のメタ情報をセットにした格納が可能
22

Swift とは？

● 動作環境
● Linux(Ubuntu or RHEL)
● Python 2.6 or 2.7
● Xattr をサポートする Filesystem
– Ext3, 4, xfs, etc

● インストール関して
– Ubuntu ・・・標準リポジトリに含まれる
– RHEL ・・・ EPEL リポジトリに含まれる
● CentOS, Scientific, Fedora でも動作可

23

Swift とは？

● HTTP リクエストでファイル操作を行う。

PUT /hoge/foo/bar/demo.pdf HTTP/1.1

Host: storage.swiftdrive.com
X-Auth-Token: eaaafd18-0fed-4b3a-81b4-663c99ec1cbb
ETag: 8a964ee2a5e88be344f36c22562a6486
Content-Length: 512000
X-Object-Meta-PIN: 1234
[...body...]

24

Swift とは？

● Swift の用途
● アクセスの分散 → サーバ並列化＆バランシング
● データベースの分散 → Mongo/Cassandra/etc
● バッチ処理の分散 → Hadoop

● ファイル入出力の分散 → ？？？

25

Swift とは？

● Swift の用途
● アクセスの分散 → サーバ並列化＆バランシング
● データベースの分散 → Mongo/Cassandra/etc
● バッチ処理の分散 → Hadoop

● ファイル入出力の分散 → ？？？

26

Swift とは？

● Swift の用途

API データ
バックアップ
API

API
データ
アーカイブ
Dropbox 風 API
クライアント API
Hadoop 等
API
WEB

27

バージョン情報

● 最新は 1.5.0
version release date blueprint bug
1.4.0 diablo 2011/5/31 5 20
1.4.1 diablo 2012/6/20 2 7
1.4.2 diablo 2011/7/27 5 14
1.4.3 diablo 2011/9/12 3 7
1.4.4 essex 2011/11/24 1 14
1.4.5 essex 2012/1/9 3 8
1.4.6 essex 2012/2/10 2 11
1.4.7 essex 2012/3/9 9 10
1.4.8 essex 2012/3/33 0 8
1.5.0 folsom 2012/6/5 6 16
1.5.1 folsom 2012/7/30

28

Swift の構造

● 基本構造アカウント、コンテ
ナのマッピング。
Account アカウントの統計情
報を管理
ユーザからのアクセス窓口。 REST
配下のサーバへの振り分けを
行う。コンテナに保存され
REST たオブジェクトと
Proxy Container ACL を管理

REST
オブジェクトの実体
が保存される。
Auth Object

ユーザ認証、アクセストークンの発行

30

Swift の構造

● 基本機能が WSGI のミドルウェアとして実装
Client

Request Response
ミドルウェアを追加する事で処理を自由に追加可能
WEB インターフェス
標準の Proxy サーバでは以下の MW がロードされる
ミドルウェア 1
catch_errors
ミドルウェア 2 healthcheck
cache
...

ratelimit
ミドルウェア N tempauth
proxy-logging
WSGI アプリケーション proxy-server

https://github.com/openstack/swift/blob/master/etc/proxy-server.conf-sample 31

Swift の構造

● データの持ち方
C A
● デフォルトで 3 つ Zone 1
の複製
B A
● 複製は「ゾーン」 Zone 2
という単位で区
切られて行われ B
る。 Zone 3

C A
Zone 4

B C
Zone 5

32

Swift の構造

● ファイル複製の制御
● Ring
– 静的ハッシュテーブル
– 全てのファイルは予め保存先が決められている。

● 「パーティション」と呼ばれる箱を何個用意するか決めた
後で、どの箱にどのディスクを配置するか決める。
● swift-ring-builder xxx create ・・・箱の数を決める
● swift-ring-builder xxx add ・・・ディスクを登録
● swift-ring-builder xxx rebalance ・・・箱へ割当てるディスクを決定

33

Swift の構造
GroupA/UserA GroupB/UserB
A ContainerA B ContainerB
filenameA filenameB
swift_hash_path_suffix

Part1 Part2 Part3 Part4 ・・・ 2^n

Replica1 array('H', [ 0, 1, 5, 8, 7, 6, ...])
Replica2 array('H', [ 6, 3, 9, 4, 3, 2, ...])
Replica3 array('H', [ 4, 7, 2, 0, 5, 1, ...])

{... 'ip': '192.168.128.12', 'id': 4, 'parts': 10, 'device': 'disk5', 'port': 6000 ...},
{... 'ip': '192.168.128.12', 'id': 5, 'parts': 10, 'device': 'disk6', 'port': 6000 ...},
{... 'ip': '192.168.128.12', 'id': 6, 'parts': 10, 'device': 'disk7', 'port': 6000 ...},...
34

Swift の構造

● ファイルの配置 devices dir

デバイス名デバイス名デバイス名

account object container

パーティション No パーティション No パーティション No

ハッシュ下 3 桁ハッシュ下 3 桁ハッシュ下 3 桁

ハッシュハッシュハッシュ

アップロード時の
10.data 20.data
タイムスタンプがファイル名になる

35

Swift の構造

● 安全重視の複製
● 各ノードは Push しか行わない（相手ノードをファイルを
消さない）
● データの削除はタイムスタンプを見て、古いものが消え
る
● 削除時には削除フラグ (tombstone) ファイルを生成し、
「削除」のレプリケーションにも対応。

36

Swift の構造

● ファイルの複製
ノード 1 ノード 1

ハッシュハッシュ

10.data 10.data 20.data



20.data 10.data 20.data

37

Swift の構造

● ファイルの削除


10.data 30.ts 10.data 20.data 30.ts

ハッシュ
ハッシュ

10.data 20.data 30.ts
20.data

38

Swift の設計

● コンポーネントの負荷（目安）
CPU MEM DISK DISK network
(I/O) (space)
proxy 中 *1 中 *1 低低中 *1

account 低低低低低

container 中低低低低 *2

object 中中高高高

*1) 利用方法と台数に依存。
*2) たいていの場合、この 3 機能は同居でもよい。ただし、総容量が数百 PB になる
ケースでは分離したほうが良い（後述
40

Swift の設計

● Rackspace Reference Architecture
● Storage-as-a-Service
– Public, Read/Write Heavy, Min 5 cabinets (~75 Nodes)
Proxy Node Storage Node
Server Model Dell R415, Dell R515, Dell R710 Dell C2100, Dell R515
CPU Single socket CPU (min. needed) Single Quad
MEM 8GB RAM 8 or 12GB RAM
Data Disk Qty:12, SATA 3.5" 2TB Drives
System Disk Qty: 2, 3.5" 15K-RPM 300GB Qty: 2, SAS 2.5" 300GB Drives
SAS (internal)
Raid R1, LSI RAID Controller No RAID
NIC Intel NICs Intel 1Gb NICs: 2 or more NICs
of 1G or greater, based on
intended workload

http://www.referencearchitecture.org/ 41

Swift の設計

● コンポーネントの配置 (storage node)
– NW の二重化や電源二重化は Zone で対応する。
– ノード数が多くなりやすいのでシンプルが管理しやすい
zone1 zone2 zone3 zone4 zone5
1Gbps L2 1Gbps L2 1Gbps L2 1Gbps L2 1Gbps L2

Storage node Storage node Storage node Storage node Storage node

42

Swift の設計

● コンポーネントの配置 (proxy node)
● NW 、電源は 2 重化推奨
● アクセス経路や顧客単位で Proxy のドメインを分けるこ
とも可能
– メリット： ratelimit(middleware) を個別に設定できる。
Domain A Domain B
Proxy node Proxy node Proxy node Proxy node Proxy node

1Gbps L2 1Gbps L2

Storage pool

43

Swift の設計

● ネットワーク
● ゾーン間は転送量が多いので 10Gbps が推奨
Proxy node Proxy node Proxy node Proxy node Proxy node

1Gbps L2 1Gbps L2

10Gbps 10Gbps

1Gbps L2 1Gbps L2 1Gbps L2 1Gbps L2 1Gbps L2


44

Swift の設計

● Ring に持たせるパーティション数
● 大きめに、ただしバランスが重要
– 小さい・・・分散が偏りやすくなる
– 大きすぎる・・・ Swift の起動に時間がかかる、メモリを消費
● あとで変更できない（現時点では）
● パーティション数による性能の変化は無い

● 算出方法
– 1 物理ディスクあたり 30 〜 100 パーティション前後
– 最終的に 1 クラスタを構成する最大見込み容量から求める
– 2^n の近似値となる n を選択する。
45

Swift の設計

● Ring パーティション数と消費メモリ
● 3 replica 想定
– swift-ring-builder xxx create <part_power> <replica> ..
part_power パーティション数目安ディスク本数物理容量消費メモリ *1
(100part/disk) (SATA 3TB) ( 目安 )
10 1,024 11 33 TB 145,660 KB
15 32,768 328 984 TB 145,764 KB
20 1,048,576 10,486 32 PB 151,748 KB
25 33,554,432 335,545 1,007 PB 342,212 KB

part_power が 20 を超えると目に見えて Ring の作成、 Swift の起動が遅くなる。
現実的な運用を考慮すると、 part_power=27 前後が限界 (RAID 無しの場合 )

*1)ring をロードした Python プロセスの仮想メモリサイズ

46

Swift の設計

● 超巨大な Swift クラスタを作りたい場合
● 例 ) 100EB 、 200ZB ・・・

● パーティション数は 2^27 前後で頭打ち。
– 構造的にはもっと巨大なパーティションも作成可能

● Swift に認識させるディスクを LVM で連結して、 1
ディスクあたりのサイズを大きくする。
● ほぼ無限にスケールさせられる。

47

構築、運用時の注意点

48


● 時刻同期
● オブジェクトの管理にタイムスタンプを利用するため。
● 仮にクラスタ内のノードの時間がずれていると・・・
– 表面上は動くが、時間が遅れている Proxy を経由してアップ
ロードされたオブジェクトが、過去ファイル扱いになってしまう
等の問題あり。

49


● ファイル破損チェックの動作
● ファイル数、容量が大きくなってくると破損チェックの負
荷と時間を見て調整する必要あり。
– サーバ性能と相談して調整。

● object-auditor
– files_per_second
● 1 秒間にチェックできるファイル数の最大値（デフォルト： 20 ）
– bytes_per_second
● 1 秒間にチェックできるバイト数の最大値（デフォルト： 10000000 ）

50


● 監視
● ちゃんとやりましょう
● ただし、１台落ちても大惨事にならないので、簡単な
チェックで OK
– Healthcheck ミドルウェア

● ログ監視は注意
– Swift は正常動作時にも内部ではエラーが出やすい。
● レスポンス向上のために、タイムアウトしきい値が低い

51


● 認証
● OpenStack の一部として使う場合は
Keystone （ OpenStack 全体の統合認証）を利用

● Swift 単独で利用する場合
– 標準で持っている認証方式
● tempauth( テスト用認証機構、リファレンス実装 )
● swauth(Keystone 登場前の Swift 専用の認証機構 )

– 個別に作りこむ場合
● tempauth を参考にするとわかりやすい

http://docs.openstack.org/developer/swift/development_auth.html 52

ロードマップ

53

ロードマップ
# blueprint 概要
1 keystone-middleware Swift 用 Keystone 認証ミドルウェアを Keystone
から Swift へ移動
2 webob-support 新バージョンの webos モジュールのサポート
3 cors-support CORS サポート
4 large-single-uploads 5GB 以上のオブジェクトを単一操作でアップ
ロード可能にする
5 multi-region 異なる Swift クラスター間でのレプリケーション
6 ring-builder-server Ring 管理機能
7 object-compression 圧縮
8 searchable-metadata メタデータ検索
10 cdmi CDMI のサポート (SNIA によって定義されるクラ
ウド上のデータ管理企画 )
11 cdn-swift CDN サポート
12 easier-ring-changes CSV からの Ring 作成
13 friendly-error-messages エラーメッセージの改善
https://blueprints.launchpad.net/swift 54

ロードマップ
# blueprint 概要
14 future-at-risk-tools ディスク障害時の一時的な自動復旧
15 localfs ???
16 parity-storage Erasure Coding への対応
17 pipe-stdin パイプライン経由のアップロード
18 prevent-deletes 永続的オブジェクトのサポート（削除できないオ
ブジェクト）
19 read-only-middleware 全体を読み取り専用にするミドルウェア
20 reworkfunctests 機能テストのリファクタリング
21 storage-quotas テナントへのクォータ
22 swift-cdmi CDMI のサポート
23 swift-configurable-handoff- ハンドオフノードの選択方式の改善
constraints
24 zone-concept-change ゾーンコンセプトの変更

https://blueprints.launchpad.net/swift 55

まとめ

● OpenStack とは？
● OSS IaaS 基盤ソフトウェア
● ClouldOS とも呼ばれます

● Swift とは？
● x86 サーバで動作する、
● 安価に安全にファイルを保存できる、
● S3 互換を備えた、
● REST ベースのファイルサーバです

57


58


● 国内での OpenStack の普及活動、最新情報の発
信、意見交換等を行なっています。
● http://openstack.jp/
● ML 参加者： 662 人 (7/17 時点 )

59


● これまでに様々なセミナーや公演を実施
● オープンソースカンファレンス
– 東京、名古屋、京都

● 勉強会
– セミナー
– ハンズオン
– ハッカソン
– コードリーディング

– 月 1 回ペース

60


● CloudOS を扱う上で重要なポイント

使われている基盤技術の理解

61


http://openstack.jp/

My special thanks to Citrix and Mr. @kkitase
62

ご静聴ありがとうございました。

63

CloudStack Ecosystem Day - OpenStack/Swift

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (16)

Similar to CloudStack Ecosystem Day - OpenStack/Swift

Similar to CloudStack Ecosystem Day - OpenStack/Swift (20)

More from irix_jp

More from irix_jp (16)

CloudStack Ecosystem Day - OpenStack/Swift