Cloudian at cloud week 2013

12,102 views

Published on

Cloudian presentation at Cloud Week 2013 on Sep 4, 2013

Published in: Technology
0 Comments
2 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
12,102
On SlideShare
0
From Embeds
0
Number of Embeds
10,946
Actions
Shares
0
Downloads
0
Comments
0
Likes
2
Embeds 0
No embeds

No notes for slide

Cloudian at cloud week 2013

  1. 1. Cloudian® の概要と オブジェクトストレージの応⽤例 ConfidentialConfidential オブジェクトストレージの応⽤例 Cloud Week 2013@Hokkaido University 2013年 9月 4日 クラウディアン株式会社 9 September 2013 Page 1© Copyrights 2010 - 2013 Cloudian KK & Inc. All Rights Reserved.
  2. 2. 会社紹介 • 会社概要 • 社 名:クラウディアン株式会社(東京)、Cloudian Inc.(シリコンバレー)、 北京科絡典云端科技有限公司(北京) • 創 業:2001年7月 • 事 業:クラウド向けソフトウェア製品開発(70%がエンジニア) • 豊富なBig Data経験 • Inktomi/Intel, EMC/NetApp, Vodafone/NTT などの経験者によって構成 Confidential • Vodafone、ドコモ、Nextel 等にメールシステムを提供し、延べ数十億通のメッ セージを管理 9 September 2013 © Copyrights 2010 - 2013 Cloudian KK & Inc. All Rights Reserved. Page 2 VAR Value Added Reseller パートナー 技術 パートナー Cloudian パートナー企業:
  3. 3. Agenda • オブジェクトストレージの認知度 • Cloudian:10 の特⻑ ファイルストレージとの違いを踏まえて ConfidentialConfidential9 September 2013 Page 3© Copyrights 2010 - 2013 Cloudian KK & Inc. All Rights Reserved. ファイルストレージとの違いを踏まえて • オブジェクトストレージの応⽤例 • エンタープライズにおける利⽤例
  4. 4. 本日のキーワード Confidential9 September 2013 © Copyrights 2010 - 2013 Cloudian KK & Inc. All Rights Reserved. Page 4 コモディティー化の波コモディティー化の波
  5. 5. クラウド/オブジェクト ストレー ジを使ったことがありますか? クラウド/オブジェクトスト レージを知っていますか? Yes, 31 オブジェクトストレージの認知度(国内) Confidential Know, 121Do not know, 142 BCNによる調査(2013年3月1日〜27日) 回答:263 No, 232 9 September 2013 © Copyrights 2010 - 2013 Cloudian KK & Inc. All Rights Reserved. Page 5
  6. 6. どのクラウド/オブジェクトストレージを知っていますか? Cloudian の認知度が国内ではトップ Confidential9 September 2013 © Copyrights 2010 - 2013 Cloudian KK & Inc. All Rights Reserved. Page 6 N=121 クラウド/オブジェクト ストレージを知ってい ると回答した 121 人 (複数回答可) BCNによる調査(2013年3月1日〜27日) 回答:263
  7. 7. Cloudian の特⻑ その1 • ディレクトリによる階層化構造に対してフラットなオブジェクト構造 • ネットワーク上の移動や複製が容易 分散型ストレージ • 階層型ファイルシステムが抱える複雑さや拡張性の問題は存在しない オブジェクト構造オブジェクト構造 オブジェクト構造(Cloudian)ファイル構造(従来) Confidential9 September 2013 © Copyrights 2010 - 2013 Cloudian KK & Inc. All Rights Reserved. Page 7 http://s3.cloudian.com/abc123def4...VolumeA/MyFolder/Favorite/Music VolumeB/John/Music • オブジェクトの移動が自由で柔軟 • オブジェクト毎にメタデータを付与 • オブジェクト毎にアクセスの許可/非許可を設定 • オブジェクト数を無制限に拡張(ディレクトリ サイズに制限を受けない) • ユーザー間でオブジェクトの共有が容易 オブジェクト構造の特⻑ (HTTP形式のオブジェクトID)
  8. 8. Cloudian の特⻑ その2 • インターネットとの親和性が高いプロトコル(HTTP REST)を使⽤し、ス トレージへの Accessibility に優れている • PCやスマートデバイスなどの様々な機器とネットーワークを介して接続し、モバ イル対応が可能 • 更にM2Mにも最適 • 監視カメラ、⾞両、エレベータ、メータ類など、様々な機器のログデータを収集 リモートアクセスリモートアクセス Confidential • 監視カメラ、⾞両、エレベータ、メータ類など、様々な機器のログデータを収集 9 September 2013 © Copyrights 2010 - 2013 Cloudian KK & Inc. All Rights Reserved. Page 8 Networks Fixed / Mobile クラウドストレージ • パブリック • プライベート • ハイブリッド HTTP REST API 従来のブロック/ファイル ベースのプロトコルは、遅 延が発生しないデータセン ター内での利⽤に適してい るが、地理的に分散した遅 延が予測不能なクラウドに は向いていない
  9. 9. Cloudian の特⻑ その3 • 急速に増える非構造データへの対応 • スケールアップ スケールアウト • IAサーバーによる水平拡張 Peta級の BIG DATA にも難なく対応 • スモールスタートが可能(最低2台から数百台規模へ弾⼒的な拡張が可能) • 無停止で増設ができる高い運⽤・保守性 • インストール済み増設サーバーの論理リング上における挿⼊位置を指定後設置 大規模・スケールアウト大規模・スケールアウト Confidential • インストール済み増設サーバーの論理リング上における挿⼊位置を指定後設置 • 各サーバー間のリバランス(容量の平準化)を任意のタイミングで実⾏ 9 September 2013 © Copyrights 2010 - 2013 Cloudian KK & Inc. All Rights Reserved. Page 9 単⼀処理型(従来)単⼀処理型(従来) Scale Up ハードウェアを追加 することで簡単に クラスタサイズを拡張 Scale Out 分散処理型(分散処理型(CloudianCloudian))
  10. 10. Cloudian の特⻑ その4 • ストレージコストの劇的な削減 • Byte 単価の低減 • 急速に増加するデータ量に⽐例してストレージコストをかけられない現実 • コモディティーハードウェアの利⽤ • 経済的な汎⽤PCサーバー(IAサーバー)およびその内蔵HDを使⽤ 経経 済済 性性 Confidential • 経済的な汎⽤PCサーバー(IAサーバー)およびその内蔵HDを使⽤ 9 September 2013 © Copyrights 2010 - 2013 Cloudian KK & Inc. All Rights Reserved. Page 10 サービス価格 ファイルストレージベース のストレージサービス 国内某サービスプロバイダ A社 オブジェクトストレージベース のストレージサービス 国内某サービスプロバイダ B社, C社 9.35円 11.55円 /GB/月 1,029円 /GB/月 ストレージサービス(ストレージサービス(STaaSSTaaS)の市場価格(例))の市場価格(例) ※ 極端な⽐較例です。 トータル(導⼊+ランニング)コストの相対⽐較トータル(導⼊+ランニング)コストの相対⽐較 ※当社試算による⽐較です。
  11. 11. Cloudian の特⻑ その5 • 固定のオブジェクトを保存 • 主に書き込み、読み出し、削除などシンプルな操作 オブジェクトの更新 (アップデート)を⾏わない • オブジェクトの更新は「新たなオブジェクトバージョンを作成する」という形で ⾏われる タイムスタンプによるバージョン管理 • ファイルストレージに付きまとうロックの概念を取り除き、シンプルな構 シンプルなオブジェクト操作シンプルなオブジェクト操作 Confidential • ファイルストレージに付きまとうロックの概念を取り除き、シンプルな構 造とすることで、分散アクセスおよび分散ストレージが容易に 9 September 2013 © Copyrights 2010 - 2013 Cloudian KK & Inc. All Rights Reserved. Page 11 排他制御 更新処理 ロック インプレース (定位置) アップデート 1.Write 2.Write 3.Write 4. Read 最新のオブジェクト インプレース アップデート の妥協 タイムスタンプタイムスタンプ 古いオブジェク トから順次消去 (またはバー ジョン管理) ※ 複雑な処理が必要 ※ シンプルでスケーラブル マルチユーザーアクセスマルチユーザーアクセスシングルユーザーアクセスシングルユーザーアクセス
  12. 12. Cloudian の特⻑ その6 • 同⼀オブジェクトのコピーを複数ノードに保存することによって、冗⻑性 と高可⽤性を実現 • 自動データ複製機能 データの複製を自動生成 • いずれかのノードが故障してもサービス継続に影響なし • 複製数は任意に設定可能 冗⻑性・高可⽤性冗⻑性・高可⽤性 Confidential • 複製数は任意に設定可能 • データの安全性とストレージ容量はトレードオフ(3複製が推奨) 9 September 2013 © Copyrights 2010 - 2013 Cloudian KK & Inc. All Rights Reserved. Page 12 Object/Data Coordinator Node Replica Replica Replica Storage Nodes ※3複製の書き込みの例 Write Ack ① ② ③ ①、②、③ 任意のタイミ ングで Write Ack を返 信することが設定可能 Network Write Req Consistency Level の設定が可能 ※論理ノード Client
  13. 13. Cloudian の特⻑ その7 地理的分散・地理的分散・DRDR 対応対応 リモート(遠隔地) データセンター • マルチデータセンター リプリケーション機能 • 複製データ(レプリカ)の地域分散 • ローカルセンターの被災時にリモートから サービス提供 • 選択可能な「⼀貫性 vs 遅延」 Confidential9 September 2013 © Copyrights 2010 - 2013 Cloudian KK & Inc. All Rights Reserved. Page 13 Remote Replica ローカル(近傍)データセンター Local Replicas 書き込み要求 書き込み 完了通知 リモートデータセンターへの バックグラウンド書き込み 読み出し 要求 読み出し データ ※3複製の例 • 選択可能な「⼀貫性 vs 遅延」 • データセンターコストの低い遠隔地にバック アップが可能 同⼀オブジェクトの更新をサ ポートしないことによって ファイルストレージに必要 だった同期処理や遅延制約を 受けずに地理的分散が可能に
  14. 14. Cloudian の特⻑ その8 S3 準拠の API(AWS とバグ互換) • 数百を超える既存の S3 アプリおよびソ リューションをそのまま利⽤することが可能 • S3 の開発コミュニティーが生み出す資産を すべて活⽤できる AWS S3AWS S3 と高い互換性と高い互換性 AWS S3 の状況 Confidential9 September 2013 © Copyrights 2010 - 2013 Cloudian KK & Inc. All Rights Reserved. Page 14 バックアップ/DR アーカイブ エンタープライズ向け NFS/CIFSゲートウェイ デスクトップ・ファイル ストレージ/バックアップ エンタープライズ向け 安全なファイル共有 AWS S3 の状況 • パブリッククラウドストレージのシェア No.1 • 2012年6月12日時点で1兆個を超える • 2013年4月13日に S3 のオブジェクト数が2兆個*を超える • 10か月で倍に 驚異的な成⻑
  15. 15. Cloudian の特⻑ その8(補足):S3 API のメリット • アプリケーションやツールを AWS と相互利⽤し、クラウドストレージの 使い分けが可能 データ種別に応じた適正なクラウドへの保存など • パブリッククラウドの特⻑ • 簡単に容量を拡大・縮⼩ • 運⽤・保守のアウトソーシング • 必要な容量だけ利⽤し完全な従量制課⾦ • プライベートクラウドの特⻑ • 自社(グループ)内でデータを管理 • データの所在が明確 • セキュリティーの確保が容易 クラウド間インターフェースの統⼀クラウド間インターフェースの統⼀ Confidential Page 15© Copyrights 2010 - 2013 Cloudian KK & Inc. All Rights Reserved. PublicPublic PrivatePrivate ManagedManaged PrivatePrivate Sep-13 s3fs クラウド間インターフェースの統⼀クラウド間インターフェースの統⼀ S3 API による Hybrid 接続
  16. 16. Cloudian の特⻑ その9 • 拡張・縮退の際に大掛かりな作業が伴わない • 増設/撤去の際にサーバー間で自動認識 • 無停止で拡張・縮退が可能 • 汎⽤サーバーを利⽤ 増設の際に調達が容易 • サーバー障害時に緊急対応が不要 • サーバー間で故障したノードを自動認識しサービス継続 保守性・運⽤性保守性・運⽤性 ノード間 リプリケーション によるメリット Confidential • サーバー間で故障したノードを自動認識しサービス継続 • 通常のハードウェア障害であればメンテナンス時に交換 オペレーションコストの低減 • システムの更改が不要 • 故障時にサーバーを修理・交換するだけ 9 September 2013 © Copyrights 2010 - 2013 Cloudian KK & Inc. All Rights Reserved. Page 16 DC1 DC2 増設の例 Gossip Protocol データ量のリバランス 異機種の混在が可能
  17. 17. in a box Cloudian の特⻑ その10 • クラウドに必要な管理機能をひと通りパッケージング • ユーザー登録、課⾦、システム管理他サービスに必要な機能をオールインワンで パッケージ • グループ管理機能(3種類のユーザ種別) • グループ管理(マルチテナント機能) • ユーザー / グループ管理者 / システム管理者 クラウド管理機能クラウド管理機能 システム管理者 グループ管理者 ユーザー Confidential • ユーザー / グループ管理者 / システム管理者 • サービス・レベル・コントロール • グループ毎、ユーザー毎に最大値の設定が可能(ストレージ量、リクエスト数、転送データ量) • アクセスコントロールレベル • レーティングプラン(課⾦設定) 9 September 2013 © Copyrights 2010 - 2013 Cloudian KK & Inc. All Rights Reserved. Page 17 ユーザー
  18. 18. Cloudian の仕組み(拡張性、伸縮性、信頼性) LB Coordinator Node論理リング内のノード 数は2127まで理論的に は可能(ほぼ無制限) ただし、運⽤面では、 〜100台程度 (例) Facebook: Data ハッシュ関数 • 論理リング上にオブジェクトを自動配置 ConfidentialSep-13 © Copyrights 2010 - 2013 Cloudian KK & Inc. All Rights Reserved. Page 18 論理リング Storage Node 1 Storage Node 2 Storage Node 3 データを 複数のノード に自動複製 DC 1 DC 1 DC 2 Replica Replica Replica 複数データセンターや ラック単位で指定可能 ノード追加や縮退時に、 データのリバランス (例) Facebook: 1クラスタ100台/ 多数のクラスタ Virtual Bucket
  19. 19. • オブジェクトストレージの応⽤例 ConfidentialConfidential9 September 2013 Page 19© Copyrights 2010 - 2013 Cloudian KK & Inc. All Rights Reserved. • オブジェクトストレージの応⽤例 • エンタープライズにおける利⽤例
  20. 20. Cloudian の認知度向上に伴う市場浸透 • 大手プロバイダーが AWS 対 抗のサービス検討から導⼊へ • パケージ化によってターン キーでサービスの開始が可能 • S3 互換性がプロバイダーか ら高評価 市場浸透のプロセス 通信事業者 / 大手 ISP クラウドサービスプロバイダー(CSP) Confidential ら高評価 • 2013年から、エンタープラ イズからの問い合わせ、テス トなどが急速に増える • エンタープライズ市場が徐々 に⽴ち上がり始める気配 9 September 2013 © Copyrights 2010 - 2013 Cloudian KK & Inc. All Rights Reserved. Page 20 クラウドサービスプロバイダー(CSP) 大手企業 様々な企業および事業体
  21. 21. オブジェクトストレージが適しているデータとその⽤途(例) データ例: • 非構造データ、ポストプロセス型の プリストレージデータ • 際限なく増え続けるコンテンツ • 写真・映像・CG・アニメーション • 音声・サウンド・音楽 • パーソナルデータ ⽤途例: • STaaS(Storage as a Service) • SNS を始めとしたソーシャル系のコ ンテンツ • 画像・映像やスクリプトなどの静的 な Web コンテンツ • クラウドストレージ空間・ファイル Confidential • パーソナルデータ • 気象情報・地震波などの振動情報・ 宇宙科学情報 • 医療・健康情報・遺伝⼦情報 • 学術データ・科学研究データ • M2Mデータ • 変更が頻繁に⾏われるトランザク ションデータには不向き • クラウドストレージ空間・ファイル 共有 • バックアップ・アーカイブ・DR • ストレージの階層化 • ネットワークカメラなどM2Mデバイ スのストレージ先 • クラウドコンピューティングの二次 ストレージ • 分散 IT 環境の提供 9 September 2013 © Copyrights 2010 - 2013 Cloudian KK & Inc. All Rights Reserved. Page 21
  22. 22. エンタープライズにおける Cloudian の導⼊メリット 1. S3 向けに開発された様々なアプリケーション/ツールをそのまま利⽤することが できる 2. クラウドテクノロジーを活⽤することによって、マルチデバイスによるネット ワーク越しのアクセシビリティーを持ち、ビジネス効率の向上が図れる 3. 手元に置いておきたい重要なデータや、利⽤頻度の高いデータをオンプレミスで 管理したい場合 4. DR対策を含めた万全のデータ保全が可能 Confidential9 September 2013 © Copyrights 2010 - 2013 Cloudian KK & Inc. All Rights Reserved. Page 22 4. DR対策を含めた万全のデータ保全が可能 5. すでに保有しているDCやサーバーの有効活⽤が可能 6. 将来のストレージデータ量がペタバイト級になるこ とが予測される 7. ストレージコストの削減を図りたい(データ量が多 いほど効果的) 8. スモールスタートで導⼊し、データの増加に合わせ てスケールアウトできる For Enterprises
  23. 23. ノード1 スモールスタート可能な Cloudian • Cloudian のスモールサイズ構成 S3/ Admin Storage CMC LB ブラウザから CMC経由で要求 HTTP/HTTPS S3対応 最⼩冗⻑構成例:2ノードからスタートした場合 Confidential ノード2 9 September 2013 © Copyrights 2010 - 2013 Cloudian KK & Inc. All Rights Reserved. Page 23 S3/ Admin Storage CMC LB S3アプリケーション からS3へ直接要求 HTTP/HTTPS 環境としてDNSラウ ンドロビンを利⽤可 能であればLBは必須 ではありませんCloud Storage Gateway CIFS NFS iSCSI など S3 S3対応 Backup Software や S3 Client アプリ等 S3 既存の ファイル ストレージ
  24. 24. エンタープライズ向けアプリケーション(例) バックアップ ファイル共有 プライベート クラウドS3 S3 Confidential9 September 2013 © Copyrights 2010 - 2013 Cloudian KK & Inc. All Rights Reserved. Page 24 アーカイブ (eメール等) クラウド統合型 ストレージ ゲートウェイ #1 #2 #3 #4 S3 エコシステム S3 S3 S3 向けの多種多様で豊富なアプリケーションがそのまま利⽤可能
  25. 25. Cloudian の豊富な実績 • エンタープライズユーザーにとって実績の高いストレージであることが極め て重要 Confidential9 September 2013 © Copyrights 2010 - 2013 Cloudian KK & Inc. All Rights Reserved. Page 25 PT Infinys System Indonesia
  26. 26. SAN / NAS SAN / NAS Scale-out NAS Scale-out NAS ObjectObject StorageStorage ObjectObject StorageStorage 最後に:オブジェクトストレージのポジショニング Scale Out / Peta Byte Scalability / Big DataScalability / Big Data Scale Up / Tera Byte Low Price Bit PriceBit Price High Price Throughput / LatencyThroughput / Latency Confidential9 September 2013 © Copyrights 2010 - 2013 Cloudian KK & Inc. All Rights Reserved. Page 26 Low Speed Throughput / LatencyThroughput / Latency High Speed Large Transaction VolumeTransaction Volume Limited Remote AccessAccess Local Capable Robustness / DRRobustness / DR Limited
  27. 27. Thank youThank you ConfidentialConfidential9 September 2013 Page 27© Copyrights 2010 - 2013 Cloudian KK & Inc. All Rights Reserved. www.cloudian.comwww.cloudian.com www.cloudian.jpwww.cloudian.jp Thank youThank you

×