Cloudian update at cloudian seminar 2014

27,006 views
26,988 views

Published on

Presentation of "Cloudian update" at Cloudian Seminar 2014 on June 2 in Tokyo

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
27,006
On SlideShare
0
From Embeds
0
Number of Embeds
26,136
Actions
Shares
0
Downloads
1
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Cloudian update at cloudian seminar 2014

  1. 1. Cloudian の概要とアップデート Cloudian セミナー 2014 June 2, 2014 © Copyrights 2010-2014 Cloudian KK. All rights reserved. 1 クラウディアン株式会社 太田 洋
  2. 2. Cloudian とは? 様々な呼ばれ方 オブジェクトストレージ クラウドストレージ広域・分散ストレージ June 2, 2014 © Copyrights 2010-2014 Cloudian KK. All rights reserved. 2 仮想ストレージ SDS : Software Defined Storage BIG DATA ストレージ S3互換・ハイブリッド クラウドストレージ
  3. 3. オブジェクトストレージと呼ばれる理由 • フラットなオブジェクト構造 • ネットワーク上の移動や複製が容易 分散型ストレージ • 階層型ファイルシステムが抱える複雑さや拡張性の問題は存在しない オブジェクト構造 オブジェクト構造(Cloudian)ファイル構造(従来) June 2, 2014 © Copyrights 2010-2014 Cloudian KK. All rights reserved. 3 http://s3.cloudian.com/abc123def4...VolumeA/MyFolder/Favorite/Music VolumeB/John/Music (HTTP形式のオブジェクトID) • オブジェクトの移動が自由で柔軟 • オブジェクト毎にメタデータを付与 • オブジェクト毎にアクセスの許可/非許可を設定 • オブジェクト数を無制限に拡張(ディレクトリ サイズに制限を受けない) • ユーザー間でオブジェクトの共有が容易 オブジェクト構造の特⻑
  4. 4. クラウドストレージと呼ばれる理由 • インターネットとの親和性が高いプロトコル(HTTP REST)を使用 遠隔からストレージへのAccessibilityに優れている • PCやスマートデバイスなどのモバイル対応が可能 • IoT/M2Mにも最適 リモートアクセス クラウドストレージ June 2, 2014 © Copyrights 2010-2014 Cloudian KK. All rights reserved. 4 Internet Fixed / Mobile • パブリック • プライベート • ハイブリッド HTTP REST API 従来のブロック/ファイルベースのプロトコルは、遅延が発⽣しないデータセンター内での利用に 適しているが、地理的に分散した遅延が予測不能なクラウドには向いていない
  5. 5. 仮想ストレージ・SDS / BIG DATA ストレージと呼ばれる理由 • 経済的なIAサーバーによるスケールアウト 何台ものIAサーバーを仮想的に 一つの巨大なストレージとして扱うことが可能 • 柔軟な拡張性 最低2台(スモールスタート)から数百台規模(Peta級のBIG DATA)へ拡張が可能 • 無停止での増設が可能 大規模・スケールアウト ハードウェアを June 2, 2014 © Copyrights 2010-2014 Cloudian KK. All rights reserved. 5 Virtual Bucket ハードウェアを 追加することで 簡単にクラスタ サイズを拡張 論理リング
  6. 6. S3互換・ハイブリッドクラウドストレージと呼ばれる理由 • アプリケーションやツールをAWSと相互利用 クラウドの使い分け • データ種別に応じた適正なクラウドへの保存 • パブリッククラウドの特⻑ • 簡単に容量を拡大・縮⼩ • 運用・保守のアウトソーシング • 必要な容量だけ利用し完全な従量制課⾦ • パブリッククラウドの特⻑ • 簡単に容量を拡大・縮⼩ • 運用・保守のアウトソーシング • 必要な容量だけ利用し完全な従量制課⾦ • プライベートクラウドの特⻑ • 自社(グループ)内でデータを管理 • データの所在が明確 • セキュリティーの確保が容易 • プライベートクラウドの特⻑ • 自社(グループ)内でデータを管理 • データの所在が明確 • セキュリティーの確保が容易 クラウド間インターフェースの統一 Hybrid Cloud June 2, 2014 © Copyrights 2010-2014 Cloudian KK. All rights reserved. Public Private Managed Private s3fs クラウド間インターフェースの統一 S3 API S3 API S3 API S3 API 6
  7. 7. 広域・分散ストレージと呼ばれる理由 リモート(遠隔地) データセンター CoordinatorConsistency Level • オブジェクトの複製を複数ノードに保存 冗⻑性と高可用性を実現 • いずれかのノードが故障してもサービス継続に影響なし • 複製数は任意に設定可能 • 複製オブジェクトの地域分散 • ローカルセンターの被災時にリモートからサービス提供 June 2, 2014 © Copyrights 2010-2014 Cloudian KK. All rights reserved. 7 Remote Replica Local Replicas 書き込み要求 書き込み 完了通知 リモートデータセンターへの バックグラウンド書き込み 読み出し 要求 読み出し オブジェクト Object Coordinator Node (仮想リング上の 任意のサーバー) Storage Nodes ※3複製の例 (複製数は設定可能) 書込完了 ① ② ③ ①②③ 任意のタイミングで書き込み 完了通知を返信することが設定可能 Network Consistency Level の設定が可能 Client 書込要求 複製 複製 複製 ローカル(近傍)データセンター
  8. 8. Flash, SSD Flash, SSD SAN, NAS SAN, NAS Object StorageObject Storage Cloudian のポジショニング Scale Out / Peta Byte Scalability / Big DataScalability / Big Data Scale Up / Tera Byte Low Price Bit PriceBit Price High Price LatencyLatency June 2, 2014 © Copyrights 2010-2014 Cloudian KK. All rights reserved. Low Speed LatencyLatency High Speed Large Transaction VolumeTransaction Volume Limited Remote AccessAccess Local Capable Robustness / DRRobustness / DR Limited 8
  9. 9. ユーザー事例(一部) • 国内事例 • 海外事例 June 2, 2014 © Copyrights 2010-2014 Cloudian KK. All rights reserved. 9P9
  10. 10. ・BCP対策を検討している「⺠間企業」「⾃治 体」 「病院」などのお客様 ・既存のバックアップ環境に不安・不満を抱えて いるお客様 ICC BCPリモートバックアップサービス あらゆるシーンのお客様に対して、リモートバックアップサービスを提供する ターゲット ■サービスの概要 ■概要イメージ BCPリモートバックアップサービス クラウドストレージサービス S3対応-Software S3対応-NAS Copyright 2014 Ishikawa Computer Center. All Rights Reserved. ・クラウドストレージサービスへの接続回線として インターネット、VPN、LGWANを用意 便益 多様な⼿法で⼤容量データを低コストで 安全に守る ・⾃社DCを利用したサービス ・お客様のセキュリティ要件、バックアップ要件により 回線や利用ツールをトータルで御提案 ・予算取りが⾏いやすいように、契約ストレージ容量 による⽉額固定課⾦を用意 ・ネットワーク流量による課⾦は無し 特⻑ ICCデータセンター (⼤容量データ対応)
  11. 11. Cloudian の新機能 June 2, 2014 Page 11© Copyrights 2010-2014 Cloudian KK. All rights reserved. Cloudian セミナー 2014
  12. 12. Cloudian HyperStore 4.0 Mgmt ConsoleMgmt Console Web GUIWeb GUI S3 APIS3 API Mgmt APIMgmt API S3 Client / Application S3 Client / Application CMC S3 マルチストレージ空間のサポート HyperStore 4.0 Cloudian の アーキテクチャ Cloudian NOSQL Database NOSQL Database ReplicateReplicate HyperStore 4.0 Multi-StorageHyperStore 4.0 Multi-Storage Auth.Auth. S3 APIS3 API Mgmt APIMgmt API Erasure Coding Erasure Coding Hybrid Cloud HyperStore 4.0 CoreHyperStore 4.0 Core S3 マルチストレージ空間のサポート オブジェクトに最適なストレージ 空間を選択可能 AWS S3 / Glacier の 併用によるプライベート クラウドとパブリックク ラウドのハイブリッド化 を実現 File SystemFile System 新たに Erasure Coding に対応 June 2, 2014 © Copyrights 2010-2014 Cloudian KK. All rights reserved. 12P12
  13. 13. Erasure Coding(イレージャー・コーディング) • ストレージ効率の大幅改善 2倍の容量 ※3複製の場合 • 2台のサーバーが故障してもデータの保障が可能 • パフォーマンスとのトレードオフ アーカイブに最適 Replication 方式 3複製を3台のサーバーに配置 ※3複製の場合 オーバーヘッドが 1/4 Parity1 Parity2 Erasure Coding 方式 4分割+2パリティーを6台のサーバーに配置 ※3複製の場合:最小構成でも6台のサーバーが必要 バケット単位で選択が可能 June 2, 2014 © Copyrights 2010-2014 Cloudian KK. All rights reserved. 13P13
  14. 14. Hybrid Cloud AWS Tiering • AWS S3/Glacierへの自動階層化(Auto-Tiering)機能 オンプレミス S3 GlacierS3S3 Client / Application パブリック クラウドの併用 S3 S3 Tiering Glacier Tiering No Tiering (Default) S3 利用例: 1. 使用頻度の⾼いデータ オンプレミス Cloudian 2. バースト時(一時的に容量が⾜りなくなった場合) S3 / Cloudian 3. 使用頻度が低い⻑期保存データ Glacier Tiering Cloudian Tiering S3 バケット単位で設定 June 2, 2014 © Copyrights 2010-2014 Cloudian KK. All rights reserved. 14P14
  15. 15. 製品展開とその応用例 June 2, 2014 Page 15© Copyrights 2010-2014 Cloudian KK. All rights reserved. Cloudian セミナー 2014
  16. 16. 製品展開 • パッケージソフトウェア • プロバイダー市場向け • IAサーバー上で構築 • 高い自由度 • アプライアンス • エンタープライズ市場向け • ターンキー • ベストチューニング • フレックスストア ブランド June 2, 2014 © Copyrights 2010-2014 Cloudian KK. All rights reserved. 16
  17. 17. FlexStore のラインナップ • CMS Reference Models サービス事業者用ラインナップ データセンター向け エンタープライズ用ラインナップ オンプレミス向け 1U 2.5”-12Drive (24TB) SW RAID 0/LVM 2U 3.5”-12Drive (24TB) HW RAID 5/6 2U 2.5”-24Drive June 2, 2014 © Copyrights 2010-2014 Cloudian KK. All rights reserved. 17 1U+4U 2.5”/3.5” -60JBOD (120TB) HW RAID 5/6 2U 3.5”-12Drive (24TB) HW RAID 5/6 2U 2.5”-24Drive (24TB) HW RAID 5/6 2U 2.5”-24Drive (48TB) HW RAID 5/6 2U 3.5”-12Drive (24TB) HW RAID 5/6
  18. 18. Coming Soon ! • TomorrowNet Reference Models SMB 向けエントリーモデル 2 x 2.5” (2TB) SW RAID 1 4Core 16Gb • 事業所それぞれに分散配置 • 事業所間でレプリカを持ち合い 自動バックアップおよびDR対策 が可能 June 2, 2014 © Copyrights 2010-2014 Cloudian KK. All rights reserved. 18 4Core 16Gb • 特 ⻑ • 柔軟な拡張性 • 自動レプリケーション • 分散配置 • DR、堅牢性 • リモートアクセス • 充実した管理者機能 が可能 • マルチテナント機能によって事 業所個別管理および事業所間 ファイル共有が柔軟に⾏える • 設置および増設が簡単 • クライアントバックアップ、 アーカイブ、ファイルシェアな ど充実したアプリケーションの 利用が可能
  19. 19. Cloudian のユースケース プロバイダー市場、エンター プライズ市場の両方に対応 バックアップバックアップ ファイル共有ファイル共有S3 S3 オンライン ストレージ STaaS オンライン ストレージ STaaS Public CloudPublic Cloud Private CloudPrivate Cloud With S3With S3 June 2, 2014 © Copyrights 2010-2014 Cloudian KK. All rights reserved. 19 アーカイブ (eメール等) アーカイブ (eメール等) クラウド統合型 ストレージ ゲートウェイ クラウド統合型 ストレージ ゲートウェイ S3 S3 クラウドコン ピューティングの 2次ストレージ クラウドコン ピューティングの 2次ストレージ Public CloudPublic Cloud Private CloudPrivate Cloud Hybrid CloudHybrid Cloud Cloud Computing With S3With S3 EcosystemEcosystem
  20. 20. 最近注目される動向:IoT / M2M データ収集 WARNING リアルタイム モニタリング アラート送信 外部システム 他システム連携 検 索 分析結果参照 データ収集 BIG DATA 書き込み書き込み 保存保存 読み出し読み出し 加工 / 分析 Post-processing 加工 / 分析 Post-processing 前処理 Pre-processing 前処理 Pre-processing June 2, 2014 © Copyrights 2010-2014 Cloudian KK. All rights reserved. 20 データ収集 他システム連携データ収集 イベント処理基盤 ビッグデータストレージ基盤 大規模データ分析基盤 各種⼊⼒ I/F各種⼊⼒ I/F 各種出⼒ I/F各種出⼒ I/F CEP エンジンCEP エンジン フィルタ リング フィルタ リング 監視 / 判断 監視 / 判断 集 約集 約 リアルタイム監視 / 分析 CEP: Complex Event Processing 非構造化データの蓄積 (オブジェクトストレージ) 大規模データ分析 (バッチ処理) 大規模データ分析 (バッチ処理) 各種検索各種検索 各種分析各種分析 データ分析・ストレージ基盤(クラウド) BIG DATA
  21. 21. 最近注目される動向:O2O(Online to Offline) 店舗・施設・イベント会場への接近 GPS / Beacon / WiFi ソーシャルメディア からの情報 リアル 誘導 リアル 誘導 スマートデバイス アプリ・メール による通知 商品・在庫、キャンペーン、 クーポン、購買などの情報 リアルタイム情報 バッチ情報 June 2, 2014 © Copyrights 2010-2014 Cloudian KK. All rights reserved. 21 イベント処理基盤 ビッグデータストレージ基盤 大規模データ分析基盤 各種⼊⼒ I/F各種⼊⼒ I/F レコメンドレコメンド CEP エンジンCEP エンジン フィルタ リング フィルタ リング 監視 / 判断 監視 / 判断 集 約集 約 リアルタイム監視 / 分析 CEP: Complex Event Processing 非構造化データの蓄積 (オブジェクトストレージ) 大規模データ分析 (バッチ処理) 大規模データ分析 (バッチ処理) レコメンドレコメンド 各種分析各種分析 データ分析・ストレージ基盤(クラウド) BIG DATA
  22. 22. Thank You! June 2, 2014 Page 22© Copyrights 2010-2014 Cloudian KK. All rights reserved. Cloudian セミナー 2014

×