クラウドストレージの基礎知識(Cloudian white paper)
 

Like this? Share it with your network

Share

クラウドストレージの基礎知識(Cloudian white paper)

on

  • 26,262 views

クラウドストレージ(分散オブジェクトストレージ)をわかりやすく解説したホワイトペーパーです。

クラウドストレージ(分散オブジェクトストレージ)をわかりやすく解説したホワイトペーパーです。

Statistics

Views

Total Views
26,262
Views on SlideShare
1,965
Embed Views
24,297

Actions

Likes
1
Downloads
13
Comments
0

30 Embeds 24,297

http://www.cloudian.jp 13904
http://cloudian.jp 3708
http://cloudian.nude 1610
http://common.flaparts.net 1351
http://www.gemini-bigdata.com 933
http://blogs.geminimobile.com 853
http://test.flaparts.jp 680
http://nude2008.creative-japan.org 421
http://localhost 243
http://192.168.1.101 232
http://192.168.1.2 132
http://www.cloudian-blog.com 102
https://www.dreamgate.gr.jp 38
http://761491162799547271_7aad108906d6f82dc609181ef9005b8e127363de.blogspot.com 17
http://www.google.co.jp 16
http://cloud.feedly.com 10
http://www.feedspot.com 8
https://twitter.com 7
http://seccotine14.okeedo.com 7
http://translate.googleusercontent.com 5
https://www.google.co.jp 5
http://0368bcf.netsolhost.com 3
http://192.168.11.2 3
http://test.flaparts.biz 2
http://www.tokyobcm.com 2
https://www.google.com 1
http://air-lounge.com 1
http://digg.com 1
http://www.pinterest.com 1
http://webcache.googleusercontent.com 1
More...

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

クラウドストレージの基礎知識(Cloudian white paper) Document Transcript

  • 1. 図1:ビッグデータへの対応とは  サービス アプリケーション アプライアンス Volume Variety Velocity Low Cost 大量データの塊 非構造、多種多様 リアルタイム処理 低コストの汎用サーバー、並列・分散 バッチ処理 書き込み 保存 読み出し 加工 分析 ある日突然に多種多様な非構造の大量データがシステムを急 襲する。「ビッグデータ」は、そんな現象のことです。インターネッ トをモバイル環境で利用し、誰もが時間と場所の制約無しにソー シャルメディア等から情報を発信します。人間だけではなく、駅 の自動販売機までもが購入者の性別や年齢を見分け、時間の 記録データを送信し続けます。このような機械と機械間の通信 (M2M)もビッグデータの膨張に拍車をかけています。 ビッグデータへの関心の高まりは、オープンソースの分散処理 ソフトウェアである Hadoop が重要な役割を果たしたと言えるで しょう。Hadoop 登場以前には、大量データ処理は高価で高性 能なマシンを使うか、何時間もの処理が普通でした。Hadoop は 分散処理ソフトウェアを身近なものとしました。 Hadoop の よ う な 分 散 処 理 ソフトウェア は、Google、 Amazon、Facebook、Twitter といった代表的なインターネッ ト企業で従来から利用されています。顧客の Web サービスにお ける利用や行動、購買履歴の大量データを分析し、嗜好に合った サービスや商品の推薦をビジネスにするという利用事例が注目さ れています。 この「Hadoop は大量データ処理に適した身近な技術」である ことと、「大量データ分析はビジネスになる」ことが結びついて語ら れることが増えました。最近では「大量データ分析=ビッグデータ」 と広く認識されているように見受けられます。しかし、いざデータ 分析を始めてみると、実はそれほど手元にデータは無かったという 現実もあるようです。それゆえに、ビッグデータはバズワードであ り、一過性の流行語であるといった声も聞こえ始めています。 しかし、そもそも「ビッグデータ」とは、インターネット技術者達 が、ビッグウェーブ(大波)のようにデータが押し寄せる現象を 語ったことに始まります。多種多様で膨大なデータを迅速に「書 き込み」、「保存し」、「読み出す」ことが求められる時代の到来を 示唆しているのです。 1.あらためてビッグデータについて考えてみましょう すでにビッグデータに直面しているのがクラウドサービスです。 Amazonは、クラウドストレージサービスのAmazon S3(Simple Storage Service)が保存するオブジェクト数が 2012 年 6 月時 点で 1 兆個を超えたと発表しました。保存データ量、データの読み 出し、リクエスト数に課金し、1GB あたり月額平均 20 円〜 30 円 程度と言われています。ストレージするデータ量に制限はなく、利 用者は使った分だけを支払う従量制サービスです。日本においては 2011年9月、ニフティクラウドストレージが従量制で無制限にスト レージできるクラウドサービスを本格スタートしています。 この Amazon S3 やニフティクラウドストレージは、ビッグデー タに対応できるクラウドストレージサービスです。このクラウドス トレージの特徴を、次の 3 つの点から説明しましょう。 (1) オブジェクトストレージ (2) 分散処理ソフトウェア (3) ストレージの仮想化 2.ビッグデータに対応できるクラウドストレージの特徴 クラウドストレージの基礎知識 〜 ビッグデータに最適なクラウドストレージの特徴とS3エコシステムのメリットとは? 〜 クラウドストレージの分野が急速に成長しています。代表的なクラウドストレージサービス、Amazon S3は2012年6月、1兆個を 超えるオブジェクト数に達したことを発表しました。日本においても、ビッグデータに対応できるクラウドストレージサービスが本格 スタートしています。企業ではプライベート型のクラウドストレージ構築も始まっています。本ペーパーでは、クラウドストレージの 特徴とS3エコシステムのメリットについて解説します。
  • 2. 図3:クラウドストレージと分散処理 可用性 Availability データを複製 ハードウェアを 追加するだけで、 分散処理ソフトウェアが 自動的にクラスタを構成 いつでも 利用できる 拡張性 Scalability リアルタイムに 容量を拡張できる  弾力性 Elasticity ノード追加が 簡単にできる 信頼性 Reliability データを 紛失しない 経済性 Economy 汎用的な ハードウェアを利用できる 図2:クラウドストレージとオブジェクト構造  ファイル構造 オブジェクト構造 VolumeA/MyFolder/Favorite/Music VolumeB/John/Music http://s3.cloudian.com/abc123def4... (1)クラウドストレージはオブジェクト構造 ビッグデータに対応するクラウドストレージの 1 つめの特徴は、 オブジェクトストレージが主流であるという点です。このオブジェ クトストレージのオブジェクト構造では、ひとつひとつのオブジェ クトに http://s3.cloudian.com/abc123def... と いった URL が ID として付与されます。このオブジェクト構造の利点を、 一般的に利用されているファイルシステムのファイル構造と比較し ながら説明します。 a)オブジェクト構造はデータ移動が容易 ファイル構造とは、図 2 に示すように階層構造です。階層構造 をもつ ID の頂点にはサーバー名があり、この階層のいずれかに コンテンツが保存されています。階層構造は、人間の思考にマッ チしています。地球があって、日本があって、東京があって、渋谷 があって、私のオフィスがあるといった具合に、ごく自然な思考の 流れで目標に到達できます。 しかし、このファイル構造はビッグデータを扱うとなると厄介な 問題が生じてきます。たとえば、大量のコンテンツを保存した結 果、全体容量がひっ迫したとします。それらのコンテンツを他の サーバーに移動すると ID も変更されます。小規模なグループ利 用であれば、保存場所の変更は軽微な通知で済むでしょう。しか し、数千人、数万人規模が利用するとなると、その変更には大き なインパクトを生じます。このように ID に場所情報が含まれてい ると、データの移動が簡単ではありません。オブジェクト構造であ れば、すべての ID の関係性はフラットです。保存場所とは無関係 にコンテンツを移動できます。このデータ移動が容易であること がクラウド環境には求められるのです。 b)WANを介した複数データセンター対応 クラウドでは、ひとつのデータセンターに障害があってもサービス 停止やデータ紛失がないよう、複数のデータセンターで相互にバッ クアップします。フラットな構造であれば、複数データセンターにま たがる複雑な階層構造を避けることができます。また、オブジェクト 構造のデータ入出力に用いる HTTP はインターネットの標準プロト コルです。広域ネットワーク(WAN)を経由した複数データセンター 間でのデータのやり取りも、安全におこなうことができます。 c)大量のファイル数を扱える ファイル構造では、大規模になると取り扱えるファイル数に制限 が生じることや、性能に課題が生じることがあります。一方、オ ブジェクト構造であれば、同様の制約はありません。このことは、 Amazon S3 が 1 兆個ものオブジェクトを格納していると報告し ていることからも明らかです。 d)その他のメリット その他、オブジェクト構造であれば、オブジェクト毎に属性情報 などのメタ情報を追加できることや、オブジェクト毎に定めた条件 での利用やアクセスの許可を付与することができるといったメリッ トもあります。 (2)分散処理ソフトウェアによる拡張 クラウドストレージの2つめの特徴としては、多数の汎用的なサー バーを同時並行して使う分散処理ソフトウェア技術(NOSQL データ ベースや分散ファイルシステム)が利用されているという点です。 突発的(バースト的)にデータが大波となり押し寄せるのがビッ グデータです。将来を見越した容量のストレージ装置を用意して いても、1、2 年で足りなくなってしまうかもしれません。装置に 障害が起きることもあるでしょう。耐用年数に応じて置換しなけ ればなりません。ハードウェアに依存したストレージ装置の場合、 いずれかのタイミングでデータを移行する必要が生じます。それ には人手と時間がかかります。 そのためクラウドストレージでは、汎用的なサーバーを利用し、 次のような特性をもつソフトウェアで分散処理をおこないます。 ●● 一部のサーバーに障害があってもサービスは停止しない(可用性) ●● サーバーを追加することで全体容量を拡張できる(拡張性) ●● サーバー追加や縮退に対し自律的に対応し、負荷をリバラン スする(弾力性) ●● 汎用的なサーバーを使い、経済的にシステムを構築できる (経済性) ●● 複数サーバーにデータを複製し、システムとしてデータ紛失 を防ぐ(信頼性)
  • 3. 図4:ストレージの仮想化 複数の物理ディスクを仮想的に統合し、 複数のグループが利用 C社が利用 A社が利用 B社が利用 API Application Programming Interface SaaS PaaS IaaS 図5:クラウドストレージとAPI Application Platform Infrastructure Laptops Phones Desktops Tablets Monitoring Database Communication Identity FinanceCollaborationContent RuntimeQueue Network Block StrageCompute Object Storage (3)ストレージの仮想化によりマルチテナント    (複数グループ)で共有 クラウドストレージの 3つめの特徴はストレージを仮想化すると いうことです。パブリック型のクラウドストレージは、企業内利用 に限定されるプライベート型とは異なり、独立した多数のグルー プがシステムを共有します。この独立したグループに、個別の設 備を用意して物理的なストレージ資源を割当てるクラウドストレー ジサービスも存在はしています。これらの多くは、定額で利用量 制限のあるサービスとして提供されています。この場合、クラウド サービスの提供側は、利用者毎に装置を購入する設備投資が必 要です。利用者側は、結果として利用しない設備容量のコストも 負担することになります。つまり、クラウドが得意とする規模のメ リットを双方が享受することが難しくなります。 「使った分だけを支払う」クラウドサービスのためには、ストレー ジの仮想化により、多数の利用者がひとつのストレージ資源を共 有できることが不可欠です。ストレージの仮想化とは、多数の物 理ディスクをあたかもひとつのストレージ資源であるかのように 仮想的に統合すると同時に、複数グループ(マルチテナント)で共 有できるようにすることです。このストレージの仮想化により、ク ラウドサービスの提供 側は、動的に空いてい る設備容量を利用者 に割当てることができ、 利用者側にとっては 使った容量分だけのコ ストを負担すれば良く なります。 さて、ここで少し、今後のクラウドストレージの方向性を考えて みます。パブリック型のクラウドストレージの利用に際して、政府 が閲覧権限を持つ国にデータセンターがあると、セキュリティ面が 不安との声を聞くことがあります。こういった声は日本に限らず欧 州やアジア各国でも聞こえ始めています。その一方で、ビッグデー タは従来の IT システムの想定外であり、その対応は多くの企業に とって解決すべき大きな課題です。そのため、パブリック型に留ま らず、企業が監視できるデータセンターでデータを自社管理でき るプライベート型、又はパブリック型と組み合わせたハイブリッド型 といったクラウドストレージが広く求められるようになります。 クラウドストレージを構築、導入すると考えた場合、「クラウドス トレージは API を提供する」という重要な特徴に注目することが 必要です。 図 5 は、クラウド・コンピューティング俯瞰図です。一般的にク ラウドサービスは、アプリケーションを提供するサービスを SaaS (Software as a Service)、プラットフォームを提供するサー ビスを PaaS(Platform as a Service)、インフラを提供する サービスを IaaS(Infrastructure as a Service)と分類さ れます。 この分類に従うと、クラウドストレージはアプリケーションにイ ンフラを提供する IaaS かプラットフォームを提供する PaaS で す。このクラウドストレージとアプリケーション間をつなぐインター フェースが API(Application Program Interface)であり、 API を提供することがクラウドストレージの特徴と言えます。 ひとつの例として、最近注目を集めている Dropbox(ドロッ プボックス)という「オンラインストレージサービス(ファイル共有 サービスとも呼ばれます)」があります。この Dropbox は大量の 写真や数 MB のファイルも、オブジェクトやフォルダーの ID であ る https://www.dropbox.com/s/xxx... といったリンクのア ドレスを送受するだけで仲間と共有できます。Amazon S3 はこ の Dropbox にクラウドストレージサービスを提供しており、この Dropbox と Amazon S3 をつなぐインターフェースが API です。 3.クラウドストレージはAPIを提供する
  • 4. 図6:S3 エコシステム 代表的なS3 APIを利用するサービス、アプリケーション、ツール例 Public AWS Hybrid Public Private ● Cloudmapreduce ● S3 tools ● S3 Browser ● S3fm ● Dataspider ツール マイクロブログ ● Posterous Spaces ● Tumblr ● Formspring クラウドストレージゲートウェイ ● TwinStrata CloudArray ● Riverbed Whitewater ● FOBAS CSC ● Panzura ● Storsimple ファイル共有 ● Dropbox ● ZumoDrive ● CloudBerry Explorer バックアップ ● ZMANDA ●JugleDisk ●DragonDisk 企業 システム WEB サービス クラウド コンピューティング サービス プライベート クラウド S3エコシステム インターネット S3 REST API ©2012 Gemini Mobile Technologies Inc. & KK クラウディアン株式会社 www.cloudian.jp|Mail: info@cloudian.com Cloudian は、2011 年 3 月にベータ版リリース、同年 7 月に商用版リリース以降、今後のロード マップを含めて、Amazon S3 に完全準拠するAPI を提供するクラウドストレージ製品です。 Amazon S3を利用しているツール、アプリケーション、クラウドストレージゲートウェイなど多くの 製品との接続性も検証済みです。パブリック、プライベート、ハイブリッドのいずれのクラウド ストレージも構築することができます。 このクラウドストレージの API は、パブリック型であれ、プライ ベート型であれ、クラウドストレージを利用するアプリケーションと の接点です。より多くの利用者にとって利便性の高いことが重要 です。それは、APIに関するドキュメントや情報が整備され、開発 者が多数存在し、その API を利用するアプリケーション、ツール、 サービス、アプライアンスなどが豊富に揃っていることです。また、 事実上の標準となっているクラウドストレージのAPIであれば、1 つのアプリケーションでパブリック型とプライベート型の相互運用 も容易になります。クラウドストレージ毎に独自アプリケーション などを開発する時間やコストも不要になります。つまり、クラウド ストレージの生態系、すなわちエコシステムが重要なのです。 クラウドストレージにおいて、そのエコシステムがもっとも充実 しているのは、Amazon S3を中心としたS3エコシステムである と言えるでしょう。S3 API の仕様は広く公開され、S3 を利用で きるサービスやアプリケーションは数百種類が公表されています。 実際のところ、千種類を超えるとも言われています。 S3 に準拠する API を提供するクラウドストレージであれば、 利用者は、同じアプリケーションによる AWS(Amazon Web Service)との相互利用も可能です。同時に豊かな S3 エコシス テムのメリットを存分に享受できます。近い将来、クラウド間を相 互接続して、相互にバックアップしあうインタークラウドの動きも 想定されるところです。そのようなインタークラウドの動きに際し ても、S3 API に準拠したクラウドストレージ間の相互接続であれ ば、差分を調整する中間層も不要であることから、スムースに進 むことが期待できます。 ビッグデータは、多種多様で膨大なデータを迅速に「書き込 み」、「保存し」、「読み出す」という課題への対処が求められる 時代の到来を示唆しています。このビッグデータに直面するクラ ウドストレージの特徴は、(1)クラウド環境に適したオブジェク ト構造、(2)高い拡張性、弾力性、信頼性を備える分散処理、 (3)ストレージの仮想化による統合と複数グループによる共有 であると言えます。今後、パブリック型に加えプライベート型の構 築も活発化します。その際、豊かなエコシステムを持つ S3 API に準拠したクラウドストレージを構築、導入することで多くのメ リットを享受できます。 4.S3エコシステムのメリットを活用 まとめ ※文中に記載している会社名、システム名、製品名は一般に各社の登録商標または商標です。