ビッグデータ分析基盤が直面する課題をオブジェクトストレージで解決

BIGDATA x Storage
2015年ビッグデータ分析基盤の最新動向
講演資料
ビッグデータ分析基盤が直面する課題を解決
スケールアウト型オブジェクトストレージの概要と活⽤例
2015年4月23日
クラウディアン株式会社
本橋信也
1© Copyright 2010-2015 Cloudian KK. All rights reserved.
スケールアウト型オブジェクトストレージの概要と活⽤例

はじめに - クラウディアンのご紹介
主な拠点東京：クラウディアン株式会社, シリコンバレー：Cloudian Inc.
創業 2001年７月（通信事業者向けメールシステムクラウドストレージ製品）
事業
SDS（ソフトウェア定義）のスケールアウト型オブジェクトストレージ製品
「クラウディアン・ハイパーストア（CLOUDIANHyperStore®）」の
開発および販売
投資家
インテルキャピタル、産業革新機構、フィデリティー・グロースパートナー
ズ、ゴールドマンサックスなど
URL
http://www.cloudian.jp（日本語）
http://www.cloudian.com（英語）
© Copyright 2010-2015 Cloudian KK. All rights reserved. 2

CLOUDIAN HyperStoreのお客様例

サービス事業者における採⽤事例 (1/4)
容量を気にしないストレージ
トリプルミラー構成による冗⻑化、安全性
⼤量データの分割送信（マルチアップロード）
Amazon S3互換APIによる⾼い⾃由度
ニフティ様
ニフティクラウドストレージの特⻑
出典：ニフティホームページ
http://cloud.nifty.com/storage/
Amazon S3互換APIによる⾼い⾃由度
【活⽤例】
ニフティクラウドからのファイルバックアップ
コンテンツのストレージと配信
ファイルサーバーのバックアップ
データマイニングのためのデータ保護

NTTコミュニケーションズ様
Bizホスティング Cloudn Object Storageの特⻑
⼤容量データを低価格で保管
⾼い堅牢性の⾼信頼のストレージ
容量上限を気にせずスケーラブル
Amazon S3互換API対応
出典：NTTコミュニケーションズホームページ
http://www.ntt.com/cloudn/data/storage.html
Amazon S3互換API対応

写真や動画などのデータをインターネット経
由でオンラインストレージに格納、共有・閲
覧を可能とするフレッツ光契約者を対象とし
たサービス
NTT東日本様
フレッツあずけ〜る特⻑
たサービス
5GBまで無料、フレッツ光メンバーズクラブ、
リモートサポートサービス、オフィスまるご
とサポートの利⽤者は10GBまで無料
パソコン以外にもスマートフォン、タブレッ
ト等のマルチデバイスからも利⽤
出典：NTT東日本ホームページ
https://flets.com/azukeru/useful.html

石川コンピュータセンター様
BCPリモートバックアップサービス
インターネットだけでなく、VPNおよ
びLGWANを使ったよりセキュアな
ネットワーク経由のリモートバック
アップをサポート
「Amazon S3 API」に互換性のある
出典：石川コンピュータセンターホームページ
http://www.icc-idc.jp/cloud/rmbackup.html
「Amazon S3 API」に互換性のある
バックアップソフトをそのまま利⽤し、
バックアップ先に「同社データセン
ター」の設定を追加するだけ
スモールスタートにより初期投資を抑
えたBCP対策

本日の講演の概要
ビッグデータ分析基盤が直面する課題の整理 (10分間）
— ⼤量データを扱うビッグデータ分析基盤が直面する課題のうち、
「オブジェクトストレージ」が解決に貢献できる課題を整理します。
オブジェクトストレージの概要（10分間）
— オブジェクトストレージの特⻑と仕組みを解説し、⼤量データ
を経済的に、拡張性、信頼性⾼く保管できる理由を説明します。
CLOUDIAN HyperStoreのご紹介（10分間）CLOUDIAN HyperStoreのご紹介（10分間）
— SDS（Software Defined Storage：ソフトウェア定義ストレージ）で、
スケールアウト型オブジェクトストレージ製品である
「CLOUDIAN HyperStore」についてご紹介します。
ビッグデータ分析基盤における使いどころ（10分間）
— ビッグデータ分析基盤におけるCLOUDIAN HyperStoreの使いどころ
についてご紹介します。

アジェンダ
ビッグデータ分析基盤が直面するいくつかの課題
オブジェクトストレージの概要
CLOUDIAN HyperStoreのご紹介CLOUDIAN HyperStoreのご紹介
ビッグデータ分析基盤における使いどころ

本講演におけるスコープ
⼤量のログ等のデータを
ストレージ
一般的に100TB以上
または、100万件以上
OLTP, ERP,
CRM Systems
Documents,
Emails
Web Logs,
Click Streams
Social
Networks
Machine
Generated
Sensor
Data
Geolocation
Data
代表的なツール
ビッグデータ
分析基盤
または、100万件以上
分散計算処理
によるデータ
抽出・加工・集計
分析・
予測
Statistical
Analysis
BI / Reporting,
Ad Hoc Analysis
Interactive Web
& Mobile Applications
Enterprise
Applications
SAS
SPSS
STATA等
ビッグデータ
分析基盤

各部門毎にビッグデータ分析基盤を構築するとサイロ化
部門毎にビッグデータ分析のニーズが異なるため、独⾃に調達を始
めるとサイロ化するおそれ
業務系情報系
ユーザ部門
研究開発
情報システム部門
設計製造営業運⽤マーケ管理
アクセス
ログ
実験
データ
顧客
情報
管理
記録
DBデータ製造品質
ログ
運⽤監視
ログ
SNS
ログ
11
アクセス
ログ
実験
データ
顧客
情報
管理
記録
DBデータ
© Copyright 2010-2015 Cloudian KK. All rights reserved.
製造品質
ログ
運⽤監視
ログ
SNS
ログ
「事業部門のストレージ調達は、事業部門に任せています」（複数の企業IT担当者）
「情報システム部門では既存システムの運⽤/保守に多くの時間が割かれている」
（Japan IT Market 2015 TOP10 Predictions J15990181,December, 2014）

データ増によりHadoopクラスタは巨⼤化
本来はデータの計算処理を目的とするHadoopにデータを
貯め続けると、サーバーの増設を繰り返し巨⼤化
Name Node Job Tracker
Hadoopのアーキテクチャ
分析・
予測
Data Node
Task Tracker
Data Node
Task Tracker
Data Node
Task Tracker
データ保護のため、3複製分のディスク容量が必要
データノードのディスク容量が一杯になれば、
サーバー増設が必要
ファイル件数が増えればネームノードの
メモリ増設が必要（扱えるファイル数に上限）

テープに格納したデータ活⽤は簡単ではない
ビッグデータ分析のためのデータをテープ等の低コストの記録媒体
に保存はしておくものの、実際には「死蔵データ」になっているの
では？
「商品売上の季節変動をビッグデータ分析しますが、過去10年間のデータ
をテープから読み出すだけで、かなりの時間を使いました」（コンサルティング
担当者）
13
「過去データはテープに記録してい
ます。使うことではなく、保管する
ことが目的です」
（メディアIT担当者）
「テープが劣化するので3年毎に書
き換えています」
（製造業IT担当者）

パブリッククラウドの活⽤も解決策、ただし
柔軟性が⾼く、経済的なパブリッククラウドの活⽤を始めたものの、
「外部には預けられない」データがあり、⾃社内システムと重複管
理をしているのでは？
パブリック
クラウド
14
「全てのデータをクラウドには預けません」（多数IT担当者）
「クラウドの利⽤は禁⽌されています」（官公庁関係者）
クラウド

CIOの管理が及ばない個⼈契約クラウド（Bring Your Own Cloud)
を業務に活⽤している社員が増えているのでは？
個⼈契約
クラウド
パブリッククラウドの活⽤も解決策、ただし
15
「社内調査をしたら、300⼈以上が個⼈契約クラウドを使い開発業務をして
いました。実際にはもっといると思います」（米国⼤手ソフトウェア開発企業CIO）
CIO

どうする、ビッグデータ分析基盤のDRやBCP対策
Hadoopクラスタを複数データセンター間にまたがり構築できない
ため、ビッグデータ分析基盤のDRやBCP対策が難しい
Name Node Job Tracker Name Node Job Tracker
Data Node
Task Tracker
Data Node
Task Tracker
Data Node
Task Tracker
Data Node
Task Tracker
Data Node
Task Tracker
Data Node
Task Tracker
データセンター1 データセンター2

あるべきビッグデータ分析基盤
複数データセンターでデータ保護する「共通のストレージ基盤」
があり、部門毎のニーズに応じたビッグデータ分析が実施できること
業務系情報系
ユーザ部門
研究開発
17
アクセス
ログ
実験
データ
顧客
情報
管理
記録
DBデータ
製造品質
ログ
運⽤監視
ログ
SNS
ログ
広域共通ストレージ基盤
データ
センター1
データ
センター2

アジェンダ

2極化する「次世代ストレージ」
次世代ストレージのトレンドは、「⾼速」⼜は「⼤容量」に２極化
⾼速
“ホット”データ
フラッシュ活⽤
IOPS中心
VM/VDI最適化
多種多様なアプローチ
ブロック＆
ファイル
19
⼤容量
クール/コールドデータ
オブジェクトベース
スケールアウト（数ペタバイト）
ソフトウェア中心
クラウド互換
多種多様なアプローチ
オブジェクト

オブジェクトストレージのポジション
オブジェクトストレージは、⼤容量データを格納するストレージ
容量の拡張性と経済性に優れる
フラッシュ/SSD
ブロック/
ファイルオブジェクト
テープ
拡張性⾼低
HDD
20
処理速度
ビット単位コスト
処理量
⾼低
⾼低
大小
オフライン

オブジェクトストレージの特⻑（1/2)
1. オブジェクトストレージは、ファイル構造のような階層構造が無く、
データ管理を柔軟に⾏えるため、⼤量データを扱うことが得意
２インターネット経由でのデータの読み書きが得意
オブジェクトストレージファイルストレージ
１
2
21
（一般的に）各オブジェクト毎のIDはURL
例：http://s3.cloudian.com/a1b2c3d4e5...
各ファイルは階層構造を持つID
例：VolumeA/フォルダA/フォルダB/ファイル

オブジェクトストレージの特⻑（2/2)
3. 各オブジェクトに属性情報（メタデータ）をカスタマイズして
付与でき、データ管理が柔軟・効率的
一般的なファイル属性（ファイルサイズ、
作成日、ファイル作成者等）だけではな
く、データ管理に伴う属性をカスタマイ
ズし付与可能
（例）CLOUDIAN HyperStoreのAmazon S3へ
3
（例）CLOUDIAN HyperStoreのAmazon S3へ
の⾃動階層化（AWS AutoTiering)
AWS
S3
Glacier
企業構内/DC
一定期間経過後
ファイルを⾃動転送
22

スケールアウトでシステム拡張に伴う運⽤負荷を軽減
スケールアウトの仕組みにより、ストレージ容量拡張に伴う
作業コストやデータ移⾏に伴うリスクが⾶躍的に低減
スケールアップスケールアウト
設備買換・置換することで
全体容量を拡張
都度、データ移⾏作業
ノードを追加してゆくこと
で全体容量を拡張
システムがデータ移⾏

分散処理によるデータ保護・管理
データを分散配置・複製し、ハードウェアやデータセンター障害
からデータを保護
データを分割し、
パリティ情報を
付加して保護
イレジャーコーディング
データを複製し
保護
レプリケーション
DC2
DC2DC2
DC1
DC1
DC1
DC1
DC2
DC2
DC2
DC1
DC1
DC1
DC1
消失訂正符号
物理サーバを
論理的なリング状
に配置
データ
センター1
データ
センター2
緑のサーバはDC1 ⻘のサーバはDC2

SDSであれば⻑期にわたりコスト低減が期待
ハードウェアベンダーロックインを回避し、汎⽤サーバの⻑期価格
漸減メリットを享受
SDSであれば、目的に
集積度
・性能
製品
価格
容量・性能
単位コスト÷ ＝
汎⽤サーバ製品の経験則
25
SDSであれば、目的に
あった汎⽤サーバを
ハードウェアに選択
（注）CLOUDIAN HyperStore
Readyアプライアンスの例

アジェンダ

CLOUDIAN HyperStoreとは（１/2)
オブジェクトストレージ
⼤量データ保管に適した構造
インターネット経由のデータ読み書きが得意
柔軟にデータを管理
スケールアウト型スケールアウト型
システム拡張の運⽤負荷を軽減
分散処理によるデータ保護
Software Defined Storage：（ソフトウェア定義ストレージ）
脱ベンダーロックイン
コスト逓減効果を享受

CLOUDIAN HyperStoreとは（2/2)
クラウドストレージの事実上標準API
Amazon S3エコシステム活⽤
Amazon S3と同等のサービスを提供
パブリックとプライベート（オンプレミス）のハイブリッド
多様なユースケースに最適化多様なユースケースに最適化
サーバ2台（推奨3台）から利⽤開始し、ペタバイト超級まで
小から⼤まで、様々なデータサイズに最適な格納方法を選択
複数データセンター間において柔軟にデータ保護
管理機能を標準実装
統計/課⾦/ユーザー/利⽤量管理、監視機能を標準実装

オープンな事実上の標準API (S3 API)
クラウドストレージの事実上標準による数多くのメリット
１. エコシステムの充実 2. S3と同等機能の活⽤ 3. ハイブリッド利⽤
企業ITが活⽤する数多くのア
プリケーション等との
相互接続性の公式認定
バックアップ・アーカイブ
• CommVault Simpana/
Arcserve/CloudBerry
Veeam/IO Data/Buffero 等
マルチパートアップロード
Amazon S3と同等のサービス
を利⽤者に提供
⼤きなオブジェクトを分割して
アップロード
プライベートとパブリックク
ラウドをハイブリッドに活⽤
AWS ⾃動階層化
オンプレミス、プライベートク
ラウドから一定期間経過後、
AWS S3⼜はGlacierにデータ
29
Veeam/IO Data/Buffero 等
ファイル同期・共有
• Fileforce/SME/Ctera/
OwnCloud等
ビッグデータ分析
• Hortonworks（Hadoop)
クラウドゲートウェイ
• EMC CloudArray/NetApp
Steel Store/Panzura/
FOBUS
各種ツール、その他多数
• S3cmd/S3Brouser等々
• S3対応各種サービス等
オンプレミスにデータ保存
セキュリティ
アップロード
バージョニング
1’’’ １
ファイルのバージョン管理
AES-256で暗号化し保存、
SSL通信対応
その他多数の同等機能
ラウドから一定期間経過後、
AWS S3⼜はGlacierにデータ
を転送
クラウドサービスのデータをオ
ンプレミスのCLOUDIAN
HypreStoreに保存
１’１’’

エコシステム
チャネルパートナー様から製品およびサポートを提供
チャネル
パートナー
様々なアプリケーション、ソリューションおよびハードウェアベンダーと提携
アライアンス
パートナー

複数データセンター間の同期・非同期複製を選択
複数データセンター間の複製の同期・非同期を目的に応じて選択し、
柔軟にデータの整合性を調整する機能が標準搭載
非同期複製
DC1のノードにデータ書き込みが
完了した時点で、クライアントに
完了を通知
DC2のノードには、非同期で複製
完全同期複製
DC1とDC2のノードにデータ書
き込みが完了した時点で、クラ
イアントに完了を通知
31
クライアント
メリット：書き込み完了が速い
デメリット：DC1とDC2の複製
データが不整合の可
能性がある
DC１ DC2NW
クライアント
メリット：書き込み完了が遅い
デメリット：DC1とDC2の複製
データは常に整合
DC１ DC2NW
書き込み読み出し読み出し書き込み非同期・同期方法
を柔軟に、かつ⾃
動調整する機能を
標準搭載

データの種類と目的に応じた最適化
ハイパーストア・マネージャ（特許出願中）により、小から⼤までデータ
サイズに適した処理性能や、データの利⽤目的に応じたデータ保護方法を
選択し最適化
ハイパーストア
マネージャ
「スモール」データ「ラージ」データ
32
レプリケーション
（複製）
VM Image
NOSQL
データベース
Erasure Coding
（イレジャーコーディング）
⼤量のスモールデータを
速く書き込み、読み出し
ラージデータ遅い
データを複数に複製し、
別々のノードに格納し保護
読み出し速い
ディスク容量消費多い
- 元データの複製数倍の容量
データをいくつかに分割、
分割したデータとそのパ
リティ情報を、それぞれ
別のノードに格納し保護
ディスク容量消費少ない
読み出し遅い
- 複数分割データを複数
ノードから読み出し

小規模からスタートし、ペタバイト超級に容量拡張
サーバ2台（推奨3台）から始め、データ増とともにサーバを追加す
るだけで柔軟にシステムのストレージ容量を拡張
テラバイトペタバイト超
33
論理リング上にノード配置
ピア・ツゥ・ピア方式
（マスタスレーブ方式のよ
うなSPOFがない）
論理リング上にノードを追
加することで、全体のスト
レージ容量を拡張仮想的に複数の論理リング
を統合・連携（バーチャル
バケット）

統計・課⾦・利⽤量/ユーザ管理・監視機能をパッケージ
統計・課⾦・利⽤量/ユーザ管理
機能が標準搭載されており、部
門別利⽤量把握や精算のために
利⽤
システム状態監視機能やSmart
support機能(仮称）による障害
検知で安心運⽤
34
ユーザ部門
研究開発
設計製造営業
管理共通部門
運⽤マーケ
課⾦・利⽤量制限・ユーザ管理
監視・統計
システム管理
企業ITにおいて部門課⾦に活⽤する例

Hortonworksによる公式認定
APPLICATIONSDATASYSTEM
Governance
&Integration
Statistical
Analysis
BI / Reporting,
Ad Hoc Analysis
Interactive Web
& Mobile
Applications
Enterprise
Applications
DATASYSTEMSOURCES
OLTP, ERP,
CRM
Systems
Documents,
Emails
Web Logs,
Click
Streams
Social
Networks
Machine
Generated
Sensor
Data
Geolocation
Data
Governance
&Integration
Security
Operations
Data Access
Data Management
Enterprise Hybrid Cloud
Storage for Big Data
Reference : http://hortonworks.com/partner/cloudian/

アジェンダ

ビッグデータ分析基盤ストレージ
Hadoopのファイルストレージ基盤として一元活⽤し、データ格納
場所の重複を回避
業務系情報系
ユーザ部門
研究開発
スケールアウト
37
スケールアウトオブジェクトストレージ
HDFS
S3 Native File System (URI scheme: s3n)
YARN：Data Operating System
Batch (MR2) Interactive Real time

分析データ格納ストレージの使い分け
Hadoop FileSystem Interface
Batch
Map
Reduce
Script
Pig
SQL
Hive
Tez
HCatalog
NoSQL
Hbase
Accumulo
Stream
Storm
Othhers
In-Mem
Search
計算処理リソースへの影響
を最小化するよう、頻繁に
利⽤するデータをHDFS、
その他を
CLOUDIAN HyperStore
に格納
38
(defaultFS)
hdfs:// s3x://

Batch
Map
Reduce
Script
Pig
SQL
Hive
Tez
HCatalog
NoSQL
Hbase
Accumulo
Stream
Storm
Othhers
In-Mem
Search
/source /target
重要なデータを
CLOUDIAN HyperStore
に複製し、バックアップ
分析データをバックアップ
39
(defaultFS)
hdfs:// s3x://

Batch
Map
Reduce
Script
Pig
SQL
Hive
Tez
HCatalog
NoSQL
Hbase
Accumulo
Stream
Storm
Othhers
In-Mem
Search
/source /target
コールドデータを
CLOUDIAN HyperStore
に転送し、階層化
分析データストレージの階層化
40
(defaultFS)
hdfs:// s3x://

アジェンダ
その他の使いどころ

容量制限を気にしない共通データストレージ
パブリッククラウドストレージサービスと同等の、容量制限を気に
しないデータストレージ環境を企業⾃⾝で構築・管理・運⽤
業務系情報系
ユーザ部門
研究開発
画像
42
(例）CLOUDIAN HyperStoreに
モニター動画を保存した例
5分間毎に約10MB（カメラ1台）
仮想サーバ
イメージ
ファイル
メール
アクセスログ
実験
データ
設計図面
製造品質
ログ
モニタ
運⽤監視
ログ
画像
動画
写真
SNSログ
顧客
情報
電子
書類
オブジェクトストレージ

ファイル同期・共有ストレージ
パブリッククラウドサービスと同等のファイル同期・共有サービス
を企業⾃⾝がセキュリティを確保しながら提供
業務系情報系
ユーザ部門
研究開発
ファイル同期共有アプリケーション
国内拠点外出先・⾃宅パートナーグループ海外拠点お客様

バックアップ・アーカイブストレージ
低廉なコストのバックアップとオンライン利⽤が可能なアーカイブ
のためのセカンダリストレージとして活⽤
SAN
NAS（ファイルサーバ）
NAS DASNAS 小型NAS クラウドテープ
バックアップ・アーカイブクラウドゲートウェイ・クライアント
業務系情報系
ユーザ部門
研究開発
バックアップ・アーカイブクラウドゲートウェイ・クライアント
44

SAN DASNAS
バックアップ・アーカイブクラウドゲートウェイ・
クライアント
業務系情報系
ユーザ部門
研究開発
ビッグデータ分析
テープ
広域共通ストレージ基盤
複数拠点に跨り、かつサイロ化した複数ストレージシステムを統合
する広域共通ストレージ基盤
小型NAS クラウド
クライアント
広域共通スケールアウトオブジェクトストレージ
ファイル同期共有
国内拠点外出先・⾃宅パートナーグループ企業海外拠点お客様
WAN
スケールアウトスケールアウト

参考情報
クラウディアンに関する情報は以下でご紹介しています。
ホームページ（日） http://cloudian.jp/
ホームページ（英） http://www.cloudian.com/
ブログ： http://www.cloudian-blog.com/
Facebook： https://www.facebook.com/cloudian.cloudstorage.S3
Facebook： https://www.facebook.com/cloudian.cloudstorage.S3
Twitter： https://twitter.com/Cloudian_KK
Slideshare http://www.slideshare.net/geminimobile
CLOUDIAN HyperStoreに関するお問い合わせ
電話： 03－6418－6466
メール： info@cloudian.com

Questions?
THANK YOU www.cloudian.jp
Cloud Storage for Everyone

ビッグデータ分析基盤が直面する課題をオブジェクトストレージで解決

More Related Content

What's hot

Similar to ビッグデータ分析基盤が直面する課題をオブジェクトストレージで解決

More from CLOUDIAN KK

Recently uploaded

ビッグデータ分析基盤が直面する課題をオブジェクトストレージで解決