Datastax Enterpriseをはじめよう

DataStax Enterpriseをはじめよう
2017/06/06

スピーカー
森下雄貴
DataStax ソリューションアーキテクト/時々エンジニア: 2011年11月-
Apache Cassandraコミッター: 2012年5月-
© DataStax, All Rights Reserved.2

DataStaxはどんな会社?
“The power behind the moment.”
• Apache Cassandra のサポート会社?
• Apache Cassandraコミッター 15名 (2017年6月)
• 80%以上のコード貢献
• 豊富なオンラインマテリアル
それだけではありません。

DataStax
Enterprise
Apache Cassandraを中
核にした製品
+ サポート
+ プロフェッショナルサービ
ス
+ トレーニング

あなたの日常を支えるApache Cassandra
• 通勤中は、iPhone から Spotify を起動して音楽をストリーミング。
• と同時に、Instagram のコメントチェック。
• 会社についてPC起動したら、まず Yahoo! Japan。
• そのあと仕事は Office365 で。
• 夜は寝そべって、Netflix で”House of Cards”を見る。
• 休日は、PlayStation 4 でゲーム Overwatch のオンラインプレイ。

なぜ選ばれるのか
7
簡単にスケール
常にオン
● どんな障害にも耐えうる設計
● どんなデータも見逃さずに取り込
む
● ビジネスにフォーカス
即座に分析
● アプリケーションに分析機能を組
み込み、次のアクションにすぐに
つなげる
© DataStax, All Rights Reserved.

DSEをはじめよう

DSEの入手とインストール
https://academy.datastax.com
• ユーザー登録後ダウンロード
• 充実したトレーニングコース
• 無償で評価可能
• インストール
• tar.gz (要Java)
• RPM
• deb

デモ: Docker
本日のデモはすべてDockerを利用して行います。
DataStaxオフィシャルイメージは準備中。
> docker pull luketillman/datastax-enterprise:5.1.1

Apache Cassandra™
• DSEのコア
• オープンソースの分散データベース
– 大量のデータの中から
目的のデータに素早くアクセス
– ハイスケーラビリティ
– 高可用性
• 世界中で豊富な利用実績
– Apple
– Spotify
– Sony Playstation
– など多数

分散データベース?
• 複数のノードで一つのデータベースを構成
• すべてのノードがマスターノード
• トランザクション数、データ数の増加に応じてスケールアウト

複数のノードでデータベースを構成
• ノード: 単独のインスタンス
• ラック: ノードの論理的なグループ（省略可）
• データセンター: ラックまたはノードの論理的なグループ
• クラスター: データセンターの論理的なグループ
DC1 DC2
RAC2
RAC1

起動してみよう
• DSEのメインツール: dse
例えばノードの起動

クラスターを構築
• ノードはゴシッププロトコルを用いて互いに通信しあう
• 設定ファイルで最初にコンタクトするノード(Seed/シード)を指定
# any class that implements the SeedProvider interface and has a
# constructor that takes a Map<String, String> of parameters will do.
seed_provider:
# Addresses of hosts that are deemed contact points.
# Cassandra nodes use this list of hosts to find each other and learn
# the topology of the ring. You must change this if you are running
# multiple nodes!
- class_name: org.apache.cassandra.locator.SimpleSeedProvider
parameters:
# seeds is actually a comma-delimited list of addresses.
# Ex: "<ip1>,<ip2>,<ip3>"
- seeds: "127.0.0.1"

読み書きはどこからでも
• ユーザーは任意のデータセンターの任意のノード
に接続してデータの読み書きが可能
• 書き込みは全て自動的に均等に分散され、
クラスター全体の中で自動的にレプリケート
される

10
50
3070
80
40
20
60
Client
それでも他の２つのノードからデータが
取得可能
ノードが一時的に障害またはダウン
単一障害点がない
• 優れた耐障害性
• レプリケーションは自動的に処理
• スケールしても運用はシンプル

マルチデータセンター対応
• データセンターやアベイラビリティ
ゾーンをまたいでデータを
レプリケート
• ダウンよるビジネスの中断はない
• グローバルでの低レイテンシーの
パフォーマンス
10
50
3070
80
40
20
60
Clie
nt
15
55
3575
85
45
25
65
West Data CenterEast Data Center
Outage
10
50
3070
80
40
20
60
Client

リニアなスケーラビリティ
• データはクラスター内の全ノードで分割
• リニアなスケーラビリティ（パフォーマンス、ストレージ）
50,000 trans/sec
500 GB
100,000 trans/sec
1 TB
200,000 trans/sec
2 TB

Cassandraのデータモデル
• パーティションキーとそれに紐づいた
カラムファミリー
• キースペース:
RDBMSのデータベースに相当
• テーブル:
RDBMSのテーブルに似ているが、
より柔軟で動的
– テーブル内の行は、キーに基づいて
インデックス付けされる
– 他のカラムもインデックス付け可能
ID Name SSN DOB
Portfolio キースペース
Customer テーブル

Cassandra Query Language (CQL)
• RDBMSのSQLに類似
• DDLを使ってオブジェクト作成
CREATE, DROP, GRANT, REVOKE
• INSERT, UPDATE, DELETE,
SELECT, WHERE
• ユーザー定義関数
• 簡単な集計機能
• JOINはサポートしない
CQL Example
CREATE TABLE market_prices (
symbol TEXT,
date TIMESTAMP,
price DECIMAL,
side INT,
PRIMARY KEY (symbol, date)
) WITH CLUSTERING ORDER BY
(date DESC);

デモ: CQLSH
• テーブルの定義
• キースペースの作成
• テーブルの作成
• データの読み書き

CQLと内部データモデル

アプリケーションからのアクセス
ドライバー
• DSEドライバーおよびCassandraドライバー
• ODBC/JDBC (サードパーティー)

デモ: DataStax Java Driver
• DataStax EnterpriseおよびApache Cassandraへ
Javaアプリケーションからつなぐためのドライバー
• 分散データベースであるDSE/Cassandraの様々な特徴をサポート
• 自動フェイルオーバー
• クエリの自動ルーティング
• DSE DriverはグラフDBもサポート

自由度の高いデプロイ
• クラウドのみ: クラウドの伸縮性とグローバルで
利用できる点を最大限に活用。
• ハイブリッド: １つのクラスターで、オンプレミスと
クラウドにまたがって配備可能
• ハブ＆スポーク: 中央のハブと、そこから伸びる
スポークの構成も可能。通信が不安定な環境や、
コンプライアンス、場所に合わせた最適化が
必要な時に。

決定的瞬間を支える機能
Search Analytics Graph

DSE Search

DSE Search
強力な検索機能をもったインデックスエンジン
• データ書き込み時の自動インデックス作成
• 高スループット
• 分散クエリーの最適化
外部検索機能との比較:
• 別に検索用クラスターを管理する必要なし
• ハードウェア費用の削減
• インデックスとデータの整合性
• ETLやデータ同期の必要なし
• アプリケーションレベルでのデータ管理の必
要なし
Search
+
Cassandra
アプリケーション
CQL

KillrVideo
30 © DataStax, All Rights Reserved.

KillrVideo
DataStax Enterpriseデモアプリケーション
– https://killrvideo.github.io
– オープンソース
– gRPCを用いたスケーラブルなマイクロサービスアーキテクチャ
• Node.js/C#/Javaでの実装
– データベース層はDSE/Apache Cassandra
• データモデリングのサンプル
• DataStaxドライバーの利用サンプル
– DSE Searchを用いた全文検索

KillrVideo
デモ環境
32
KillrVideo Web
KillrVideo
マイクロサービス DataStax Enterprise
1ノード
DSE SearchAndAnalytics
etcd: サービスディスカバリー
サンプルデータ生成アプリ

KillrVideo
機能に合わせたデータモデリング
– 非正規化
– クエリからデータモデルを考える
– KillrVideoスキーマ
• https://github.com/KillrVideo/killrvideo-dse-docker/blob/master/lib/killrvideo-
data/schema.cql
DataStaxドライバーからのアクセス

KillrVideo – DSE Search

KillrVideo – DSE Search
DSE Searchを用いた全文検索
– Solrリソースの作成
• dsetool create_core killrvideo.videos
– スキーマなどの自動生成が可能
– DataStaxドライバーからのシームレスな検索実行
•

KillrVideo – Solr Admin UI

DSE Analytics

DSE Analytics
38
リアルタイム操作
Cassandra
Analytics
分析
クエリ
アナリティクス
リアルタイム
レプリケーション
単一のDSEクラスター
ストリーミング、アドホック、
バッチ分析
• ハイパフォーマンス
• ワークロード管理
• SQLレポート
外部機能との比較:
• ETLの必要なし
• Zookeeperを使わないHA

KillrVideo – DSE Analytics
DSE Analyticsを用いた分析
– データベースに対するSparkジョブ(リコメンデーション作成など)の実行
• dse spark
• dse spark-submit
– Apache Sparkプロジェクトの様々な機能を利用
• Spark Streaming
• MLlib
– 外部の分析ツールとの連携
• Spark連携機能をもつBIツール
• Apache Zeppelin
• dse spark-sql / dse sparkR

デモ: DSE Analytics
CassandraテーブルのJOIN
> dse spark-sql

DSE Graph

DSE Graph
スケーラブルな分散グラフデータベース。複雑なグラフデータをリアルタイム
に格納、探索および問い合わせできる。
• データ間の関係に注目
• DSE AnalyticsおよびSearchへ統合
• Customer360、レコメンド、
不正検知に最適

Apache Tinkerpop™
オープンソースのグラフ計算フレームワーク
• Gremlinグラフトラバーサル言語
• Tinkerpop対応グラフデータベース
• JanusGraph (TitanDB)
• Azure CosmosDB
• DSE Graph
• …

Gremlinグラフトラバーサル言語

デモ: gremlin-console
DSEは Apache Tinkerpop の gremlin-console を同梱
> dse gremlin-console

DataStax Studio

DataStax Studio
DSE GraphおよびCQLのビジュアル開発プラットフォーム
DataStax is a registered trademark of DataStax, Inc. and its subsidiaries in the United States
and/or other countries.47

DataStaxサブスクリプション
DSE Standard DSE Max
Data Platform
Certified Apache Cassandra™ ✓ ✓
Advanced Security ✓ ✓
Automatic Management Services ✓ ✓
Advanced Replication ✓ ✓
Tiered Storage ✓ ✓
Multi-Instance ✓ ✓
In-Memory ✓
Search ✓
Analytics ✓
Graph Option Option
Management and Development Solutions
DataStax OpsCenter ✓ ✓
DataStax Studio ✓ ✓
DSE MAX
様々な要求に対応した
オールインワン
データプラットフォーム
DSE STANDARD
開発が容易で、スケーラビリ
ティが必要なチーム向け

DMC (DataStax Managed Cloud)
OpsCenter 運用サービス DMC
クラウド上でのDataStax Enterprise運用管理サービス
オンプレミス
で自社運用
DataStax
による運用管理

エキスパートサポート
• 営業時間内から24x7x365までのSLA
• 本番環境および非本番環境のサポート
• アーキテクチャ設計やチューニングの定期的なサポート
• ソフトウェアを最新に保つための認定サービスパック
• 緊急時のホットフィックスの提供

プロフェッショナルサポート
• Project Methodology
• Accelerator Packages
• Architecture Design
• Production Readiness

ありがとうございました

Datastax Enterpriseをはじめよう

More Related Content

What's hot

Similar to Datastax Enterpriseをはじめよう

More from Yuki Morishita

Datastax Enterpriseをはじめよう