Cassandra Summit Tokyo 2015 - intra-mart

Copyright © 2002-‐‑‒2015 NTT DATA INTRAMART CORPORATION All Rights Reserved.
Enterprise 向け
メッセージングアプリケーションでの
Apache Cassandra の利利⽤用
株式会社 NTTデータイントラマート
開発本部清彰宏
開発本部Twitter: @intramart_̲dev
1
Cassandra Summit Tokyo 2015

本⽇日の発表内容
2
製品紹介 Accel Platform
今後の計画
はじめに⾃自⼰己紹介 & 会社紹介
Cassandra
の利利⽤用
IMBox
Cassandra の採⽤用理理由
スキーマ設計バッドノウハウ
アップグレードドキュメント

はじめに
3
Cassandra
の利利⽤用
IMBox
今後の計画アップグレードドキュメント

⾃自⼰己紹介
• 清彰宏（せいあきひろ）/ @seikun
• 株式会社 NTTデータイントラマート
• Webアプリケーションエンジニア
• 開発担当
• 全⽂文検索索機能 (Apache Solr)
• メッセージングアプリケーション (Apache Cassandra)
• 社内Redmineの運⽤用メンテナンス & カスタマイズ
4

会社紹介
• 株式会社 NTTデータイントラマート 
NTTデータ(親会社)の社内ベンチャー制度度から発⾜足
• JavaEEサーバ上で動作するシステム共通基盤と、 
その上で利利⽤用可能な業務アプリケーションを提供
• 2000年年頃から Server Side JavaScript を採⽤用 
リリース当初は iPlanet (netscape)、現在は Rhino を利利⽤用
5

会社紹介
• 柔軟かつカスタマイズが可能なワークフローが好評で、 
国内ワークフローシェアは 7年年連続 No.1
• 累累計 3,300 社の導⼊入実績
• サービス事業 
製品導⼊入コンサルティング, 教育研修, 製品を利利⽤用したSI
6

会社紹介
• パッケージ製品は SI を中⼼心に利利⽤用されており、 
販売パートナーと共に業務システムの効率率率化を提案
• 販売パートナーは国内外に約 150 社
• パッケージ製品を構築したクラウドサービスも提供
7

ちなみに…
の⽇日本第1号ユーザ
→ 主に製品開発における技術サポートを依頼
8

製品紹介 -‐‑‒ Accel Platform
9
Cassandra
の利利⽤用
IMBox

システム共通基盤として2012年年にリリース
APサーバ(JavaEE6) 上で動作
• Caucho社の Resin を同梱
• WebSphere, WebLogic もサポート
RDB, 共有ストレージ(分散構成時) を使⽤用
サポートしているRDB
Oracle, SQL Server, DB2, PostgreSQL & IM-‐‑‒Accel DB
製品紹介 -‐‑‒ Accel Platform
10

製品紹介 -‐‑‒ IMBox
11
Cassandra
の利利⽤用
IMBox

• Enterprise向けメッセージングアプリケーション
• 操作毎の認可設定, 管理理者権限, 会社の境界
• 社内コミュニケーションの円滑滑化を促進
• H2H, M2H
• Apache Cassandra 1.1.12 を利利⽤用
12

13

Cassandraの利利⽤用 -‐‑‒ Cassandraの採⽤用理理由
14
Cassandra
の利利⽤用
IMBox
Cassandraの採⽤用理理由

Cassandraの採⽤用理理由 1 -‐‑‒ RDBの検討
• IMBox の開発においても 
基盤製品が利利⽤用している RDB を使いたかった
• 製品の性能指標 
20万ユーザでの利利⽤用に耐えること
• まずはRDBで試してみた
15

RDBを利利⽤用した実装で試験
• 20万ユーザ → 1,000万メッセージと仮定
• 画⾯面初期表⽰示に必要なメッセージを取得
試験結果
• データ取得に約140,000msec (2分以上)かかった
16

結論論
• RDBでは性能指標を満たせない
RDBをもっとチューニングすればいける？
• サポートしている全RDBでの対応は厳しい
• NoSQLの検討と調査を開始
17

Cassandraの採⽤用理理由 2 -‐‑‒ NoSQLの調査
⽐比較検討したNoSQL ※2011年年4⽉月時点
• Apache Cassandra 0.8.x
• MongoDB 1.6.x
18

19
Apache Cassandra MongoDB
データモデル列列指向 (BigTable) ドキュメント指向
プロトコル Thrift, CQL Custom (BSON)
単⼀一障害点なしあり
CAP定理理 AP CP
実装⾔言語 Java C++
開発元 Apache 
Software Foundation
10gen (MongoDB)
あくまでも弊社製品への採⽤用にて重要視した項⽬目です

NoSQLの調査 -‐‑‒ データモデル
メッセージは時系列列などでソートする必要がある
• Cassandra(BigTable) のデータは Key, Name でソート済み
• ドキュメント指向な MongoDB はソート処理理が必要
20

NoSQLの調査 -‐‑‒ プロトコル
21
製品の作り上、Javaからアクセスする必要がある
• CQLは当時安定していなかったので、Thrift (Hector)
• MongoDBは Java MongoDB Driver
• 実装において⼤大差なし

NoSQLの調査 -‐‑‒ 単⼀一障害点
22
当然ながらないに越したことはないが…
• Cassandraはスケールアウトが容易易
• MongoDBは構築の⼯工夫が必要
• パッケージ製品としては、環境構築のしやすさ重視

NoSQLの調査 -‐‑‒ CAP定理理
23
CAP定理理 AP CP
Enterprise⽤用途では⼀一貫性 (Consistency) は重要
• MongoDB は CP型なので⼀一貫性は当然⾼高い
• Cassandra は結果整合性であるため不不安はある
• Consistency Level を適切切に選択することで軽減

NoSQLの調査 -‐‑‒ 実装⾔言語
24
弊社はほぼ Javaエンジニアで構成されている
• 何かあったときにソースコードが追えるのは重要
• 完全に弊社都合ですが…

NoSQLの調査 -‐‑‒ 開発元
25
継続した開発が保証されていてほしい
• Apache Software Foundation の安⼼心感
開発元 Apache 
Software Foundation
10gen (MongoDB)

26
CAP定理理 AP CP
開発元 Apache 
Software Foundation
10gen (MongoDB)
あくまでも弊社製品への採⽤用にて重要視した項⽬目です

Cassandraの利利⽤用 -‐‑‒ スキーマ設計
27
Cassandra
の利利⽤用
IMBox

スキーマ設計 -‐‑‒ 全体像
28
ユーザごとに異異なる 
参照可能なタイムライン
参照可否についてはアプリ側で実現
• 所属会社, 所属組織
• 操作権限の有無
• グループの公開/⾮非公開
• グループへの参加有無
• DirectMessageの宛先
女子会
営業G
会社
DirectMessage
総務
営業
営業事務

スキーマ設計 -‐‑‒ スレッド
スレッド
• メッセージの⼊入れ物
• メッセージは２種類
1. メインメッセージ
2. 返信メッセージ
• BBSのスレッドと同じイメージ
29

スキーマ設計 -‐‑‒ スレッド
• スレッドID, メッセージID 
→ 時系列列で並ぶIDを採番
30
Key SuperColumnName
スレッドID
メッセージID
Name Value
投稿ユーザCD “intra-‐‑‒mart”
メッセージ “いんとらまーと”
添付URL “http://…”
添付ファイルパス “/path/to/ﬁle”
登録⽇日 timestamp
更更新⽇日 timestamp
削除フラグ FALSE
スレッド&メッセージ -‐‑‒ SuperColumnFamily

スキーマ設計 -‐‑‒ タイムライン
31
タイムライン
• スレッドへの参照⼀一覧
• いくつかの種類がある
1. ユーザ
2. 会社
3. グループ（公開/⾮非公開)
4. DirectMessage etc...

スキーマ設計 -‐‑‒ タイムライン
32
Key Name Value
ユーザCD 最終メッセージID スレッドID
タイムライン -‐‑‒ ColumnFamily
Key Name Value
会社CD 最終メッセージID スレッドID
Key Name Value
グループCD 最終メッセージID スレッドID
DirectMessage
グループ
会社
• タイムライン毎に 
最後に投稿された 
メッセージのIDを保持

スキーマ設計 -‐‑‒ その他
IMBoxに関する情報は全て ColumnFamily に保存
• グループ情報
• Like! 情報
• 未読メッセージ情報
• 各種インデックステーブル etc…
RDBで保持したほうがよいデータもあるが…
→ データ破損を伴う障害への対策 
障害によるRDBとのデータ乖離離から保護
33

スキーマ設計 -‐‑‒ まとめ
SuperColumnFamily
スレッド & メッセージ
ColumnFamily
タイムライングループ 
未読メッセージ Like!情報 
各種インデックステーブル
34
女子会
営業G
会社
DirectMessage
総務
営業
営業事務

Cassandraの利利⽤用 -‐‑‒ バッドノウハウ
35
Cassandra
の利利⽤用
IMBox

バッドノウハウ -‐‑‒ 1ノードでの運⽤用
訳あってクラスタ構成が⽤用意できない場合
1. ディスクの冗⻑⾧長化 (RAID0)
2. 頻繁に ﬂash を実⾏行行
3. 定期的な snapshot 取得
リスクはあるけれど、スモールスタートは可能
36

バッドノウハウ -‐‑‒ I/Oが低速な環境
コンパクション実⾏行行時にアクセスすると timeout が発⽣生
1. rpc_̲timeout_̲in_̲ms の値を増やす 
e.g.) 10000 msec → 30000 msec
2. コンパクションを停⽌止しておく 
nodetool コマンドを利利⽤用して別途実⾏行行
37

バッドノウハウ -‐‑‒ I/Oが低速な環境
コンパクション実⾏行行時にアクセスすると timeout が発⽣生
1. rpc_̲timeout_̲in_̲ms の値を増やす 
e.g.) 10000 msec → 30000 msec
2. コンパクションを停⽌止しておく 
nodetool コマンドを利利⽤用して別途実⾏行行
38

バッドノウハウ -‐‑‒ SuperColumnFamily
SuperColumnFamilyは現在⾮非推奨
• CQLからは作成できない
• Secondary Index が使えない
39

バッドノウハウ -‐‑‒ まとめ
• できれば 3ノード以上のクラスタを構成
• VMなどを利利⽤用する場合ストレージの共有はNG 
⾼高速なローカルストレージが良良い
• SuperColumnFamilyは使うな
40

今後の計画 -‐‑‒ アップグレード
41
Cassandra
の利利⽤用
IMBox

別バージョンへのアップグレードは少し⾯面倒
• SSTableの互換性が途切切れている
• DataStax社より情報提供を受けました
• e.g.) 1.1.12 から 2.1.x へのアップグレード経路路
42

構築済み環境のアップグレードは⾯面倒
• アップグレードツール (ant) を作成
• 2015年年8⽉月にリリース予定 (弊社製品⽤用)
43

現在は接続に Thrift (Hector) を使⽤用
Cassandra 的には CQL3 & JavaDriver 推し
• Thrift よりも CQL3 の⽅方が性能がいい
• Read/Write 共に 2倍近く⾼高速 (Cassandra 2.1.x から)
Hector → JavaDriver の移⾏行行を検討中
• ⾮非推奨になった SuperColumnFamily どうしよう...
44

今後の計画 -‐‑‒ ドキュメント
45
Cassandra
の利利⽤用
IMBox

今後の計画 -‐‑‒ ドキュメント
⽇日本語の情報が少ない
• “cassandra インストール” 
で検索索すると、弊社ドキュメントが上位にヒット
• でも、古い (1.1.12の) 情報...
• アップグレード時に 2.1.x の情報に更更新予定
DataStax社の⽇日本語化にも期待してます
46

ご清聴ありがとうございました
47

質疑応答
製品紹介
page 10..16
Accel Platform
システム基盤 JavaEE6
Resin RDB 共有ストレージ
今後の計画
page 41..46
Cassandra
の利利⽤用 
page 17..40
IMBox
メッセージングアプリ
H2H M2H 1.1.12
RDB NoSQL調査 MongoDBとの⽐比較
スキーマ設計
スレッドタイムライン
バッドノウハウ
1ノード運⽤用低速I/O環境
SuperColumnFamily
アップグレード
CQL3 アップグレード経路路
アップグレードツール
ドキュメント
⽇日本語情報不不⾜足検索索結果
最新化
48

Cassandra Summit Tokyo 2015 - intra-mart

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (9)

Similar to Cassandra Summit Tokyo 2015 - intra-mart

Similar to Cassandra Summit Tokyo 2015 - intra-mart (20)

Cassandra Summit Tokyo 2015 - intra-mart