2015年8月31日に開催されたCouchbase Live Tokyoで利用した資料です。間もなくリリースされるCouchbase Server 4.0、N1QL、インデクシング、MDS (Multi-Dimensional-Scalability)、ForestDB、セキュリティといった新機能についてご紹介しました。

1. ©2015 Couchbase Inc. 1
What’s New in
Couchbase Server 4.0?
河村康爾 – Solutions Engineer

2. ©2015 Couchbase Inc. 2
アジェンダ
Couchbase Server 4.0新機能
 N1QLでのクエリ
 インデクシング
 Multi-Dimensional Scaling (多次元スケーリング)
 ForestDB: 次世代のストレージエンジン
 セキュリティ

3. ©2015 Couchbase Inc. 3
AndThere’s More …
機能 説明
XDCRフィルタリング キーを利用したXDCRストリームのフィルタリングで参照データ&地理情報に基づい
たレプリケーションのユースケースに対応。
Bloom Filters ワーキングセット率の低い(DGM: Data Grater than Memory)要件でのレイテンシを大
きく改善
Memory Defragmentation ヒープ内のデフラグを解消し、メモリ利用のオーバヘッドを削減
クラスタの堅牢性を向上 Viewクエリによるクラスタ管理の障害を改善
Breakpad memcachedのコンパクトで可読性のあるクラッシュログ
SDK Couchbase Server 4.0の様々な新機能に対応したSDK
SUSE, Oracle Enterprise Linux,
CentOS 7, RHEL 7, Ubuntu
14.04,
より多くのプロダクションサポート対象プラットフォーム

4. N1QLでのクエリ

5. ©2015 Couchbase Inc. 5
N1QLとは?
5
Flexibility of JSONPower of SQL

6. ©2015 Couchbase Inc. 6
クエリ言語はどのように評価すべきか?
Expressive / 表現の豊かさ
Declarative / 宣言性
Ecosystem / エコシステム

7. ©2015 Couchbase Inc. 7
表現力豊かなN1QL: E-Commerce の例
SELECT product.name, SUM(items.count) AS unitsSold
FROM purchases UNNEST purchases.lineItems AS items
JOIN product ON KEYS items.product
GROUP BY product
ORDER BY unitsSold DESC LIMIT 10
SELECT SUBSTR(purchases.purchasedAt, 0, 7) AS month,
ROUND(SUM(product.unitPrice * items.count)/1000000, 3)
revenueMillion
FROM purchases UNNEST purchases.lineItems AS items
JOIN product ON KEYS items.product
GROUP BY SUBSTR(purchases.purchasedAt, 0, 7)
ORDER BY month
Learn more about N1QL @
query.couchbase.com/tutorial

8. ©2015 Couchbase Inc. 8
表現力豊かなN1QL: 画像処理の例
SELECT
m.image AS gallery_image,
s.image AS source_image, s.x, s.y,
m.r AS gallery_r, m.g AS gallery_g, m.b AS gallery_b,
s.r AS source_r, s.g AS source_g, s.b AS source_b,
FROM SourcePixels s
JOIN GalleryMeans m ON KEY s.rgb
Source: http://www.metanautix.com/tr01

9. ©2015 Couchbase Inc. 9
N1QLに関するセッション
 Introducing N1QL: Query Without Compromise
May 3 @ 1:00 pm – 1:45 pm, ArchitectureTrack
May 4 @ 11:15 am – 12:00 pm, ArchitectureTrack
 Migrating MySQL Queries to N1QL
May 4 @ 1:00 am – 1:45 pm, DeveloperTrack
 N1QL and SDK Support for Java, .NET, and Node.js
May 3 @ 4:30 pm - 5:15 pm, DeveloperTrack
 Big Data Query Landscape: N1QL and More
May 4 @ 4:30 pm – 5:15 pm, ArchitectureTrack
 Interactive Data Analytics with Couchbase N1QL – Nielsen
May 3 @ 1:45 pm - 2:30 pm, DeveloperTrack
 Agility with Data Modeling at DIRECTV Using N1QL in Couchbase
with Node.js - DIRECTV
May 4 @ 3:45 pm - 4:30 pm, DeveloperTrack

10. ©2015 Couchbase Inc. 10
N1QLは宣言型: WhatVersus How
何を(WHAT) したいのか指定すると
Couchbase Server がどうするか(HOW) を判断する

11. ©2015 Couchbase Inc. 11
N1QL は宣言型: 数百万のピクセルの処理
SELECT
m.image AS gallery_image,
s.image AS source_image, s.x, s.y,
m.r AS gallery_r, m.g AS gallery_g, m.b AS gallery_b,
s.r AS source_r, s.g AS source_g, s.b AS source_b,
FROM SourcePixels s
JOIN GalleryMeans m ON KEY s.rgb

12. ©2015 Couchbase Inc. 12
N1QLに関するセッション – より詳細な内容
 Deep Dive into N1QL: Power Features and Internals in
Couchbase 4.0
May 3 @ 2:30 pm - 3:15 pm, ArchitectureTrack
 Tuning Query Performance with N1QL in Couchbase
Server 4.0
May 4 @ 1:45 pm – 2:30 pm, ArchitectureTrack
 Enterprise Architect’s Perspectives of Couchbase with
N1QL
May 4 @ 5:15 pm – 6:00 pm,ArchitectureTrack

13. ©2015 Couchbase Inc. 13
N1QLでつながるエンタープライズエコシステム
ODBC /
JDBC
App
CB Node
ODBC /
JDBC
ETL
ODBC /
JDBC
BI
ODBC /
JDBC
Visualization
CB Node CB Node
Standards-based drivers
Integrations, partnerships

14. ©2015 Couchbase Inc. 14
N1QLに関するセッション – パートナー
 Operational Analytics with Looker and N1QL- Looker
May 3 @ 1:00 pm – 1:45 pm, Big DataTrack
 Enterprise Data Integration: Using Informatica ETL with Couchbase –
Informatica
May 3 @ 3:45 pm – 4:30 pm, Big DataTrack
 VisualAnalytics withTableau & Couchbase –Tableau Software
May 3 @ 4:30 pm - 5:15 pm, ArchitectureTrack
 Open Connectivity: BI, Integration, and Applications on Couchbase
using ODBC and JDBC - Simba
May 4 @ 1:45 pm – 2:30 pm, Big DataTrack
 MetanautixQuest and Couchbase: ScalableAnalytics Across NoSQL,
RBDMS, Hadoop – Metanautix
May 4 @ 3:45 pm – 4:30 pm, Big DataTrack

15. インデクシング

16. ©2015 Couchbase Inc. 16
なぜインデックスが必要なのか?
ユーザが指定した条件に
一致するオブジェクトを
データベース内の
すべてのオブジェクトを走査せずに
高速に探すために
インデックスを利用する

17. ©2015 Couchbase Inc. 17
インデックスにはどんな種類があるか?
Primary Indexes
Secondary Indexes
Spatial Indexes
Text Indexes

18. ©2015 Couchbase Inc. 18
インデックスの種別 … 図書館で例えると
Source: http://www.montel.com/en/markets/library/

19. ©2015 Couchbase Inc. 19
Secondary Indexes
 Local secondary indexes – Map/Reduce views in 3.0
 データと同居
 高い更新性能
 ただし参照性能は劣る: 分散し集約するため (scatter-gather)
 多数のインデックスやデータノードでスケールのボトルネックに
 Global secondary indexes (GSI) – New in 4.0
 より高いクエリ性能
 より多くのGlobal Indexに対する非同期の更新
 個別にスケールし、分割
 Key-Valueのオペレーションと分離

20. ©2015 Couchbase Inc. 20
Global Secondary Indexesに関するセッション
 Introducing Global Secondary Indexes:The New High Performance
Indexer with Couchbase 4.0
May 3 @ 1:45 pm - 2:30 pm, ArchitectureTrack
 Deep Dive into Global Secondary IndexingArchitecture in Couchbase
Server 4.0
May 3 @ 3:45 pm - 4:30 pm, ArchitectureTrack

21. ©2015 Couchbase Inc. 21
Box on Points Box Intersects Multi Dimensions Geo + Others
Spatial Indexes
 3.0では試験的, 4.0から正式サポート対象(GA)に
 性能と安定性を向上
 GeoJSON を出力
 多次元でのバウンディングボックスと範囲検索

22. ©2015 Couchbase Inc. 22
Spatial Indexesに関するセッション
 Introducing SpatialViews for Location Aware Applications with
Couchbase Server 4.0
May 3 @ 4:30 pm – 5:15 pm, ArchitectureTrack

23. ©2015 Couchbase Inc. 23
Text Indexes (Developer Preview)
…
wise
…
engineer
…
…
…
…, akay1980, …
…, akay1980, …
engineers
engineer
完全一致
転置インデックス
インデックス時
に適用したテキ
スト解析を検索
時にも適用する。

24. ©2015 Couchbase Inc. 24
Text Indexesに関するセッション
 A Sneak Peek of CBFT, FullText Search for Couchbase
May 4 @ 5:15 pm –6:00 pm, DeveloperTrack

25. 多次元スケーリング
Multi-Dimensional Scaling

26. ©2015 Couchbase Inc. 26
ワークロードとスケーリング
水平スケーリング
 一つ以上の同スペックのノードへデータセットを分割
 各ノードは同様に複数のワークロードを処理する
 ハードウェアキャパシティを追加する際はデータセッ
トを再配置
Node 8
Index Service
Couchbase Cluster
Query Service
Data Service
Node 1

27. ©2015 Couchbase Inc. 27
多次元スケーリング(Multi-Dimensional Scaling)
No-SQL のワークロード:
 Key-value, クエリ, インデクシング, map-reduce,
レプリケーション/ツール間連携
 異なるリソース要件 (CPU, メモリ, I/O, ネットワーク)
 異なる性能要件 (レイテンシ, スループット)
多次元スケーリング(MDS)とは?
MDSとは、data, query, indexのワークロードを個別にスケー
ルできるアーキテクチャである。

28. ©2015 Couchbase Inc. 28
多次元スケーリング (Multi-Dimensional Scaling)
サービスを分離し互いの干渉を最小に
 query, index, dataサービスごとに独立した”ゾーン”
コアなkey-value操作に対する
インデクシングとクエリのオーバヘッドを最小化
Index Service
Couchbase Cluster
Query Service Data Service
Node 1 Node 8

29. ©2015 Couchbase Inc. 29
多次元スケーリング(Multi-Dimensional Scaling)
個別のスケーラビリティでサービスごとの処理性能を最大化
Couchbase Cluster
node1 Node 8 Node 9
Data Service
Index ServiceQuery Service
より多くのインデックス (より多くの
フィールド): index serviceノードをスケール
アップ。
クエリ処理により多くのRAMを:
query serviceノードをスケールアップ。
Node 1

30. ©2015 Couchbase Inc. 30
Multi-Dimensional Scalingに関するセッション
 Multi-Dimensional Scaling:A New Architecture for Scaling Big Data
Applications
May 3 @ 10:30 am – 11:15 am, ArchitectureTrack

31. ForestDB: 次世代のストレージエンジン

32. ©2015 Couchbase Inc. 32
モダンな web/mobile/IoT アプリケーション
 大量の非構造化データの操作
 数億のユーザやデバイスから継続的に膨大な量の新しいデータが
生成される
 とめどなく成長を続けるデータベースを管理するためのスケーラ
ビリティと高い性能が同時に必要
 内部のストレージエンジンはデータベースシステムで高い性能と
スケーラビリティを提供するために最も重要な部品の一つ
次世代のストレージエンジンへの要件
32

33. ©2015 Couchbase Inc. 33
一般的なストレージ構造 – B+-Tree
33
参照 更新 エンジン
B+-Tree Good read performance if the fan-
out is high (“short” tree) for small
fixed-length keys. Read
performance degrades for
variable-length keys.
Update-In-Place results in
random writes and bad write
latency.
Append-Only file improves write
performance but requires periodic
compaction.
BerkeleyDB,
InnoDB,
Couchstore (append-only),
WiredTiger B+
04/26
…
…
…
Key
Value (or Pointer)
longer keys

34. ©2015 Couchbase Inc. 34
一般的なストレージ構造 – LSM-Tree
参照 更新 エンジン
LSM-
Tree
Reads may have to traverse
multiple trees – typically worse
than B+ tree.
WAL improves writes with
in-memory trees that are
appended to the end of the log.
LevelDB,
BigTable,
Cassandra,
WiredTiger LSM
…
In-memory
Sequential log
flush/merge merge
C1 tree C2 tree
merge
Capacity increases exponentially

35. ©2015 Couchbase Inc. 35
Fast Storage – ForestDB
Fundamentally rethinking the requirements for
fast storage
 Compact and efficient storage for a variety of data
 Unified engine that performs well for various workloads
 Unified engine that scales from small devices to large servers
 Optimized for new SSD storage technology
35
ForestDB provides a
compact index structure
that significantly reduces the disk I/O
and write amplification.

36. ©2015 Couchbase Inc. 36
Trie (prefix tree) for which the nodes are B+-Trees
 HB+-Trie was originally presented at ACM SIGMOD 2011 Programming
Contest, by Jung-Sang Ahn who works at Couchbase
(http://db.csail.mit.edu/sigmod11contest/sigmod_2011_contest_poster_jungsang_ahn.pdf)
HB+-Trie (Hierarchical B+-Trie)

37. ©2015 Couchbase Inc. 37
ForestDB
ForestDB Evaluations: LevelDB, RocksDB
37
Throughput Future Proof
FITTED
FOR
SSD
Efficiency
UPTO
5XCOMPACT
UPTO
6XFASTER

38. ©2015 Couchbase Inc. 38
ForestDBに関するセッション
 Next Generation Storage Engine: ForestDB
May 3 @ 4:30 pm – 5:15 pm, ArchitectureTrack
 Under the hood ForestDB: Performance on SSDs and File Systems
May 3 @ 2:30 pm – 3:15 pm, ArchitectureTrack
 Intel: Next Generation SSDs and ForestDB: Next Generation Storage
Engine
May 3 @ 2:30 pm – 3:15 pm, ArchitectureTrack

39. セキュリティ

40. ©2015 Couchbase Inc. 40
それ以前… In 2.2 In 2.5 In 3.0 New in 4.0
SASL AuthN
with Bucket
Passwords
Admin User
Secure Build
Platform
Read-Only User
Easy Admin
Password Reset
Non-Root User
Deployments
Secure
Communication
for XDCR
Encrypted Client-
Server
Communication
Encrypted Admin
Access
Access Log
Data-at-Rest
Encryption
• Simplified
compliance
with admin
auditing
• External
identity
management
for admins
using LDAP
Couchbaseのセキュリティ機能
In a few
slides ..
40

41. ©2015 Couchbase Inc. 41
LDAPを利用した外部のID管理
IDの集中管理
 複数の参照専用/フル管理者を定義
 管理者アカウントのセキュリティポリシーを集中管理、より強固
なパスワード、パスワードローテイション、自動ロックアウト
アカウンタビリティー; コンプライアンスをシンプルに
 LDAP内でUIDを定義し、UIDをCouchbaseの参照専用/フル管理者の
ロールにマッピング
 LDAPのUIDを用いた包括的な監査記録

42. ©2015 Couchbase Inc. 42
Couchbase管理操作の監査ログ
リッチな監査イベント
 25以上の様々な、詳細な管理操作監査イベント
 バックアップなどのツールを含む監査
監査ログの設定
 出力ファイルの設定
 タイムベースのログローテイション、監査イベン
トのフィルタリング
容易なツール連携
 JSONフォーマットにより、Flume, Logstash,
syslogdなどを利用したシステムと容易に連携

43. ©2015 Couchbase Inc. 43
ログイン成功の監査イベント
43
{
"timestamp":"2015-02-20T08:48:49.408-08:00",
"id":8192,
"name":"login success",
"description":"Successful login to couchbase cluster",
"role":"admin",
"real_userid": {
"source":"ns_server",
"user":"bjones”
},
"sessionid":"0fd0b5305d1561ca2b10f9d795819b2e",
"remote":{"ip":"172.23.107.165", "port":59383}
}
WHEN
WH
O
WHAT
HO
W

44. ©2015 Couchbase Inc. 44
セキュリティに関するセッション
 SecuringYour Couchbase Server Deployment UsingVormetric
May 4secur @ 1:45 pm –2:30 pm, Operations Track
 Security Features in Couchbase Server
May 4 @ 3:45 pm – 4:30 pm, Operations Track

45. BuildYour AppTODAY!
Download Couchbase Server 4.0 Beta
at
www.couchbase.com/beta

46. Don’t forget that we also provide a
Mobile solution!!

47. I’ll talk about Couchbase Server 101

48. ©2015 Couchbase Inc.
Couchbase Upcoming Event
開催
日
イベント概要 リンク
9/1 Couchbase モバイル ワークショップ http://goo.gl/ll
RjhF
9/30 Couchbase 管理者用ワークショップ https://goo.gl/j
hmChM
10/14 Couchbase Server 公式トレーニング（有償）
「CD220 Couchbase Server 開発者向け(3日間)」
http://goo.gl/w
UUu8k
10/27 Couchbase Server 公式トレーニング（有償）
「CS300 Couchbase Server 管理者向け(4日間)」
http://goo.gl/S
BAOHz
?? JPBUG勉強会 Unity + Couchbase モバイル Coming soon!
?? Couchbase Server 開発者用ワークショップ Coming soon!
日本語マニュアル
Couchbase Server
http://goo.gl/79ZJ5o
Couchbase モバイル
http://goo.gl/uQpzMS
日本語ブログ
SE in 東京
http://goo.gl/IHX5yI
モバイルエンジニア
@シリコンバレー
http://hideki.github.io
事例紹介
https://goo.gl/UgFQEp
製品説明、デモ、事例紹介などは、下記 へご連絡ください。
couchbasejp@couchbase.com

49. ThankYou