[db tech showcase Tokyo 2015] E26 Couchbaseの最新情報／JBoss Data Virtualizationで仮想データベース統合を実現

SCSK株式会社
Couchhbaseの最新情報と
JBoss Data Virtualizationで
仮想データベース統合を実現
2015年 6月 11日
ITエンジニアリング事業本部
ミドルウェア部
富杉正広

Copyright(c) SCSK Corporation - 1 -
自己紹介
SCSK株式会社
富杉正広（とみすぎまさひろ）
2013年9月よりCouchbase社の代理店として、
Couchbase社製品の営業／マーケティング／チームマ
ネージャを担当しています。
2015年4月から弊社が代理店となっている、Red Hat
社のJBoss Middlewareのプリセールス／エンジニア
としての活動も開始しました。

Agenda
Part 1. Couchbase
１．Couchbase Serverとは？
２．Couchbase Server 4.0の新機能
３．SCSK最新事例
Part 2. Red Hat JBoss Data Virtualization (JDV)
１．Red Hat JDVとは？
２．SCSK導入事例
３．SCSK検証レポート

Part 1. Couchbase

Couchbase Serverの成り立ちとコンセプト
+Apache CouchDB
超高速
メモリキャッシュ
柔軟なデータモデルを
備えたDB
高いスケーラビリティ
と安全性
JSON形式データ
スキーマレス
スケールアウト
オートシャーディング
データレプリケーション
自動フェールオーバー
ドキュメント型データベース
導入の容易さ／高性能・低レイテンシー／データ分散技術／多彩な運用管理機能
memcached

高可用性
キャッシュ
Key
Value
ドキュメント
指向
組込み／モバイル
データベース
同期管理
Couchbaseが提供する様々な機能は、
アプリケーションや導入事例を幅広くサポートします。

ハイパフォーマンス
高可用性柔軟なデータモデル
Couchbase Serverは、「今」と「未来」の要求にこたえられる
NoSQLデータベースです。
スケーラビリティ
24x365

ハイパフォーマンス
Fine Grained
Locking
Hash
Partitioning
内蔵キャッシュメモリ
キャッシュ層を個別に持つ必
要がありません。
ドキュメントレベルのロッ
ク機構
並列処理によるハイスルー
プットが可能となります。
ハッシュパーティショニング
データを均一に分散配置する
ことによりホットスポットを
回避します。
Built-in
Cache

スケーラビリティ
XDCRSingle Node Type
自動シャーディング
ユーザ自身ではなくデータベ
ースが自動でデータの分散を
行います。
地理的に異なるクラスタ間
のレプリケーション
DR対策／異なる場所にクラ
スタ構成を組むことができ
ます。
クラスタ管理がシンプル
スケールが容易で、ノードを
１から１０、１０から１００
と自由に追加／また削除をす
ることができます。
Auto Sharding

高可用性
HA via Replication
DR via XDCR
Online
administrative
operations
オンラインでDBのアップグ
レード／HWのメンテナンス
アプリケーションに影響を与
えずに操作が可能です。
インメモリのレプリカで高
可用性を実現
自動／手動でのフェイルオ
ーバー
XDCRでディザスタリカバリ
対策
全てのアドミン操作がオンラ
イン
•コンパクション
•インデクシング
•リバランス
•バックアップ & リストア
Online DB
upgrades and
maintenance
24x365

柔軟なデータモデル
Handles constantly
changing data
Maintains Native
object
representation
スキーマレス
様々な構成のデータでもJSON
ドキュメントであれば簡単に
管理ができます。
データベースの変更に対応
データベースに変更やダウ
ンタイムを生じさせずにデ
ータの変更ができます。
ネイティブオブジェクト
データを行x列ではなくオブ
ジェクトとして捉えます。
いかなるドキュメントの属性
でもインデックスを作成しま
す。
Schema-less for
structured /
un/semi-
structured data

Part 1. Couchbase

• N1QL
• インデックスの改良
• 多次元スケーラビリティ
• Forest DB
• セキュリティ
主な新機能

Flexibility of JSONPower of SQL
N1QL
SQL for JSON. SQL準拠のクエリ言語
これまでのViewによるクエリよりも、さらにアドホックで柔軟なクエリに
よるデータ操作が行えます。

N1QL
SELECT, UPDATE, DELETEの操作が可能で、WHERE句、LIMIT句、ORDER
BY句、GROUP BY句等による検索に加え、JOINも行えます。
クエリの実行結果は、JSONドキュメントで返されます。
SELECT t.relation, COUNT(*) AS count, AVG(c.age) AS avg_age
FROM tutorial t
UNNEST t.children c
WHERE c.age > 10
GROUP BY t.relation
HAVING COUNT(*) > 1
ORDER BY avg_age DESC
{
"results": [
{
"avg_age": 19,
"count": 2,
"relation": "cousin"
},
{
"avg_age": 17,
"count": 2,
"relation": "friend"
}
]
}
SELECT usr.personal_details, orders
FROM users_with_orders usr
USE KEYS "Tamekia_13483660"
LEFT JOIN orders_with_users orders
ON KEYS ARRAY s.order_id
FOR s IN usr.shipped_order_history END
{
"results": [
{
"personal_details": {
"age": 39,
"display_name": "Tam Aki",
"email": "TamAki@mail.com",
"first_name": "Tamekia",
"last_name": "Akin",
"state": "Massachusetts"
}
}
]
}

ODBC /
JDBC
App
CB Node
ODBC /
JDBC
ETL
ODBC /
JDBC
BI
ODBC /
JDBC
Visualization
CB Node CB Node
N1QL
N1QLにあわせて、ODBC / JDBC ドライバの開発も進んでいます。
これまで接続が困難だった外部ツールやアプリケーションからの利用が容易にな
ります。

インデックスの改良と機能追加
インデックスに関して、改良と機能追加が行われました。
Viewインデックスの改良
検索性能の大幅向上
データサービスからの独立(インデックスサーバの分離)
空間インデックス機能の追加
空間インデックスの使用を正式サポート
Geoクエリの実装(立体的な範囲指定クエリの実行が可能に)
GeoJSONの出力機能の追加

多次元スケーラビリティ
水平スケーラビリティ
Couchbase Server 3.xまでは、クラスターに単純にノードを追加することで
スケーラビリティを実現
Node 8
Index Service
Couchbase Cluster
Query Service
Data Service
Node 1

Couchbase Server 4.0で、インデックスサービスとデータサービスの分離
Node 8
Index Service
Couchbase Cluster
Query Service Data Service
Node 1

Couchbase Server 4.0で、インデックスサービスとデータサービスの分離
より柔軟なスケーラビリティを実現
Node 8
Index Service
Couchbase Cluster
Query Service Data Service
Node 1
Node 1
Node 9
Query Service Index Service
Data Service

Forest DB
ストレージエンジンがB+木を発展させた「Forest DB」に刷新されます。
Forest DBの特徴は以下のとおりです。
– データの外部記憶装置への保存効率が向上
– さまざまな処理に高いパフォーマンスを発揮
– モバイル端末から大規模サーバまで、ハードウェアに関係なく利用可能
– SSDに最適化
Forest DBの仕様はIEEEに認められ、標準化が進められています。
スループット格納効率
LevelDB、RocksDBと比較し
コンパクトに
5倍
高速に
6倍

セキュリティ
セキュリティに関して、以下の改良が行われました。
マルチテナントとアカウント情報の一元管理
複数の管理者／参照者ユーザの設定が可能になります。
アカウント情報をCouchbase Server上で一元管理できます。
LDAPとの連携
監査ログの出力

Part 1. Couchbase

エンタープライズサーチ適用事例
企業規模の急成長(提供サービス種、取引先の急増)、および、基幹システムの
老朽化による課題
– 小規模・専用システムの乱立
– 情報管理の属人化／属部署化
– 従業員の経験、業務習熟度による作業効率格差の拡大
– 従業員の教育コストの増加
企業内の情報を横断的に検索／取得できる
仕組みを導入

エンタープライズサーチ適用事例
販売管理
システム
営業部A
基幹
システム
その他
システム
営業部B
伝票作成
販売管理
システム
営業部A
基幹
システム
その他
システム
営業部B
クローラ
Webアプリケーション
データ同期(XDCR)
データ投入
全文検索
データ取得
横断検索＆伝票出力
個人の知識、経験を活かして
社内に散在する情報を
収集し、伝票を作成
Couchbase Server + Elasticsearchで
社内の情報を一元的に検索し、伝票を出力

Part 1. Couchbase

 JBossコミュニティでリリース済みの実績あるものを再構成し、エンタープライズレベルの
QAを実施後、RedHatより提供されるプロダクト
 ３つのカテゴリの実行環境、デザイン/開発ツールおよび管理ツールで構成
ユーザインタフェース
開発環境
ビジネスプロセス管理
アプリケーション統合
基盤
データ仮想化
統合管理
JBoss Portal
JBoss BRMS
JBoss BPM Suite
JBoss A-MQ
JBoss Fuse
JBoss Fuse Service Works
JBoss Data Virtualization
JBoss EAP
JBoss Web Server
JBoss Data Grid
JBoss
Developer
Studio
JBoss
Operations
Network
MIDDLEWARE
Red Hat JBoss Middleware 製品ラインナップ

Red Hat JBoss Data Virtualization
企業内・外のあらゆるデータを「モデリング」、「仮想統合」、「リアルタイム
連携」する実行基盤
– 複数データソースを参照／更新する標準ベースのインターフェースを提供
– データ仮想化によりデータ構造や項目を自由に変換
– データをコピーせずにデータの統合を実現
– 監査証跡の取得や集中アクセスコントロールの基盤として利用可能

システム構成イメージ
JBoss Data Virtualization
論理物理
RDBMS
DWH
LDAP
Cloud
File
Office製品
BI
連携
仮想
統合
NoSQL
JDBC
ODBC
SOAP
REST
OData
さまざまなデータソースを物理モデルとして定義
物理モデルから論理モデルを自由に作成
利用者は、論理モデルよりSQLを利用してアクセス

サポートデータソース
データベース:
• Oracle
• IBM DB2
• Microsoft SQL
Server：
• Sybase ASE
• MySQL
• PostgreSQL
• Ingres
データウェアハウス:
• Teradata
• Netezza
• Greenplum
Hadoop:
• Apache
• HortonWorks
• Cloudera
• More coming…
オフィス製品:
• Microsoft Excel
• Microsoft Access
• Google
Spreadsheets
特殊データ:
• ModeShape
Repository
• Mondrian
• MetaMatrix
• LDAP
NoSQL:
• JBoss Data Grid
• MongoDB
• More coming…
アプリケーション:
• Salesforce.com
• SAP
コネクタ:
• Flat Files, XML Files,
XML over HTTP
• SOAP Web Services
• REST Web Services
• OData Services

・あらゆるデータソースを透過的、仮想的に統合
・リアルタイム連携
・データ蓄積が不要なため２重管理問題がない
・データ構造や統合処理の変更に柔軟に対応可能
データ連携・統合データキャッシュ
DWH・データマートアクセス管理・監査証跡
・利用者やロール毎に見せる・見せないを制御
・監査証跡の取得を自由に設定可能
・LDAP連携によるユーザ管理統合
・監査証跡の取得や集中アクセスコントロールの
基盤として利用可能
・Memoryキャッシュによる高速アクセス
・DBを跨るマテリアライズドビューの構築
・その他、結果セット・コードキャッシュ
・標準的なSQLが利用可能
・一般的なDWH製品と比較して低コスト
・利用者毎に必要なデータを事前に条件で絞り
込みマートを作成することが可能
・短期間でデータ基盤の構築が可能
Red Hat JDVの4つの特徴

これまでのシステム連携イメージ
複数のデータソースをEAI／ETLで連携し、他のDBへ統合
BI等分析用の照会用テーブルやデータマートをデータウェアハウスに生成
利用者からのアクセス高速化のため、データをメモリへキャッシング
File
照会
RDBMS
EAI／ETL DWH
RDBMS InMemory
DataGrid
マート
生成
データ
統合
BI
連携
キャッシュ

Red Hat JDVを使用したシステム連携イメージ
複数のデータソースをJDVで連携・統合
BI等分析用の照会用テーブルやデータマートを論理テーブルとしてJDV上に定義
利用者からのアクセス高速化のため、データをJDVにキャッシング
(マテリアライズドビュー)
JBoss Data Virtualization
File
照会
RDBMS
BI
連携
マテリアライズド
ビュー

データ仮想化技術により、以下のような使い方が可能です。
– 「データ連携・統合」
– 「データキャッシュ」
– 「データマート」
JDV EAI/ETL ESB/SOA
InMemory
DataGrid
ビッグデータ
DWH
データ連携・統合
（バッチ・大量データ） ◎ ◎ 〇 × △
システム連携
（リアルタイム）
〇 △ ◎ △ ×
データキャッシュ ◎ × × ◎ ×
DWH・データマート〇 × × △ ◎
JDVの使い方

RDB
JDV
ETL/EAIの場合
– データ連携・統合先にもDBが必要
– データの二重管理が発生
– 一括バッチ処理が基本
File
EAI／ETL 統合DB
JDVのメリット
– あらゆるデータソースを透過的、仮想的に統合
– データを持たないので2重管理問題が発生しない
– 用途に併せてリアルタイム連携も可能
RDB
File
？

DWH製品の場合
– 一般的に高価
– 製品固有の設計・チューニングノウハウが必要
JDVのメリット
– JDV内でマートの構築が可能
– 利用者毎に見せる・見せないの制御が可能
– 標準的なSQLが利用可能
– 監査証跡の取得を自由に設定可能
– LDAP連携によるユーザ管理統合
JDV
RDB
File
データウェアハウス
RDB
LDAP
認証

Part 1. Couchbase

データ統合基盤適用事例
複数の業種・業態のグループ企業展開する企業グループにおいて顧客情報・活
動情報等グループ各社の情報を統合、横断的な活用を実現
– 各社保有データの取り込み
– レイアウト／コード変換（データ統合）
– クレンジング
業務アプリケーション（横断的にデータ活用する）
固定長
ファイル
固定長
ファイルI/F
JDBC JDBC
DBMS
JDBC
ビジネス
ロジック
ファイル編集
ロジック
SQLFile I/O
ビジネス
ロジック
仮想データ統合適用なし（スクラッチ開発）
DBMSDBMS
DB抽出・マージ
ロジック
SQL
SQL

データ統合基盤適用事例
複数の業種・業態のグループ企業展開する企業グループにおいて顧客情報・活
動情報等グループ各社の情報を統合、横断的な活用を実現
– 各社保有データの取り込み
– レイアウト／コード変換（データ統合）
– クレンジング
固定長
ファイル DBMS
ビジネス
ロジック
ビジネス
ロジック
仮想データ統合
JDV
仮想TBL
仮想TBL
JDBC
新規追加
Webサービス
JDVコネクタ群
効果①
生産性向上
効果②
開発・レビュー
品質向上
効果③
影響範囲を
極小化
SQL SQL
各業態からのレコードについ
てフォーマット変更などは
JDVの定義修正のみで対応可
仮想データ統合適用有（JDV）
固定長
ファイル
固定長
ファイルI/F
JDBC JDBC
DBMS
JDBC
ビジネス
ロジック
ファイル編集
ロジック
SQLFile I/O
ビジネス
ロジック
仮想データ統合適用なし（スクラッチ開発）
DBMSDBMS
DB抽出・マージ
ロジック
SQL
SQL
DBMSDBMS

Part 1. Couchbase

JDV、いろいろ便利そうだけど、気になるのは、やはり、
、、、ということで、SCSKで性能検証を行いました。
パフォーマンス

JDV売り上げ分析AP
顧客
購入検索・更新
顧客DB
検証シナリオ
オンライン商品販売における売り上げ分析を想定事例
商品取引に必要なDB／テーブルを構成
複数DBMSをまたがる検索のため、Oracle, MySQL, SQL Serverを用意
複数DBMS間のJOIN処理時を検証するため、各DBBMSに同一テーブルを用意
商品マスタ
DB
取引DB
オ
ン
ラ
イ
ン
店
舗
DB仮想化は
本当に有効？？
Customer Goods
Trade
Oracle
Customer Goods
Trade
MySQL
Customer Goods
Trade
SQL Server
単一DBに対する検証複数DB（２～３）に対する検証

検証結果
検索パターンスレッド／秒
1 DB : 3 Table Join 100スレッド／秒
(MySQL) (SQL Server) (Oracle)

検証結果
(MySQL) (SQL Server) (Oracle)
JDVのキャッシング機能の効果で、
単一DB＆複数テーブル、複数DB＆複数テーブルの
JOIN処理は、いずれも、
直接DBMSを参照するよりJDVの経由の方が
低レイテンシーで動作します

会社名： SCSK株式会社(日本国内でのCouchbase社の代理店)
所在地：東京都江東区豊洲3-2-20 豊洲フロント
設立： 1969（昭和44）年10月25日
資本金： 21,152百万円
従業員： 11,754名（連結）（2015年3月31日現在）
業容：
【お問合わせ】
SCSK株式会社
ITエンジニアリング事業部ミドルウェア部
TEL：03-5166-1320
E-mail：nosql-sales@ml.scsk.jp , Jboss-sales@ml.scsk.jp
会社案内

[db tech showcase Tokyo 2015] E26 Couchbaseの最新情報／JBoss Data Virtualizationで仮想データベース統合を実現

More Related Content

What's hot

Viewers also liked

Similar to [db tech showcase Tokyo 2015] E26 Couchbaseの最新情報／JBoss Data Virtualizationで仮想データベース統合を実現

[db tech showcase Tokyo 2015] E26 Couchbaseの最新情報／JBoss Data Virtualizationで仮想データベース統合を実現