[db tech showcase Tokyo 2016] A25: ACIDトランザクションをサポートするエンタープライズ向けNoSQL Databaseに興味はありませんか？〜事例から学ぶNoSQLの使いどころ by マークロジック株式会社能仁信亮

© COPYRIGHT 2016 MARKLOGIC CORPORATION. ALL RIGHTS RESERVED.
マークロジック株式会社
シニアソリューションアーキテクト
能仁信亮
ACIDトランザクションをサポートするエンタープライズ向け
NoSQLデータベースに興味はありませんか？
〜事例から学ぶNoSQLの使いどころ

SLIDE: 2 © COPYRIGHT 2016 MARKLOGIC CORPORATION. ALL RIGHTS RESERVED.
自己紹介
• 能仁信亮 (のうにんしんりょう)
• エンタープライズNoSQLデータベースを提供するマークロジック株式会社でエンジニアを
しております
• MarkLogic入社前は、Hadoop, NoSQLとRDBMSを組み合わせたシステム構築の提案、
導入支援を行っていました
• Twitter : @snonin

MarkLogic : 会社のご紹介
§ 600社を越える世界各国のお客様
§ お客様の成功に10年以上貢献
§ 250社以上のパートナー企業
§ 世界各国に525名以上の社員
§ 成功を約束する投資 (主な投資元：
セコイアキャピタル、ウェリントン)
§ 日本での法人登記 (東京、渋谷)
§ 国内の著名ＳＩ企業とのパートナー
契約を締結し、連携
信頼成熟専門性
§ コンサルティングサービス
お客様の環境を熟知した国内パー
トナー企業がコンサルティング
§ 24時間365日対応のエキスパート
サポート
経験豊富なエンジニアが対応
§ オンラインコミュニティ
数万人にも及ぶコミュニティメン
バーとのコラボレーション
§ 無料トレーニング
オンライン、講師によるトレーニング

MarkLogicの特徴
オペレーショナルでトランザクショナルな基幹業務対応エンタープライズNoSQLデータベース
§ データをそのまま取込む (ETL不要)
§ 構造化、非構造化データの混在
§ データとメタデータを一緒に保管
§ データやデータ構造の変更に対応
簡単にデータを取り込める
柔軟なデータモデル
§ インデックスを一度付けることで、
何度でもクエリ可能
§ 非常に高速でリアルタイム
§ JSON、XML、テキスト、地理空間
情報、セマンティックトリプルをす
べてひとつのデータベースでクエリ
可能
簡単にデータを出せる
ユニバーサルインデックスで
何でも検索
§ データの信頼性とトランザクショ
ン (100% ACID 準拠)
§ 標準仕様の自動フェイルオー
バー、レプリケーション、バック
アップ/リカバリー機能
§ 基幹業務に対応したエンタープ
ライズグレードのセキュリティと
コモンクライテリア認証
100% 信頼できる
基幹業務に対応できるエン
タープライズ仕様

（ご参考）MarkLogicとRDBMS、他のNoSQL DBとの比較
機能 RDBMS
他のNoSQL
Database
サーチとクエリ
MarkLogicはJSON 、XML、RDFなどにネイ
ティブに対応。スキーマ非依存のマルチ
データモデルアプローチにより、データをそ
のままの形でロード可能。
RDBMSは事前に静的なスキーマを定義す
る必要がある。列を一つ追加するにも、多
大な時間とお金がかかる
一般的に、NoSQL Databaseは
RDBMSよりも柔軟性がある。特にド
キュメントストアであれば、柔軟性は高
い
MarkLogicは製品のコアにサーチ機能が
統合されている。さらに、様々なデータタイ
プに対して複雑なクエリをカスタマイズ可
能な広範なインデックスを利用して実現し
ている
全文検索機能を利用するには、他のソフト
ウェアが必要となり、統合に多大な工数を
要する。さらに、1つのクエリをデータベー
ス全体に対して発行することができない場
合がある
全文検索機能を利用するには、他のソフ
トウェアが必要とる場合がある。さらに、
多数のNoSQL DBはクエリのなかで
高々1つないし2つのインデックスしか利
用できない

機能 RDBMS
他のNoSQL
Database
拡張性と伸縮性
ACIDトランザクション
認証済みセキュリティ
MarkLogicは数百ノードまで拡張可能で、数
千億のドキュメントを管理する商用環境で実
際に利用されている。データは自動的に
パーティション化され分散配置される。ノード
追加は、アプリケーションの要求に応じて、
数分で完了
RDBMSは1台のスケールアップで対応し、
多額の費用がかかることが多い。性能は
データ量が一点水準まで達すると頭打ち
になり、リソースの利用率が下がっても、ス
ケールダウンすることができない
NoSQL Databaseのなかには、スケー
ルアウト可能なものもあるが、データの
パーティションをクラスタ全体に分散さ
せることが難しい場合も多い。多くの
NoSQL Databaseは、スケールアップ
とスケールダウンの柔軟性に欠ける
MarkLogicはACIDトランザクションを完全
にサポート。さらにXA分散トランザクション
を利用することも可能
RDBMSは、数十年にわたりACID トランザ
クションを標準としてサポートしてきており、
それ故にミッションクリティカルシステムで
数多く利用されてきた。
実質的に全てのN oSQLデータベースは、
ACIDトランザクションを犠牲にしており、
分散システム内でのトランザクションの
一貫性を管理できない
MarkLogicはNIAPコモンクライテリア認証
を取得済みで、政府機関の機密システム
等でも利用されている
RDBMSは、セキュリティが重視される大規
模なエンタープライズシステムで、数十年
利用されてきており、セキュリティ機能も強
化されてきている。
他のNoSQL Databaseは、N IAPコモンク
ライテリア認証を取得しておらず、多くは
認証に必要な機能も有していない

機能 RDBMS
他のNoSQL
Database
高可用性／災対
Hadoop統合
MarkLogicはクラスタ内およびクラスタ間の
ファイルオーバー機能を高いレベルでサ
ポート、さらにシェアード・ナッシング・アーキ
テクチャにより、単一障害点も存在しない
10年程度の期間を経て、HA/DRは大半の
RDBMSの標準的な機能となってきた。
アーキテクチャによっては、単一障害点が
残る場合がある。
NoSQL Databaseの大半は、バック
アップや災対で求められるトランザク
ションの整合性を保証していない。ス
ケールアウト型のDatabaseの中には、
HAがオプションのものも存在する。
MarkLogicはHadoopと簡単に連係可能で
あり、Hadoopに対して完璧なデータベース
として機能する
RDBMSの中には、Hadoop連係をもつも
のもあるが、ETL処理がデータの移動の際
に必要となることが多い。
多くのNoSQL Databaseは、H adoop連
係の機能をもつが、実装している機能は
製品により大きく異なる。

なぜNoSQLデータベースを使うのか?
1. スキーマ(RDBMSのテーブル群)を事前定義するのが難しい
→ 後ほどご説明します
2. スケールアウト可能
3. マルチマスター構成がどうしても必要
例) 複数のデータセンターをまたいだクラスターが必要で、データセン
ター間の通信に障害が発生したとしても、両方のデータセンターで、稼
働しつづける
→ CAP定理でいうAPが必要

なぜNoSQLデータベースを使うのか?
1. スキーマ(RDBMSのテーブル群)を事前定義するのが難しい
→ 後ほど、具体的な例をご説明します
2. スケールアウト可能
3. マルチマスター構成がどうしても必要
例) 複数のデータセンターをまたいだクラスターが必要で、データセン
ター間の通信に障害が発生したとしても、両方のデータセンターで、稼
働しつづける
→ CAP定理でいうAPが必要
MarkLogicが得意なところ
↑ たしかに大規模消費者向けサービスを中心に、こういった要件が必要になる場合も
あるが、エンタープライズ・システムではまれ。

Atomicity (原子性)
Consistency (一貫性)
Isolation (分離性)
Durability (永続性)
最初のバージョンから実装・最適化を続けています
MarkLogicによるACIDトランザクションの実装
2フェーズコミット
(内部的に利用)
Lock
MVCC
同期レプリケーションジャーナル

/articles/doc1.xml
∞ ∞423 628
開始タイムスタンプ終了タイムスタンプ
Year
∞ ∞
Document
Title Author
Section
Section Section Section Section Section
First
Last
Metadata
628
/articles/doc1.xml
Document
Title Author
Section
Section Section Section Section Section
First
Last
Metadata
MVCCのメリット
§ ACIDトランザクションの実現
§ 高いスループットを実現
§ 読み取りロックなし
§ ポイントインタイムクエリ
§ 高速なロールバック
ACIDトランザクション
MVCCによる実装

競合関係ではなく、補完関係
MarkLogicとHadoopの関係
MarkLogic Hadoop
オンライン、低遅延アプリケーション
リアルタイムのトランザクション
製品に組込まれた検索機能
オフライン、高遅延アプリケーション
時間をかけたバッチ解析
コスト効率の良いストレージ

MarkLogicとHadoop
MarkLogicとの接続によりHadoopを改善
§ MarkLogicを直接HDFS上で走らせること
で、リアルタイムのアプリケーションを実現
。一方、Hadoopはバッチ分析、ETL、デ
ータのエンリッチメントに使用
§ MarkLogicとHadoop間でデータをシーム
レスに移動。接続されていないMarkLogic
のフォレスト上でHadoopのジョブを実行
可能
§ HDFSと階層型ストレージの高い経済性

© COPYRIGHT 2016 MARKLOGIC CORPORATION. ALL RIGHTS RESERVED.
典型的な活用領域と事例

統合され活用可能なデータ
の360度ビュー
ビジネスがデータに求めているもの

分断されたデータ
§ データが分断された別々のデータベースに存在する
§ データ統合がM&Aのスピードに追いつかない
§ データをリアルタイムで提供しなければならない
実態

80% の時間
データサイエンティストがデータ
を整理することに時間がかかり
すぎる
無駄
% の
コスト
2015年にリレーショナルデータ
のサイロを作り出すのに費やさ
れた金額
360億
支出60データウェアハウスのプロジェクト
におけるETLコストは高い
$
分断されたデータの統合には膨大なコストがかかる

リレーショナルデータベースに
はETLが必須なため、アジャ
イル性、タイムリーな対応、コ
ストが犠牲になる
§ 将来のあらゆるデータについて予測できていなけ
ればならない
§ 新しいSQLクエリの使用には、データベースの再イ
ンデックス付けが必要となる
§ 分断されたデータベースが変更されるとETLを改
修する必要がある
ITの課題
ETL
OLTP
アーカイブ
ETL
ETL
ETL
データマート
ETL
ウェアハウス
参照データ

データをより上手く、早く、
少ないコストで統合できる
データベース
望ましいソリューション

活用パターン1
データ統合＋検索

トップ5 グローバルバンク – 統合検索インデックス
大規模な統合顧客データとトランザクション
MARKLOGICを選んだ理由
§ 数値型、ドキュメント型、セマンティック
データの扱いが必要
§ ETLが巨大で複雑
§ 将来の変更にも柔軟に対応
§ コストと時間の制約
§ エンタープライズ仕様のデータの一貫
性、信頼性、セキュリティ
主要システム業務部門
カスタマーサービス
アナリティクス
統合レポジトリ
顧客データ
抵当
クレジットカード
他のシステム
抵当の
証券化
召喚状対応

トップ5 グローバルバンク – 統合検索インデックス
大規模な統合顧客データとトランザクション
§ 数値型、ドキュメント型、セマンティック
データの扱いが必要
§ ETLが巨大で複雑
§ エンタープライズ仕様のデータの一貫
性、信頼性、セキュリティ
主要システム業務部門
カスタマーサービス
アナリティクス
統合
レポジトリ
顧客
データ
抵当
クレジットカード
他の
システム
抵当の生成/
証券化
召喚対応
予定
§ タイムリー – 最初のプロジェクトは6ヶ月で実稼動
§ 柔軟 – 抵当統合に関してだけでも、35の抵当主要システムの統合
§ 高いコスト効率 – コモディティハードウェアによる弾力的な拡張
§ エンタープライズ仕様 – セキュリティ、一貫性、HA/DR
§ リテール顧客の360º像 – 最終的には800億件のレコード

RDBMSで実現できず、MarkLogicで実現できる理由
MarkLogicではRDBMS で実現できない要因
あらかじめ、全てのデータ形式に対応する
テーブル設計、対応するETLの開発を行っ
ておかないと、データをインポートすること
すらできない
別途、検索エンジンを用意して、RDBMS
と検索エンジンの統合を行う必要がある。
特にセキュリティ、権限管理の統合が難し
い。さらに検索エンジンとの連係はリアル
タイムに行われないため、取り込まれた
データを即座に検索することができない
データをそのままの形式（As-Is）で取り
込むので、複雑な設計、ETLは不要
検索機能が内包されているので、デー
タを取り込むだけで、検索が即座に可
能

§ JSON、XML、RDF、位置データ、ラージバイナリ
を単一の統合プラットフォームで格納/管理
§ ビジネスエンティティ、アプリケーションに忠実に
モデル化
§ データを「As-Is」（そのまま）で読み込み
§ 事前にスキーマを定義しておく必要がない
ため、データ変換のための扱いにくいETL
が不要
§ アプリケーション、ビジネスに最適なデータ形式
を利用可。最も扱い易い形式でデータを保持
ドキュメント指向、スキーマ非依存データベース

検索とクエリ
ビルトイン検索でドキュメント、関係性、メタデータから答えを発見
§ MarkLogicでは検索＝クエリ
§ 30種類以上の洗練されたインデックスで関連性に応
じた結果を取得
§ 数百テラバイト、数十億件のドキュメントに対して検索
結果リストを1秒以下で応答
§ 複雑な構造を持つデータに対する複雑なクエリもフ
ラットなデータと同様にあつかうことが可能
§ サーチのフル機能を提供。
§ 全文検索、入力候補表示、ファセット、スニペット、検
索対象の強調表示、近接ブースト、関連度順、言語
サポート
JavaScript XQuery SPARQL
リッチなクエリ
機能
インデータベース
MapReduce
全文検索
セマンティック検索位置検索

ユニバーサルインデックス
“blue” 123, 125, 129, 130, 152, 344, …
“van” 123, 125, 126, 129, 130, 152, …
“observed” 125, 152, 516, 522, 765, 890, …
“blue van” 123, 125, 129, 130, 152, 486, …
STEM “observe” 125, 152, 516, 522, 765, 890, …
<report> …
<report>/<location> …
<threat>/<category> …
<type>suspicious activity</type> …
<date>2012- 11-12Z< /date> …
Collection:Vetted …
Role:Analyst + Action:Read …
… …
… …
… …
タームドキュメント参照番号
MarkLogicがインデックスを付けるのは…
§ 語
§ フレーズ
§ 語幹（原形）
§ 構造
§ 構造内の語やフレーズ
§ 値
§ コレクション
§ セキュリティ許可
ドキュメント
参照番号
125, 516, 890, …
確認済み（vetted）レポートの中で「blue van」という
フレーズが含まれているものは？

政府レベルのセキュリティ
現代のデータガバナンス用の認証済みのきめ細かいセキュリティ設定
§ 認証済みセキュリティ – NoSQLデータベ
ースの中では最高のセキュリティ認証済
み。コモンクライテリアセキュリティ認証
を受け、政府の機密情報システムで利
用中
§ きめ細かなセキュリティ– ドキュメントレ
ベルでのロールベースのアクセス制御（
RBAC）。
Privacy
Provenance
Compliance
Continuity
Retention
Security
MarkLogic によるデータガバナンス

トップ5の投資銀行 – ITアセット管理
技術アセット在庫管理システムでデータのエンリッチとリアルタイム分析を実現
§ より迅速なデータ統合
§ 構造化＆非構造化データの混在
§ セマンティックによるグラフ表示
§ 監査証跡の改善（バイテンポラルを利用）
§ リアルタイム分析
中核データ
ボリューム管理システム
固定資産台帳
AFS利用
（ファイルシステム）
サーバーレポート
エンタープライズ
サーバーポートフォリオ
LDAP
など
データレイヤー
セマンティックレイヤー
（オントロジー）
テンポラルレイヤー
リアルタイム
検索＆クエリ
140以上のデータソースアセット管理とトラッキング
トップ５の投資銀行

トップ5の投資銀行 – ITアセット管理
技術アセット在庫管理システムでデータのエンリッチとリアルタイム分析を実現
§ より迅速なデータ統合
§ 構造化＆非構造化データの混在
§ セマンティックによるグラフ表示
§ 監査証跡の改善（バイテンポラルを利
用）
§ リアルタイム分析
中核データ
ボリューム管理システ
ム
固定資産台帳
AFS利用
（ファイルシステム）
サーバーレポート
エンタープライズ
サーバー
ポートフォリオ
LDAP
など
データレイヤー
セマンティックレイヤー
（オントロジー）
テンポラルレイヤー
リアルタイム検
索＆クエリ
140以上の
データソース
アセット管理とトラッキング
トップ５の投資銀行
成果
§ タイムリー – 最初のプロジェクトは6ヶ月で実稼動
§ 柔軟 – 140以上のデータソースを統合
§ 高いコスト効率 – コモディティハードウェアによる弾力的な拡張
§ エンタープライズ仕様 – セキュリティ、一貫性、HA/DR
§ 成功 – 「このアプリケーションは、当行のもっと重要なシステムとな
りました。今後、大幅な拡張の予定もあります」
- 銀行取締役

バイテンポラル
時間がすべて
有効時間
システム時間
有効時間（Valid Time）
– 現実世界の時間。「実
際の状態」に関する情報
イベント 1
イベント 3
イベント 2
イベント 2
システム時間 –
データベースに
記録された時間
§ 同一ドキュメントに対して、ある時点における「実際の
状態」と「記録上の状態」の情報を両方保持すること
で、後から遡って確認
§ ビジネスやミッションにおけるインサイトの向上
§ スキーマの変化も、時間の経過におけるデータの変
化として把握。リレーショナルのバイテンポラルにはな
い機能
§ 規制順守が必要な業界では必須
§ 階層型ストレージとセマンティックによってさらに強化

10億以上のドキュメントをシームレスに探索 – リアルタイム通知も実現
Dow Jones – 拡張性を兼ね備えた強力な検索とアラート
MarkLogic の利点:
• 拡張された検索機能
10億以上のドキュメントを1秒
以内のスピードで検索可能
• リアルタイムアラート
ユーザー定義のコンテンツア
ラートに基づいて、通知を即
座に受け取る機能を実現
32,000の情報ソース
500万以上の WSJ記事

活用パターン2
Operational Data Hub

オペレーショナル
アプリケーション
マルチチャネル
配信
全てのデータに
対する双方向の分析
SSD, DAS, SAN, NAS,
S3, Hadoop/HDFS
JSON
XML
Operational Data Hub

ドイツ銀行– グローバルオペレーション
最大手投資銀行で巨大なデータ統合を実現
イミュータブルなファクトストア
オペレーションサイロ MarkLogicの統合データベース
§ 柔軟なモデル - Excelスプレッドシート、
Oracleテーブル、COBOLインデック
スなどすべてを表現
§ トランザクションの一貫性 - クライアン
トのリクイディティ用のオペレーショナ
ルデータストア
§ 設定可能なセキュリティ - 既存のパー
ミッションに基づくリファレンスデータ
の閲覧制限
階層型ストア
数千のデータベース
ファイルとドキュメント
数万のアプリケーション
… 標準的（canonical）
XMLデータモデル
データアクセス
の詳細設定
反復的開発
「SOURCE OF
TRUTH」
リクイディティに関する
意思決定

ドイツ銀行– グローバルオペレーション
主要投資銀行で巨大なデータ統合を実現
イミュータブルなファクトストア
オペレーションサイロ MarkLogicの統合データベース
§ 柔軟なモデル - Excelスプレッド
シート、Oracleテーブル、COBOLイン
デックスなどすべてを表現
§ トランザクションの一貫性 - クライ
アントのリクイディティ用のオペレー
ショナルデータストア
§ 設定可能なセキュリティ - 既存の
パーミッションに基づくリファレンス
データの閲覧制限
階層型ストア
数千のデータベース
ファイルとドキュメント
数万のアプリケーション
… 標準的（canonical）
XMLデータモデル
データアクセス
の詳細設定
反復的開発
「SOURCE OF
TRUTH」
リクイディティに関する意思決定
成果
§ 包括的 – 数万のデータソース
§ 柔軟 – 複数ソース。メインフレームからExcelまで
§ コスト効率 – プラットフォームの拡張に応じたプロビジョニング
§ 基幹業務対応 – 安全で一貫性のあるトランザクション
§ 規模 – 1億8000万ドキュメント/日、250億件見込み（2017年末）

あらかじめ、全てのデータ形式に対応する
テーブル設計、対応するETLの開発を行っ
ておかないと、データをインポートすること
すらできない
ソースシステムの変更への対応工数が莫
大になる
→ ソースシステムの変更に対して、データ
を保持するためだけに、テーブル定義やイ
ンデックス、ETLの再設計が必要
データをそのままの形式（As-Is）で取り
込む。要件として必要な部分から、共
通データモデルを構築。
ソースシステムへの変更時にも、デー
タを取り込むだけであれば、特別な対
応は必要ない。
追加された項目を利用する必要が生じ
た際に対応すればよい

トップ3 グローバルバンク – デリバティブの基幹処理プラットフォーム
統合取引データハブ
§ 時間とお金がかかるETLサイクルを回避
§ エンタープライズ要件
20個以上の
データソース
下流のシステム
マッチング
etc...
統合
トレードストア
デリバティブ
データ
レート
データ
FX
データ
他の
システム
清算
決済
Hadoop
将来の拡張には：MLの階層型
ストレージ（w/HDFS）を利用

トップ3 グローバルバンク – デリバティブの基幹処理プラットフォーム
取引統合データハブ
§ 時間とお金がかかるETLサイクルを回
避
§ エンタープライズ要件
20個以上の
データソース
下流のシステム
マッチング
etc...
統合
トレードストア
デリバティブ
データ
レート
データ
FX
データ
他の
システム
清算
決済
Hadoop
将来の拡張には：MLの階層型スト
レージ（w/HDFS）を利用
成果
§ 柔軟 – 複雑なデータの読み込みや出力に対応
§ 高パフォーマンス– 1600+ リクエスト/秒
§ 改善されたリスク管理 – 統合ビュー
§ エンタープライズ仕様 – ACIDトランザクション、セキュリティ、HA/DR
§ 高いコスト効率 – 1つのデータベース（20ではなく）。DBA1人（10人で
はなく）。

Aetna (エトナ/米国・保険) – 人事データハブ
人事データの統合、大規模なリアルタイムデリバリー
§ ETLが巨大で大変に複雑
§ 将来の変更に対する柔軟性
§ 基幹業務に対応したエンタープライズ仕様
140以上のデータフィード 50以上のシステム
リアルタイムアプリ
バッチ分析
人事データハブ
従業員
データ
給与
データ
評価
データ
その他の
システム

Aetna (エトナ/米国・保険) – 人事データハブ
人事データの統合、大規模なリアルタイムデリバリー
§ ETLが巨大で大変に複雑
§ 将来の変更に対する柔軟性
§ 基幹業務に対応したエンタープライズ仕様
140以上のデータフィード 50以上のシステム
バッチ分析
人事データハブ
従業員
データ
給与
データ
評価
データ
その他の
システム
成果
§ 柔軟– 複雑なデータの取り込みと出力
§ 拡張性 – 各日50GBを越えるスループット
§ アジャイル – 5年の予定が1年で導入完了
§ 将来性の確保 – データを最大限、再活用しながらも一貫性を保持
§ 成功 – MarkLogicは人事データ全てのデータレイヤー

活用パターン3
メタデータの一元管理

ディズニー – メタデータハブ
映画やその他のアセットのデータをつなぐ統合ハブ
§ 5つのサイロ化されたデータソースから
の素早いデータ統合
§ セマンティック機能でアセット、アーカイ
ブ、メタデータを正しく関連付ける
§ さらにアジャイルな開発
§ 基幹業務に対応したエンタープライズレ
ベルの信頼性

ディズニー – メタデータハブ
映画やその他のアセットのデータをつなぐ統合ハブ
§ 5つのサイロ化されたデータソースから
の素早いデータ統合
§ セマンティック機能でアセット、アーカイ
ブ、メタデータを正しく関連付ける
§ さらにアジャイルな開発
§ 基幹業務に対応したエンタープライズレ
ベルの信頼性
成果
§ 統合 – 2億件以上のドキュメントと5億個以上のトリプル
§ 柔軟 – アプリの開発と導入が4ヶ月で完了
§ 高いコスト効率 – 分断やサイロの排除
§ 安全 – データの損失やセキュリティ違反なし
§ 成功 – ビジネスプロセスの合理化と収入の増加

ディズニー – 次世代のメタデータ管理プラットフォーム
Is A
Character
Olivia Pope
Episode 20
Trump Card
Part of
Season 5
Part of
Show
Scandal
Aired on
Date
05/05.2016
Acted in
Played
Profession
Lawyer
Talent
Kerry Washington
Love Interest
President Fitzgerald
In Love With
MULTI-TIER PRODUCTION METADATA

多様なメタデータの形式をサポートするた
めのテーブル設計が難航
セマンティック(RDF)などの多様なデータ形
式のサポートの欠如
多様なデータ形式を事前のデータモデ
リングなしで取り込む
セマンティック機能などを利用して、関
連性の管理・活用が可能

セマンティック
ドキュメントストアとトリプルストアの合体
§ 数十億ものファクトを格納/クエリ
§ 新しいファクトの推論
§ ファクトと関係性によりコンテキストを把握し
て検索を改善
§ 柔軟なデータモデリング。
§ 任意の関係でデータを関連付け
§ 業界標準に準拠
– RDF、SPARQL、標準REST
MarkLogic8の新機能：
SPARQL 1.1、グラフトラバーサル、規則による自動推論、サーバーサイド
JavaScriptとNode.jsによるSPARQL

活用パターン4
大規模コンテンツ配信

BBC – 大規模でダイナミックなコンテンツ配信
データの統合、マルチデバイスへの配信
§ 複数の形式のコンテンツ (例ビデオ、
記事、統計データなど)
§ 動かすことのできないオリンピックのス
ケジュールに合わせた素早い導入
§ 毎秒数万を越えるトランザクションをサ
ポートできる拡張性
§ オープンスタンダードに対応 (どのデバ
イスからでも、いつでも、どこからでも)
マルチスクリーンで
の利用
1つのデータレイヤーで
多くのデバイスに対応
リアルタイムでの更新と
リプレイ

BBC – 大規模でダイナミックなコンテンツ配信
データの統合、マルチデバイスへの配信
§ 複数の形式のコンテンツ (例ビデオ、
記事、統計データなど)
§ 動かすことのできないオリンピックのス
ケジュールに合わせた素早い導入
§ 毎秒数万を越えるトランザクションをサ
ポートできる拡張性
§ オープンスタンダードに対応 (どのデバ
イスからでも、いつでも、どこからでも)
マルチスクリーンで
の利用
1つのデータレイヤーで
多くのデバイスに対応
リアルタイムでの更新と
リプレイ
成果
§ 拡張性 –最も多い日には、2.8 ペタバイトものデータを配信
§ 高速 – 25,000 トランザクション/ 秒, 450億リクエスト
§ 安定 – 障害やダウンタイム無し
§ 成功 –パーソナライズされた、受賞歴のあるオリンピック報道

多様なデータの形式をサポートするための
テーブル設計が難航
サーバー追加による、処理能力追加が難
しい。スケールアップのアプローチが必要
とされる
多様なデータ形式を事前のデータモデ
リングなしで取り込む
サーバー追加によるスケールアウトが
容易

NBCユニバーサル – SNL40 アプリ
『サタデー・ナイト・ライブ（SNL）』アプリで40年分のコメディ番組を配信
§ セマンティック検索でインテリジェント・レ
コメンデーションエンジンを強化
§ 大規模で弾力的な拡張性でSNLの40
周年記念をサポート
§ AWSクラウドを使うことでコストを抑えて
配信を容易に行うことが可能

NBCユニバーサル – SNL40 アプリ
『サタデー・ナイト・ライブ（SNL）』アプリで40年分のコメディ番組を配信
§ セマンティック検索でインテリジェント・レ
コメンデーションエンジンを強化
§ 大規模で弾力的な拡張性でSNLの40
周年記念をサポート
§ AWSクラウドを使うことでコストを抑えて
配信を容易に行うことが可能
成果
§ 拡張性 – 3ヶ月間に1億ビューに対応
§ 高速 – ピーク時には50,000リクエスト/分に対応
§ 高性能 – パーソナライズされたユーザーインターフェースにレコメン
デーションエンジンが付属
§ 成功 – トップにランクされるアプリの作成に要した期間は4ヶ月

データ統合に必要とされるデータベースの高度な機能
基幹業務やエンタープライズクラスのデータ統合に対応した設計
コモディティハードウェアによるスケールアウト
過剰なプロビジョニングや投資を防ぐスケーラビリ
ティと弾力的な拡張
階層型ストレージ
データベースの拡張に伴うストレージのコストを
抑制
セマンティック
拡張検索とデータの関係性の定義
リアルタイムアラート
新しいデータを取込む際にいくつでも
アラートを設定可能
バイテンポラル
時間を基準としたデータの歴史と監
査情報
地理空間情報
地図情報と地理空間情報を組み合わ
せた統合検索

柔軟な導入環境
お好みの環境でご利用ください
§ Linux、Windows
§ オンプレミス (仮想または物理)
§ プライベートクラウド、ハイブリッドクラウド、パブリック
クラウド
§ AWS、Azure
§ Hadoopを含む、あらゆるストレージアーキテクチャ物理
クラウド
仮想

MarkLogicを選ぶ理由検証済
結果を得られるまでの時間を短縮
ユニバーサルインデックスで何でも検索
信頼できるデータとトランザクション
エンタープライズグレードのセキュリティ
コモディティハードウェアによるスケールアウト
非常に高速でリアルタイム

© COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED.
ご清聴ありがとうございます
MarkLogic日本語ウェブサイト http://jp.marklogic.com
MarkLogic日本語Twitter: twitter.com/MarkLogic-JP
MarkLogic日本語Facebook: https://www.facebook.com/marklogicjp
お問合せ: MarkLogic-JP@marklogic.cm
NoSQLの最新情報、解説書
無料ダウンロード: po.st/FaFqa
セマンティックの最新情報、解説書
無料ダウンロード: po.st/0cbAat

[db tech showcase Tokyo 2016] A25: ACIDトランザクションをサポートするエンタープライズ向けNoSQL Databaseに興味はありませんか？〜事例から学ぶNoSQLの使いどころ by マークロジック株式会社能仁信亮

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (10)

Similar to [db tech showcase Tokyo 2016] A25: ACIDトランザクションをサポートするエンタープライズ向けNoSQL Databaseに興味はありませんか？〜事例から学ぶNoSQLの使いどころ by マークロジック株式会社能仁信亮

Similar to [db tech showcase Tokyo 2016] A25: ACIDトランザクションをサポートするエンタープライズ向けNoSQL Databaseに興味はありませんか？〜事例から学ぶNoSQLの使いどころ by マークロジック株式会社能仁信亮 (20)

More from Insight Technology, Inc.

More from Insight Technology, Inc. (20)