SlideShare a Scribd company logo
1 of 48
Download to read offline
マルチモデルデータベースによるデータ統合の改善
三浦デニース、マークロジック 日本法人代表
旧来の統合パターン
SLIDE:	
 3 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
データ統合:従来の方法
ETL
SLIDE:	
 4 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
データ統合:従来の方法
ビジネスの変化
要件の変更
ソースデータの変更
1
現状のスナップ
ショット
データモデルを
新規設計
ETLを実行
インデックスを作成
2
3
4
アプリケーションを
構築
5
プロセスを再スタート
6
SLIDE:	
 5 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
SOAバス
OLTPソース マスターデータ データ配布
ビジネス
業務
業務の遂行
エンタープライズ
データ管理
ビジネスの把握
ETL  
処理
データマート
観察&変更
データウェアハウス
分析&
発見
シンプルなエンタープライズ
データパイプライン
1. ETL:お金と時間がかかる。柔軟性がない。モデルが柔軟でないことに対する
一時的な対処法
2. マスターデータ管理:データとビジネスのサイロ化の結果、必要となる。ETLを
利用するが、それによりデータ管理がより複雑となる
3. データ配布:変更発生により、提供時間が長期化する
4. データウェアハウス:業務部門の枠を超えた発見。しかし事後的。分析のみ
5. データマート:エンタープライズデータウェアハウスが遅いことへの対応策
6. SOA:機能を重視した業務統合。しかしデータ重視ではない
7. オペレーション(業務)へのインパクト分析:発見と業務の乖離が拡大し続ける
分析用の統合パターン
5
4
6
7
1
2
3
SLIDE:	
 6 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
分析と業務(オペレーション)
の乖離がますます拡大
§ ETL要件は想像以上に困難
§ ETLはずっと利用できるわけでない
今日の状況
SOAバス
OLTPソース マスターデータ データ配布
業務の
遂行
RUN  THE  
業務の遂行
エンタープライズ
データ管理
OBSERVE
ビジネスの把握
ETL  
処理
データマート
観察&変更
データウェアハウス 分析&
発見
OLTP
ETL
ETL
ETL
ETL
ETLETL
ETL
アーカイブ データマート
リファレンス
データ
ウェアハウス
“非構造化”
ETL
OLTP
OLTP
OLTP
OLTP
OLTP
OLTP
SLIDE:	
 7 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
データ統合:フェデレーションのアプローチ
SLIDE:	
 8 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
データ統合:データレイク
Hadoop
SLIDE:	
 9 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
エンタープライズ統合の新パターン
オペレーショナルデータハブ
SLIDE:	
 10 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
マーケティング
営業
CRMERP
人事
財務業務部門1
業務部門2
全体像の把握
§ 従来の統合技術では、大量の手作業が発生
§ モデルに柔軟性がないため、異なるニーズごとに同一データ
のコピーが必須
§ データセントリックなアプローチの基盤となるのが、オペレー
ショナルデータベース
§ 分析とオペレーション(業務)の統合が極めて重要
§ エンタープライズの新パターンがオペレーショナルデータハブ
エンタープライズ統合の新パターン
SLIDE:	
 11 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
オペレーショナルデータハブ
(ODH)
§ 統合:業務&分析。ユーザー/データ間に双方向のインタラク
ションを提供
§ コンテキスト:セマンティックなメタデータによるデータの調和
§ データセントリック:データレベルで統合。機能レベルだけでなく
§ 費用対効果:ETL/データコピー/業務サイロ/技術サイロの最小
化。ヒト中心の統合
§ 安全:豊かなデータガバナンス用のプラットフォーム
§ 補完的:既存のアセットやパターンを活用
主な特徴
業務アプリケーション マルチチャネルへの
提供
双方向分析
(あらゆるデータ)
SSD、DAS、SAN、NAS、
S3、Hadoop/HDFS
JSON
XML
SLIDE:	
 12 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
オペレーショナルデータハブエンタープライズデータウェアハウス
§ リアルタイム&インタラクティブ
§ 双方向の分析と業務
§ 全データ
§ データを「アズイズ(そのまま)」読
み込み。発見しながらモデル化
§ プロアクティブ、アラート機能、大
規模
§ バッチ中心
§ 分析のみ
§ 構造化データ
§ ETLとモデルに依存
§ 事後的、クエリベース
EDWがある場合
JSON
XML
DOC
RDF
SLIDE:	
 13 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
オペレーショナルデータハブSOA  /  EAI
§ データと機能を重視
§ データの調和を重視
§ 必要に応じてオフラインシステムを
代替
§ 持続性のある情報管理
§ 全データを保持。データの出自を
活用
§ 機能重視
§ データ移動を重視
§ SLAは下流システムに依存する
§ 持続性がない情報交換システム
§ 必要最小限のデータのやり取り
SOAインフラがある場合
SLIDE:	
 14 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
データレイクがある場合
オペレーショナルデータハブデータレイク
§ リアルタイム
§ 双方向の分析と業務
§ すべてを保存しインデックス付け。
1秒以下で
§ 細かく設定できる成熟したセキュ
リティモデル
§ コンテキスト活用のための高度な
セマンティック
§ マルチモデル機能により、技術サ
イロをなくす
§ バッチ中心
§ 分析のみ
§ すべてを保存し、処理能力を
最大限活用
§ 単純なセキュリティモデル
§ コンテキストは皆無あるいは
一部活用可
§ 多層的なエコシステムにより、
技術サイロが生まれやすい
SLIDE:	
 15 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
オペレーショナルかつトランザクショナルな基幹業務対応エンタープライズNoSQLデータベース
MarkLogicという選択
§ データをそのまま読み込む(ETL不要)
§ 構造化&非構造化データの混在
§ データとメタデータを一緒に保管
§ データやデータ構造の変更に対応
簡単にデータを取り込める
柔軟なデータモデル
§ インデックスを一度付けると、何度
でもクエリ可能
§ 非常に高速かつリアルタイム
§ JSON、XML、テキスト、位置情報、
セマンティックトリプルなどを、すべ
て1つのデータベースでクエリ可能
簡単にデータを出せる
ユニバーサルインデックスで
何でも対応
§ データの信頼性とトランザクション
(100%ACID準拠)
§ 標準仕様の自動フェイルオー
バー、レプリケーション、バック
アップ/リカバリ機能
§ 基幹業務対応に対応したエンター
プライズグレードのセキュリティと
コモンクライテリア認証
100%信頼できる
基幹業務に対応できる
エンタープライズ仕様
SLIDE:	
 16
©	
 COPYRIGHT	
 2017	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
§ 新規ソース
§ 乱雑/想定されていなかった
ようなデータ
§ 曖昧/矛盾する定義
§ 新しい規制やルール
§ 増加する脅威
§ 秘蔵ではなく共有
§ クリエイティブな再利用による新
しいチャンス
§ すぐに価値を得る、実験できる
変化を想定し「受け容れる」
クオリティ&意味 業務要件
上流で 下流で
コンプライアンス&
ガバナンス
全体で
SLIDE:	
 17
©	
 COPYRIGHT	
 2017	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
新しい方法
MARKLOGICによる
データ統合
2
3
1
4
1
データを「そのまま」読み込む
2
データにアクセスする
3
データのハーモナイズと
エンリッチ
4
業務への取り込み
SLIDE:	
 18 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
データを「そのまま」読み込む
MarkLogicの機能
§ 構造化&非構造化データを読み込む
§ データとメタデータを一緒に保管
§ データベース内のデータをハーモナイズ
§ 以下を回避:
– 事前のモデリング
– ETLツール
他の手法
REST  API、JavaクライアントAPI、Node.jsクライアントAPI、Java  /  .NET  XCC
JSON
XML
セマンティック
データ
地理情報
データ
mlcp
バイナリ
SLIDE:	
 19 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
§ 階層型、疎、高カーディナリティ
§ 厳密な構造のものから自由文まで
§ データが変わるとスキーマも変わる
§ 標準的なJSON、XML、テキスト、バイナ
リ
ドキュメントの方がデータを
自然に表現できる
データモデル
SLIDE:	
 20 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
ドキュメントモデル
{
"date":  "1987-­‐07-­‐23Z"
"type":  "observation/surveillance"
"threat":  {
"type":  "suspicious  activity"
"category":  "suspicious  vehicle"
},
"location":  [  37.49705,  -­‐122.363319  ]
"meta"
"triple"
]
}
,
,
,
,
,
{ :  {  "subject":  "IRIID" "predicate":  "isa",   "object":  "license-­‐plate",  
}},
"triple"{ :  {  "subject":  "IRIID" "predicate":  "value",   "object":  "ABC  123",  
}}
:  [
"description":  "A  blue  van…"
"title":  "Suspicious  vehicle…"
"description":  "A  blue  van  with  license  plate  ABC  123  was  heard  making  loud  noises…"
"title":  "Suspicious  vehicle  near  airport"
,
,
SLIDE:	
 21 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
意味やコンテキストは今どこにあるのか?
アプリケーションコード リレーショナルスキーマ、
ドメインモデル、ER図
ETLスクリプト、
ストアドプロシージャ
SLIDE:	
 22 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
データのコンテキストと意味を
カタログ化
§ エンティティ、プロパティ、関係性をクエリ可能
なモデルとして、一元的に記録
§ 必要なときに必要なモデルを(事前の準備で
はなく)
§ モデルからサービス、変換、設定を自動的に
生成
§ モデルを拡張し他のコンテキストも把握
モデル
SLIDE:	
 23 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
セマンティックとは:新しいデータの整理方法
データはトリプルに格納。その表現方法は… 主語 :述語 :  目的語
John  Smith :  livesIn   :  London
London :  isIn   :  England
クエリはSPARQLで。ルックアップなどの活用が簡単!
例)イングランドに住んでいる人を探したい
RDF
トリプル
John livesIn isIn EnglandLondon
SLIDE:	
 24 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
トリプルとドキュメントを別々に持つ
User1
rank
Senior  
Manager
Geneva
basedIn
Compliance  
Officer
role
High  risk  personApp1
runsOn
Cluster1
TopSecret
requires
Database1
accesses
runs
SLIDE:	
 25 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
グラフの一部としてのドキュメント
User1
rank
Senior  
Manager
Geneva
basedIn
Compliance  
Officer
role
Hig
h  
risk  
pers
on
App1
runsOn
Cluster1
TopSecret
requires
Database1
accesses
runs
deep  dive
license
user  guide
tutorialMovie
order
SLIDE:	
 26 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
ドキュメントに関するトリプル:拡張されたメタデータ
User1
rank
Senior  
Manager
Geneva
basedIn
Compliance  
Officer
role
Hig
h  
risk  
pers
on
App1
runsOn
Cluster1
TopSecret
requires
Database1
accesses
runs
order
format
JSON
English
Delaware
2016-­12-­31
jurisdiction
expires
Ts  and  Cs
language
SLIDE:	
 27 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
ドキュメントに関するトリプル:統合
App1
order
XML
format
License
Vendor
<VENDOR>
Seller
<seller>
Provider
<prov>
Computer
Asset
equivalent equivalent
SLIDE:	
 28 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
データのハーモナイズ
MarkLogicの機能
§ スキーマが異なるデータをハーモナイズ
し
共通ビューを作成する
例:「male/female」「m/f」「M/F」を標準化
§ 必要なものだけをハーモナイズ
§ データとメタデータをそのまま保管・クエ
リ
§ 後からモデルを更新する際も、再読み込
み不要
§ 新しいデータやスキーマもOK
スキーマ2
スキーマ3
スキーマ1
スキーマ2
スキーマ3
エンベロープ
パターン
スキーマ1
SLIDE:	
 29 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
意味やコンテキストは今どこにあるのか?
アプリケーションコード リレーショナルスキーマ、
ドメインモデル、ER図
ETLスクリプト、
ストアドプロシージャ
SLIDE:	
 30
©	
 COPYRIGHT	
 2017	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
ドキュメント TDE(Template  Driven  Extraction) 行インデックス
§ リッチな階層関係
§ 柔軟なスキーマ
§ メッセージ、帳票、オブジェ
クトを自然に扱える
§ ツリーを以下のように表現:
§ タプル
§ トリプル
§ トランザクショナルなインデックス
付け
§ 宣言的マッピング、機能変換
§ 行と列を格納するための特別な
トリプルインデックス
§ SPARQL、SQL、オプティックで
共有
SLIDE:	
 31
©	
 COPYRIGHT	
 2017	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
ドキュメント TDE(Template  Driven  Extraction) 行インデックス
<order>
<date></>
<customer  id="…">…</>
<lines>
<line>…</>
</>
</>
Template:
View:  Orders
Context:  ./order
Columns:
Date as  date: fn:format(./date)
CustID as  long:  ./customer/@id
Template:  
View:  Order_Lines
Context:  ./lines/line
Columns:  …
ID Date CustID
123 2017/01/14 7754
65 2017/05/09 2333
ID OrderID ProdID
9983 65 44-­‐223
9984 65 68-­‐711
Orders
Order_Lines
SLIDE:	
 32 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
ロールベースのアクセス制御
SLIDE:	
 33 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
person:  {  "cls":  "U",  name:  "John"  },
location:  {  cls="S",
state:  "Florida",
gps:  [37.50,  -­‐122.24]
},
informant:  {  cls="TS",  name:  "Mike"  }
要素レベルのセキュリティ
ユーザー1
Unclassified:U
ユーザー2
Secret:S
ユーザー3
TopSecret:TS
{
}
SLIDE:	
 34 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
リダクション
name:  "John",
phone:  "777-­‐340-­‐0889",
SSN:  "345-­‐57-­‐9877",
source:  "informant"
mlcpでコピーを
エクスポート
name:  "Michael",
phone:  "424-­‐303-­‐5757",
SSN:  "XXX-­‐XX-­‐9877"
SLIDE:	
 35 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
高度な暗号化
§ ディスク上のデータ/インデックス/config/ログ
を暗号化
§ アクセス制御ならびに移動中の暗号化を補
完
§ システム管理者、DBA、セキュリティ管理者、
開発者の懸念を分離
§ 堅牢な鍵管理
ディスクストレージ
ファイルシステム
保護
復号化
データベース
DBA
システム管理者
セキュリティ
管理者
開発者
SLIDE:	
 36
©	
 COPYRIGHT	
 2017	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
オペレーショナルデータハブパターン
エンタープライズアーキテクチャ
メッセージ
バス
RDBMS
コンテンツのフィード
読み込み
分析
アプリケーション
オペレーショナル
アプリケーション
下流のシステム
提供
ステージング(生データをアズイズで)
ファイナル
(データのハーモナイズとインデックス付け)
ソース1  
ドキュメント
ソース2  
ドキュメント
ソースN
ドキュメント
エンベロープ化ドキュメント
(エンティティ1)
エンベロープ化ドキュメント
(エンティティ2)
エンベロープ化ドキュメント
(エンティティN)ハーモナイズ
インデックス、検索、
発見、ハーモナイゼーション
インデックス、検索、
サービス
f(x)
SLIDE:	
 37 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
困難なオペレーショナルデータ統合:実績
人事データハブ
大規模かつリアルタイムな統合人事データ
メタデータハブ
デジタルアセットに関するデータを繋ぐ統合ハブ
マーケットプレース &  データサービスハブ
データとマーケットプレースの統合
大規模かつダイナミックなコンテンツ配信
データ統合、複数デバイスへの提供
グローバルトレードストア
データ統合、取引後処理の統合
SLIDE:	
 38 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
エトナ – 人事データハブ
大規模かつリアルタイムな統合人事データ
MARKLOGICを選んだ理由
§ ETLが巨大で複雑
§ 将来の変更にも柔軟に対応
§ コストと時間の制約
§ エンタープライズ要件
140以上のデータソース 50以上のシステム
リアルタイム
アプリケーション
バッチ分析
人事データハブ
従業員
データ
給与
データ
人事評価
データ
他の
システム
リアルタイム
アプリケーション
リアルタイム
アプリケーション
SLIDE:	
 39 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
エトナ – 人事データハブ
大規模かつリアルタイムな統合人事データ
MARKLOGICを選んだ理由
§ ETLが巨大で複雑
§ 将来の変更にも柔軟に対応
§ コストと時間の制約
§ エンタープライズ要件
140以上の
データソース
50以上のシステム
リアルタイムアプリケー
ション
バッチ分析
人事データハブ
従業員
データ
給与
データ
人事評価
データ
他の
システム
リアルタイムアプリケー
ション
リアルタイムアプリケー
ション
成果
§ 柔軟 – 複雑なデータの読み込みや出力に対応
§ 拡張性 – スループット:50GB+/日
§ アジャイル – 1年で開発(5年ではなく)
§ 将来性 – 再利用と一貫性を最大化
§ 成功 – 今やMarkLogicは、全人事データのデータ層となっている
SLIDE:	
 40 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
国際的な金融報告
取引後処理
ドッド・フランク
準拠の記録保管
トランザクションの
キャンセル、修正、
改訂
取引処理と規制順守を変革
ドイツ銀行– グローバルトレードストア
MARKLOGICを選んだ理由
§ ETLが巨大で複雑
§ リレーショナルでの開発は時間がかか
りすぎる
§ 構造化&非構造化データの混在
§ より迅速なデータ統合
§ エンタープライズ要件
取引システム
SLIDE:	
 41 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
国際的な金融報告
取引後処理
ドッド・フランク準
拠の記録保管
トランザクションの
キャンセル、修正、
改訂
取引処理と規制順守を変革
ドイツ銀行– グローバルトレードストア
MARKLOGICを選んだ理由
§ ETLが巨大で複雑
§ リレーショナルでの開発は時間がかか
りすぎる
§ 構造化&非構造化データの混在
§ より迅速なデータ統合
§ エンタープライズ要件
取引システム
成果
§ タイムリー – 最初のプロジェクトは6ヶ月で実稼動
§ 柔軟 – 30以上の取引システムを統合
§ コスト効率 – トレードストアの拡張に応じたプロビジョニング
§ 基幹業務対応 – 安全で一貫性のあるトランザクション
§ 成功 – 「MarkLogicは銀行業務の基盤」
SLIDE:	
 42 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
BBC – iPlayer
iPlayerによるTVストリーミングにおける大規模な統合メタデータ管理
MARKLOGICを選んだ理由
§ レガシーシステムはクエリやコンテンツ
の更新が遅い
§ 巨大なスケーラビリティとクエリの高速化
§ シンプルかつ高い信頼性
1  億件のドキュメント 60以上のオンライン製品
BBC  iPLAYER
提供パートナー
NITROマイクロサービス
番組情報
画像
スケジュール&
番組表
他の
システム
BBCニュース
BBCラジオ
SLIDE:	
 43 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
BBC – iPlayer
iPlayerによるTVストリーミングにおける大規模な統合メタデータ管理
MARKLOGICを選んだ理由
§ レガシーシステムはクエリやコンテンツ
の更新が遅い
§ 巨大なスケーラビリティとクエリの高速
化
§ シンプルかつ高い信頼性
1  億件のドキュメント 60以上のオンライン製品
BBC  iPLAYER
提供パートナー
NITROマイクロサービス
番組
情報
画像
スケジュール&
番組表
他の
システム
BBCニュース
BBCラジオ
成果
§ 高速 – クエリが20秒から20ミリ秒に短縮
§ 拡張性 – 6ノードのクラスタをAWSクラウド上に導入
§ アジャイル – コンテンツは数分で利用可能(数日ではなく)
§ 優れたコスト効率 – システムの個数を削減
§ 成功 – 初年度で30億件のリクエストを処理
SLIDE:	
 44 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
健康保険業界の変革
HealthCare.gov – マーケットプレース&データサービスハブ
MARKLOGICを選んだ理由
§ オラクルのデータモデルには柔軟性が
ない
§ ETLに時間がかかりすぎる
§ 構造化&非構造化データの混在
§ 拡張時でもデータ整合性を完全保証
§ データの変更に対応できる柔軟性
§ IRS(米国国税庁)からのセキュリティ要
件
州の保険取引所
HEALTHCARE.GOV保険会社
収入&資格要件 データサービスハブ
SLIDE:	
 45 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
健康保険業界の変革
HealthCare.gov – マーケットプレース&データサービスハブ
MARKLOGICを選んだ理由
§ オラクルのデータモデルには柔軟性が
ない
§ ETLに時間がかかりすぎる
§ 構造化&非構造化データの混在
§ 拡張時でもデータ整合性を完全保証
§ データの変更に対応できる柔軟性
§ IRS(米国国税庁)からのセキュリティ要
件
州の保険取引所
HEALTHCARE.GOV保険会社
収入&資格要件 データサービスハブ
成果
§ タイムリー – 議会で定められた導入期日を固守
§ 拡張性 – 28万同時アクセスユーザー
§ 高速 – 6500トランザクション/秒
§ 成功 – 2016年には米国民1270万人が登録
「米国史上最大の政府による個人データ統合プロジェクトだ」
-­ スティーブン・パレンテ、PHD,  MPH,  MS
SLIDE:	
 46 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
ディズニー – メタデータハブ
映画とその他のアセットに関するデータを繋ぐ統合ハブ
MARKLOGICを選んだ理由
§ 5つのサイロからのデータを短期間で統合
§ セマンティックでアセット/アーカイブ/権利
のメタデータを関連付け
§ よりアジャイルな開発
§ エンタープライズレベルの信頼性
デジタルアセット マイクロサービス
XML
Excel
セマンティックメタデータハブ
ディズニーチャンネル
ABC
ESPN
他の
システム
JSON
CSV
分類、パブリッシング、オント
ロジー管理、セマンティックの
エンリッチメント
RDFトリプルストア、
検索とクエリ、
インデックス付け
SLIDE:	
 47 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
ディズニー – メタデータハブ
映画とその他のアセットに関するデータを繋ぐ統合ハブ
MARKLOGICを選んだ理由
§ 5つのサイロからのデータを短期間で統
合
§ セマンティックでアセット/アーカイブ/権
利のメタデータを関連付け
§ よりアジャイルな開発
§ エンタープライズレベルの信頼性
デジタルアセット マイクロサービス
XML
Excel
セマンティックメタデータハブ
ディズニーチャンネル
ABC
ESPN
他の
システム
JSON
CSV
分類、パブリッシング、オント
ロジー管理、セマンティックの
エンリッチメント
RDFトリプルストア、検索とク
エリ、インデックス付け
成果
§ 統合 – 2億件以上のドキュメントと5億件以上のトリプル
§ 柔軟 – 4か月でアプリケーションを開発/導入
§ 優れたコスト効率 – サイロの除去
§ 安全 – データ損失なし、セキュリティ違反なし
§ 成功 – スムースなビジネスプロセス。収益向上
SLIDE:	
 48
©	
 COPYRIGHT	
 2017	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
次のステップ
MARKLOGIC UNIVERSITY
例を入手するMarkLogicを入手する トレーニングを受ける
developer.marklogic.com github.com/MarklogicUniversity marklogic.com/training

More Related Content

What's hot

[db tech showcase Tokyo 2016] D15: データベース フラッシュソリューション徹底解説! 安価にデータベースを高速にする方法...
[db tech showcase Tokyo 2016] D15: データベース フラッシュソリューション徹底解説! 安価にデータベースを高速にする方法...[db tech showcase Tokyo 2016] D15: データベース フラッシュソリューション徹底解説! 安価にデータベースを高速にする方法...
[db tech showcase Tokyo 2016] D15: データベース フラッシュソリューション徹底解説! 安価にデータベースを高速にする方法...
Insight Technology, Inc.
 

What's hot (20)

[db tech showcase OSS 2017] A22: NoSQL:誰のための、何のためのデータベース?その将来は?by Aerospike, ...
[db tech showcase OSS 2017] A22: NoSQL:誰のための、何のためのデータベース?その将来は?by Aerospike, ...[db tech showcase OSS 2017] A22: NoSQL:誰のための、何のためのデータベース?その将来は?by Aerospike, ...
[db tech showcase OSS 2017] A22: NoSQL:誰のための、何のためのデータベース?その将来は?by Aerospike, ...
 
[db tech showcase Tokyo 2017] B26: レデータの仮想化と自動化がもたらす開発効率アップとは?by 株式会社インサイトテクノ...
[db tech showcase Tokyo 2017] B26: レデータの仮想化と自動化がもたらす開発効率アップとは?by 株式会社インサイトテクノ...[db tech showcase Tokyo 2017] B26: レデータの仮想化と自動化がもたらす開発効率アップとは?by 株式会社インサイトテクノ...
[db tech showcase Tokyo 2017] B26: レデータの仮想化と自動化がもたらす開発効率アップとは?by 株式会社インサイトテクノ...
 
20180216 sapporo techbar_db_migration
20180216 sapporo techbar_db_migration20180216 sapporo techbar_db_migration
20180216 sapporo techbar_db_migration
 
[db tech showcase Tokyo 2016] D15: データベース フラッシュソリューション徹底解説! 安価にデータベースを高速にする方法...
[db tech showcase Tokyo 2016] D15: データベース フラッシュソリューション徹底解説! 安価にデータベースを高速にする方法...[db tech showcase Tokyo 2016] D15: データベース フラッシュソリューション徹底解説! 安価にデータベースを高速にする方法...
[db tech showcase Tokyo 2016] D15: データベース フラッシュソリューション徹底解説! 安価にデータベースを高速にする方法...
 
20170714_MySQLドキュメントストア JSONデータ型&JSON関数 by 日本オラクル株式会社 MySQL GBU 山﨑由章
20170714_MySQLドキュメントストア JSONデータ型&JSON関数 by 日本オラクル株式会社 MySQL GBU 山﨑由章20170714_MySQLドキュメントストア JSONデータ型&JSON関数 by 日本オラクル株式会社 MySQL GBU 山﨑由章
20170714_MySQLドキュメントストア JSONデータ型&JSON関数 by 日本オラクル株式会社 MySQL GBU 山﨑由章
 
[db tech showcase Tokyo 2016] A13: 最新版VerticaのAnalytics機能を駆使して実現する簡単ログ分析 by日本...
[db tech showcase Tokyo 2016] A13: 最新版VerticaのAnalytics機能を駆使して実現する簡単ログ分析 by日本...[db tech showcase Tokyo 2016] A13: 最新版VerticaのAnalytics機能を駆使して実現する簡単ログ分析 by日本...
[db tech showcase Tokyo 2016] A13: 最新版VerticaのAnalytics機能を駆使して実現する簡単ログ分析 by日本...
 
[data analytics showcase] B16: Live Demo! データ分析基盤を支えるデータレプリケーション技術とデータワークロード分...
[data analytics showcase] B16: Live Demo! データ分析基盤を支えるデータレプリケーション技術とデータワークロード分...[data analytics showcase] B16: Live Demo! データ分析基盤を支えるデータレプリケーション技術とデータワークロード分...
[data analytics showcase] B16: Live Demo! データ分析基盤を支えるデータレプリケーション技術とデータワークロード分...
 
DBTS2016 Data as Code - Delphix
DBTS2016 Data as Code - DelphixDBTS2016 Data as Code - Delphix
DBTS2016 Data as Code - Delphix
 
[db tech showcase Tokyo 2017] E34: データベース・サービスを好きなところで動かそう Db2 Warehouse by 日...
[db tech showcase Tokyo 2017] E34: データベース・サービスを好きなところで動かそう Db2 Warehouse by 日...[db tech showcase Tokyo 2017] E34: データベース・サービスを好きなところで動かそう Db2 Warehouse by 日...
[db tech showcase Tokyo 2017] E34: データベース・サービスを好きなところで動かそう Db2 Warehouse by 日...
 
DBTS2016 DBAのための最新テクノロジー
DBTS2016 DBAのための最新テクノロジーDBTS2016 DBAのための最新テクノロジー
DBTS2016 DBAのための最新テクノロジー
 
MySQL InnoDB Clusterによる高可用性構成(DB Tech Showcase 2017)
MySQL InnoDB Clusterによる高可用性構成(DB Tech Showcase 2017)MySQL InnoDB Clusterによる高可用性構成(DB Tech Showcase 2017)
MySQL InnoDB Clusterによる高可用性構成(DB Tech Showcase 2017)
 
[db tech showcase Tokyo 2015] B16:最新版PostgreSQLのパフォーマンスを引き出すためのポイント by Postgr...
[db tech showcase Tokyo 2015] B16:最新版PostgreSQLのパフォーマンスを引き出すためのポイント by Postgr...[db tech showcase Tokyo 2015] B16:最新版PostgreSQLのパフォーマンスを引き出すためのポイント by Postgr...
[db tech showcase Tokyo 2015] B16:最新版PostgreSQLのパフォーマンスを引き出すためのポイント by Postgr...
 
20170413_データレプリケーション技術を適用したデータベース移行と分析基盤の構築 by 株式会社インサイトテクノロジー 森田俊哉
20170413_データレプリケーション技術を適用したデータベース移行と分析基盤の構築 by 株式会社インサイトテクノロジー 森田俊哉20170413_データレプリケーション技術を適用したデータベース移行と分析基盤の構築 by 株式会社インサイトテクノロジー 森田俊哉
20170413_データレプリケーション技術を適用したデータベース移行と分析基盤の構築 by 株式会社インサイトテクノロジー 森田俊哉
 
[db tech showcase Tokyo 2015] B36:Hitachi Advanced Data Binder 実践SQLチューニング方法 ...
[db tech showcase Tokyo 2015] B36:Hitachi Advanced Data Binder 実践SQLチューニング方法 ...[db tech showcase Tokyo 2015] B36:Hitachi Advanced Data Binder 実践SQLチューニング方法 ...
[db tech showcase Tokyo 2015] B36:Hitachi Advanced Data Binder 実践SQLチューニング方法 ...
 
[db tech showcase OSS 2017] A14: IoT時代のデータストア--躍進するNoSQL、拡張するRDB by OSSコンソーシア...
[db tech showcase OSS 2017] A14: IoT時代のデータストア--躍進するNoSQL、拡張するRDB by OSSコンソーシア...[db tech showcase OSS 2017] A14: IoT時代のデータストア--躍進するNoSQL、拡張するRDB by OSSコンソーシア...
[db tech showcase OSS 2017] A14: IoT時代のデータストア--躍進するNoSQL、拡張するRDB by OSSコンソーシア...
 
[db tech showcase Tokyo 2016] D24: データベース環境における検証結果から理解する失敗しないフラッシュ活用法 第三章 ~デ...
[db tech showcase Tokyo 2016] D24: データベース環境における検証結果から理解する失敗しないフラッシュ活用法 第三章 ~デ...[db tech showcase Tokyo 2016] D24: データベース環境における検証結果から理解する失敗しないフラッシュ活用法 第三章 ~デ...
[db tech showcase Tokyo 2016] D24: データベース環境における検証結果から理解する失敗しないフラッシュ活用法 第三章 ~デ...
 
[db tech showcase Tokyo 2017] E35: 12台でやってみた!DWHソフトウェアアプライアンス Db2 Warehouse ~...
[db tech showcase Tokyo 2017] E35: 12台でやってみた!DWHソフトウェアアプライアンス Db2 Warehouse ~...[db tech showcase Tokyo 2017] E35: 12台でやってみた!DWHソフトウェアアプライアンス Db2 Warehouse ~...
[db tech showcase Tokyo 2017] E35: 12台でやってみた!DWHソフトウェアアプライアンス Db2 Warehouse ~...
 
[db tech showcase Tokyo 2015] A26:内部犯行による漏えいを防ぐPostgreSQLの透過的暗号化機能に関する実装と利用方法...
[db tech showcase Tokyo 2015] A26:内部犯行による漏えいを防ぐPostgreSQLの透過的暗号化機能に関する実装と利用方法...[db tech showcase Tokyo 2015] A26:内部犯行による漏えいを防ぐPostgreSQLの透過的暗号化機能に関する実装と利用方法...
[db tech showcase Tokyo 2015] A26:内部犯行による漏えいを防ぐPostgreSQLの透過的暗号化機能に関する実装と利用方法...
 
[db tech showcase Tokyo 2016] B24: そのデータベース 5年後大丈夫ですか ~ 本気で標準化とサービスレベルの確保を手に入...
[db tech showcase Tokyo 2016] B24: そのデータベース 5年後大丈夫ですか ~ 本気で標準化とサービスレベルの確保を手に入...[db tech showcase Tokyo 2016] B24: そのデータベース 5年後大丈夫ですか ~ 本気で標準化とサービスレベルの確保を手に入...
[db tech showcase Tokyo 2016] B24: そのデータベース 5年後大丈夫ですか ~ 本気で標準化とサービスレベルの確保を手に入...
 
[db tech showcase Tokyo 2015] B24:最高峰の可用性 ~NonStop SQLが止まらない理由~ by 日本ヒューレット・パ...
[db tech showcase Tokyo 2015] B24:最高峰の可用性 ~NonStop SQLが止まらない理由~ by 日本ヒューレット・パ...[db tech showcase Tokyo 2015] B24:最高峰の可用性 ~NonStop SQLが止まらない理由~ by 日本ヒューレット・パ...
[db tech showcase Tokyo 2015] B24:最高峰の可用性 ~NonStop SQLが止まらない理由~ by 日本ヒューレット・パ...
 

Similar to [db tech showcase Tokyo 2017] A16: Using a Multi-Model Database to Improve Data Integration by MarkLogic - Denise Miura

Similar to [db tech showcase Tokyo 2017] A16: Using a Multi-Model Database to Improve Data Integration by MarkLogic - Denise Miura (20)

成功事例に学べ! これからの時代のビッグデータ活用最新ベストプラクティス [Oracle Cloud Days Tokyo 2016]
成功事例に学べ! これからの時代のビッグデータ活用最新ベストプラクティス [Oracle Cloud Days Tokyo 2016]成功事例に学べ! これからの時代のビッグデータ活用最新ベストプラクティス [Oracle Cloud Days Tokyo 2016]
成功事例に学べ! これからの時代のビッグデータ活用最新ベストプラクティス [Oracle Cloud Days Tokyo 2016]
 
Autonomous を支える技術、Oracle Database 18c デモンストレーション
Autonomous を支える技術、Oracle Database 18c デモンストレーションAutonomous を支える技術、Oracle Database 18c デモンストレーション
Autonomous を支える技術、Oracle Database 18c デモンストレーション
 
Microsoft open tech night 2020 feb18
Microsoft open tech night 2020 feb18Microsoft open tech night 2020 feb18
Microsoft open tech night 2020 feb18
 
Developers Summit 2018: ストリームとバッチを融合したBigData Analytics ~事例とデモから見えてくる、これからのデー...
Developers Summit 2018: ストリームとバッチを融合したBigData Analytics ~事例とデモから見えてくる、これからのデー...Developers Summit 2018: ストリームとバッチを融合したBigData Analytics ~事例とデモから見えてくる、これからのデー...
Developers Summit 2018: ストリームとバッチを融合したBigData Analytics ~事例とデモから見えてくる、これからのデー...
 
データからビジネス変革をもたらすマイクロソフトの AI とは
データからビジネス変革をもたらすマイクロソフトの AI とはデータからビジネス変革をもたらすマイクロソフトの AI とは
データからビジネス変革をもたらすマイクロソフトの AI とは
 
GoldenGateテクニカルセミナー1「市場のトレンドと最新事例のご紹介」(2016/5/11)
GoldenGateテクニカルセミナー1「市場のトレンドと最新事例のご紹介」(2016/5/11)GoldenGateテクニカルセミナー1「市場のトレンドと最新事例のご紹介」(2016/5/11)
GoldenGateテクニカルセミナー1「市場のトレンドと最新事例のご紹介」(2016/5/11)
 
クラウドを使って競争優位なビッグデータ活用の実現へ [Oracle Cloud Days Tokyo 2016]
クラウドを使って競争優位なビッグデータ活用の実現へ [Oracle Cloud Days Tokyo 2016]クラウドを使って競争優位なビッグデータ活用の実現へ [Oracle Cloud Days Tokyo 2016]
クラウドを使って競争優位なビッグデータ活用の実現へ [Oracle Cloud Days Tokyo 2016]
 
CUPA Cafe #18 ~Enterpriseのためのクラウド~
CUPA Cafe #18 ~Enterpriseのためのクラウド~CUPA Cafe #18 ~Enterpriseのためのクラウド~
CUPA Cafe #18 ~Enterpriseのためのクラウド~
 
ERPのデータをフロントシステムでどう活かすか
ERPのデータをフロントシステムでどう活かすかERPのデータをフロントシステムでどう活かすか
ERPのデータをフロントシステムでどう活かすか
 
しばちょう先生が語る!オラクルデータベースの進化の歴史と最新技術動向#2
しばちょう先生が語る!オラクルデータベースの進化の歴史と最新技術動向#2しばちょう先生が語る!オラクルデータベースの進化の歴史と最新技術動向#2
しばちょう先生が語る!オラクルデータベースの進化の歴史と最新技術動向#2
 
Attunity社のソリューションの日本国内外適用事例及びロードマップ紹介[ATTUNITY & インサイトテクノロジー IoT / Big Data フ...
Attunity社のソリューションの日本国内外適用事例及びロードマップ紹介[ATTUNITY & インサイトテクノロジー IoT / Big Data フ...Attunity社のソリューションの日本国内外適用事例及びロードマップ紹介[ATTUNITY & インサイトテクノロジー IoT / Big Data フ...
Attunity社のソリューションの日本国内外適用事例及びロードマップ紹介[ATTUNITY & インサイトテクノロジー IoT / Big Data フ...
 
Oracle Database 12c Release 1 PSR 12.1.0.2 のご紹介
Oracle Database 12c Release 1 PSR 12.1.0.2 のご紹介Oracle Database 12c Release 1 PSR 12.1.0.2 のご紹介
Oracle Database 12c Release 1 PSR 12.1.0.2 のご紹介
 
Webアプリに低レイテンシ・高可用性を求めるのは間違っているのだろうか
Webアプリに低レイテンシ・高可用性を求めるのは間違っているのだろうかWebアプリに低レイテンシ・高可用性を求めるのは間違っているのだろうか
Webアプリに低レイテンシ・高可用性を求めるのは間違っているのだろうか
 
ITpro EXPO 2011 クラウド上での業務アプリ開発
ITpro EXPO 2011 クラウド上での業務アプリ開発ITpro EXPO 2011 クラウド上での業務アプリ開発
ITpro EXPO 2011 クラウド上での業務アプリ開発
 
プロダクトアップデートセミナー資料(2020年10月29日開催)
プロダクトアップデートセミナー資料(2020年10月29日開催)プロダクトアップデートセミナー資料(2020年10月29日開催)
プロダクトアップデートセミナー資料(2020年10月29日開催)
 
【旧版】Oracle Exadata Cloud Service:サービス概要のご紹介 [2021年7月版]
【旧版】Oracle Exadata Cloud Service:サービス概要のご紹介 [2021年7月版]【旧版】Oracle Exadata Cloud Service:サービス概要のご紹介 [2021年7月版]
【旧版】Oracle Exadata Cloud Service:サービス概要のご紹介 [2021年7月版]
 
Oracle Big Data SQL3.1のご紹介
Oracle Big Data SQL3.1のご紹介Oracle Big Data SQL3.1のご紹介
Oracle Big Data SQL3.1のご紹介
 
「明日の認証会議 3」講演用スライド 20141002(配布用)
「明日の認証会議 3」講演用スライド 20141002(配布用)「明日の認証会議 3」講演用スライド 20141002(配布用)
「明日の認証会議 3」講演用スライド 20141002(配布用)
 
20111212勉強会資料
20111212勉強会資料20111212勉強会資料
20111212勉強会資料
 
Oracle APEX概要
Oracle APEX概要Oracle APEX概要
Oracle APEX概要
 

More from Insight Technology, Inc.

コモディティサーバー3台で作る高速処理 “ハイパー・コンバージド・データベース・インフラストラクチャー(HCDI)” システム『Insight Qube』...
コモディティサーバー3台で作る高速処理 “ハイパー・コンバージド・データベース・インフラストラクチャー(HCDI)” システム『Insight Qube』...コモディティサーバー3台で作る高速処理 “ハイパー・コンバージド・データベース・インフラストラクチャー(HCDI)” システム『Insight Qube』...
コモディティサーバー3台で作る高速処理 “ハイパー・コンバージド・データベース・インフラストラクチャー(HCDI)” システム『Insight Qube』...
Insight Technology, Inc.
 

More from Insight Technology, Inc. (20)

グラフデータベースは如何に自然言語を理解するか?
グラフデータベースは如何に自然言語を理解するか?グラフデータベースは如何に自然言語を理解するか?
グラフデータベースは如何に自然言語を理解するか?
 
Docker and the Oracle Database
Docker and the Oracle DatabaseDocker and the Oracle Database
Docker and the Oracle Database
 
Great performance at scale~次期PostgreSQL12のパーティショニング性能の実力に迫る~
Great performance at scale~次期PostgreSQL12のパーティショニング性能の実力に迫る~Great performance at scale~次期PostgreSQL12のパーティショニング性能の実力に迫る~
Great performance at scale~次期PostgreSQL12のパーティショニング性能の実力に迫る~
 
事例を通じて機械学習とは何かを説明する
事例を通じて機械学習とは何かを説明する事例を通じて機械学習とは何かを説明する
事例を通じて機械学習とは何かを説明する
 
仮想通貨ウォレットアプリで理解するデータストアとしてのブロックチェーン
仮想通貨ウォレットアプリで理解するデータストアとしてのブロックチェーン仮想通貨ウォレットアプリで理解するデータストアとしてのブロックチェーン
仮想通貨ウォレットアプリで理解するデータストアとしてのブロックチェーン
 
MBAAで覚えるDBREの大事なおしごと
MBAAで覚えるDBREの大事なおしごとMBAAで覚えるDBREの大事なおしごと
MBAAで覚えるDBREの大事なおしごと
 
グラフデータベースは如何に自然言語を理解するか?
グラフデータベースは如何に自然言語を理解するか?グラフデータベースは如何に自然言語を理解するか?
グラフデータベースは如何に自然言語を理解するか?
 
DBREから始めるデータベースプラットフォーム
DBREから始めるデータベースプラットフォームDBREから始めるデータベースプラットフォーム
DBREから始めるデータベースプラットフォーム
 
SQL Server エンジニアのためのコンテナ入門
SQL Server エンジニアのためのコンテナ入門SQL Server エンジニアのためのコンテナ入門
SQL Server エンジニアのためのコンテナ入門
 
Lunch & Learn, AWS NoSQL Services
Lunch & Learn, AWS NoSQL ServicesLunch & Learn, AWS NoSQL Services
Lunch & Learn, AWS NoSQL Services
 
db tech showcase2019オープニングセッション @ 森田 俊哉
db tech showcase2019オープニングセッション @ 森田 俊哉 db tech showcase2019オープニングセッション @ 森田 俊哉
db tech showcase2019オープニングセッション @ 森田 俊哉
 
db tech showcase2019 オープニングセッション @ 石川 雅也
db tech showcase2019 オープニングセッション @ 石川 雅也db tech showcase2019 オープニングセッション @ 石川 雅也
db tech showcase2019 オープニングセッション @ 石川 雅也
 
db tech showcase2019 オープニングセッション @ マイナー・アレン・パーカー
db tech showcase2019 オープニングセッション @ マイナー・アレン・パーカー db tech showcase2019 オープニングセッション @ マイナー・アレン・パーカー
db tech showcase2019 オープニングセッション @ マイナー・アレン・パーカー
 
難しいアプリケーション移行、手軽に試してみませんか?
難しいアプリケーション移行、手軽に試してみませんか?難しいアプリケーション移行、手軽に試してみませんか?
難しいアプリケーション移行、手軽に試してみませんか?
 
Attunityのソリューションと異種データベース・クラウド移行事例のご紹介
Attunityのソリューションと異種データベース・クラウド移行事例のご紹介Attunityのソリューションと異種データベース・クラウド移行事例のご紹介
Attunityのソリューションと異種データベース・クラウド移行事例のご紹介
 
そのデータベース、クラウドで使ってみませんか?
そのデータベース、クラウドで使ってみませんか?そのデータベース、クラウドで使ってみませんか?
そのデータベース、クラウドで使ってみませんか?
 
コモディティサーバー3台で作る高速処理 “ハイパー・コンバージド・データベース・インフラストラクチャー(HCDI)” システム『Insight Qube』...
コモディティサーバー3台で作る高速処理 “ハイパー・コンバージド・データベース・インフラストラクチャー(HCDI)” システム『Insight Qube』...コモディティサーバー3台で作る高速処理 “ハイパー・コンバージド・データベース・インフラストラクチャー(HCDI)” システム『Insight Qube』...
コモディティサーバー3台で作る高速処理 “ハイパー・コンバージド・データベース・インフラストラクチャー(HCDI)” システム『Insight Qube』...
 
複数DBのバックアップ・切り戻し運用手順が異なって大変?!運用性の大幅改善、その先に。。
複数DBのバックアップ・切り戻し運用手順が異なって大変?!運用性の大幅改善、その先に。。 複数DBのバックアップ・切り戻し運用手順が異なって大変?!運用性の大幅改善、その先に。。
複数DBのバックアップ・切り戻し運用手順が異なって大変?!運用性の大幅改善、その先に。。
 
レガシーに埋もれたデータをリアルタイムでクラウドへ [ATTUNITY & インサイトテクノロジー IoT / Big Data フォーラム 2018]
レガシーに埋もれたデータをリアルタイムでクラウドへ [ATTUNITY & インサイトテクノロジー IoT / Big Data フォーラム 2018]レガシーに埋もれたデータをリアルタイムでクラウドへ [ATTUNITY & インサイトテクノロジー IoT / Big Data フォーラム 2018]
レガシーに埋もれたデータをリアルタイムでクラウドへ [ATTUNITY & インサイトテクノロジー IoT / Big Data フォーラム 2018]
 
エンタープライズでのAI活用を支援する新世代データウェアハウスのあり方[ATTUNITY & インサイトテクノロジー IoT / Big Data フォー...
エンタープライズでのAI活用を支援する新世代データウェアハウスのあり方[ATTUNITY & インサイトテクノロジー IoT / Big Data フォー...エンタープライズでのAI活用を支援する新世代データウェアハウスのあり方[ATTUNITY & インサイトテクノロジー IoT / Big Data フォー...
エンタープライズでのAI活用を支援する新世代データウェアハウスのあり方[ATTUNITY & インサイトテクノロジー IoT / Big Data フォー...
 

Recently uploaded

Recently uploaded (11)

Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
 
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー  DS20L  カタログ  LiDARデバイスLoRaWANスマート距離検出センサー  DS20L  カタログ  LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
 
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
 
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアルLoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
 
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
 
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native IntegrationsUtilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
 
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
 
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
 
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半        2024/04/26の勉強会で発表されたものです。新人研修 後半        2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
 
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
 
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
 

[db tech showcase Tokyo 2017] A16: Using a Multi-Model Database to Improve Data Integration by MarkLogic - Denise Miura

  • 3. SLIDE: 3 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. データ統合:従来の方法 ETL
  • 4. SLIDE: 4 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. データ統合:従来の方法 ビジネスの変化 要件の変更 ソースデータの変更 1 現状のスナップ ショット データモデルを 新規設計 ETLを実行 インデックスを作成 2 3 4 アプリケーションを 構築 5 プロセスを再スタート 6
  • 5. SLIDE: 5 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. SOAバス OLTPソース マスターデータ データ配布 ビジネス 業務 業務の遂行 エンタープライズ データ管理 ビジネスの把握 ETL   処理 データマート 観察&変更 データウェアハウス 分析& 発見 シンプルなエンタープライズ データパイプライン 1. ETL:お金と時間がかかる。柔軟性がない。モデルが柔軟でないことに対する 一時的な対処法 2. マスターデータ管理:データとビジネスのサイロ化の結果、必要となる。ETLを 利用するが、それによりデータ管理がより複雑となる 3. データ配布:変更発生により、提供時間が長期化する 4. データウェアハウス:業務部門の枠を超えた発見。しかし事後的。分析のみ 5. データマート:エンタープライズデータウェアハウスが遅いことへの対応策 6. SOA:機能を重視した業務統合。しかしデータ重視ではない 7. オペレーション(業務)へのインパクト分析:発見と業務の乖離が拡大し続ける 分析用の統合パターン 5 4 6 7 1 2 3
  • 6. SLIDE: 6 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. 分析と業務(オペレーション) の乖離がますます拡大 § ETL要件は想像以上に困難 § ETLはずっと利用できるわけでない 今日の状況 SOAバス OLTPソース マスターデータ データ配布 業務の 遂行 RUN  THE   業務の遂行 エンタープライズ データ管理 OBSERVE ビジネスの把握 ETL   処理 データマート 観察&変更 データウェアハウス 分析& 発見 OLTP ETL ETL ETL ETL ETLETL ETL アーカイブ データマート リファレンス データ ウェアハウス “非構造化” ETL OLTP OLTP OLTP OLTP OLTP OLTP
  • 7. SLIDE: 7 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. データ統合:フェデレーションのアプローチ
  • 8. SLIDE: 8 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. データ統合:データレイク Hadoop
  • 9. SLIDE: 9 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. エンタープライズ統合の新パターン オペレーショナルデータハブ
  • 10. SLIDE: 10 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. マーケティング 営業 CRMERP 人事 財務業務部門1 業務部門2 全体像の把握 § 従来の統合技術では、大量の手作業が発生 § モデルに柔軟性がないため、異なるニーズごとに同一データ のコピーが必須 § データセントリックなアプローチの基盤となるのが、オペレー ショナルデータベース § 分析とオペレーション(業務)の統合が極めて重要 § エンタープライズの新パターンがオペレーショナルデータハブ エンタープライズ統合の新パターン
  • 11. SLIDE: 11 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. オペレーショナルデータハブ (ODH) § 統合:業務&分析。ユーザー/データ間に双方向のインタラク ションを提供 § コンテキスト:セマンティックなメタデータによるデータの調和 § データセントリック:データレベルで統合。機能レベルだけでなく § 費用対効果:ETL/データコピー/業務サイロ/技術サイロの最小 化。ヒト中心の統合 § 安全:豊かなデータガバナンス用のプラットフォーム § 補完的:既存のアセットやパターンを活用 主な特徴 業務アプリケーション マルチチャネルへの 提供 双方向分析 (あらゆるデータ) SSD、DAS、SAN、NAS、 S3、Hadoop/HDFS JSON XML
  • 12. SLIDE: 12 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. オペレーショナルデータハブエンタープライズデータウェアハウス § リアルタイム&インタラクティブ § 双方向の分析と業務 § 全データ § データを「アズイズ(そのまま)」読 み込み。発見しながらモデル化 § プロアクティブ、アラート機能、大 規模 § バッチ中心 § 分析のみ § 構造化データ § ETLとモデルに依存 § 事後的、クエリベース EDWがある場合 JSON XML DOC RDF
  • 13. SLIDE: 13 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. オペレーショナルデータハブSOA  /  EAI § データと機能を重視 § データの調和を重視 § 必要に応じてオフラインシステムを 代替 § 持続性のある情報管理 § 全データを保持。データの出自を 活用 § 機能重視 § データ移動を重視 § SLAは下流システムに依存する § 持続性がない情報交換システム § 必要最小限のデータのやり取り SOAインフラがある場合
  • 14. SLIDE: 14 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. データレイクがある場合 オペレーショナルデータハブデータレイク § リアルタイム § 双方向の分析と業務 § すべてを保存しインデックス付け。 1秒以下で § 細かく設定できる成熟したセキュ リティモデル § コンテキスト活用のための高度な セマンティック § マルチモデル機能により、技術サ イロをなくす § バッチ中心 § 分析のみ § すべてを保存し、処理能力を 最大限活用 § 単純なセキュリティモデル § コンテキストは皆無あるいは 一部活用可 § 多層的なエコシステムにより、 技術サイロが生まれやすい
  • 15. SLIDE: 15 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. オペレーショナルかつトランザクショナルな基幹業務対応エンタープライズNoSQLデータベース MarkLogicという選択 § データをそのまま読み込む(ETL不要) § 構造化&非構造化データの混在 § データとメタデータを一緒に保管 § データやデータ構造の変更に対応 簡単にデータを取り込める 柔軟なデータモデル § インデックスを一度付けると、何度 でもクエリ可能 § 非常に高速かつリアルタイム § JSON、XML、テキスト、位置情報、 セマンティックトリプルなどを、すべ て1つのデータベースでクエリ可能 簡単にデータを出せる ユニバーサルインデックスで 何でも対応 § データの信頼性とトランザクション (100%ACID準拠) § 標準仕様の自動フェイルオー バー、レプリケーション、バック アップ/リカバリ機能 § 基幹業務対応に対応したエンター プライズグレードのセキュリティと コモンクライテリア認証 100%信頼できる 基幹業務に対応できる エンタープライズ仕様
  • 16. SLIDE: 16 © COPYRIGHT 2017 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. § 新規ソース § 乱雑/想定されていなかった ようなデータ § 曖昧/矛盾する定義 § 新しい規制やルール § 増加する脅威 § 秘蔵ではなく共有 § クリエイティブな再利用による新 しいチャンス § すぐに価値を得る、実験できる 変化を想定し「受け容れる」 クオリティ&意味 業務要件 上流で 下流で コンプライアンス& ガバナンス 全体で
  • 17. SLIDE: 17 © COPYRIGHT 2017 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. 新しい方法 MARKLOGICによる データ統合 2 3 1 4 1 データを「そのまま」読み込む 2 データにアクセスする 3 データのハーモナイズと エンリッチ 4 業務への取り込み
  • 18. SLIDE: 18 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. データを「そのまま」読み込む MarkLogicの機能 § 構造化&非構造化データを読み込む § データとメタデータを一緒に保管 § データベース内のデータをハーモナイズ § 以下を回避: – 事前のモデリング – ETLツール 他の手法 REST  API、JavaクライアントAPI、Node.jsクライアントAPI、Java  /  .NET  XCC JSON XML セマンティック データ 地理情報 データ mlcp バイナリ
  • 19. SLIDE: 19 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. § 階層型、疎、高カーディナリティ § 厳密な構造のものから自由文まで § データが変わるとスキーマも変わる § 標準的なJSON、XML、テキスト、バイナ リ ドキュメントの方がデータを 自然に表現できる データモデル
  • 20. SLIDE: 20 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. ドキュメントモデル { "date":  "1987-­‐07-­‐23Z" "type":  "observation/surveillance" "threat":  { "type":  "suspicious  activity" "category":  "suspicious  vehicle" }, "location":  [  37.49705,  -­‐122.363319  ] "meta" "triple" ] } , , , , , { :  {  "subject":  "IRIID" "predicate":  "isa",   "object":  "license-­‐plate",   }}, "triple"{ :  {  "subject":  "IRIID" "predicate":  "value",   "object":  "ABC  123",   }} :  [ "description":  "A  blue  van…" "title":  "Suspicious  vehicle…" "description":  "A  blue  van  with  license  plate  ABC  123  was  heard  making  loud  noises…" "title":  "Suspicious  vehicle  near  airport" , ,
  • 21. SLIDE: 21 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. 意味やコンテキストは今どこにあるのか? アプリケーションコード リレーショナルスキーマ、 ドメインモデル、ER図 ETLスクリプト、 ストアドプロシージャ
  • 22. SLIDE: 22 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. データのコンテキストと意味を カタログ化 § エンティティ、プロパティ、関係性をクエリ可能 なモデルとして、一元的に記録 § 必要なときに必要なモデルを(事前の準備で はなく) § モデルからサービス、変換、設定を自動的に 生成 § モデルを拡張し他のコンテキストも把握 モデル
  • 23. SLIDE: 23 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. セマンティックとは:新しいデータの整理方法 データはトリプルに格納。その表現方法は… 主語 :述語 :  目的語 John  Smith :  livesIn   :  London London :  isIn   :  England クエリはSPARQLで。ルックアップなどの活用が簡単! 例)イングランドに住んでいる人を探したい RDF トリプル John livesIn isIn EnglandLondon
  • 24. SLIDE: 24 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. トリプルとドキュメントを別々に持つ User1 rank Senior   Manager Geneva basedIn Compliance   Officer role High  risk  personApp1 runsOn Cluster1 TopSecret requires Database1 accesses runs
  • 25. SLIDE: 25 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. グラフの一部としてのドキュメント User1 rank Senior   Manager Geneva basedIn Compliance   Officer role Hig h   risk   pers on App1 runsOn Cluster1 TopSecret requires Database1 accesses runs deep  dive license user  guide tutorialMovie order
  • 26. SLIDE: 26 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. ドキュメントに関するトリプル:拡張されたメタデータ User1 rank Senior   Manager Geneva basedIn Compliance   Officer role Hig h   risk   pers on App1 runsOn Cluster1 TopSecret requires Database1 accesses runs order format JSON English Delaware 2016-­12-­31 jurisdiction expires Ts  and  Cs language
  • 27. SLIDE: 27 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. ドキュメントに関するトリプル:統合 App1 order XML format License Vendor <VENDOR> Seller <seller> Provider <prov> Computer Asset equivalent equivalent
  • 28. SLIDE: 28 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. データのハーモナイズ MarkLogicの機能 § スキーマが異なるデータをハーモナイズ し 共通ビューを作成する 例:「male/female」「m/f」「M/F」を標準化 § 必要なものだけをハーモナイズ § データとメタデータをそのまま保管・クエ リ § 後からモデルを更新する際も、再読み込 み不要 § 新しいデータやスキーマもOK スキーマ2 スキーマ3 スキーマ1 スキーマ2 スキーマ3 エンベロープ パターン スキーマ1
  • 29. SLIDE: 29 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. 意味やコンテキストは今どこにあるのか? アプリケーションコード リレーショナルスキーマ、 ドメインモデル、ER図 ETLスクリプト、 ストアドプロシージャ
  • 30. SLIDE: 30 © COPYRIGHT 2017 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. ドキュメント TDE(Template  Driven  Extraction) 行インデックス § リッチな階層関係 § 柔軟なスキーマ § メッセージ、帳票、オブジェ クトを自然に扱える § ツリーを以下のように表現: § タプル § トリプル § トランザクショナルなインデックス 付け § 宣言的マッピング、機能変換 § 行と列を格納するための特別な トリプルインデックス § SPARQL、SQL、オプティックで 共有
  • 31. SLIDE: 31 © COPYRIGHT 2017 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. ドキュメント TDE(Template  Driven  Extraction) 行インデックス <order> <date></> <customer  id="…">…</> <lines> <line>…</> </> </> Template: View:  Orders Context:  ./order Columns: Date as  date: fn:format(./date) CustID as  long:  ./customer/@id Template:   View:  Order_Lines Context:  ./lines/line Columns:  … ID Date CustID 123 2017/01/14 7754 65 2017/05/09 2333 ID OrderID ProdID 9983 65 44-­‐223 9984 65 68-­‐711 Orders Order_Lines
  • 32. SLIDE: 32 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. ロールベースのアクセス制御
  • 33. SLIDE: 33 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. person:  {  "cls":  "U",  name:  "John"  }, location:  {  cls="S", state:  "Florida", gps:  [37.50,  -­‐122.24] }, informant:  {  cls="TS",  name:  "Mike"  } 要素レベルのセキュリティ ユーザー1 Unclassified:U ユーザー2 Secret:S ユーザー3 TopSecret:TS { }
  • 34. SLIDE: 34 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. リダクション name:  "John", phone:  "777-­‐340-­‐0889", SSN:  "345-­‐57-­‐9877", source:  "informant" mlcpでコピーを エクスポート name:  "Michael", phone:  "424-­‐303-­‐5757", SSN:  "XXX-­‐XX-­‐9877"
  • 35. SLIDE: 35 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. 高度な暗号化 § ディスク上のデータ/インデックス/config/ログ を暗号化 § アクセス制御ならびに移動中の暗号化を補 完 § システム管理者、DBA、セキュリティ管理者、 開発者の懸念を分離 § 堅牢な鍵管理 ディスクストレージ ファイルシステム 保護 復号化 データベース DBA システム管理者 セキュリティ 管理者 開発者
  • 36. SLIDE: 36 © COPYRIGHT 2017 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. オペレーショナルデータハブパターン エンタープライズアーキテクチャ メッセージ バス RDBMS コンテンツのフィード 読み込み 分析 アプリケーション オペレーショナル アプリケーション 下流のシステム 提供 ステージング(生データをアズイズで) ファイナル (データのハーモナイズとインデックス付け) ソース1   ドキュメント ソース2   ドキュメント ソースN ドキュメント エンベロープ化ドキュメント (エンティティ1) エンベロープ化ドキュメント (エンティティ2) エンベロープ化ドキュメント (エンティティN)ハーモナイズ インデックス、検索、 発見、ハーモナイゼーション インデックス、検索、 サービス f(x)
  • 37. SLIDE: 37 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. 困難なオペレーショナルデータ統合:実績 人事データハブ 大規模かつリアルタイムな統合人事データ メタデータハブ デジタルアセットに関するデータを繋ぐ統合ハブ マーケットプレース &  データサービスハブ データとマーケットプレースの統合 大規模かつダイナミックなコンテンツ配信 データ統合、複数デバイスへの提供 グローバルトレードストア データ統合、取引後処理の統合
  • 38. SLIDE: 38 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. エトナ – 人事データハブ 大規模かつリアルタイムな統合人事データ MARKLOGICを選んだ理由 § ETLが巨大で複雑 § 将来の変更にも柔軟に対応 § コストと時間の制約 § エンタープライズ要件 140以上のデータソース 50以上のシステム リアルタイム アプリケーション バッチ分析 人事データハブ 従業員 データ 給与 データ 人事評価 データ 他の システム リアルタイム アプリケーション リアルタイム アプリケーション
  • 39. SLIDE: 39 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. エトナ – 人事データハブ 大規模かつリアルタイムな統合人事データ MARKLOGICを選んだ理由 § ETLが巨大で複雑 § 将来の変更にも柔軟に対応 § コストと時間の制約 § エンタープライズ要件 140以上の データソース 50以上のシステム リアルタイムアプリケー ション バッチ分析 人事データハブ 従業員 データ 給与 データ 人事評価 データ 他の システム リアルタイムアプリケー ション リアルタイムアプリケー ション 成果 § 柔軟 – 複雑なデータの読み込みや出力に対応 § 拡張性 – スループット:50GB+/日 § アジャイル – 1年で開発(5年ではなく) § 将来性 – 再利用と一貫性を最大化 § 成功 – 今やMarkLogicは、全人事データのデータ層となっている
  • 40. SLIDE: 40 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. 国際的な金融報告 取引後処理 ドッド・フランク 準拠の記録保管 トランザクションの キャンセル、修正、 改訂 取引処理と規制順守を変革 ドイツ銀行– グローバルトレードストア MARKLOGICを選んだ理由 § ETLが巨大で複雑 § リレーショナルでの開発は時間がかか りすぎる § 構造化&非構造化データの混在 § より迅速なデータ統合 § エンタープライズ要件 取引システム
  • 41. SLIDE: 41 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. 国際的な金融報告 取引後処理 ドッド・フランク準 拠の記録保管 トランザクションの キャンセル、修正、 改訂 取引処理と規制順守を変革 ドイツ銀行– グローバルトレードストア MARKLOGICを選んだ理由 § ETLが巨大で複雑 § リレーショナルでの開発は時間がかか りすぎる § 構造化&非構造化データの混在 § より迅速なデータ統合 § エンタープライズ要件 取引システム 成果 § タイムリー – 最初のプロジェクトは6ヶ月で実稼動 § 柔軟 – 30以上の取引システムを統合 § コスト効率 – トレードストアの拡張に応じたプロビジョニング § 基幹業務対応 – 安全で一貫性のあるトランザクション § 成功 – 「MarkLogicは銀行業務の基盤」
  • 42. SLIDE: 42 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. BBC – iPlayer iPlayerによるTVストリーミングにおける大規模な統合メタデータ管理 MARKLOGICを選んだ理由 § レガシーシステムはクエリやコンテンツ の更新が遅い § 巨大なスケーラビリティとクエリの高速化 § シンプルかつ高い信頼性 1  億件のドキュメント 60以上のオンライン製品 BBC  iPLAYER 提供パートナー NITROマイクロサービス 番組情報 画像 スケジュール& 番組表 他の システム BBCニュース BBCラジオ
  • 43. SLIDE: 43 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. BBC – iPlayer iPlayerによるTVストリーミングにおける大規模な統合メタデータ管理 MARKLOGICを選んだ理由 § レガシーシステムはクエリやコンテンツ の更新が遅い § 巨大なスケーラビリティとクエリの高速 化 § シンプルかつ高い信頼性 1  億件のドキュメント 60以上のオンライン製品 BBC  iPLAYER 提供パートナー NITROマイクロサービス 番組 情報 画像 スケジュール& 番組表 他の システム BBCニュース BBCラジオ 成果 § 高速 – クエリが20秒から20ミリ秒に短縮 § 拡張性 – 6ノードのクラスタをAWSクラウド上に導入 § アジャイル – コンテンツは数分で利用可能(数日ではなく) § 優れたコスト効率 – システムの個数を削減 § 成功 – 初年度で30億件のリクエストを処理
  • 44. SLIDE: 44 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. 健康保険業界の変革 HealthCare.gov – マーケットプレース&データサービスハブ MARKLOGICを選んだ理由 § オラクルのデータモデルには柔軟性が ない § ETLに時間がかかりすぎる § 構造化&非構造化データの混在 § 拡張時でもデータ整合性を完全保証 § データの変更に対応できる柔軟性 § IRS(米国国税庁)からのセキュリティ要 件 州の保険取引所 HEALTHCARE.GOV保険会社 収入&資格要件 データサービスハブ
  • 45. SLIDE: 45 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. 健康保険業界の変革 HealthCare.gov – マーケットプレース&データサービスハブ MARKLOGICを選んだ理由 § オラクルのデータモデルには柔軟性が ない § ETLに時間がかかりすぎる § 構造化&非構造化データの混在 § 拡張時でもデータ整合性を完全保証 § データの変更に対応できる柔軟性 § IRS(米国国税庁)からのセキュリティ要 件 州の保険取引所 HEALTHCARE.GOV保険会社 収入&資格要件 データサービスハブ 成果 § タイムリー – 議会で定められた導入期日を固守 § 拡張性 – 28万同時アクセスユーザー § 高速 – 6500トランザクション/秒 § 成功 – 2016年には米国民1270万人が登録 「米国史上最大の政府による個人データ統合プロジェクトだ」 -­ スティーブン・パレンテ、PHD,  MPH,  MS
  • 46. SLIDE: 46 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. ディズニー – メタデータハブ 映画とその他のアセットに関するデータを繋ぐ統合ハブ MARKLOGICを選んだ理由 § 5つのサイロからのデータを短期間で統合 § セマンティックでアセット/アーカイブ/権利 のメタデータを関連付け § よりアジャイルな開発 § エンタープライズレベルの信頼性 デジタルアセット マイクロサービス XML Excel セマンティックメタデータハブ ディズニーチャンネル ABC ESPN 他の システム JSON CSV 分類、パブリッシング、オント ロジー管理、セマンティックの エンリッチメント RDFトリプルストア、 検索とクエリ、 インデックス付け
  • 47. SLIDE: 47 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. ディズニー – メタデータハブ 映画とその他のアセットに関するデータを繋ぐ統合ハブ MARKLOGICを選んだ理由 § 5つのサイロからのデータを短期間で統 合 § セマンティックでアセット/アーカイブ/権 利のメタデータを関連付け § よりアジャイルな開発 § エンタープライズレベルの信頼性 デジタルアセット マイクロサービス XML Excel セマンティックメタデータハブ ディズニーチャンネル ABC ESPN 他の システム JSON CSV 分類、パブリッシング、オント ロジー管理、セマンティックの エンリッチメント RDFトリプルストア、検索とク エリ、インデックス付け 成果 § 統合 – 2億件以上のドキュメントと5億件以上のトリプル § 柔軟 – 4か月でアプリケーションを開発/導入 § 優れたコスト効率 – サイロの除去 § 安全 – データ損失なし、セキュリティ違反なし § 成功 – スムースなビジネスプロセス。収益向上
  • 48. SLIDE: 48 © COPYRIGHT 2017 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. 次のステップ MARKLOGIC UNIVERSITY 例を入手するMarkLogicを入手する トレーニングを受ける developer.marklogic.com github.com/MarklogicUniversity marklogic.com/training