Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
マルチモデルデータベースによるデータ統合の改善
三浦デニース、マークロジック 日本法人代表
旧来の統合パターン
SLIDE:	
 3 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
データ統合:従来の方法
ETL
SLIDE:	
 4 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
データ統合:従来の方法
ビジネスの変化
要件の変更
ソースデータの変更
...
SLIDE:	
 5 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
SOAバス
OLTPソース マスターデータ データ配布
ビジネス
業務
...
SLIDE:	
 6 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
分析と業務(オペレーション)
の乖離がますます拡大
§ ETL要件は想...
SLIDE:	
 7 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
データ統合:フェデレーションのアプローチ
SLIDE:	
 8 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
データ統合:データレイク
Hadoop
SLIDE:	
 9 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
エンタープライズ統合の新パターン
オペレーショナルデータハブ
SLIDE:	
 10 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
マーケティング
営業
CRMERP
人事
財務業務部門1
業務部門2
...
SLIDE:	
 11 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
オペレーショナルデータハブ
(ODH)
§ 統合:業務&分析。ユーザ...
SLIDE:	
 12 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
オペレーショナルデータハブエンタープライズデータウェアハウス
§ リ...
SLIDE:	
 13 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
オペレーショナルデータハブSOA  /  EAI
§ データと機能を...
SLIDE:	
 14 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
データレイクがある場合
オペレーショナルデータハブデータレイク
§ ...
SLIDE:	
 15 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
オペレーショナルかつトランザクショナルな基幹業務対応エンタープライズN...
SLIDE:	
 16
©	
 COPYRIGHT	
 2017	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
§ 新規ソース
§ 乱雑/想定されていなかった
ようなデータ
§...
SLIDE:	
 17
©	
 COPYRIGHT	
 2017	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
新しい方法
MARKLOGICによる
データ統合
2
3
1
4
1
...
SLIDE:	
 18 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
データを「そのまま」読み込む
MarkLogicの機能
§ 構造化&...
SLIDE:	
 19 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
§ 階層型、疎、高カーディナリティ
§ 厳密な構造のものから自由文...
SLIDE:	
 20 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
ドキュメントモデル
{
"date":  "1987-­‐07-­‐2...
SLIDE:	
 21 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
意味やコンテキストは今どこにあるのか?
アプリケーションコード リレー...
SLIDE:	
 22 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
データのコンテキストと意味を
カタログ化
§ エンティティ、プロパテ...
SLIDE:	
 23 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
セマンティックとは:新しいデータの整理方法
データはトリプルに格納。そ...
SLIDE:	
 24 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
トリプルとドキュメントを別々に持つ
User1
rank
Senior...
SLIDE:	
 25 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
グラフの一部としてのドキュメント
User1
rank
Senior ...
SLIDE:	
 26 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
ドキュメントに関するトリプル:拡張されたメタデータ
User1
ran...
SLIDE:	
 27 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
ドキュメントに関するトリプル:統合
App1
order
XML
fo...
SLIDE:	
 28 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
データのハーモナイズ
MarkLogicの機能
§ スキーマが異なる...
SLIDE:	
 29 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
意味やコンテキストは今どこにあるのか?
アプリケーションコード リレー...
SLIDE:	
 30
©	
 COPYRIGHT	
 2017	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
ドキュメント TDE(Template  Driven  Extrac...
SLIDE:	
 31
©	
 COPYRIGHT	
 2017	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
ドキュメント TDE(Template  Driven  Extrac...
SLIDE:	
 32 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
ロールベースのアクセス制御
SLIDE:	
 33 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
person:  {  "cls":  "U",  name:  "J...
SLIDE:	
 34 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
リダクション
name:  "John",
phone:  "777-...
SLIDE:	
 35 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
高度な暗号化
§ ディスク上のデータ/インデックス/config/ロ...
SLIDE:	
 36
©	
 COPYRIGHT	
 2017	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
オペレーショナルデータハブパターン
エンタープライズアーキテクチャ
メ...
SLIDE:	
 37 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
困難なオペレーショナルデータ統合:実績
人事データハブ
大規模かつリア...
SLIDE:	
 38 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
エトナ – 人事データハブ
大規模かつリアルタイムな統合人事データ
M...
SLIDE:	
 39 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
エトナ – 人事データハブ
大規模かつリアルタイムな統合人事データ
M...
SLIDE:	
 40 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
国際的な金融報告
取引後処理
ドッド・フランク
準拠の記録保管
トラン...
SLIDE:	
 41 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
国際的な金融報告
取引後処理
ドッド・フランク準
拠の記録保管
トラン...
SLIDE:	
 42 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
BBC – iPlayer
iPlayerによるTVストリーミングにお...
SLIDE:	
 43 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
BBC – iPlayer
iPlayerによるTVストリーミングにお...
SLIDE:	
 44 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
健康保険業界の変革
HealthCare.gov – マーケットプレー...
SLIDE:	
 45 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
健康保険業界の変革
HealthCare.gov – マーケットプレー...
SLIDE:	
 46 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
ディズニー – メタデータハブ
映画とその他のアセットに関するデータを...
SLIDE:	
 47 ©	
 COPYRIGHT	
 2016	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
ディズニー – メタデータハブ
映画とその他のアセットに関するデータを...
SLIDE:	
 48
©	
 COPYRIGHT	
 2017	
 MARKLOGIC	
 CORPORATION.ALL	
 RIGHTS	
 RESERVED.	
 
次のステップ
MARKLOGIC UNIVERSITY
例を入手するM...
Upcoming SlideShare
Loading in …5
×

[db tech showcase Tokyo 2017] A16: Using a Multi-Model Database to Improve Data Integration by MarkLogic - Denise Miura

238 views

Published on

Traditional relational approaches to data integration compromise flexibility and governance by limiting you to a rigid, tabular data model. MarkLogic’s approach to data management is fundamentally better suited to the diverse, changing data structures involved with data integration. In this session we'll explain how to leverage the features of an enterprise NoSQL multi-model database, such as document data modeling, semantics, advanced indexing, and security, in order to achieve more efficient data integration, while also increasing the quality of data governance. The session will describe core architectural principals, data modeling, and use cases.

Published in: Technology
  • Be the first to comment

[db tech showcase Tokyo 2017] A16: Using a Multi-Model Database to Improve Data Integration by MarkLogic - Denise Miura

  1. 1. マルチモデルデータベースによるデータ統合の改善 三浦デニース、マークロジック 日本法人代表
  2. 2. 旧来の統合パターン
  3. 3. SLIDE: 3 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. データ統合:従来の方法 ETL
  4. 4. SLIDE: 4 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. データ統合:従来の方法 ビジネスの変化 要件の変更 ソースデータの変更 1 現状のスナップ ショット データモデルを 新規設計 ETLを実行 インデックスを作成 2 3 4 アプリケーションを 構築 5 プロセスを再スタート 6
  5. 5. SLIDE: 5 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. SOAバス OLTPソース マスターデータ データ配布 ビジネス 業務 業務の遂行 エンタープライズ データ管理 ビジネスの把握 ETL   処理 データマート 観察&変更 データウェアハウス 分析& 発見 シンプルなエンタープライズ データパイプライン 1. ETL:お金と時間がかかる。柔軟性がない。モデルが柔軟でないことに対する 一時的な対処法 2. マスターデータ管理:データとビジネスのサイロ化の結果、必要となる。ETLを 利用するが、それによりデータ管理がより複雑となる 3. データ配布:変更発生により、提供時間が長期化する 4. データウェアハウス:業務部門の枠を超えた発見。しかし事後的。分析のみ 5. データマート:エンタープライズデータウェアハウスが遅いことへの対応策 6. SOA:機能を重視した業務統合。しかしデータ重視ではない 7. オペレーション(業務)へのインパクト分析:発見と業務の乖離が拡大し続ける 分析用の統合パターン 5 4 6 7 1 2 3
  6. 6. SLIDE: 6 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. 分析と業務(オペレーション) の乖離がますます拡大 § ETL要件は想像以上に困難 § ETLはずっと利用できるわけでない 今日の状況 SOAバス OLTPソース マスターデータ データ配布 業務の 遂行 RUN  THE   業務の遂行 エンタープライズ データ管理 OBSERVE ビジネスの把握 ETL   処理 データマート 観察&変更 データウェアハウス 分析& 発見 OLTP ETL ETL ETL ETL ETLETL ETL アーカイブ データマート リファレンス データ ウェアハウス “非構造化” ETL OLTP OLTP OLTP OLTP OLTP OLTP
  7. 7. SLIDE: 7 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. データ統合:フェデレーションのアプローチ
  8. 8. SLIDE: 8 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. データ統合:データレイク Hadoop
  9. 9. SLIDE: 9 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. エンタープライズ統合の新パターン オペレーショナルデータハブ
  10. 10. SLIDE: 10 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. マーケティング 営業 CRMERP 人事 財務業務部門1 業務部門2 全体像の把握 § 従来の統合技術では、大量の手作業が発生 § モデルに柔軟性がないため、異なるニーズごとに同一データ のコピーが必須 § データセントリックなアプローチの基盤となるのが、オペレー ショナルデータベース § 分析とオペレーション(業務)の統合が極めて重要 § エンタープライズの新パターンがオペレーショナルデータハブ エンタープライズ統合の新パターン
  11. 11. SLIDE: 11 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. オペレーショナルデータハブ (ODH) § 統合:業務&分析。ユーザー/データ間に双方向のインタラク ションを提供 § コンテキスト:セマンティックなメタデータによるデータの調和 § データセントリック:データレベルで統合。機能レベルだけでなく § 費用対効果:ETL/データコピー/業務サイロ/技術サイロの最小 化。ヒト中心の統合 § 安全:豊かなデータガバナンス用のプラットフォーム § 補完的:既存のアセットやパターンを活用 主な特徴 業務アプリケーション マルチチャネルへの 提供 双方向分析 (あらゆるデータ) SSD、DAS、SAN、NAS、 S3、Hadoop/HDFS JSON XML
  12. 12. SLIDE: 12 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. オペレーショナルデータハブエンタープライズデータウェアハウス § リアルタイム&インタラクティブ § 双方向の分析と業務 § 全データ § データを「アズイズ(そのまま)」読 み込み。発見しながらモデル化 § プロアクティブ、アラート機能、大 規模 § バッチ中心 § 分析のみ § 構造化データ § ETLとモデルに依存 § 事後的、クエリベース EDWがある場合 JSON XML DOC RDF
  13. 13. SLIDE: 13 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. オペレーショナルデータハブSOA  /  EAI § データと機能を重視 § データの調和を重視 § 必要に応じてオフラインシステムを 代替 § 持続性のある情報管理 § 全データを保持。データの出自を 活用 § 機能重視 § データ移動を重視 § SLAは下流システムに依存する § 持続性がない情報交換システム § 必要最小限のデータのやり取り SOAインフラがある場合
  14. 14. SLIDE: 14 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. データレイクがある場合 オペレーショナルデータハブデータレイク § リアルタイム § 双方向の分析と業務 § すべてを保存しインデックス付け。 1秒以下で § 細かく設定できる成熟したセキュ リティモデル § コンテキスト活用のための高度な セマンティック § マルチモデル機能により、技術サ イロをなくす § バッチ中心 § 分析のみ § すべてを保存し、処理能力を 最大限活用 § 単純なセキュリティモデル § コンテキストは皆無あるいは 一部活用可 § 多層的なエコシステムにより、 技術サイロが生まれやすい
  15. 15. SLIDE: 15 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. オペレーショナルかつトランザクショナルな基幹業務対応エンタープライズNoSQLデータベース MarkLogicという選択 § データをそのまま読み込む(ETL不要) § 構造化&非構造化データの混在 § データとメタデータを一緒に保管 § データやデータ構造の変更に対応 簡単にデータを取り込める 柔軟なデータモデル § インデックスを一度付けると、何度 でもクエリ可能 § 非常に高速かつリアルタイム § JSON、XML、テキスト、位置情報、 セマンティックトリプルなどを、すべ て1つのデータベースでクエリ可能 簡単にデータを出せる ユニバーサルインデックスで 何でも対応 § データの信頼性とトランザクション (100%ACID準拠) § 標準仕様の自動フェイルオー バー、レプリケーション、バック アップ/リカバリ機能 § 基幹業務対応に対応したエンター プライズグレードのセキュリティと コモンクライテリア認証 100%信頼できる 基幹業務に対応できる エンタープライズ仕様
  16. 16. SLIDE: 16 © COPYRIGHT 2017 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. § 新規ソース § 乱雑/想定されていなかった ようなデータ § 曖昧/矛盾する定義 § 新しい規制やルール § 増加する脅威 § 秘蔵ではなく共有 § クリエイティブな再利用による新 しいチャンス § すぐに価値を得る、実験できる 変化を想定し「受け容れる」 クオリティ&意味 業務要件 上流で 下流で コンプライアンス& ガバナンス 全体で
  17. 17. SLIDE: 17 © COPYRIGHT 2017 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. 新しい方法 MARKLOGICによる データ統合 2 3 1 4 1 データを「そのまま」読み込む 2 データにアクセスする 3 データのハーモナイズと エンリッチ 4 業務への取り込み
  18. 18. SLIDE: 18 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. データを「そのまま」読み込む MarkLogicの機能 § 構造化&非構造化データを読み込む § データとメタデータを一緒に保管 § データベース内のデータをハーモナイズ § 以下を回避: – 事前のモデリング – ETLツール 他の手法 REST  API、JavaクライアントAPI、Node.jsクライアントAPI、Java  /  .NET  XCC JSON XML セマンティック データ 地理情報 データ mlcp バイナリ
  19. 19. SLIDE: 19 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. § 階層型、疎、高カーディナリティ § 厳密な構造のものから自由文まで § データが変わるとスキーマも変わる § 標準的なJSON、XML、テキスト、バイナ リ ドキュメントの方がデータを 自然に表現できる データモデル
  20. 20. SLIDE: 20 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. ドキュメントモデル { "date":  "1987-­‐07-­‐23Z" "type":  "observation/surveillance" "threat":  { "type":  "suspicious  activity" "category":  "suspicious  vehicle" }, "location":  [  37.49705,  -­‐122.363319  ] "meta" "triple" ] } , , , , , { :  {  "subject":  "IRIID" "predicate":  "isa",   "object":  "license-­‐plate",   }}, "triple"{ :  {  "subject":  "IRIID" "predicate":  "value",   "object":  "ABC  123",   }} :  [ "description":  "A  blue  van…" "title":  "Suspicious  vehicle…" "description":  "A  blue  van  with  license  plate  ABC  123  was  heard  making  loud  noises…" "title":  "Suspicious  vehicle  near  airport" , ,
  21. 21. SLIDE: 21 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. 意味やコンテキストは今どこにあるのか? アプリケーションコード リレーショナルスキーマ、 ドメインモデル、ER図 ETLスクリプト、 ストアドプロシージャ
  22. 22. SLIDE: 22 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. データのコンテキストと意味を カタログ化 § エンティティ、プロパティ、関係性をクエリ可能 なモデルとして、一元的に記録 § 必要なときに必要なモデルを(事前の準備で はなく) § モデルからサービス、変換、設定を自動的に 生成 § モデルを拡張し他のコンテキストも把握 モデル
  23. 23. SLIDE: 23 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. セマンティックとは:新しいデータの整理方法 データはトリプルに格納。その表現方法は… 主語 :述語 :  目的語 John  Smith :  livesIn   :  London London :  isIn   :  England クエリはSPARQLで。ルックアップなどの活用が簡単! 例)イングランドに住んでいる人を探したい RDF トリプル John livesIn isIn EnglandLondon
  24. 24. SLIDE: 24 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. トリプルとドキュメントを別々に持つ User1 rank Senior   Manager Geneva basedIn Compliance   Officer role High  risk  personApp1 runsOn Cluster1 TopSecret requires Database1 accesses runs
  25. 25. SLIDE: 25 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. グラフの一部としてのドキュメント User1 rank Senior   Manager Geneva basedIn Compliance   Officer role Hig h   risk   pers on App1 runsOn Cluster1 TopSecret requires Database1 accesses runs deep  dive license user  guide tutorialMovie order
  26. 26. SLIDE: 26 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. ドキュメントに関するトリプル:拡張されたメタデータ User1 rank Senior   Manager Geneva basedIn Compliance   Officer role Hig h   risk   pers on App1 runsOn Cluster1 TopSecret requires Database1 accesses runs order format JSON English Delaware 2016-­12-­31 jurisdiction expires Ts  and  Cs language
  27. 27. SLIDE: 27 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. ドキュメントに関するトリプル:統合 App1 order XML format License Vendor <VENDOR> Seller <seller> Provider <prov> Computer Asset equivalent equivalent
  28. 28. SLIDE: 28 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. データのハーモナイズ MarkLogicの機能 § スキーマが異なるデータをハーモナイズ し 共通ビューを作成する 例:「male/female」「m/f」「M/F」を標準化 § 必要なものだけをハーモナイズ § データとメタデータをそのまま保管・クエ リ § 後からモデルを更新する際も、再読み込 み不要 § 新しいデータやスキーマもOK スキーマ2 スキーマ3 スキーマ1 スキーマ2 スキーマ3 エンベロープ パターン スキーマ1
  29. 29. SLIDE: 29 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. 意味やコンテキストは今どこにあるのか? アプリケーションコード リレーショナルスキーマ、 ドメインモデル、ER図 ETLスクリプト、 ストアドプロシージャ
  30. 30. SLIDE: 30 © COPYRIGHT 2017 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. ドキュメント TDE(Template  Driven  Extraction) 行インデックス § リッチな階層関係 § 柔軟なスキーマ § メッセージ、帳票、オブジェ クトを自然に扱える § ツリーを以下のように表現: § タプル § トリプル § トランザクショナルなインデックス 付け § 宣言的マッピング、機能変換 § 行と列を格納するための特別な トリプルインデックス § SPARQL、SQL、オプティックで 共有
  31. 31. SLIDE: 31 © COPYRIGHT 2017 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. ドキュメント TDE(Template  Driven  Extraction) 行インデックス <order> <date></> <customer  id="…">…</> <lines> <line>…</> </> </> Template: View:  Orders Context:  ./order Columns: Date as  date: fn:format(./date) CustID as  long:  ./customer/@id Template:   View:  Order_Lines Context:  ./lines/line Columns:  … ID Date CustID 123 2017/01/14 7754 65 2017/05/09 2333 ID OrderID ProdID 9983 65 44-­‐223 9984 65 68-­‐711 Orders Order_Lines
  32. 32. SLIDE: 32 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. ロールベースのアクセス制御
  33. 33. SLIDE: 33 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. person:  {  "cls":  "U",  name:  "John"  }, location:  {  cls="S", state:  "Florida", gps:  [37.50,  -­‐122.24] }, informant:  {  cls="TS",  name:  "Mike"  } 要素レベルのセキュリティ ユーザー1 Unclassified:U ユーザー2 Secret:S ユーザー3 TopSecret:TS { }
  34. 34. SLIDE: 34 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. リダクション name:  "John", phone:  "777-­‐340-­‐0889", SSN:  "345-­‐57-­‐9877", source:  "informant" mlcpでコピーを エクスポート name:  "Michael", phone:  "424-­‐303-­‐5757", SSN:  "XXX-­‐XX-­‐9877"
  35. 35. SLIDE: 35 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. 高度な暗号化 § ディスク上のデータ/インデックス/config/ログ を暗号化 § アクセス制御ならびに移動中の暗号化を補 完 § システム管理者、DBA、セキュリティ管理者、 開発者の懸念を分離 § 堅牢な鍵管理 ディスクストレージ ファイルシステム 保護 復号化 データベース DBA システム管理者 セキュリティ 管理者 開発者
  36. 36. SLIDE: 36 © COPYRIGHT 2017 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. オペレーショナルデータハブパターン エンタープライズアーキテクチャ メッセージ バス RDBMS コンテンツのフィード 読み込み 分析 アプリケーション オペレーショナル アプリケーション 下流のシステム 提供 ステージング(生データをアズイズで) ファイナル (データのハーモナイズとインデックス付け) ソース1   ドキュメント ソース2   ドキュメント ソースN ドキュメント エンベロープ化ドキュメント (エンティティ1) エンベロープ化ドキュメント (エンティティ2) エンベロープ化ドキュメント (エンティティN)ハーモナイズ インデックス、検索、 発見、ハーモナイゼーション インデックス、検索、 サービス f(x)
  37. 37. SLIDE: 37 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. 困難なオペレーショナルデータ統合:実績 人事データハブ 大規模かつリアルタイムな統合人事データ メタデータハブ デジタルアセットに関するデータを繋ぐ統合ハブ マーケットプレース &  データサービスハブ データとマーケットプレースの統合 大規模かつダイナミックなコンテンツ配信 データ統合、複数デバイスへの提供 グローバルトレードストア データ統合、取引後処理の統合
  38. 38. SLIDE: 38 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. エトナ – 人事データハブ 大規模かつリアルタイムな統合人事データ MARKLOGICを選んだ理由 § ETLが巨大で複雑 § 将来の変更にも柔軟に対応 § コストと時間の制約 § エンタープライズ要件 140以上のデータソース 50以上のシステム リアルタイム アプリケーション バッチ分析 人事データハブ 従業員 データ 給与 データ 人事評価 データ 他の システム リアルタイム アプリケーション リアルタイム アプリケーション
  39. 39. SLIDE: 39 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. エトナ – 人事データハブ 大規模かつリアルタイムな統合人事データ MARKLOGICを選んだ理由 § ETLが巨大で複雑 § 将来の変更にも柔軟に対応 § コストと時間の制約 § エンタープライズ要件 140以上の データソース 50以上のシステム リアルタイムアプリケー ション バッチ分析 人事データハブ 従業員 データ 給与 データ 人事評価 データ 他の システム リアルタイムアプリケー ション リアルタイムアプリケー ション 成果 § 柔軟 – 複雑なデータの読み込みや出力に対応 § 拡張性 – スループット:50GB+/日 § アジャイル – 1年で開発(5年ではなく) § 将来性 – 再利用と一貫性を最大化 § 成功 – 今やMarkLogicは、全人事データのデータ層となっている
  40. 40. SLIDE: 40 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. 国際的な金融報告 取引後処理 ドッド・フランク 準拠の記録保管 トランザクションの キャンセル、修正、 改訂 取引処理と規制順守を変革 ドイツ銀行– グローバルトレードストア MARKLOGICを選んだ理由 § ETLが巨大で複雑 § リレーショナルでの開発は時間がかか りすぎる § 構造化&非構造化データの混在 § より迅速なデータ統合 § エンタープライズ要件 取引システム
  41. 41. SLIDE: 41 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. 国際的な金融報告 取引後処理 ドッド・フランク準 拠の記録保管 トランザクションの キャンセル、修正、 改訂 取引処理と規制順守を変革 ドイツ銀行– グローバルトレードストア MARKLOGICを選んだ理由 § ETLが巨大で複雑 § リレーショナルでの開発は時間がかか りすぎる § 構造化&非構造化データの混在 § より迅速なデータ統合 § エンタープライズ要件 取引システム 成果 § タイムリー – 最初のプロジェクトは6ヶ月で実稼動 § 柔軟 – 30以上の取引システムを統合 § コスト効率 – トレードストアの拡張に応じたプロビジョニング § 基幹業務対応 – 安全で一貫性のあるトランザクション § 成功 – 「MarkLogicは銀行業務の基盤」
  42. 42. SLIDE: 42 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. BBC – iPlayer iPlayerによるTVストリーミングにおける大規模な統合メタデータ管理 MARKLOGICを選んだ理由 § レガシーシステムはクエリやコンテンツ の更新が遅い § 巨大なスケーラビリティとクエリの高速化 § シンプルかつ高い信頼性 1  億件のドキュメント 60以上のオンライン製品 BBC  iPLAYER 提供パートナー NITROマイクロサービス 番組情報 画像 スケジュール& 番組表 他の システム BBCニュース BBCラジオ
  43. 43. SLIDE: 43 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. BBC – iPlayer iPlayerによるTVストリーミングにおける大規模な統合メタデータ管理 MARKLOGICを選んだ理由 § レガシーシステムはクエリやコンテンツ の更新が遅い § 巨大なスケーラビリティとクエリの高速 化 § シンプルかつ高い信頼性 1  億件のドキュメント 60以上のオンライン製品 BBC  iPLAYER 提供パートナー NITROマイクロサービス 番組 情報 画像 スケジュール& 番組表 他の システム BBCニュース BBCラジオ 成果 § 高速 – クエリが20秒から20ミリ秒に短縮 § 拡張性 – 6ノードのクラスタをAWSクラウド上に導入 § アジャイル – コンテンツは数分で利用可能(数日ではなく) § 優れたコスト効率 – システムの個数を削減 § 成功 – 初年度で30億件のリクエストを処理
  44. 44. SLIDE: 44 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. 健康保険業界の変革 HealthCare.gov – マーケットプレース&データサービスハブ MARKLOGICを選んだ理由 § オラクルのデータモデルには柔軟性が ない § ETLに時間がかかりすぎる § 構造化&非構造化データの混在 § 拡張時でもデータ整合性を完全保証 § データの変更に対応できる柔軟性 § IRS(米国国税庁)からのセキュリティ要 件 州の保険取引所 HEALTHCARE.GOV保険会社 収入&資格要件 データサービスハブ
  45. 45. SLIDE: 45 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. 健康保険業界の変革 HealthCare.gov – マーケットプレース&データサービスハブ MARKLOGICを選んだ理由 § オラクルのデータモデルには柔軟性が ない § ETLに時間がかかりすぎる § 構造化&非構造化データの混在 § 拡張時でもデータ整合性を完全保証 § データの変更に対応できる柔軟性 § IRS(米国国税庁)からのセキュリティ要 件 州の保険取引所 HEALTHCARE.GOV保険会社 収入&資格要件 データサービスハブ 成果 § タイムリー – 議会で定められた導入期日を固守 § 拡張性 – 28万同時アクセスユーザー § 高速 – 6500トランザクション/秒 § 成功 – 2016年には米国民1270万人が登録 「米国史上最大の政府による個人データ統合プロジェクトだ」 -­ スティーブン・パレンテ、PHD,  MPH,  MS
  46. 46. SLIDE: 46 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. ディズニー – メタデータハブ 映画とその他のアセットに関するデータを繋ぐ統合ハブ MARKLOGICを選んだ理由 § 5つのサイロからのデータを短期間で統合 § セマンティックでアセット/アーカイブ/権利 のメタデータを関連付け § よりアジャイルな開発 § エンタープライズレベルの信頼性 デジタルアセット マイクロサービス XML Excel セマンティックメタデータハブ ディズニーチャンネル ABC ESPN 他の システム JSON CSV 分類、パブリッシング、オント ロジー管理、セマンティックの エンリッチメント RDFトリプルストア、 検索とクエリ、 インデックス付け
  47. 47. SLIDE: 47 © COPYRIGHT 2016 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. ディズニー – メタデータハブ 映画とその他のアセットに関するデータを繋ぐ統合ハブ MARKLOGICを選んだ理由 § 5つのサイロからのデータを短期間で統 合 § セマンティックでアセット/アーカイブ/権 利のメタデータを関連付け § よりアジャイルな開発 § エンタープライズレベルの信頼性 デジタルアセット マイクロサービス XML Excel セマンティックメタデータハブ ディズニーチャンネル ABC ESPN 他の システム JSON CSV 分類、パブリッシング、オント ロジー管理、セマンティックの エンリッチメント RDFトリプルストア、検索とク エリ、インデックス付け 成果 § 統合 – 2億件以上のドキュメントと5億件以上のトリプル § 柔軟 – 4か月でアプリケーションを開発/導入 § 優れたコスト効率 – サイロの除去 § 安全 – データ損失なし、セキュリティ違反なし § 成功 – スムースなビジネスプロセス。収益向上
  48. 48. SLIDE: 48 © COPYRIGHT 2017 MARKLOGIC CORPORATION.ALL RIGHTS RESERVED. 次のステップ MARKLOGIC UNIVERSITY 例を入手するMarkLogicを入手する トレーニングを受ける developer.marklogic.com github.com/MarklogicUniversity marklogic.com/training

×