New data governance is necessary in the big data era. We will introduce big data comprehensive solution equipped with AI engine "CLAIRE", such as data cataloging across the enterprise, data preparation to support self-service analysis, development execution environment that can easily utilize Hadoop engine.

1. 2018年10月16日
インフォマティカ・ジャパン株式会社
セールスコンサルティング部
シニアセールスコンサルタント
中谷 成道
データカタログからプレパレーションまで
ビッグデータ活用のセルフサービス化を加速する
データプラットフォーム最新像

2. 2 © 2018 Informatica Japan K.K. All rights reserved
データの海で溺れかけていませんか？

3. 3 © 2018 Informatica Japan K.K. All rights reserved
✓ データの取得に
時間がかかりすぎる…
✓ 求めるデータが見つからない…
✓ データを信頼していいのかわからない…
✓ IT部門に頼らざるをえない…
✓ 分析環境はあるのに
データ活用が捗らない！
データを活用するユーザーの悩み
✓ 部門間でデータ資産が
サイロ化している…

4. © 2018 Informatica Japan K.K. All rights reserved
Usage Operational
Technical Business
エンタープライズ | メタデータの統合 | インテリジェンス

5. Metadata-driven
Artificial Intelligence
インテリジェントな
異常検出
インテリジェントな
データの類似性
インテリジェントな
エンティティディスカバリ
インテリジェントな
データレコメンデーション
インテリジェントな
データのタグ付け
インテリジェントな
スキーマ推論
インテリジェントな
データ統合
インテリジェントな
ユーザー行動

6. 6 © 2018 Informatica Japan K.K. All rights reserved
データカタログの3大ユースケース
1. セルフサービス分析 2. データガバナンス 3. IT影響分析
分析の素材となるデータセットを
自分で探し出し、そのデータの
ビジネスコンテキストを理解する
データ資産を適切に活用できる
ように統制・管理するとともに、
品質やメタ情報を整備する
システム横断のデータ配置や、
来歴/影響範囲などの流れを
把握し、開発運用に役立てる
データアナリスト
データサイエンティスト
ITアーキテクト
システム開発者
データオーナー
データスチュワード

7. 7 © 2017 Informatica Japan K.K. All rights reserved
ビジネスユーザーによるデータ活用をサポートするガバナンス機能
Ingest & Store
収集・蓄積
Discover &
Understand
検索・把握
Prepare & Enrich
準備・補完
Publish & Share
公開・共有
Analyze
分析
データの在り処を探す
データカタログ
データの中身を評価する
データプロファイリング
データの流れを把握する
データリネージ
データのつながりを把握する
リレーション
データを公開・共有する
パブリッシュ
データを加工準備する
データプレパレーション

8. 8 © 2017 Informatica Japan K.K. All rights reserved
ビジネスユーザーによるデータ活用をサポートするガバナンス機能
Ingest & Store
収集・蓄積

9. 9 © 2017 Informatica Japan K.K. All rights reserved
Informatica Intelligent Big Data ソリューション
データ統合Data
Integration
2nd ETL
BI
アナリティクス
AI
ログ
ファイル/
外部データ
DB
ソーシャル
データマート
データカタログ
データプレパレーション
DWH
データレイク
Hadoop
Big Data Management (BDM)
Intelligent Data Lake
(IDL)
Enterprise Information Catalog (EIC)

10. 10 © 2017 Informatica Japan K.K. All rights reserved
同じひとつのGUIで開発、Hadoopを含むさまざまな環境で実行
実行環境を、ネイティブ（インフォマティカ
サーバー）、Hive、Blaze、Sparkから選択
可能

11. 11 © 2017 Informatica Japan K.K. All rights reserved
データ統合アーキテクチャ
Hive
• Hive on Tez
• Map Reduce
Blaze Spark
YARN
SQL Hadoop Cluster
Database
Pushdown
Data
Virtualization
Native Data
Transformation
Machine
VDM Native
Informatica Big Data Management
Data
Connectivity
Data
Integration
Data
Masking
Data
Quality
Data
Governance
GUI を利用した開発
 操作性の高いGUI開発
 既存のInformatica資産の再利用
最適な実行形態を選択
 Informaticaサーバーネイティブ
 各種データストアへ処理をプッシュダウン
 処理に応じて適切なエンジンを判断する
Smart Executor
Cloudera/Hortonworks/IBM BigInsights
/Amazon EMR/Azure HD Insight
Smart Executor

12. 12 © 2017 Informatica Japan K.K. All rights reserved
Informatica Intelligent Streaming
Informatica Intelligent Data Platform
Real-Time
DataCentricMSGCentric
バッチデータ統合、リネージ、ガバナンス、セキュリティ
CDC
VDS
Kafka
JMS
http
ストリーム制御と
リアルタイムイベント処理
RDMBS
HDFS
HBase
Cloud
Kafka
JMS
http
Capture &
Transport
Refine & Enrich Process Distribute
VDS
Webサーバー
センサー
マシンデータ
モバイル端末
ログファイル
スマートメーター
JSON
TCP/UDP
MQTT
Syslog
HTTP
不正検知
予防診断・保守
顧客サービス向上
(パーソナル化など)
製品の自動運用
製品間の自動連携
etc.
バルクのバッチ処理と、ストリーミングのリアルタイム処理をひとつのプラットフォームで実現

13. 13 © 2017 Informatica Japan K.K. All rights reserved
ビジネスユーザーによるデータ活用をサポートするガバナンス機能
Discover &
Understand
検索・把握
データの在り処を探す
データカタログ
データの中身を評価する
データプロファイリング
データの流れを把握する
データリネージ
データのつながりを把握する
リレーション

14. 16 © 2017 Informatica Japan K.K. All rights reserved
データドメイン検出、エンティティ認識
 複数データドメイン（特性）の組み合わせで、テーブルやファイルのエンティティを特定
Street City State Zip
Address
First
Name
Last
Name
Customer
PrID Product Name
Product
Date
Amount
Order

15. 17 © 2017 Informatica Japan K.K. All rights reserved
ビジネスユーザーによるデータ活用をサポートするガバナンス機能
Prepare & Enrich
準備・補完
Publish & Share
公開・共有
データを公開・共有する
パブリッシュ
データを加工準備する
データプレパレーション

16. 18 © 2017 Informatica Japan K.K. All rights reserved
データプレパレーション
複数データセットをタブで切り替え
直接、値の編集も可能
AI技術にもとづくおすすめの
データ加工を提案
提案された加工は
ワンクリックで反映
ジョイン、ユニオン、集計、フィルター、
ソート、関数などのデータ変換機能
操作性の高いExcelライクなWeb UI
加工手順をレシピとして記録、
手順の遡及修正も可能