2014年1月29日開催の「TalendとActuateでビッグデータ資産をセキュアに活用する方法」における正金のセッションスライド

1. TalendとActuateでビッグデータ資産をセキュアに活用する方法
Talendビッグデータインテグレーション製品ご紹介
2014年1月29日（水）
15:00 – 17:30
Talend株式会社
©
Talend
2014
1

2. Talendのアプローチ：
進化が続くビッグデータテクノロジーへのポテンシャル
TALEND
TALEND PLATFORMS
ユニファイド
プラットフォーム
Big
Data
Data
MDM
Management
Data
Enterprise
Services
Integra7on
TALEND ENTERPRISE
スタジオ
Big
Data
Data
Integra7on
リポジトリ
デプロイ
ESB
TALEND OPEN STUDIO for
実行
Big
Data
Data
MDM
Data
ESB
BPM
Quality
Integra7on
ベスト・オブ・ブリード
監視
ユニファイドプラットフォー
ム
統合基盤の分野ごとに最良な製
品・テクノロジーの組合せ
全ての製品を統一した基盤技術上
で実現
包括的なインテグレーション
データ統合・アプリケーション統合・プロセス統合
©
Talend
2014
2

3. Talendのアプローチ：
進化が続くビッグデータテクノロジーへのポテンシャル
Java
SQL
Camel
Map
Reduce
……
コードジェネレーション
方式
標準・普及技術への準拠
ブラックボックエンジンと
ならない透明性の高い実装モデル
ベンダーロックインを除外し、
習得コストを削減
分散型アーキテクチャ
軽量コンテナによる分散型アーキテクチャが
実現するハイパフォーマンス処理の実現
©
Talend
2014
3

4. Talendのアプローチ：
進化が続くビッグデータテクノロジーへのポテンシャル
100,000
コミュニティメンバー
1,500 ベータテスター
500 ポスト/週
350+ コミュニティコ
ネクター
オープンソース
コミュニティに立脚した
開発手法
オープンスタンダートで
あり、柔軟性と拡張性を
重視
革命的な新技術への迅速な取り
組みとコミュニティメンバーに
よる貢献
サブスクリプションベースの課金
必要なときに必要な分だけ購入が可能
©
Talend
2014
4

5. Talendのアプローチ：
Talend製品にコネクターやコンポーネントを実装済みです
Redshi6
©
Talend
2014
5

6. HadoopによるDWHの最適化：
背景
最適化が必要となる背景
n レポートと分析業務が必要となるユー
ザーの増加
→ 特定部門から全従業員へ
n レポートを分析に必要なデータ量と種
類の増加
【参照】
hGp://techcrunch.com/2012/10/17/big-­‐data-­‐to-­‐drive-­‐232-­‐billion-­‐in-­‐it-­‐
spending-­‐through-­‐2016/
→ 構造化データのみならず
→ ビッグデータコストの市場予測は、
2016年に2,320億USDに
n 抽出元データソースの増加
→ 内部データのみならずオープンデータや
SNSデータ等の外部データによる補完
n 遅延の短縮要件
→ 1週間前から前日へ、要件によっては
1時間前の情報が要求される
©
Talend
2014
6

7. HadoopによるDWHの最適化：
何を最適化するのか？
従来のDWH環境
業務システム
ファイル類
ステージングエリア
DWH
データマート
分析・
レポーティング
ERP
Cloud / SaaS
DWH
DBMS
何を最適化するか？
アーキ
テクチャ
©
Talend
2014
ツール
設計
技術
7

8. HadoopによるDWHの最適化：
TalendユーザーにおけるHadoop適用例
Hadoop適用例1：コールドデータの保管場所
コールドデータ
：使用・アクセス頻度の低いデータ
ウォームデータ
：使用・アクセス頻度が中位のデータ
ホットデータ
：使用・アクセス頻度が高いデータ
Hadoop
©
Talend
2014
メリット：
n ストレージコストの削減
n コールドデータ退避によるDWHクエリの高速化
8

9. HadoopによるDWHの最適化：
TalendユーザーにおけるHadoop適用例
Hadoop適用例2：ステージングエリアへの適用
従来のDWH環境
業務システム
ファイル類
ステージングエリア
DWH
データマート
分析・
レポーティング
ERP
Cloud / SaaS
Hadoop
DWH
DBMS
メリット：
n 分析・レポーティングへの影響なし
n バッチ型のDWH前処理にMap&Reduce処理の適用が可能
©
Talend
2014
9

10. HadoopによるDWHの最適化：
TalendユーザーにおけるHadoop適用例
Hadoop適用例3：特殊用途DWHとしての適用
外部データ
ハイブリッドDWH
分析・
レポーティング
Hadoop
メリット：
n 既存の分析・レポーティングを補完
n 既存環境の運用への影響が少ない
n 既存環境との併用により、既存情報系資産の活用をレバレッジ
©
Talend
2014
10

11. HadoopによるDWHの最適化：
TalendユーザーにおけるHadoop適用例
Hadoop適用例4：ETL処理基盤としての適用
ビッグデータウェアハウス環境
Hadoop
ETL処理エンジン
メリット：
n より大量なデータの高速処理基盤を実現
n 処理をHadoop側によせることでコスト削減を実現
n そもそも既存DWHでは処理出来なかったビッグデータの実装が可能
©
Talend
2014
11

12. Talendビッグデータテクノロジーの適合性：
Hadoopインテグレーションにおける新たな要件
#
Hadoopサポートに関するデータ統合ツールの要件例
1
プッシュダウン処理方式
Ù 処理をMap
Reduceエンジンに展開できること
Ù Map
Reduceは、フィルタリング・文字列処理・数値演算・行列集計・
グループ集計・ソート等あらゆるデータ処理を拡張性に富む高速化
が行える
2
データ量への拡張性
Ù 大量データを処理するためにツール内で既に最適化されていること
3
NoSQLサポート
Ù HDFSに保管される構造・半構造・非構造データの処理方式へのアプ
ローチがあること
Ù それら半構造・非構造データとフラットなデータ構造との総方向変換
が可能であること
4
双方向性
Ù HadoopへのデータロードとHadoopからのデータ抽出が可能である
こと
5
スキーマオンリードへの
対応
Ù データを書き込むときではなく「読み込む」ときにスキーマを当てる
Ù データ活用・処理時の対応作業量への対処が必要
6
データストアへの透明性
Ù 低レベルなMap
ReduceのネイティブAPIに対する隠蔽化が可能であ
ること
Ù 従来型データストアとHadoopデータストアへのアクセスが同レベル
で可能であること
©
Talend
2014
12

13. Talendビッグデータテクノロジーの適合性：
Talendビッグデータ統合・連携基盤製品
開発・運用・維持管理までEnd-­‐to-­‐Endでサポートする統合連携基盤
ファイル類
ファイル連携
SOAP/REST
連携
SAP連携
ETL/ELT処理
Salesforce
連携
連携元システム-1
MQ連携
クラウド
基盤
PaaS,
SaaS,
DBaaS,
etc
ERP
連携元システム-2
Cloud / SaaS
DB
国内・海外
部支店
連携元システム-3
DBMS
連携元システム-n
CDC処理
Map
Reduce
処理
ジョブスケジューラ－機能
スケールアウト型分散実行機能
ビジネス
パートナー、
グループ会社
ビッグデータ
環境
Talendビッグデータインテグレーション製品の特徴
•
•
•
•
•
•
•
•
500以上のコンポーネント（処理部品）を標準で提供
豊富な部品と一般的に普及しているEclipseベースのGUIにより、プログラムレスで開発が可能
既存Javaライブラリの取組が可能な柔軟性
メタデータの自動取得と変更に対する自動検知
チーム開発をサポートする共有リポジトリとバージョン管理機能
100%
pure
Javaコードの生成によるブラックボックス化しない実行環境
複数分散サーバーで、分散実行が可能な拡張性に富むアーキテクチャ
成果物のデプロイ、スケジュール実行、稼働監視を行うTalend
Administra7on
Center等
©
Talend
2014
13

14. Talendビッグデータテクノロジーの適合性：
高い開発生産性を発揮する開発作業環境(1/2)
ビッグデータ統合処理の開発：
Talend
Studio
ワークスペースにグラフィカルに処理をデザイン
共有リポジトリビュー
コンポーネントプロパティを設定
©
Talend
2014
500以上のコンポーネント
14

15. Talendビッグデータテクノロジーの適合性：
高い開発生産性を発揮する開発作業環境(2/2)
ビッグデータ統合処理の開発：
データ変換とマッピングに高い柔軟性を提供
入力項目
©
Talend
2013
©Talend
2014
入出力項目の関係は
ビジュアルに表現
15
出力項目と変換定義
15

16. Talendビッグデータテクノロジーの適合性：
Hadoop用コンポーネント
Hadoopディシュとリビューションをネィティブにサポート
ビッグデータコンポーネント①
ビッグデータコンポーネント②
#
コンポーネント
1
HBase：
CDH上のHBaseに対して接続・クローズ、データ抽
出、データ反映をサポート
2
HDFS
：
CDH上の多様なファイル操作と非CDHデータのス
トリームでの入出力をサポート。
3
Hive
/
Hive2
：
HiveQLによるデータ抽出やより高度なクエリ、
ロード処理の実行をサポート
4
Pig
：
Pig
La7nによるビジュアルデータマッピングや多様
なPigコマンドの実行フローをサポート
5
Sqoop
：
Sqoopによる非HadoopデータのCDH環境への取
込みと出力
6
Oozie
：
OozieによるMap
ReduceやPigジョブのワークフ
ロー化を管理・監視
Sequence
file,
RC,
ORC,
Avro形式ファイルに対応
©
Talend
2014
※Kerberos認証を各所でサポート
16

17. Talendビッグデータテクノロジーの適合性：
Map Reduce処理をGUIで開発
➜
Map
Reduceジョブデザインワークスペースでインディケーターを表示
• 実行時にMapステップとReduceステップの進捗状況とステータスをリアルタイム表示
• Map
Reduceジョブのチューニングがビジュアルに可能
©
Talend
2014
17

18. Talendビッグデータテクノロジーの適合性：
Talend GUIで開発するHadoop Map Reduceジョブ
Map
ReduceジョブをTalendのGUIで開発～デプロイ～スケジュール運用
①Talend
Studio上でMRジョブを設定
②共有リポジトリに自動格納
③TACより実行スケジュールとともにHadoopマ
スタノードへ実行モジュールをデプロイ
④Hadoop
Map
Reduceジョブとして稼働
⑤TACよりOozieと連動して日々の稼働を監視
©
Talend
2014
18

19. Talendビッグデータテクノロジーの適合性：
ビッグデータ統合基盤の運用を支える統合運用監視機能
ビッグデータ統合基盤の運用：
Talend
AdministraRon
Center
Hadoop環境へのデプロイと
Oozieベースの実行スケジュール
ロールベースの
ユーザー管理
分散サーバーを一元で監視
※
ソースデータ収集処理の自動運転を実現
©
Talend
2014
実行監視と履歴分析
19

20. ビッグデータは検証プロジェクトから業務運用へ：
Talendのビッグデータ顧客事例
リスク計算の精緻化を実現：CiR
Bank様
Ù
Ù
Ù
かねてより運用していた信用リスクシステムの精緻・高度化にHadoop&Talendを活用
信用収縮に対する当局監査のプレッシャー
非正常先に格付け区分される融資先のなかから正常先に分類可能な債務者の発見
DWHのコスト削減としてご活用：Vodafone社様
Ù
Ù
Ù
５年分のCDR：通話明細記録をHadoopストア上に保管
既存のDWH環境であるOracle上では、コスト面で実現不可能であった
顧客情報とのマッチングによる高度な分析を行う基盤を実現
EU共通運転免許書運用基盤としてご活用：フランス内務省様
Ù
Ù
Ù
2013年よりEU諸国で発給される運転免許書の様式統一に向け、EU加盟国は発給済み免許
証の効力・記載事項等の統一が必要
新たなEU免許証ネットワークが設立され、発給・更新に関する情報照合の仕組みが急務
EU諸国からのデータ収集と地域毎に発給・更新される免許証情報の一元DWH化を実現
©
Talend
2014
20

21. ビッグデータは検証プロジェクトから業務運用へ：
ビッグデータ活用をレバレッジ
ビッグデータ環境と非ビッグデータ環境の双方向連携：自動運転を実現
Ù
Ù
Ù
Ù
Ù
GUI設定でHadoopネイティブのビッグデータ処理を構築可能
標準で約500のコンポーネントを内包
メタデータ管理、共有リポジトリや多彩なチーム開発機能を標準装備
ジョブスケジューラ－やフェイルオーバー機能などミッションクリティカルの要件を満たす
運用機能を標準装備
Javaによるハードコーディングに比較して1/4程度に製造工数を圧縮
Map
Reduce処理をGUIで開発・運用：高生産性の実現
Ù
Ù
Ù
Talend
StudioにてGUI部品の組み合わせでMap
Reduce処理を開発
Talend
Administra7on
Centerから、Oozieベースのジョブフロー運用を実現
Hadoop環境をDWHエンジンとして活用するための障壁を取り除く
サブスクリプションモデルによる親和性の高い課金モデル
Ù
Ù
Ù
Ù
Talendのサブスクリプションライセンスは、CPU・ノード数等のシステム規模に非依存
課金対象項目は、Talend使用ユーザー数と使用年数のみ
サブスクリプションには、年間保守料金を含む
データ量の不透明なビッグデータ環境に最適なライセンスモデル
©
Talend
2014
$
21

22. ご清聴有難う御座いました
Talend株式会社
〒107-0062 東京都港区南青山 5-10-13 デコパージュ南青山4F
オフィス：03-6427-6370 | sales@talend.jp
http://jp.talend.com | https://www.talend-bc.jp
©
Talend
2014
22