Introducing Talend at Basho Meetsup Tokyo #4

1. © Talend 2014 1
Talend
Big Data and NoSQLインテグレーション
2014年06月4日
Talend株式会社
Basho Meetup Tokyo #4

2. © Talend 2014 2
Basho and Talend：協業を発表（2014年5月19日）

3. © Talend 2014 3
©2014 BASHO TECHNOLOGIES INC. ALL RIGHTS RESERVED. ©2014 Talend KK ALL RIGHTS RESERVED.
と によるソリューション
• ビッグデータ統合ソリューションを提供
• 500以上の情報ソース接続コンポーネントを無償提供
• Riak用接続コンポーネントを標準装備
• Eclipseで開発されたデータ統合ツール「Talend Studio」
を使ってGUIベースの操作でデータ統合及びビッグデータ
統合を設計可能
• データ統合プログラムはコードジェネレーション方式
（jar形式）でオープンかつ可読可能
• Hadoop上でネイティブに稼働可能
• Riakは一般的なデータを格納する分散DBサーバー
• Key/Valueのデータモデルを採用しているため、データ永
続化が目的
• スケールアウトモデルで拡張性が高い
• 障害発生時でもデータの読み書きが可能
• 障害発生時でもデータを失わない
• 様々な処理を自動で行い、運用手順がシンプル
卓越した統合力 卓越した可用性
既存DBを高可用、高速に変えて分析 ビッグデータ統合してトランザクションシステム
へ
RDB
RDB
RDB
分析
レコメンド
エンジン
DMP
高頻度
トランザク
ション
Big Data
（大量）
Big Data
（多種類）
システム
社内にあるRDBのデータをRiakへ統合して、統合されたデー
タの分析やレコメンデーションエンジンにデータを提供
様々なビッグデータをRiakに統合し、RDBで構築されている
ようなトランザクションシステムにデータを受け渡す

4. © Talend 2014 4
Basho Riakとの連携機能
• 先ずは、「Talend Open Studio for Big Data」で試せます。
• Talend Open Studio for Big Data：OSS製品
- Apache Software License 2.0
- ビッグデータインテグレーション用製品
- GUIでデータ連携・統合処理を構築
- Javaソース生成による簡単・軽量な運用が可能
- データインテグレーション製品のコンポーネントにHadoop用コンポーネント
（HDFS, Hive, Pig, Sqoop, Hbase, etc）を追加
- NoSQL用コンポーネント（Riak, Neo4j, Couchbase, etc）を多数搭載
• Talend Enterprise Big Data：商用製品
- Talend商用ライセンス（30日間トライアルが可能）
- TOS for Big Dataにメタデータ管理や運用管理機能を拡充
- Map Reduce処理のGUI開発が可能
http://jp.talend.com/download

5. © Talend 2014 5
Talend today
 グローバル7ヶ国（フランス、米国、英国、ドイツ、日本、オランダ、イタリア）に営業・技術支援オフィスを展開。
従業員数400+
 本社：米国ロスアルトス（コーポレート機能）、仏パリ・北京（R&D）
 4,000+社の導入企業。全ての業種業態と企業規模をグローバルに網羅
 ビッグデータ統合、データクオリティ、MDM、ESB、BPM等、エンタープライズシステムで必要なインテグレーショ
ンテクノロジーを製品化
 主要顧客：Citi Bank, Bank of America, eBay, ドイツポストDHL, Orange等
 主要パートナー：アクセンチュア、NTTデータ先端技術、富士通ｿｰｼｱﾙｻｲｴﾝｽﾗﾎﾞﾗﾄﾘ、DIVA、ウルシステムズ、
グローバルウェイ、エアー、アイウェイズ、JPC等
Talend 会社紹介
うち*.jpドメイン：
1,000-1,500件/月
日本のコミュニティ
1,000+名・90+社登録
ブランド
認知
2,000万+
ダウンロード
コミュニティ
規模
100万
ユーザー
経営資源
4,000 社
導入企業
顧客
ロイヤリティ
86%
リニューアル
率

6. © Talend 2014 6
64% の企業がビッグデータ
プロジェクトを推進又は計
画中にある
統合テクノロジー市場のトレンド
IT要件の変化と進化
33%のユーザーが柔軟性や
先進性、短期開発によるメ
リットに言及
クラウドコンピューティン
グの興隆が内部・外部のシ
ステム統合・連携を必要と
する
よりリアルタイムにデータ
へアクセスすることが求め
られる
ビッグデータ クラウド
リアルタイム コミュニティ
64%
24/7

7. © Talend 2014 7
Forums：ユーザー掲示板
累計50,000+ポスト、9カテゴリ、21フォーラム、45,000+主要参加者、（平均500+ポスト/週）
Exchange：ユーザー作成部品（コンポーネント、サンプルジョブ、ルーチン等）
400+拡張部品、100+コントリビューター、70,000+ダウンロード
Connectors for BIRT、Google Analytics、Twitter、Apache Cassandra等
Babili：各国語化
69,000+ストリング、70+コミュニティ翻訳、15言語
その他コミュニティベースのプロジェクト
DataStage移行ツール（ETL Converter）､Excel reporting platform
Spatial Data Integrator (SDI)等
Bugtracker：バグトラッカー
7,000+課題レポート、3,000+テスターの参加
http://www.talendforge.org
Talend Forge：マスターコミュニティ

8. © Talend 2014 8
https://www.talend-bc.jp
Talend製品をより有効に活用して頂き、ビジネス創出をして頂くことを目的とした参加登録「無料」のコミュニティサイトです。
Talend SI & コンサルティングパートナーのアイウエイズ株式会社により運営されています。
マーケティング情報
テクニカルフォーラム
チュートリアル
コントリビューション
ビジネスフォーラム
ブログ
Talend、パートナー、
マーケットの最新
動向が分かる！
最新の技術情報を
入手するならここ
がお勧め！
Talend 製品の使用
方法を、試しながら
理解しょう！
ブログ参照・公開を
通じて手軽に本音
や情報を共有！
Talend に関連した
営業活動を展開でき
ます！
開発したTalend 用
のProjectやJobを公
開。コミュニティ・メン
バーに貢献！
★ 個人メンバーでも閲覧可能
★★ 個人メンバーでも参加可能
Talend ビジネスコミュニティ :日本のオフィシャルコミュニティ

9. © Talend 2014 9
YARN：全ての次世代型アプリケーションの基盤
• 極めて汎用性の高い資源（CPU、メモリ等）消費に対する
分散処理フレームワーク
• 全てのアプリケーションに対する性能とQoSを担保
• あらゆるアプリが、Hadoop「内」ではなくHadoop「上」で稼働
- Hadoop基盤の全ての共通サービス化を促進
• セキュリティ、データのライフサイクル、メタデータ管理
Source: Hortonworks
HDFS2 （冗長化、高信頼性データストア）
YARN （クラスタレベルのリソースマネジメント）
バッチ処理
(MapReduce)
インタラクティブ
(Tez)
ストリーミング
(Storm, Spark)
グラフ理論
(Giraph)
NoSQL
(MongoDB)
イベント
(Falcon)
オンラインDB
(HBase)
その他
（検索など）
アプリは全てHadoop上でネイティブに稼働

10. © Talend 2014 10
TALEND ENTERPRISE
Big Data Data Integration ESB
TALEND OPEN STUDIO for
Big Data Data
Quality
Data
Integration
MDM ESB BPM
Data
Management
Big Data MDM Enterprise
Integration
Data
Services
TALEND PLATFORMS
ユニファイドプラット
フォーム
全ての製品を統一した基盤技術上
で実現
ベスト・オブ・ブリード
統合基盤の分野ごとに最良な製
品・テクノロジーの組合せ
包括的なインテグレーション
データ統合・アプリケーション統合・プロセス統合
TALEND
ユニファイド
プラットフォーム
スタジオ
監視
リポジトリ デプロイ
実行
Talendのアプローチ：
進化が続くビッグデータテクノロジーへのポテンシャル

11. © Talend 2014 11
Talendのアプローチ：
進化が続くビッグデータテクノロジーへのポテンシャル
r
コードジェネレーション
方式
ブラックボックエンジンと
ならない透明性の高い実装モデル
Java SQL Map
Reduce
Camel ……
標準・普及技術への準拠
ベンダーロックインを除外し、
習得コストを削減
分散型アーキテクチャ
軽量コンテナによる分散型アーキテクチャが
実現するハイパフォーマンス処理の実現

12. © Talend 2014 12
Talendのアプローチ：
進化が続くビッグデータテクノロジーへのポテンシャル
100,000
コミュニティメンバー
1,500 ベータテスター
500 ポスト/週
350+ コミュニティコ
ネクター
オープンソース
オープンスタンダートで
あり、柔軟性と拡張性を
重視
サブスクリプションベースの課金
必要なときに必要な分だけ購入が可能
コミュニティに立脚した
開発手法
革命的な新技術への迅速な取り
組みとコミュニティメンバーに
よる貢献

13. © Talend 2014 13
Talend Open Studio for
Talend Platform for ….
Talend製品体系
Talend Enterprise
With
Big Data
With
Big Data
With
Big Data
Talend Enterprise
Data Integration
Talend Enterprise
Big Data
Talend Enterprise
ESB
Talend Platform for
Big Data
Talend Platform for
Data Management
Talend Platform for
Data Services
Talend Platform for
Master Data Management
Talend Platform for
Enterprise Integration

14. © Talend 2014 14
Talendのアプローチ：
Talend製品にコネクターやコンポーネントを実装済みです
Redshift

15. © Talend 2014 15
DEMO

16. © Talend 2014 16
概要
Hadoop
Name
Node
Hadoop
Node
Hadoop
Node
Hadoop Management Services (YARN)
Hadoop Security
HadoopIntegrationLayer
Native Open
DWH
Cloud
Apps.
ERPSNS IOT
 クリックストリーム分析
 センチメント分析（Twitter #）
 Apacheログ解析
デモ環境メモ：
H/W : 6CORE, 8GB Memory
仮想環境 : VMWare Player 6.0
ホストOS : MS Windows 8.1
ゲストOS : Cent OS 6.5(Final) 64bit
Hadoop : Hortonworks HDP 2.0
Talend Platform for Big Data 5.4.1
Oracle HotSpot JVM 1.6.0_45

17. © Talend 2014 17
Demo 1：クリックストリーム分析
Talend
HDFSへロード
Talend
Map Reduce処理
Talend
BI基盤へデプロイ
HADOOP
HDFS
Map
Reduce
WEBログ
Powered by
Google JSAPI

18. © Talend 2014 18
Demo 2：センチメント分析（Twitter #）
Talend
HDFSへロード
Talend
Map Reduce処理
Talend
BI基盤へデプロイ
HADOOP
HDFS
Map
Reduce
JSONレコード
Powered by
Google JSAPI

19. © Talend 2014 19
Demo 3：Apache WEBログ解析
Talend
HDFSへロード
Talend
Map Reduce処理
Talend
BI基盤へデプロイ
HADOOP
HDFS
Map
Reduce /
PIG
Apache ログ

20. © Talend 2014 20
ビッグデータは検証プロジェクトから業務運用へ：
Talendのビッグデータ顧客事例
リスク計算の精緻化を実現：Citi Bank様
 かねてより運用していた信用リスクシステムの精緻・高度化にHadoop&Talendを活用
 信用収縮に対する当局監査のプレッシャー
 非正常先に格付け区分される融資先のなかから正常先に分類可能な債務者の発見
DWHのコスト削減としてご活用：Vodafone社様
 ５年分のCDR：通話明細記録をHadoopストア上に保管
 既存のDWH環境であるOracle上では、コスト面で実現不可能であった
 顧客情報とのマッチングによる高度な分析を行う基盤を実現
EU共通運転免許書運用基盤としてご活用：フランス内務省様
 2013年よりEU諸国で発給される運転免許書の様式統一に向け、EU加盟国は発給済み免許
証の効力・記載事項等の統一が必要
 新たなEU免許証ネットワークが設立され、発給・更新に関する情報照合の仕組みが急務
 EU諸国からのデータ収集と地域毎に発給・更新される免許証情報の一元DWH化を実現

21. © Talend 2014 21
ビッグデータは検証プロジェクトから業務運用へ：
ビッグデータ活用をレバレッジ
Map Reduce処理をGUIで開発・運用：高生産性の実現
 Talend StudioにてGUI部品の組み合わせでMap Reduce処理を開発
 Talend Administration Centerから、Oozieベースのジョブフロー運用を実現
 Hadoop環境をDWHエンジンとして活用するための障壁を取り除く
サブスクリプションモデルによる親和性の高い課金モデル
 Talendのサブスクリプションライセンスは、CPU・ノード数等のシステム規模に非依存
 課金対象項目は、Talend使用ユーザー数と使用年数のみ
 サブスクリプションには、年間保守料金を含む
 データ量の不透明なビッグデータ環境に最適なライセンスモデル
ビッグデータ環境と非ビッグデータ環境の双方向連携：自動運転を実現
 GUI設定でHadoopネイティブのビッグデータ処理を構築可能
 標準で約500のコンポーネントを内包
 メタデータ管理、共有リポジトリや多彩なチーム開発機能を標準装備
 ジョブスケジューラ－やフェイルオーバー機能などミッションクリティカルの要件を満たす
運用機能を標準装備
 Javaによるハードコーディングに比較して1/4程度に製造工数を圧縮
$

22. © Talend 2014 22
金融サービス
保険
通信
サービス
製造業
流通小売り
公共機関
教育
導入顧客例

23. © Talend 2014 23
Contact us:
info@talend.com
Learn more:
www.talend.com
お問合せ：
GroupSalesJP@talend.com
WEBサイト：
http://jp.talend.com
ご清聴有難う御座いました