Recommended
More Related Content
What's hot
What's hot (20)
Similar to Talendデータ・ファブリック・ソリューションの概要
Similar to Talendデータ・ファブリック・ソリューションの概要 (20)
More from QlikPresalesJapan
More from QlikPresalesJapan (20)
Talendデータ・ファブリック・ソリューションの概要
- 2. 2 TECH TALKとは？ Qlik & Talendの製品や機能の中から 特定のテーマを取り上げて、 技術的な情報を発信していくセミナーです。
- 3. 3 Q&Aについて • 質問はZoom画面下のQ&Aアイコンをクリックして入力してください。 • 質問に対してQlikパネラーが随時Q&Aパネルで回答します。 • 質問と回答については、セミナーの最後に他の参加者に共有させてい ただきます。
- 4. 4 本日の動画と資料について • 本セッションの資料と動画は後日TechPlayのレポートで公開さ れます。 • 以前のセッションにつきましては、YouTubeのプレイリスト、 Slideshareをご覧ください。 • SlideShareからのPDF版資料のダウンロードは、SlideShareへ の登録が必要となります。
- 6. アジェンダ 6 • 弊社のご紹介と製品概要 • Talend製品のご紹介 Talend Studio Talend Data Quality Talend Data Stewardship Talend Data Inventory Talend Data Pipeline Talend Data Preparation Talend API Designer/Tester Talend Data Catalog Talend Stich • イベントのご案内
- 7. 弊社のご紹介と製品概要
- 8. 8 8 8 データ統合＆品質 分析 基本サービス アプリケーション 自動化 カタログと リネージ セキュリティと コンプライアンス データ & SAP コネクター レプリケーションと CDCストリーミング ELTとデータウェアハウ ス 自動化 アラートと アクション ビジュアライゼーショ ンと ダッシュボード 拡張アナリティクス 組込アナリティク ス AutoML レポーティング API 生成 オーケストレーショ ン + + SaaSアプリ コネクター ETL/データ変換 データ準備 品質と ガバナンス + + + +
- 9. データウェアハウス/データレイク データソース Qlik & Talendのポートフォリオ概要 RDBMS メインフレー ム クラウドサービ ス Webサービス ファイル 変換 データ蓄積基盤 データ活用基盤 データ連携基盤 マスターデータ管理 アプリケーション自動化 データカタログ アナリティクス 機械学習/AI データ準備 API連携 バッチ連携 データ変換 • データクレンジング • データスチュワードシップ • プロセス連携 • 帳票配信自動化 • メタデータ検索/探索, ビジネスグロッサリー, データリネージ • インパクト分析, データプロファイリング, ドキュメンテーション • データインベントリ • データプレパレーション • データパイプライン • データAPI連携 Studio Studio データローダー Stitch リアルタイム連携(CDC) データウェアハウス自動化 Replicate Compose Qlik Cloud Data Integration Data Quality Data Stewardship App Automation Reporting Service Data Catalog API Designer/Tester Studio Data Inventory Data Preparation Data Pipeline Qlik Sense AutoML
- 10. Data Fabric (データファブリック)とは 分散しているシステムを統合しユーザー誰もがデータを使いやすくする運用コンセプト 10 データファブリックを導入すると何ができますか？ • オンプレミスや複数のクラウドプラットフォームで個別 に 管理されているデータを連携しデータ利活用を効率化し ます データファブリックを導入するメリットは？ • データを利用するための労力の削減 • まちがったデータを使用したことによるロスの低減 • データドリブンなビジネス戦略による競合他社優位性 データファブリックを形作るものは何ですか？ • コンピューターシステムだけでなく人間の能力も活用し た取り組み • ミッションクリティカルシステムとして日々運用される データ連携フロー（バッチ、リアルタイム）＋データ利 活用を促進するセルフサービスアプリケーション
- 11. Talend Data Fabric データカオスの解消 多種多様なデータが乱立する、いわゆるデータカオスを解決しデータを統制します。 データ連携とデータガバナンスを単一プラットフォームとして提供します。 多様なデータ利用者のニーズに対応 データ利用者のニーズは役割やユーザー特性によって様々。用途別アプリケーションを 多角的に提供し、データ利活用の生産性を向上します。 企業におけるデータ利活用を効率化する統合データマネージメントプラットフォーム データ スチュワードシッ プ データ カタログ データ統合開発 (ETL/ELT) データ プレパレーショ ン システム連携開 発 (API) データ 品質 データ インベントリ データ パイプライン 11 Talend Data Fabric IT部門 / システム開発者 ビジネス部門 / データエンジニア
- 12. Talend Studio
- 14. データ統合アプリケーションの開発 GUI統合開発環境 Talend Studio • データ抽出 • 構造変換 • データ加工 • コード変換 • データロード • GUIベースのデータ統合/データ連携開発環境 • 機能別部品を接続するシンプルな操作性によりデータ統合のフローを容易に開発 • データ統合の様々な局面をサポートする充実した機能 • 開発とデバッグの同時進行、仕様書やテストの自動生成といった支援機能が豊富 14 データソース ERP/CRM DBMS ファイル クラウド Webサービス データターゲット ERP/CRM DBMS ファイル クラウド Webサービス
- 17. 並列化処理 データフローをマルチスレッド化する多くの方法を提供 データ分割することなく任意のスレッド数を定義し処理を並列化 方法1: データフローの並列化 方法2: データロードの並列化 方法3: 処理フローの並列実行 17
- 20. Data Quality：データプロファイリング データプロファイリング：対象データのデータ品質を多角的に分析 プロファイリング結果をグラフ化し、正常データと非正常データ分類作業を効率化 分析 対象データ 20 有効性 データがビジネスに適した 状態になっているか？ 正確性 データが正しく実状を反映 しているか？ 適時性 データが最新の状態になっ ているか？ 一貫性 複数のシステムでデータ表 記が統一されているか？ 完全性 含まれるべきデータが欠落 していないか？ 保全性 複数のデータ間での関係に 統一性があるか？ 構造分析 • テーブル数、行数 • インデックス数、プライマリーキー数 カラム分析 • Unique値、Distinct値、重複値のカウント • パターン出現頻度 • 正規表現マッチング テーブル分析 • カラムの相互依存度 • ビジネスルールの検証 • 重複と重複が疑われる行のマッチング クロス テーブル分析 • プライマリーキーと外部キーのマッチング • データのオーバーラップを分析 相関分析 • 数値/日付カラムと属性カラムの相関 • 同一テーブル内の属性カラム間の相関 分析結果をもとにデータ クレンジング処理を開発
- 25. データ統合 開発（ETL） データ クオリティ データ品質プロセス • データ統合と密接に連携しデータマネージメントフローの中でデータ品質を向上 • 3つのフェーズをサポート データ プロファイリング データ クレンジング データ スチュワードシップ • 自社ルールに対してデータ の品質をチェックするアセ スメント • 異常データの検出 IT部門 • プロファイリング結果を もとにETL処理を実装 • グルーピング • マッチング • ふるい分け IT部門 • 機械的な処理でクレンジン グしきれなかったデータを 「人手」でクレンジング ビジネス 25 データ スチュワード シップ
- 26. Talend Data Stewardship：データ標準化 ４つのデータキュレーション（データ標準化）キャンペーンを提供 26 • データクレンジングからデータ分類、重複したデータからゴールデンレコードを生成など、多様な データ標準化要件に対応
- 27. ETL + Data Stewardship マスターデータに対するクレンジングをITとビジネスで協力して対応 ロジカルな処理でチェックできる範囲 異常の原因が特定できず人手によるチェックが必要な範 囲 Talend Data Stewardship を使ったデータチェック Talend Studio を使った データクレンジング IT部門 データ統合 開発者 ビジネス部門 データ標準化 担当者 27 機械的に処理 マニュアルチェッ ク
- 29. 29 Talend Data Inventory 高度な検索と 自動プロファイリング データ 信頼度スコア ソーシャル キュレーション データ利用 Self Service APIs Pipeline Designer Data Preparation 多種多様なデータセットを一元管理しスコア化
- 31. Talend Data Inventory：データセット管理 信頼度スコア ユーザー評 価 クオリティ バー 31 • 多様かつ大量なデータのなかから、信頼できるデータにすばやくアクセス • 企業データを診断しスコアリングすることにより、データ利活用の意思決定を促進
- 32. Talend Data Inventory：スコアリング • 多様かつ大量なデータのなかから、信頼できるデータにすばやくアクセス • 企業データを診断しスコアリングすることにより、データ利活用の意思決定を促進 32 信頼度スコ ア データ品質 ユーザー評価
- 34. 34 Talend Pipeline Designer バッチ ストリーミング スキーマ オンリード Python による拡張 Talend Cloudによる 自動スケーリング データサイエンティストなどを対象と した データエンジニアリングWebアプリ
- 35. Talend Pipeline Designer • ノーコードによる高い開発生産性＋Pythonによる拡張性 • データ加工処理を追加するとすぐに結果を確認できるデータプレビュー 35 パイプライン エディタ データ プレビュー 設定画面
- 39. Talend Data Preparation：レシピの作成 39 • データ準備の操作（手順）は自動的に保存（レシピ） • 操作中の加工にくわえ、再利用や他ユーザーとの共有が可能 クレンジング処理（レシ ピ）の作成・保存 Excelライクな データ表示 （直接編集が可能） データプロファイリン グ結果のチャート表示 クオリティーバーによる データ状況の可視化
- 40. Talend API Designer/ Tester
- 42. APIデザイン 実装 テスト 運用 APIデザインと ドキュメンテーション Webアプリケーション の開発 APIテストの 開発と実施 APIの デプロイメント 設計からテスト、ドキュメント生成、実装、デプロイまでのAPI開発ライフサイクルを 統一された環境として提供 API開発からデプロイまでをトータルサポート 42
- 47. データカタログ データ レイク DWH DM ERP ファイル Excel BI CRM ETL - カタログ導入前 - • どこにあるのか？ • どういう意味なのか？ • どう使われているのか？ • 何を使えばいいのか？ • 関係性は？ Talend Data Catalog • シングルインターフェース • 検索と可視化 • メタデータ＋ビジネス用語 • 来歴/インパクト分析 • プロファイリング • 多様なシステムのメタデータをカタログ化、データ利用ユーザーを強力にサポート • データ所在、来歴、サンプル、ビジネス用語などへの簡単なアクセスを提供 47
- 48. データ統合基盤とデータカタログの連携 既存システム ERP CRM DBMS M/F データ統合基盤 データ蓄積基盤 （データレイク） セルフサービス基盤 ETL クレンジング 名寄せ マスターデータ整備 プレパレーション BIツール データカタログ基盤 Talend Data Catalog メタデータ管理 カタログ検索 リネージ インパクト分析 ビジネス用語集 データプロファイリング コメント 利用ログ 48 データ統合基盤に含まれる各種システムを網羅的にサポートしカタログ化
- 51. Stitch
- 52. Stitch：クラウドデータのインジェクション 52 データレイクへのデータロード（データ抽出）自動化を短時間でセットアップ ターゲット ERP/CRM DBMS オンライン ストレージ クラウド • 130以上のソースからデータウェアハウスにデータを迅速に移動 • コーディングの必要がなく短期間でデータを活用フェーズに • データソースからターゲットに流れるデータを完全にコントロール Stitch
- 53. Stitchの優位性 53 データレイクへのデータロード（データ抽出）自動化を短時間でセットアップ • 130以上のソースに対応。それ以外にもImport APIや他システムへの接続SDKを提供 • オートスケーリングによる高パフォーマンス データ抽出 • キーベース、ログベースによるレプリケーション（差分抽出） • テーブルのスキーマ変更への自動対応 • 実行頻度を最小1分に指定でき、ニアリアルタイムに対応
- 55. Stitch：データ移行設定ステップ 55 ソース（Integration）の設定 ２つのステップでデータ移行を設定 ターゲット（Destination）の選択 設定項目 • システム • データセット • フィールド • オプション 実行して結果の確認 ステップ1 ステップ2 ステップ3
- 56. イベントのご案内
- 58. 58 58 ウェビナーでのQ&A 質問 回答 Qlik Senseのように、Webブラウザ経由で使用できるのでしょうか。 それとも、ユーザーごとにソフトウェアをインストールする必要が あるのでしょうか。 Talend Studioはインストールして使う統合開発環境です。Data Inventory やPipeline Designerなど一部はTalend Cloudというクラウド版として提供 されています。 Talend StudioをサポートするOSなどは下記を参照してください。 https://help.talend.com/r/ja-JP/8.0/installation-guide-windows/compatible- operating-systems Talend StudioやTalend Data Catalogなどの製品ごとにサーバーを分 ける必要がありますか？また、最低限必要なサーバースペックはど の程度ですか？ カタログはハードウェア内で他のアプリケーションとの共有ができません。 StudioはIDEなので特にそういった制限はありません。 下記を参照してください。 https://help.talend.com/r/ja-JP/8.0/installation-guide-windows/hardware- requirements QlikのようにExcelのクロステーブル読み込みは可能でしょうか？ Talend StudioでExcelの処理が可能です。そのまま読み込むこともできま すし、Unpivotする処理コンポーネントがありますので、データを縦持ち に変換することも可能です。 https://help.talend.com/r/ja-JP/8.0/delimited/converting-columns-to-rows tFileInputExcelコンポーネントについては下記を参照してくだい。 https://help.talend.com/r/ja-JP/8.0/excel/tfileinputexcel
Editor's Notes
- DREW So while we will, as we did with Attunity, continue to support data integration and analytics independently of each other, taken as a whole the combination of Qlik and Talend creates the market leader proving data professionals with data integration, quality and analytics from a singular cloud platform. That is represented by leadership in each market and the ability to increasingly exploit shared services between the domains. Of course, its not just about Talend. We have made significant and I think truly breakthrough investments organically as well, based as I said earlier on your feedback in both data integration, in particular bringing data integration to Qlik Cloud with new data movement and transformation capabilities, and of course doubling down on analytics leveraging AI and ML as well as automation to drive action from insights. Our ecosystem remains a key part of our story, particularly our technology partners. We continue to make investments across the platform to deepen the integration and further our partnership with them including AWS, DataBricks, Google, Microsoft and Snowflake. Many of whom are represented at this event. So lets look in a bit more detail at each of these areas.
- 弊社のもうひとつのビジョン、コンセプトが「データファブリック」です。 データファブリックとは分散しているシステムを統合しユーザー誰もがデータを使いやすくするための設計/運用コンセプトです DBMS、CRM、ファイルストレージ、クラウドサービスなどデータに関連する多種多様なシステムが横糸、 IT部門、ビジネスユーザー、データアナリストなどデータを扱う必要がある異なるペルソナのユーザーが縦糸、 縦糸と横糸を織り合わせてつくられるファブリックがデータとユーザーの架け橋となります
- ■スクリプト Data Healthを実現するのが、Talend Data Fabricです。Talend Data Fabricを使用すると企業におけるデータカオスを解消しデータがビジネスの成果に直結するように基盤を整備することができます。データ連携やデータガバナンスなどの基盤を整備することができるプラットフォームをクラウドサービスとして提供します。 データの利活用は、データを整備するIT部門＜クリック＞とデータを利用するユーザー部門＜クリック＞の両者を主眼に置くに必要があります。ひとくちにデータ利活用と言ってもニーズは役割やユーザー特性によって様々です。これに対応するためにTalend Data Fabricには用途にあわせた専用のアプリケーションがこのように多く用意されており、細かいニーズに対応することができるようになっています。 ■問いかけ 本日はこのなかからｘｘｘをご紹介する予定ですが、他に興味のある、詳しく知りたいアプリケーションはありますでしょうか？