Talend Cloudの管理プラットフォームTalend Management Consoleのご紹介

Talend Cloudの管理プラットフォーム
Talend Management Consoleのご紹介
Qlik TECH TALK
クリックテックジャパン株式会社
2024年4月2日

TECH TALKとは？
Qlikの製品や機能の中から
特定のテーマを取り上げて、
技術的な情報を発信していくセミナーです。

• 質問はZoom画面下のQ&Aアイコンをクリックして入力してください。
• 質問に対してQlikパネラーが随時Q&Aパネルで回答します。
• 質問と回答については、セミナーの最後に他の参加者に共有させていただきます。
Q&Aについて

• 概要
• Talend Data Fabric
• Talend Management Console
5

• 本セッションでは、Talend Management Consoleの主要な機能について説明します。
Talend Management Consoleは、タスクの実行をスケジュールおよびフォローアップをするだけでなく、
ユーザー、ロール、ユーザーグループ、プロジェクトを作成する管理コンソールとしても使われます。Talend
Studioではクラウドツークラウド統合ジョブやハイブリッド統合ジョブをデザインし、Talend Management
Consoleに公開できます。
• Talend Management Consoleの主な機能
• ロール、ユーザー、ユーザーグループの作成
• プロジェクトの作成
• 利用できるライセンスの確認
• タスクの統制および管理
• タスク実行の監視
6
概要

ビジネス部門 / データエンジニア
IT部門 / システム開発者
Talend Data Fabric
データカオスの解消
多種多様なデータが乱立する、いわゆるデータカオスを解決しデータを統制します。
データ連携とデータガバナンスを単一プラットフォームとして提供します。
多様なデータ利用者のニーズに対応
データ利用者のニーズは役割やユーザー特性によって様々。用途別アプリケーションを
多角的に提供し、データ利活用の生産性を向上します。
データ
スチュワード
シップ
データ
カタログ
データ統合
開発 (ETL/ELT)
データ
プレパレーション
システム連携
開発 (API)
データ
クオリティ
データ
インベントリ
データ
パイプライン
8
企業におけるデータ利活用を効率化する統合データマネージメントプラットフォーム

Talend Data Fabric製品構成
Talend
9
Talend Data Fabric
Talend Data Fabricに含まれる機能モジュール
Talend Data Inventory
データセットの管理とスコアリング
Talend Pipeline Designer
データエンジニア向けETL開発
Talend Data Preparation
データ分析の前処理（データ準備）
Talend Data Stewardship
ビジネス向けデータキュレーション
Talend API Designer/Tester
API開発支援ツール
Talend Data Catalog
システム横断データカタログ
Talend Studio
データ統合/データ連携開発
Data Quality
データプロファイリング/分析
Management Console
ジョブ管理/スケジューリング
Cloud Engine/Remote Engine
ジョブ実行エンジン
オプション製品
Talend Data Fabricは基本機能とオプション製品があります

Talend Data Fabric：クラウドサービス
Talend
Cloud
ERP/CRM
DBMS
CSV/JSON
クラウド
Webサービス
ERP/CRM
DBMS
CSV/JSON
クラウド
Webサービス
ハイブリッドクラウド
運用管理サーバーはクラウド、
実行サーバーはプライベートネットワー
ク内という構成にすることにより、セキュ
アなデータを
プライベートネットワーク内で
処理
大量データ処理に対応
実行サーバーをスケールアップ、スケー
ルアウトすることにより大量データに容
易に対応
プライベートネットワーク
データ統合
実行サーバー
メタデータ
処理データ
データカタログ
10
管理サーバーをSaaSで提供することにより、サーバー環境の管理負担を低減

Talend Cloudアーキテクチャ
Talend
Studio
開発環境
Gitリポジトリ
Talend Cloud
データフロー
ターゲット
システム
ソース
システム
ETL実行環境
Remote Engine
メタデータフロー
API
API/ESB
Remote Runtime
参照
システム
System
System
API
連携先
システム
API開発
API
Designer
Tester
セルフサービスアプリケーション
Data
Inventory
Pipeline
Designer
Data
Preparation
Data
Stewardship
11
バージョン管理
実行サーバー
Cloud
Engine
データ統合ジョブ管理
Management
Console
• ライセンス/ユーザー管理
• データ統合ジョブ管理
• スケジューリング
• モニタリング
• CI/CD 環境管理

Talend Data Fabric製品構成
Talend
13
Talend Data Fabric
Talend Data Fabricに含まれる機能モジュール
データセットの管理とスコアリング
Talend Data Stewardship
ビジネス向けデータキュレーション
Talend API Designer/Tester
API開発支援ツール
Talend Data Catalog
システム横断データカタログ
Talend Studio
データ統合/データ連携開発
Data Quality
データプロファイリング/分析
Management Console
ジョブ管理/スケジューリング
Cloud Engine/Remote Engine
オプション製品
Talend Data Fabricは基本機能とオプション製品があります

Talend Data Fabricアーキテクチャ
開発環境
Talend Studio Gitリポジトリ
Talend Cloud
データフロー
ターゲット
システム
ソース
システム
実行サーバー
Remote Engine
14
実行サーバー
Cloud
Engine
Management
Console
• データ連携ジョブ管理
データ連携ジョブ管理
HTTPS
アウトバウンド
セルフサービスアプリ
• Talend Data Inventory
• Talend Pipeline Designer
• Talend Data Preparation
• Talend Data Stewardship
• Talend API Designer/Tester
Talend
Data Fabric
Talend Studio
データ統合/連携開発
Talend Data Quality
データプロファイリング
Management Console
ジョブ管理サービス
Cloud/Remote Engine

15
管理サーバー環境の
構築と運用が不要
GUIによる
簡易な操作性
ジョブのスケジューリング
とモニタリング
Management Console
アプリケーション実行やシステム運用
管理Talend Cloudコンソール
•ロール、ユーザー、ユーザーグループの作成
•プロジェクトの作成
•利用できるライセンスの確認
•タスクの統制および管理
•タスク実行の監視

Management Console：ライセンス/ユーザー管理
Management
Console
16
ライセンスやユーザー、ロール、グループを管理
ロール、ユーザー、プロジェクト、ライセンスが管理可能
・クラウドアプリケーションの新しいユーザーを作成
・カスタムグループに割り当て
・ロールの定義およびユーザーに割り当て
・ライセンスファイルのインポート
・Webユーザーのデータおよびファイル転送、データインテ
グレーション、共有データソースへのアクセスを有効化

Management Console：ジョブ管理
Management
Console
17
Talend Studioでビルドしたデータ統合ジョブ（アーティファクト）を管理
•Talend Cloudにジョブの公開
•Cloud Engineでジョブの実行

Management Console：スケジューリング
18
Management
Console
日次/週次/月次やCronによるスケジューリング、Webhookによるトリガ起動、
複数ジョブを連携するジョブフロー（プラン）による細かなジョブ実行制御を提供
•実行プランの作成およびスケジュール

Management Console：モニタリング
19
Management
Console
ジョブ実行状況と結果の確認、ログの参照とダウンロード、メールによる通知機能

• ユーザー、ユーザーグループ、およびロールの作成と管理
• セキュリティ管理者は、ユーザーの作成、グルーピング、ユーザーへのロールの付与が可能
• ユーザータブ
• ユーザーの作成と削除
• ユーザーグループへのユーザーの追加
• 事前設定済みロールの割り当て
• パスワードポリシーのアップデート
• ロールタブ
• ユーザーロールの作成または削除
• ユーザー権限の管理、
• ユーザーへの権限の割り当て
• グループタブ
• ユーザーグループの作成や削除
• ユーザーの追加
20
Management Console画面
ユーザーとセキュリティ

• 環境
o 他の環境に影響を与えずに、タスクを単独で実行可能
o 必要なリソース(接続、エンジンなど)を割り当て可能な自己完結型のスペース
o 本番、テストセットを区別するなど、さまざまなシナリオに利用可能
o 各環境はさらにワークスペースに分類されており、ユーザーグループに異なる権限を付与可能
• ワークスペース
o 事前定義済み権限のセットが含まれる
o 選択されたユーザーが共同で実行するタスクやプランを準備
o ワークスペースに割り当てられたエンジンにアクセス
o ワークスペースは環境内にいくつでも作成可能
o アーティファクト、タスク、プラン、接続、リソースの共有に使用
o 事前定義された権限により、ユーザーをワークスペースに追加可能
o ユーザーのロールがワークスペースに影響しない
o グループをワークスペースに追加できない
21
環境

• 管理画面はワークスペース、プラン、タスク、アーティファクト、接続、リソースを管理します。
o ワークスペース概要
• 環境内の各ワークスペースの概要を表示
o プラン
• ジョブタスクまたはパイプラインタスクをの操作をスケジュール
• 複数タスクを組合せ可能
• 新規プランの追加
• 作成済みプランはリストから詳細設定画面に遷移可能
22
管理

o タスク
• Talend Studioから公開されたジョブアーティファクトを含んでいる実行可能な統合プロセス
• Talend Studioから公開されたアーティファクトを特定の実行設定と組み合わせ
• タスクの作成にはジョブの作成、編集可能でAuthor権限が必要
• 新規タスクの追加
• 作成済みタスクはリストから詳細設定画面へ遷移可能
23
管理

o アーティファクト
• Talend Studioで作成したジョブ、ルート、データサービス(アーティファクト)をクラウドに公開し、
Talend Management Consoleの特定ユーザーやすべてのユーザーが利用できるようにします。
• Talend Cloudで、デフォルトのOperatorロールかManagement Consoleへのアクセス権限が割り
当てられていること
• アーティファクトの詳細はリストから遷移可能
24
管理

Talend Cloudアーキテクチャ
Talend
Studio
開発環境
Gitリポジトリ
Talend Cloud
データフロー
ターゲット
システム
ソース
システム
ETL実行環境
Remote Engine
API
API/ESB
Remote Runtime
参照
システム
System
System
API
連携先
システム
API開発
API
Designer
Tester
セルフサービスアプリケーション
Data
Inventory
Pipeline
Designer
Data
Preparation
Data
Stewardship
25
バージョン管理
実行サーバー
Cloud
Engine
Management
Console

• 2,000以上のコネクターと
コンポーネント
• 汎用コードの自動生成
• ドラッグ＆ドロップツール
による直感的なUI
• 共有リポジトリ
26
Talend Studio
データ統合/データ連携の統合開発環境

27
データ統合アプリケーションの開発
• GUIベースのデータ統合/データ連携開発環境
• 機能別部品を接続するシンプルな操作性によりデータ統合のフローを容易に開発
• データ統合の様々な局面をサポートする充実した機能
• 開発とデバッグの同時進行、仕様書やテストの自動生成といった支援機能が豊富
GUI統合開発環境
Talend Studio
• データ抽出
• 構造変換
• データ加工
• コード変換
• データロード
データソース
ERP/CRM
DBMS
ファイル
クラウド
Webサービス
データターゲット
ERP/CRM
DBMS
ファイル
クラウド
Webサービス

Talend Cloud
28
ERP/CRM
CSV Excel
JSON XML
Web
サービス
DBMS
データ利用
ユーザー
Trust
Score
. . .
. . .
. . .
. . .
GUI
GUI
Self Service APIs
OData
データエンジニア向けセルフサービス型ETL開発ツール

Talend Pipeline Designerアーキテクチャ
Gitリポジトリ
リソース管理
社内システム
パイプライン実行
Remote
Engine
Talend Cloud
データフロー
• Pipeline Designerを使用してパイプラインを開発しTalend Cloudにデプロイ
• パイプラインのスケジュール実行はRemote Engine/Cloud Engineから選択可能
パイプライン実行
Cloud
Engine
パイプライン開発
Pipeline
Designer
Talend
29
ERP/CRM CSV Excel
JSON XML
Web
サービス
DBMS
管理コンソール
Management
Console

• プロジェクト
o GitHub などの Git バージョン管理ソリューション
を使用してリモートプロジェクトを作成可能
o プロジェクトに追加されたユーザーは、Talend
Studioからソースリポジトリーにアクセス可能
o 開発者はソースリポジトリーの同じアーティファクト
に対して共同作業が可能
o Talend Studioの作業内容をプロジェクトにマー
ジすることが可能
30
プロジェクト

Talend Studio
31
Git連携によるバージョン管理
複数の開発者が単一のプロジェクトで作業する際、ジョブのデザインやメタデータなどリポジトリー
の情報をGitなどの中央リポジトリで一元管理しすることで、共同作業を行うことができます。
ブランチ間の競合を解決するための比較エディターも提供しています。
GitHub
Push
Pull

• Remote Engine
o Talend Management Consoleによって管理され、
タスク実行に使用されるエンジン
o ユースケースにより、Remote Engineを顧客のローカ
ルネットワーク内、リモートネットワーク内、クラウド上にイ
ンストール可能
o Talend Management ConsoleとRemote
Engine間の通信は安全であり、タスクに関連するメタ
データ(実際のデータではなく)のみがTMCと共有される
32
処理中（Processing）

Cloud / Remote Engine
開発環境
Talend Studio Gitリポジトリ
Talend Cloud
データフロー
ターゲット
システム
ソース
システム
実行サーバー
Remote Engine
33
実行サーバー
Cloud
Engine
Management
Console
• データ連携ジョブ管理
データ連携ジョブ管理
HTTPS
アウトバウンド
• Talend Data Inventory
• Talend Pipeline Designer
• Talend Data Preparation
• Talend Data Stewardship
• Talend API Designer/Tester
Talend
Data Fabric
Talend Studio
データ統合/連携開発
Talend Data Quality
データプロファイリング
Management Console
ジョブ管理サービス
Cloud/Remote Engine

• プロモーション
o 単一のクラウドアプリケーションでソフトウェア開発の
ライフサイクルを管理可能
34
プロモーション

o 接続
• タスクとは別に、外部システムへの接続を作成
• 環境が異なる複数のターゲットシステムに対して接
続を作成
o リソース
• Talend Studioアーティファクトでファイルシステムのリ
ソースをやり取りする場合と同じく、タスクで使用す
るファイルやディレクトリーを保存するためのクラウド
データソースとしてTalend Management Consoleを
使用できます。
35
管理

• オペレーション
o 単独タスクまたはプラン実行の検査から過去の実行の表示までを対象とする監査機能
o 一定期間または特定のワークスペースに関する実行をステータス別に表示
o 実行中のジョブをモニタリング
o エラーログ管理
o メールによる通知
o ジョブ、プランなどの詳細ログはリストから遷移可能
36
オペレーション

39
Qlik Japanプリセールスチームは
オンラインでの技術情報提供を推進しています。
グループをフォローすると、新規イベントの通知が届きます。

Webセミナーやイベントにご参加ください！
技術セミナー
LT形式Tips共有
技術イベント医療・ヘルスケア関連
トレーニング

Webセミナーの資料はレポートで公開します。
TechPlayの申込ページの
「イベントレポート」のタブから、資料
と動画をご覧いただけます。

42
Webセミナー過去動画・資料
https://www.slideshare.net/QlikPresalesJapan/present
ations
https://youtube.com/playlist?list=PLTGfcjhh8Hh5aTTk-PDzg-
dEhCtvh5IJ0
YouTube プレイリスト TECH TALK Slideshare QlikPresalesJapan

43
Qlik Tips プレイリスト
Qlik 使用のちょっとした技術やコツを短い動画でご紹介しています。
https://www.youtube.com/playlist?list=PLTGfcjhh8Hh5a6vjjOlBa7mAtL2H0hw7K

Qlik Sense Business 入門ハンズオンWebセミナー
ハンズオンWebセミナー
Qlik Sense Business のセットアップから分析・コラボレーション
まで一通りの分析ワークロードを 1時間ほどで体験いただき、基本的
な機能や操作について理解いただける内容となっています。
※Qlik Sense Business と Qlik Sense Enterprise Client-Managed で
は基本的な操作はほぼ同じですが、一部画面や手順が異なる場合もあります。
https://pages.qlik.com/JPN_QSBeginner_Webinar.html?utm_med
ium=internal&utm_source=QlikWeb&utm_team=Web
Qlik Sense アプリ開発アドバンスト
Qlik Sense 売上管理ダッシュボードの作成
架空の会社のCEOとセールスマネージャーの要件をもとに、
Qlik Sense で売上管理のアプリを作成します。ビジネスアナ
リスト向けの実践的なアプリ開発の実習として、データは既に
データアーキテクトにより整理されているものとし、ロードスク
リプトによる加工は行いません。
・要件の理解
・KPI、軸、メジャーの決定
・データマネージャーによるデータ準備
・ダッシュボード画面の作成（画面設計、チャートの選択、
マスターアイテムの登録、数式の記述など）
Qlik Senseのアプリ開発における基本的な操作を学習し
た方に向けて、より実践的なアプリ開発のスキルを学習でき
るハンズオンセミナーを実施します。
・ロードスクリプトによるデータ取込
・データモデリング
・基本的な集計関数
・自由な集計を実現するSET分析
・頻出のチャート関数
・QVDファイル
https://pages.qlik.com/QlikHandsonWebinarSeries_Re
gistration.html

セミナー動画・事例紹介
・デモ・新機能紹介
Qlik Japan Youtube
Qlik Community Japan
製品・技術Q&A、製品関連資料
Qlik Showcase
日本語アプリの公開
Qlik Japan Blog
製品・技術情報の公開
その他の情報もご利用ください。

「Qlik Sense 参考書」好評発売中
Qlik Sense ユーザーのためのデータ分析実践バイブル
・判型：B5 変・総ページ数：～480 ページ程度
・予価本体：4,200円 (+税)
• QlikSpaceの記事をベースに、書籍用に大幅
にカスタマイズ＆加筆
• 1 冊でQlik Sense の基本をマスターし（＝基
本編）、ニーズの高い分析例（＝応用編）をでき
るだけ丁寧に紹介

Talend Cloudの管理プラットフォームTalend Management Consoleのご紹介

Recommended

Recommended

More Related Content

Similar to Talend Cloudの管理プラットフォームTalend Management Consoleのご紹介

Similar to Talend Cloudの管理プラットフォームTalend Management Consoleのご紹介 (20)

More from QlikPresalesJapan

More from QlikPresalesJapan (20)