Qlik Tech Talk
Qlik Application Automation
2021年10月12日
中嶋 翔
Solution Architect, Qlik
2
TECH TALKとは?
Qlikの製品や機能の中から
特定のテーマを取り上げて、
技術的な情報を発信していくセミナーです。
3
Q&Aについて
• 質問はZoom画面下のQAアイコンをクリックして入力してください。
• 質問に対してQlikパネラーが随時QAパネルで回答します。
• 質問と回答については、セミナーの最後に他の参加者に情報共有させていただき
ます。
4
本日の動画と資料について
• 本セッションの資料と動画は後日Webで公開されます。
• 以前のセッションの動画・資料一覧はQlik Japan公認ブログの「過去イベント動
画・資料」をご覧ください。
• 資料はSlideShareにアップロードされます。PDF版のダウンロードはSlideShare
への登録が必要となります。
5
• メッセージング
• 製品ハイライト
• デモ
• ユースケース
• 制限事項
• Q&A
アジェンダ
6
メッセージング
7
マーケットトレンドとドライバー
データとアナリティクスの生産性向上のために
分析ニーズの増加
より主体的なインサイトと
アクションを提供するには、
より多くの時間とリソース
が必要
分析をアクションに繋げる必要性
SaaSアプリケーションの急増
手動での分析ワークフロー
8
Qlik Application Automationのご紹介
データとアナリティクスのワークフローを自動化して”Time to Value”を加速する
強力な機能
• ノーコードのビジュアルUI
• スマートコネクタとアクションブロック
• Qlik Cloud とのネイティブ統合
• 動的なアクショントリガー
• 中央集権管理と堅牢なランタイム
メリット
• アナリティクス関連開発をより生産的に – コーディングするより80%速い
• ビジネスをよりスムーズに、効率的かつ正確に遂行
• 主体的なアナリティクスへ – その”瞬間”のアクションを強制する
ユースケース
• 分析オペレーション – 分析環境を自動化する
• 分析オートメーション – 分析アプリを自動化する
• 動的なアクション – データドリブンなワークフローをトリガーする
• ビジネスプロセス統合 – アナリティクスとデータをビジネスオペレーションに直接組み込む
9
Qlik Application Automation
データとアナリティクスのワークフローを自動化して”Time to Value”を加速する
分析
オペレーション
• ユーザーへのライセンス適用
• アプリのエクスポート
• アプリをスペースに公開
分析オートメーション
• 新しいメジャーをアプリ
に追加する
• アプリリロード完了を
Slack, Teams, メー
ルに通知
動的なアクション
• データドリブンなワーク
フローをトリガー
• データドリブンなアクショ
ンを実行
ビジネスプロセス
統合
• バックオフィスのワーク
フローを自動化
• SaaSアプリ間の統合
アクティブ
インテリジェンス
企業内でのアラート通知、ア
クティビティのトリガー、プロセ
スの呼び出しにより、瞬時に
行動を起こせます。
アナリティクス
DevOps
DevOpsは、アジャイルで
自動化されたプロセスにより、
開発ライフサイクルを短縮す
ることを目的としています。
10
アクティブ・インテリジェンス
キーコンポーネント
コラボレーション
拡張知能
ビジネス
プロセスの統合
ビジネスに
利用可能な
データ
ダイナミック
なアクション
トリガー
リアルタイムな情報
Application
Automation
イベントに基づいて、Qlik Senseや他の
アプリケーションでアクションを起こすための
分析タスクを視覚的に自動化します。
11
製品ハイライト
12
ノーコードのビジュアルエディタでオートメーションを構築
キャンバスにドラッグ&ドロップするだけ
13
• オートメーションの無限に広がる可能性
• Qlik Cloudを含む30のコネクタ
• Qlik
• Slack
• MS Teams
• Email … 他
• 新しいコネクタやブロックを毎月リリース予定
代表的なSaaSアプリケー
ションへのコネクターを用意
様々なコネクターを提供
14
利用可能なコネクター一覧
GA時点で31のアプリケーションをサポート
Airtable
Amazon S3
Amazon
SageMaker
DataRobot
Dropbox
Eventbrite
GitHub
Google
Cloud
Storage
Google
Sheets
HTTP
HubSpot
Hugging
Face
Mailchimp
Marketo
Microsoft
Dynamics
365
Microsof
t Excel
Microsoft
OneDrive
Microsoft
SharePoint
Microsoft
SQL Server
Microsoft
Teams
MySQL
PostgreSQL
Salesforce
SendGrid
SFTP
Slack
SMTP Mail
Zendesk
ServiceNow
FTP
…and of
course
15
高度なブロックの利用
パワフルなプロセスとロジック制御
Saas app
connectivity
Call other
automations
Listen to
webhooks
Process in
batch
Schedule
integrations
Add custom
code
Compare
lists
Stop or
sleep
blocks
Include
variables
Cache
data
Create
loops
Deduplicate
list
Add
conditions
Filter
list
16
Qlik Cloudとのネイティブ統合
マウスクリックだけで自動化
17
Qlik Cloudとのネイティブ統合
Qlik APIに簡単にアクセス
スマートブロックによって
複雑なAPIをシンプル化
18
動的なトリガー
柔軟なフロー実行オプション
都度 スケジュール API コール イベント駆動
19
中央集権管理と堅牢なランタイム
オートメーションの稼働状況を簡単にモニタリング
20
DEMO
基本的な使い方:
CRMの数値で条件分岐し、Teamsに
メッセージを送信
21
オートメーションの作成・管理
ハブ画面でオートメーションを作成・管理します。
オートメーション
のアイコン
オートメーションの
新規作成
22
オートメーションの新規作成
オートメーションの新規作成時に、名前や説明、メインで使用するシステムのアイコ
ンを指定できます。
23
オートメーションのエディタ
Editorで、自動化フローを作成します。
オートメーション
のキャンバス
操作中のコネクタ
やブロックの設定
コネクタやブロック
24
オートメーションのオーバービュー
Overviewで、オートメーションのアウトプット、実行履歴、エラーなどを確認できます。
25
オートメーションのコネクション
Connectionsで、オートメーションが接続する各種システムへの接続定義を管理できます。
26
ユースケース
27
分析オペレーション
分析環境を自動化して時間を節約
共有スペースの作成
ユーザーライセンスの適用 アプリのバックアップ
新しい部門の
オンボーディング
アプリをプロダクション
環境に昇格
28
分析オートメーション
タスクチェーンを実装して、より生産的に、より効率的に
29
動的なアクション
分析アプリからオートメーションをトリガーし、より主体的に分析結果を活用
クリックして
アクションを実行
30
アクティブインテリジェンスで強制的にアクション
ビジネスのその瞬間に、コラボレーションを加速
31
ボーナス! ビジネスの効率化
SaaS アプリケーション統合のプロセスを自動化
App-to-App
統合
HCM(人材管理システム)と他のアプリケーションを統合すること
で、セキュリティを向上させ、コンプライアンスを確保することがで
きます。
従業員ゼロデイ スタート/ストップ
Web、CRM、CXEなどのシステム間で顧客データをカスケード
し、カスタマーエクスペリエンスとNPSスコアを向上させる。
顧客オンボーディング
顧客や取引のデータをWebからCRMやERPに流すことで、手入力を
排除し、不正なデータを修正し、出荷ミスを防ぐことができます。
Eコマースのデータフロー
通話トランスクリプト、スマートノート、通話記録を同期させることで、
実用的な通話情報が失われることなく、MTTRを最適化することがで
きます。
カスタマーサポートのワークフロー
AIチャットボットをCRM、ERP、ヘルプデスクシステムと統合して、...会
話理解の精度を高める。
AIチャットボット統合
32
以下は想定ユースケースで
はありません!
• SaaSデータの複製
• SaaSデータのCDC
• ETL / ELT
• データ変換
• オンプレミスアプリへの接続
• API管理
• APIゲートウェイ
33
DEMO
・タスクチェーン
・ループ&リデュース
34
参考記事
• チャット&コミュニケーション
- How to send a message to a channel in Slack in Qlik Application Automation
- How to send a file to a channel in Slack in Qlik Application Automation
- How to send a message with blocks (rich message) to a Slack channel in Qlik Application Automation
- How To: Send a message to a thread in Slack with Qlik Application Automation
• SFA/CRM/MA
- Salesforce - How to get started with Salesforce in Automations
- Hubspot - How to use Hubspot with Qlik Application Automation
• クラウドストレージ
- How to use Cloud Storage Connector for Dropbox with Qlik Application Automation
- How to build integrations with Dropbox in Qlik Application Automation
- How to use Cloud Storage Connector for Amazon S3 with Qlik Application Automation
- How to create a CSV file with the Cloud Storage connector in Qlik Application Automation
35
参考記事
• GitHub
- How to: Qlik Application Automation to backing up and versioning QCS apps on Github
• AI/ML
- Using Sagemaker AutoML in an Automation
• その他
- How to: task chaining with Qlik Application Automation
- How to: Loop and reduce with Qlik Application Automation (basic)
- How to: Loop and reduce with Qlik Application Automation (advanced)
- How to : Qlik Application Automation for Loop and Reduce - Dynamic process
- Formatting datetimes in Qlik Application Automation
- How to: Workaround for the 55 seconds time out error in Qlik Application Automation
- How to: list finished app reloads incrementally in Qlik Application Automation
- How to upload and download automations
36
制限事項
37
制限事項
• 自動化はネイティブスクリプトにコンパイルされ、300MBのメモリを持つKubernetesポッドで実行されます
- カーソルを使っているので、大量のデータを処理できる (一度にすべてのデータをメモリに取り込まない)
- 例外: “Compare list”, “Filter list”, “Deduplicate list”, “Lookup in list” のブロック
• 1つのオートメーションにつき、同時刻に1回のみ実行
• 並列処理はできない (SparkやHadoopではない)
• 最大実行時間は1時間:長い実行時間の仕事を小さなタスクに分割してください
• オートメーションの最大同時実行数 :
- 10 (ライセンスによって増加)
• オートメーションは1分間に最大300回のAPIコールを行うことができます(テナント全体で)。
• より詳細な制限事項はドキュメンテーションを確認してください。
38
その他の情報
39
オンラインでの技術情報提供
Qlik Japanプリセールスチームではオンラインの技術情報提供を推進しています。
セミナー トレーニング
LT形式のTips共有 技術イベント
40
直近のイベント予定
• 毎週火曜 TECH TALK
• 毎週木曜 Qlik Replicate勉強会
• 月一開催 Qlik Tips
• 不定期開催 ヘルスケア勉強会
https://techplay.jp/community/qlik/event
41
Qlik Japanグループのフォローをお願いします
Tech Playのグループを
フォローいただくと、イ
ベント情報が届きます。
TECH PLAYのQlikコミュニティサイト:
https://techplay.jp/community/qlik
42
過去イベント動画・資料
Qlik Japan公認ブログ:
https://www.qlikspace.net/
43
日本語アプリサイト Qlik Showcase
100以上のサンプルアプリを実際に操作できます。
サイト:https://qtjsc.ap.qlikcloud.com
使い方:Qlik Showcase(日本語版デモアプリサイト)のご利用について
一部のアプリはこちらからダウンロードできます。
日本語アプリ一覧
44
コミュニティ日本語グループでも質問可能です!
Qlik Community Japan
製品・技術Q&A、製品関連資料
https://community.qlik.com/t5/Japan/gh-
p/japan-group
45
YouTubeチャネルの登録お願いします
事例
TECH
TALK
デモ
Qlik Japan Youtubeチャンネル
46
「Qlik Sense 参考書」 好評発売中!
Qlik Sense ユーザーのためのデータ分析実践バ
イブル
・判型:B5 変 ・総ページ数:~480 ページ程度
・予価本体:4,200円 (+税)
• QlikSpaceの記事をベースに、書籍用に大幅
にカスタマイズ&加筆
• 1 冊でQlik Sense の基本をマスターし(=
基本編)、ニーズの高い分析例(=応用
編)をできるだけ丁寧に紹介
47
Q&A
48
Q&A
質問 回答
Qlik Sense SaaS の利用ユーザーであれば、Application
Automation はすべて無料で利用できる認識でよいで
しょうか?
Qlik Sense Enterprise SaaSのユーザー(Professional User)はすべての機能
を利用可能です。(ただし、Automationの最大同時実行数制限などはあり
ますので、制限事項をご確認ください。)
Application Automation で定期的に複数のオブ
ジェクトを一括で出力するようなことも可能ですか?
さまざまなブロックを活用し、アプリ内のオブジェクトのデータを出力できます。
QSアプリのリロードの直列処理はこの機能で実装できま
すか?
1)データ加工用のアプリを実行し、QVDをスペース
上に作成
2)分析用のアプリを実行し、1で作成したQVDを
取得 など
タスクチェーンの記事をご確認ください。
How to: task chaining with Qlik Application Automation
・[BLOCKS] (Basic,Lists,Advanced,Cloud strage)の
各ブロックの説明はヘルプにございましたが、[Qlik Cloud
Services] の各ブロックの説明ページもございますか?
[Qlik Cloud Services] の各ブロックの説明ページは、ブロックを配置すると、
その設定パネル内に、Descriptionなどとして各種説明が表示されています。
詳しいオンラインヘルプページは無いと思われます。
49
Q&A
質問 回答
・[Qlik Cloud Services] の [Do Evaluation] はなにをする
ブロックでしょうか。
アプリのパフォーマンス評価を行います。ハブから実行できる[パフォーマンス
の評価]をAPIで呼び出しています。
[Qlik Cloud Services] の[Export App] ではアプリが
QCSTemporary ContentService にエクスポートされるよう
ですが、QCSTemporary ContentService の中身はどこか
で確認できますか?
[App From Export Id] で、テンポラリファイル内にエクスポートされたア
プリファイルを実際にスペース内に取り出せる(インポート)できます。
ライセンスの付与が自動化できるとありましたが、ユーザー登
録、ライセンス付与、役割の割当はどこまで自動化できます
か?例えば、Excelで以下項目のユーザーの管理シートを作
成し、それを読み込んで自動で設定するなどは可能でしょう
か?(100名など大規模で利用する際に、以下を自動化し
たいということ)
・ユーザーインポート
・ライセンスの付与
・スペースへの追加
・役割の割当
Excelコネクターがありますのでごご確認ください。また、ユーザー追加やライ
センス付与などQCSの操作については、QCSブロックを確認ください。ブロッ
クが用意されていない場合は、Qlik Cloud Services>Raw API
Requestから直接Qlik APIを呼び出すなどで可能になるでしょう。(もしく
はBlocks>Advanced>Custom Codeからコードを直接書くなど)
今後、ブロックが増えることで、上記のようなRaw APIやCustom Code
を使用せずより簡単に設定できる可能性もあるでしょう。
50
Q&A
質問 回答
NPrinting のように、定期的な Excel出力も可能で
しょうか?また、Analyzer Capacity ライセンスユー
ザーがApplication Automation を使用すると
Analyzer Capacity が消費されますか?
Microsoft Excelコネクタが利用できると思います。
または、外部のサービスを呼び出すブロック(Call URL)を使用しつつ、受信した
データをExcelとして出力するサービスを開発する、なども考えられるでしょう。ま
た、Application Automationの利用にはProfessional Userライセンスが必要で
す。
Automationを使うためには、QS SaaSのProライセン
スの割り当てが必要ということでしょうか?テナント
adminなどとは関係なく。
Application Automationの利用にはProfessional Userライセンスが必要です。
データからアクションを自動化!Qlik Application Automationのご紹介

データからアクションを自動化!Qlik Application Automationのご紹介

Editor's Notes

  • #6 4, 6
  • #8 Qlik Application Automationについて説明する前に、今日のデータとアナリティクス市場における4つの重要なドライバーについて見てみましょう。 アナリティクスの必要性が依然として高まっていることは、誰にとっても驚くべきことではありません。データは増え続け、企業はそのすべてのデータを解釈し、そこから洞察を得ることに苦労しています。2 同様に、過去10年の間に、企業内で使用されるソフトウェアアプリケーションの数は爆発的に増加しています。あるレポートによると、使用されているsaasアプリケーションの平均数は、2015年の8個から2020年には80個以上と、5年間で10倍に増加しています。さらに、このようにアプリケーションが乱立すると、境界を越えたデータの統合が困難になります。 データ・アナリティクス市場では生産性の向上が図られていますが、ワークフローの多くは依然として手動です。特に、環境をオーケストレーションしたり、データシステムと統合したりする際には、注意が必要です。2017年の調査では、労働者の90%が退屈な反復作業を負担しているという事実が強調されました。2017: 生産性の痛み。90%の労働者が退屈な反復作業を負担している 最後のトレンドは、すべての企業が、受動的または反応的なモードでの運用から、データインサイトに基づくよりダイナミックなものへと移行したいと考えていることです。翌日まで待つのではなく、その場で行動を起こさせるプロアクティブな存在になりたいのです。それが、リスクを軽減するための方向転換であれ、先手を打つための回避行動であれ、ポジティブな価値を生み出すためのポジションの推進であれ。洞察の時点で行動を起こす必要があるのです。
  • #9 Introducing Qlik Application Automation. It’s a no-code visual design solution for automating your manual workflows. Data and analytics teams drag and drop configurable blocks onto a canvas instead of writing code to form a sequence of steps that run like a program. These automations flow data through a variety of applications to optimize the end-to-end pipeline between raw data and active intelligence.
  • #10 There are 4 categories of use-case for application automation that simplify your workflows to increase your data and analytics efficiencies
  • #11 Incidentally while we are talking automation, I’d like to quickly put it in context of Qlik’s vision for Active Intelligence. As you can see we consider Dynamic Actions and Business Process as two core components that combine to form the concept of Active Intelligence.
  • #13 Let’s go through some of the basic user interface elements customers are going to see in Qlik Application Automation. I’ve used various automation tools and low-code/no-code platforms, and I love this maker space. On the left is the block menu, listing all the available blocks developers uses can add to an automation. In the middle is the canvas, where users drag-and-drop blocks to make the sequence of actions that the automation runs. On the right side, is the block configurator. Each block has configuration inputs makers fill out to instruct the blocks how to behave and what data to use to carry out their intended function.
  • #14 Quickly connect to market leading SaaS applications such as Salesforce, Slack and MS Teams, which are represented as smart blocks that remove the need to technically understand an application’s low-level API. We’re focusing on making 30 or so connectors available when Qlik App Automation goes GA with the intent to release 2-3 connectors each month based on customer requests and market demand.
  • #16 Capabilities: Running automations Manual execution Webhooks Triggered using API endpoint Scheduled Types of blocks Conditions Loops Variables Niko remark: important slide, message is that workflows are as powerful as code (because you can work with conditions, variables, loops etc.)
  • #17 Let’s go through some of the basic user interface elements customers are going to see in Qlik Application Automation. When the tool is released in Qlik Cloud, creating and accessing automations is only a mouse click away within the analytics hub. Automations users create appear as cards in the main window, just like Qlik Sense applications and cataloged data sets.
  • #18 On the left is the block menu, listing all the available blocks makers can add to an automation. In the middle is the canvas, where users drag-and-drop blocks to make the sequence of actions that the automation runs. On the right side, is the block configurator. Each block has configuration inputs makers fill out to instruct the blocks how to behave and what data to use to carry out their intended function.
  • #19 Once you’ve built your flows then there are a variety of mechanisms to trigger them to run that suit specific business needs. You can trigger ad-hoc automations on demand from the run button, schedule flows to execute at specific times, use webhooks to respond to specific actions, or trigger flows from application events.
  • #20 Finally, you can manage and monitor your automations from a single place to ensure that they are running smoothly and efficiently.
  • #28 One of the first use cases that Qlik users find attractive about App Automation is the ability to create a whole host of flows that can eliminate frequent and repetitive tasks that concern tenant administration. For example, backing up analytics apps on a weekly schedule or provisioning commonly used apps to new shared spaces when onboarding new departments.
  • #29 Here’s an example of task chaining Qlik Sense reloads in Qlik Application Automation. On the left, two reloads are being started at the same time. A wait to complete block checks the status of both reloads before continuing to the third reload, ensuring that data from the first two tasks is available before the third reload starts. Another example shows how to use an event triggered by a Qlik Sense application reload is listened for by Qlik Application Automation. When the webhook is fired, the automation runs, checks to see if the reload succeeded, and sends a message to slack accordingly.
  • #30 Here’s a more complex example of a dynamic action from a Qlik Sense application. The analytics consumer is reviewing their dashboard, making selections, and performing analysis. As a result, they identify outliers in the data. But how do non-analytics users benefit from these insights? We can enable the analyst to compel an action by invoking an automation from within the Qlik Sense application that automatically feeds data from the dashboard to the relevant business applications, thereby correcting the outlying problem. For example Identifying on a sheet the outlying sales opportunities need additional attention that triggers an action to re-assign and re-prioritize in Salesforce, then alert the sales rep and their manager.
  • #31 この例では、瞬間的に行動しています。このオートメーションは、Qlik Senseアプリケーションから可視化画像を取得し、SlackまたはMS Teamsチャンネル(お客様の好みに応じて)に送信します。これにより、Slackのワークスペースにほぼリアルタイムで分析結果が配信され、ビジネス環境の変化に対応する時間が短縮されました。
  • #32 Our bonus use case focuses on more traditional app-to-app integration uses. We’ve listed 5 different examples here, that all share the same problem that although integrating applications offer efficiency benefits, traditional solutions require writing code to achieve the desired results. Qlik Application automation can visually wire these systems together to create really efficient business processes.
  • #33 Photo by NeONBRAND on Unsplash When do you disqualify opportunities that make you unsure if Qlik Application Automation is a good fit? Let’s start with data replication and CDC. Qlik Application Automation doesn’t do it. Yes, there’s lots of connectivity to SaaS applications in Qlik Application Automation, but they don’t exist to solve replication and change data capture problems. Disqualified Driving further into the data management landscape, Qlik Application Automation is not a good fit for ETL use cases, data transformation, or as a gateway between on-prem and cloud software. Disqualify it! All that said, I do see a future where automation grows into orchestration of activities like the ones I mentioned, but that’s a discussion for another time. Data movement This is not “SaaS sources” for Replicate Qlik Application Automation is not an ETL/ELT tool On-prem There is NO on-premises option SaaS Connectors only No support for Client-Managed APIs API Management / Gateway Qlik Application Automation is NOT Boomi or Mulesoft It can do Automation things, but not API management or API gateway jobs Niko remark: Can we call this "Disqualify" ?