Qlik無料Webセミナー TECHTALK 2020年10月20日の資料です。「Qlik DataTransferによるクラウド版Qlik Senseへのデータ転送・更新の自動化」

1. TECH TALK
Webセミナー
Qlik DataTransfer
2020年10月
鈴木 由紀
Senior Solution Architect, Qlik

2. 2
TECH TALKとは？
Qlikの製品や機能の中から
特定のテーマを取り上げて、
技術的な情報を発信していくセミナーです。

3. 3
Q&Aについて
• 質問はZoom画面下のQAアイコンをクリックして入力してください。
• 質問に対してQlikパネラーが随時QAパネルで回答します。
• 質問と回答については、セミナーの最後に他の参加者に情報共有させていただき
ます。

4. 4
• Qlik DataTransferでできること
• Qlik DataTransferの使用準備
• Qlik DataTransferによるSaaSへのデータのアップロード
• 補足情報
• FAQ
• Q&A
本日の内容

5. 5
Qlik DataTransferでできること

6. 6
クラウド版Qlik Senseへのデータアップロード
クラウド版Qlik Senseには手動でデータをアップロードすることができます。
アプリを開き、データマネージャやスクリプトエディタ
でデータを指定する方法
スペースのデータソースから追加する方法

7. 7
Qlik DataTransferでデータを自動でアップロード
▪ オンプレミスのデータソースに接続し、そのデータ
をクラウド版Qlik Senseにアップロード
▪ Qlik Senseのあらかじめ定義したスペースに
アップロードが可能
▪ 手動、スケジュール、データ変更によりアップロー
ドを実施
▪ データアップロードに伴い、Qlik Senseのアプリ
を更新
Cloud
On-premise
QSE SaaS
On-premise RDBMS
Private Cloud
RDBMS

8. 8
Qlik DataTransferの３種類のアップロード
データベースから
アップロード
ODBC・RESTで
接続
アプリ(QVF)から
アップロード
ファイルを
アップロード
アプリで変換後の
複数データ
QDT用フォルダを
監視
QVD QVD Excel等

9. 9
Qlik DataTransferの
使用準備

10. 10
Qlik DataTransferの使用準備ー手順
1. Qlik DataTransferの取得
QSB,QS SaaSの管理画面よりダウンロード
2. Qlik DataTransferのインストール
3. クラウド版Qlik Senseの開発者ロールの設定
APIキー設定のために必要
4. クラウド版Qlik SenseのAPIキーの設定
Qlik SenseとQlik DataTransferの安全な接続に必要
5. Qlik DataTransferとQlik Senseの接続

11. 11
Qlik DataTransferの使用準備ー前提
1. 稼働環境
✓ Microsot Windows Server 2012 R2、2016、2019
Microsoft Windows 10 64-bit （テスト・開発のみ）
✓ メモリ 最低８G
✓ ディスク インストールに５G必要
★詳細はHelpサイトでご確認ください
2. クラウド版Qlik Senseにアクセスできる
✓ テナント管理者または開発者である
✓ データをアップロードするスペースにアクセスできる
3. オンプレミスの対象データへのアクセス権
注意：
起動するとメモリと処理リソースを消費
します。
またアップロード用データはディスクに格
納されます(qvd）。

12. 12
Qlik DataTransferの取得
①クラウド版Qlik
Senseのハブ画面でアカ
ウントのアイコンをクリック
②[設定]をクリック
③Qlik DataTransfer
の欄で[ダウンロード]をクリック
既にQlikをご契約済みのお客様はQlikのダウンロードサイトからも取得できます。
クラウド版Qlik Senseの画面からQlik DataTransferのモジュールをダウンロードします。
あらかじめアカウントの登録と、テナントの作成が必要です。

13. 13
1. Qlik Sense Client Managed (オンプレミスサーバー版）が導入されている環境の
場合は、Qlik Senseのサービスを停止
2. ダウンロードした を実行
Qlik DataTransferのインストール １
注意：
Microsoft .Net 4.7
が導入されていない場合は、最初に
.Netのインストールがはじまります。
終了後、システムを再起動し、
再度QSのサービスを停止して、QDT
をインストールしてください。

14. 14
Qlik DataTransferのインストール ２
導入後はQlik Data Transfer というサービスが実行されます。
使用条件を許諾 インストールフォルダ
を指定
インストール開始 終了

15. 15
クラウド版Qlik Senseの開発者ロールの設定
クラウド版Qlik Senseの作業
②
①
③
④
⑤
⑦
①ハブでアカウントのアイコンをクリック
②[管理]をクリック
③Management Consoleのユーザー画面を開く
④ユーザのメニュー[…]をクリック
⑤[役割の変更]をクリック
⑥[開発者]をチェック
⑦[保存]をクリック
⑥
APIキー発行のために必要な開発者の役割を付与します。

16. 16
クラウド版Qlik SenseのAPIキーの設定
クラウド版Qlik Senseの作業
①
①ハブでアカウントのアイコンをクリック
②[設定]をクリック
③設定画面の[APIキー]をクリック
④[新規キーの生成]をクリック
⑤[APIキーの説明]と[有効期限]を設定
⑥[生成]をクリック
⑦生成されたキーを[コピーして閉じる]
⑧コピーされたキーをメモ帳などに保存
②
③
④
⑤
⑥
⑦

17. 17
Qlik DataTransferとQlik Senseの接続
Qlik DataTransferの作業
①
②
③
④
⑤
①Qlik DataTransferアイコンをクリックして起動
②[名前]を入力
③クラウド版Qlik SenseのURLを入力
④APIキーを入力
⑤[適用]をクリック

18. 18
DEMO

19. 19
Qlik DataTransferによる
SaaSへの
データのアップロード

20. 20
データベーステーブルのアップロード１
データベースへ接続の作成
①[接続の詳細]をクリック
②[追加＋]を入力
③使用する接続を選んでクリック
④接続情報を入力
⑤[テスト]をクリックして接続が成功したら
[作成]をクリック
②
③ ④
②
①
データベースのデータをクラウド上のQVDファイルとしてアップロードします。

21. 21
データベーステーブルのアップロード２
データベースからのアップロードの設定
①
①[データ接続]をクリック
②[追加＋]を入力
③名前を入力
④アップロード先のスペースを選択
⑤[次へ]をクリック
⑥既存の接続を選択
②
③
④
⑤
⑥

22. 22
データベーステーブルのアップロード３
テーブルや項目の選択
①データベースを選択
②テーブルを選択
③項目を選択
④ [データを選択]をクリック
①
②
③
④
使用する接続によって画面は異なります。

23. 23
データベーステーブルのアップロード４
アプリ更新の設定
データがアップロードされたときに、自動的にアプリをロードすることができます。
リロードしたいアプリをチェックして、[承認する]を
クリックします。
最大１０個まで選択できます。

24. 24
データベーステーブルのアップロード５
アップロードの実施
①画面右の[・・・]をクリック
②[アップロード]をクリック
テーブルごとにQVDファイルが作成され、指定したスペースにアップロードされます。
①②

25. 25
Qlik Senseアプリのデータのアップロード
同時にリロードするクラウド上のアプリも設定できます。
アップロードの実行はデータベースの場合と同じです。
アプリに含まれるテーブルをクラウド上のQVDファイルとしてアップロードします。
①[Qlikアプリ]をクリック
②[追加＋]を入力
③名前を入力
④アップロード先のスペースを選択
⑤[次へ]をクリック
⑥QFVファイルの格納先を入力します。
⑦[承認]をクリックします。
①
②
⑦
⑥
⑤
③
④

26. 26
スケジューリング
データ接続とQlikアプリからのデータのアップロードは、スケジュール設定により自動で行うことができます。
①[スケジュールされたアップロード]をクリック
②[追加＋]を入力
③名前、データソース、繰り返し、間隔、時
刻指定、開始日、終了日を入力
④ [保存]をクリック
①
②
③
④

27. 27
ファイルのアップロード
①[データフォルダ]をクリック
②[追加＋]を入力
③名前、フォルダへのフルパス、アップロー
ド先のスペース、リロードするアプリを入力
④[承認]をクリックします。
①
②
オンプレミス環境のフォルダのExcelやcsvファイルをクラウド上にアップロードします。
フォルダにファイルが追加されたり、データが変更されると自動でアップロードします。
③
④

28. 28
アップロードされたデータの確認
アップロード先に指定したスペースにデータが格納されます。

29. 29
DEMO

30. 30
制限事項
•データセットごとに最大 200 のテーブルまたはファイルをアップロード
✓ データセットに 200 を超えるテーブルまたはファイルがある場合、最初の 200 のみアップロード
✓ 例：データ接続または Qlik アプリで 200 を超えるテーブルを選択、
200 を超えるファイルを含むデータ フォルダ
•アップロードするファイルは 500 MB 以下
•Essbase または Dropbox 内のファイルへの接続はサポート外
•データ フォルダからファイルを削除してもアップロードファイルはクラウドから削除されない
•アプリのアップロードを使用する場合、アプリはQlik DataTransferの環境でリロードできること
✓ Qlik Sense Desktop で作成されている、またはQSサーバーでロードできる

31. 31
補足情報

32. 32
共有フォルダはサポート 〇： sharedata
マップフォルダはサポート外 × : Z:data
インストールフォルダ（初期設定）
C:Program FilesQlikDataTransfer
C:ProgramDataQlikDataTransfer
ログ
C:ProgramDataQlikDataTransferLog
C:Users[user]AppDataLocalTemp
• Qlik DataTransfer_*.log
• Qlik DataTransfer_*_DataTransferService.log
ブラウザからアクセス可能
URL: http://localhost:5505
コネクタ
C:Program FilesQlikDataTransferConnectors
システム情報
ポート
データ アップロード サービス 5505
エンジン サービス 5506
コネクター レジストリ プロキシ 5507

33. 33
Qlik SaaS
Cloud
Based
RDBMS
Cloud
Based
Flat Files
Replicate
MAINFRAMEFILESEDW / RDBMS NoSQLSAP
Compose
大規模に、リアルタイムでデータをアップロード
Qlikデータ統合製品のご紹介
• さらに大規模容量のデータをアップロード
• リアルタイムで最新のデータを反映
• 多様なデータソースに対応
Qlik Replicate
リアルタイムで高速にデー
タを転送
Qlik Compose for DataWarehouse
Qlik Compose for Data Lake
最適化されたデータウェアハウスやデータレイクを
自動構築

34. 34
FAQ

35. 35
FAQ
No. 質問 回答/対応
1 他のQlikのデータ統合ツールと比べての利点はなんですか。 無償の軽量ツールで、ITスキルがないユーザーでもすぐに使い始めることがで
きます。
2 社内の他のスケジューラーと接続できますか。 Qlik DataTransferではできません。必要な場合はQlik CLI（Qlik
Command Line Interface）を使用して直接 SaaS APIs に接続す
ることができます。
3 バックアップや復元、冗長化の仕組みはありますか。 バックアップや復元、冗長化の機能はありません。必要に応じて下記をバッ
クアップしてください。
C:ProgramDataQlikDataTransferDataUploadstorage
4 設定情報はどこにありますか。 C:ProgramDataQlikDataTransferDataUploadstorage
5 アップロード用ファイルはどこに格納されますか。 C:ProgramDataQlikDataTransferDataUploadqixdata
に、QVDファイルとして格納されます。
6 すべてのシステムが共通の時刻参照を持つように、同期化され
たタイムサービスプロトコル（NTPなど）を使用していますか？
Qlikデータ転送のスケジューリングは、インストールされているサーバーのロー
カルタイムに基づいています。
7 1つのData Transfer Agentのインスタンスで複数のテナント
をサポートできますか？例えば、本番環境と非本番環境が分
離されている場合など。
対応していません。

36. 36
FAQ
No. 質問 回答/対応
8 転送可能なデータ量に制限はありますか。 Qlikエンジンとコネクタが消費するメモリに依存します。
9 メモリの使用は制限できますか。 制限はできません。
10 ソースデータはアップロードした後はどうなりますか。 そのままローカル側に残ります。
11 データリネージは確認できますか。 できません。Qlik データ統合製品のご使用をお勧めします。
12 データが重複でアップロードされたり、正規の環境以外で使用さ
れないよう制限する方法はありませんか。
機能はありません。ユーザー側で対応していただく必要があります。
13 データ管理・監査の責任について定義され文書化されています
か。
ありません。
14 転送先の地理的な場所を制限することをできますか。 制限はできません。オンプレミスのソースに関係なく、登録された一か所のテ
ナントに転送します。
15 前回のアップロードとの差分のみをアップロードすることはできます
か。
常に全件をアップロードします。ただしデータベースに対して、「今日追加され
たデータのみ」といったフィルタを設定したり、Qlikのアプリに差分データを作成
するロジックを組み込んで実現することは可能です。
16 管理スペースにもデータをアップロードすることはできますか。 管理スペースを含め、すべてのスペースにアップロードすることができます。

37. 37
FAQ
No. 質問 回答/対応
17 ODBCドライバーを使用時に、シングルサインオンによる接続は
できますか。
できます。
18 Qlik DataTransferのエージェントはどのようなユーザー認証
(NTLM, MSAD, SAML or IdP) が行えますか。
データソースに対して、Qlik Sense DesktopやClient Managedと同様
の認証をサポートしています。
19 セキュリティについて httpsプロトコルを使用しています。
テナント情報や接続情報などの機密情報を暗号化するために、AES
（Advanced Encryption Standard）アルゴリズムを使用しています。
一般的なSaaSプラットフォームの要件に従って、プライバシー侵害の監視を
しています。
プロキシを設定している場合も使用できます。
20 エラーが発生した場合に、通知機能や再実行の機能はありま
すか。
通知機能や再実行の機能はありません。エラーはQlik DataTransferの
ログに出力されます。

38. 38
Q&A

39. 39
Q&A
質問 回答
DataTransferを利用するにあたって、必要なポートと
URLはありますでしょうか？
5505、5506、5507が必要です。
下記リンクをご参照ください。
https://help.qlik.com/ja-JP/cloud-
services/Subsystems/Hub/Content/Sense_Hub/QlikDataTransfer/install-
Qlik-DataTransfer.htm#anchor-3
QDTはサーバーリソースを消費するということですが、デー
タ転送用としての使用を考慮する際のデータボリュームは
どの程度と考えておけば良いでしょうか。
下記に制限事項があります。ファイルのサイズや個数などに制限があります。
https://help.qlik.com/ja-JP/cloud-
services/Subsystems/Hub/Content/Sense_Hub/QlikDataTransfer/qlik-
datatransfer.htm#anchor-5
フォルダに配置したファイルアップロードは、サービスがポーリ
ングして検知していると思いますが、ポーリング間隔は何
秒か？ポーリング間隔を設定ファイル等で制御できるか、
ご教示ください。
ポーリング間隔については公開しておりません。ユーザー向けの設定機能もございません。
R&D開発者の内部の実装詳細になってしまいますが、Windows APIのShell APIを使用し
て、Windowsフォルダ内の変更監視をリアルタイムで行っていると思われます。もしポーリングし
て監視すると、仮にファイル数が1万個ほどあるフォルダの場合、ポーリングだけで処理時間がか
かってしまいますので、そのためのフォルダ内用の変更通知APIがWindows API(Shell API)
に存在します。これ以上の内容については、必要があればテクニカルサポートにご連絡ください。

40. 40
Q&A
質問 回答
Data TransferのインストールにQlik Senseは必須で
しょうか？
Qlik DataTransferのインストールには、Qlik Senseは必要ありません。接続する(設定す
る)際には、クラウド版Qlik Senseが必要となります。
データのアップロード時にネットワークエラーが起こったときは、
ロールバックですか？リトライでしょうか？
自動でロールバックやリトライを行う機能はありません。アップロード状況とログをご確認の上、対
応していただくことになります。
Qlik DataTransferの環境にQlik Senseは、データ接
続と、データフォルダを利用するのみ場合は不要でしょう
か？
Qlikアプリを使う場合に必要という認識でしょうか？その
場合、Qlik Sense Desktopではだめでしょうか？
Qlikアプリを使用する場合はDataTransferがアプリのロードスクリプトを実行します。Qlik
DataTransferにはQlikのエンジンが含まれているのでQlik Senseは必要ありませんが、アプリ
に含まれるデータ接続に接続できる必要があります。またアップロードに使用するアプリを開発す
るためのQlik Senseが必要となります。データ接続と、データフォルダを利用するのみ場合はオン
プレミス環境にQlik Senseは不要です。
エラーの通知機能はないですか？ エラー通知機能はありません。

41. 41
Appendix

42. 42
Qlik Senseの書籍出版
タイトル：Qlik Sense ユーザーのためのデータ分析実践バイブル
・仕様：B5 変 ・ 500ページ
・定価：4,200円＋税
・刊行日：2020年9月7日 発売中！
• QlikSpaceの記事をベースに、書籍用に大幅にカスタマイズ＆加筆
• 1 冊でQlik Sence の基本をマスターし（＝基本編）、ニーズの高い分
析例（＝応用編）をできるだけ丁寧に紹介

43. 43
各種情報のご提供
QlikSpace Qlik Community Japan
YouTube – Qlik Japan Qlik Partner Portal
製品最新情報、イベント情報、チュートリアル、サンプルアプリ 製品・技術Q&A、製品関連資料
新製品リリースの説明ムービーなど 製品プレゼンテーション資料など（PPT)

44. 44
今後のQlik Tech Talkの予定

45. 45
これまでのTech Talkはこちらから
Qlik Espresso Web セミナーシリーズ

46. For more information, visit:
qlik.com/products/nprinting