Successfully reported this slideshow.
Your SlideShare is downloading. ×

TECHTALK 20201020 Qlik DataTransferによるクラウド版Qlik Senseへのデータ転送・更新の自動化

Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad

Check these out next

1 of 46 Ad

TECHTALK 20201020 Qlik DataTransferによるクラウド版Qlik Senseへのデータ転送・更新の自動化

Download to read offline

Qlik無料Webセミナー TECHTALK 2020年10月20日の資料です。「Qlik DataTransferによるクラウド版Qlik Senseへのデータ転送・更新の自動化」

Qlik無料Webセミナー TECHTALK 2020年10月20日の資料です。「Qlik DataTransferによるクラウド版Qlik Senseへのデータ転送・更新の自動化」

Advertisement
Advertisement

More Related Content

Slideshows for you (20)

Similar to TECHTALK 20201020 Qlik DataTransferによるクラウド版Qlik Senseへのデータ転送・更新の自動化 (20)

Advertisement

More from QlikPresalesJapan (20)

Recently uploaded (20)

Advertisement

TECHTALK 20201020 Qlik DataTransferによるクラウド版Qlik Senseへのデータ転送・更新の自動化

  1. 1. TECH TALK Webセミナー Qlik DataTransfer 2020年10月 鈴木 由紀 Senior Solution Architect, Qlik
  2. 2. 2 TECH TALKとは? Qlikの製品や機能の中から 特定のテーマを取り上げて、 技術的な情報を発信していくセミナーです。
  3. 3. 3 Q&Aについて • 質問はZoom画面下のQAアイコンをクリックして入力してください。 • 質問に対してQlikパネラーが随時QAパネルで回答します。 • 質問と回答については、セミナーの最後に他の参加者に情報共有させていただき ます。
  4. 4. 4 • Qlik DataTransferでできること • Qlik DataTransferの使用準備 • Qlik DataTransferによるSaaSへのデータのアップロード • 補足情報 • FAQ • Q&A 本日の内容
  5. 5. 5 Qlik DataTransferでできること
  6. 6. 6 クラウド版Qlik Senseへのデータアップロード クラウド版Qlik Senseには手動でデータをアップロードすることができます。 アプリを開き、データマネージャやスクリプトエディタ でデータを指定する方法 スペースのデータソースから追加する方法
  7. 7. 7 Qlik DataTransferでデータを自動でアップロード ▪ オンプレミスのデータソースに接続し、そのデータ をクラウド版Qlik Senseにアップロード ▪ Qlik Senseのあらかじめ定義したスペースに アップロードが可能 ▪ 手動、スケジュール、データ変更によりアップロー ドを実施 ▪ データアップロードに伴い、Qlik Senseのアプリ を更新 Cloud On-premise QSE SaaS On-premise RDBMS Private Cloud RDBMS
  8. 8. 8 Qlik DataTransferの3種類のアップロード データベースから アップロード ODBC・RESTで 接続 アプリ(QVF)から アップロード ファイルを アップロード アプリで変換後の 複数データ QDT用フォルダを 監視 QVD QVD Excel等
  9. 9. 9 Qlik DataTransferの 使用準備
  10. 10. 10 Qlik DataTransferの使用準備ー手順 1. Qlik DataTransferの取得 QSB,QS SaaSの管理画面よりダウンロード 2. Qlik DataTransferのインストール 3. クラウド版Qlik Senseの開発者ロールの設定 APIキー設定のために必要 4. クラウド版Qlik SenseのAPIキーの設定 Qlik SenseとQlik DataTransferの安全な接続に必要 5. Qlik DataTransferとQlik Senseの接続
  11. 11. 11 Qlik DataTransferの使用準備ー前提 1. 稼働環境 ✓ Microsot Windows Server 2012 R2、2016、2019 Microsoft Windows 10 64-bit (テスト・開発のみ) ✓ メモリ 最低8G ✓ ディスク インストールに5G必要 ★詳細はHelpサイトでご確認ください 2. クラウド版Qlik Senseにアクセスできる ✓ テナント管理者または開発者である ✓ データをアップロードするスペースにアクセスできる 3. オンプレミスの対象データへのアクセス権 注意: 起動するとメモリと処理リソースを消費 します。 またアップロード用データはディスクに格 納されます(qvd)。
  12. 12. 12 Qlik DataTransferの取得 ①クラウド版Qlik Senseのハブ画面でアカ ウントのアイコンをクリック ②[設定]をクリック ③Qlik DataTransfer の欄で[ダウンロード]をクリック 既にQlikをご契約済みのお客様はQlikのダウンロードサイトからも取得できます。 クラウド版Qlik Senseの画面からQlik DataTransferのモジュールをダウンロードします。 あらかじめアカウントの登録と、テナントの作成が必要です。
  13. 13. 13 1. Qlik Sense Client Managed (オンプレミスサーバー版)が導入されている環境の 場合は、Qlik Senseのサービスを停止 2. ダウンロードした を実行 Qlik DataTransferのインストール 1 注意: Microsoft .Net 4.7 が導入されていない場合は、最初に .Netのインストールがはじまります。 終了後、システムを再起動し、 再度QSのサービスを停止して、QDT をインストールしてください。
  14. 14. 14 Qlik DataTransferのインストール 2 導入後はQlik Data Transfer というサービスが実行されます。 使用条件を許諾 インストールフォルダ を指定 インストール開始 終了
  15. 15. 15 クラウド版Qlik Senseの開発者ロールの設定 クラウド版Qlik Senseの作業 ② ① ③ ④ ⑤ ⑦ ①ハブでアカウントのアイコンをクリック ②[管理]をクリック ③Management Consoleのユーザー画面を開く ④ユーザのメニュー[…]をクリック ⑤[役割の変更]をクリック ⑥[開発者]をチェック ⑦[保存]をクリック ⑥ APIキー発行のために必要な開発者の役割を付与します。
  16. 16. 16 クラウド版Qlik SenseのAPIキーの設定 クラウド版Qlik Senseの作業 ① ①ハブでアカウントのアイコンをクリック ②[設定]をクリック ③設定画面の[APIキー]をクリック ④[新規キーの生成]をクリック ⑤[APIキーの説明]と[有効期限]を設定 ⑥[生成]をクリック ⑦生成されたキーを[コピーして閉じる] ⑧コピーされたキーをメモ帳などに保存 ② ③ ④ ⑤ ⑥ ⑦
  17. 17. 17 Qlik DataTransferとQlik Senseの接続 Qlik DataTransferの作業 ① ② ③ ④ ⑤ ①Qlik DataTransferアイコンをクリックして起動 ②[名前]を入力 ③クラウド版Qlik SenseのURLを入力 ④APIキーを入力 ⑤[適用]をクリック
  18. 18. 18 DEMO
  19. 19. 19 Qlik DataTransferによる SaaSへの データのアップロード
  20. 20. 20 データベーステーブルのアップロード1 データベースへ接続の作成 ①[接続の詳細]をクリック ②[追加+]を入力 ③使用する接続を選んでクリック ④接続情報を入力 ⑤[テスト]をクリックして接続が成功したら [作成]をクリック ② ③ ④ ② ① データベースのデータをクラウド上のQVDファイルとしてアップロードします。
  21. 21. 21 データベーステーブルのアップロード2 データベースからのアップロードの設定 ① ①[データ接続]をクリック ②[追加+]を入力 ③名前を入力 ④アップロード先のスペースを選択 ⑤[次へ]をクリック ⑥既存の接続を選択 ② ③ ④ ⑤ ⑥
  22. 22. 22 データベーステーブルのアップロード3 テーブルや項目の選択 ①データベースを選択 ②テーブルを選択 ③項目を選択 ④ [データを選択]をクリック ① ② ③ ④ 使用する接続によって画面は異なります。
  23. 23. 23 データベーステーブルのアップロード4 アプリ更新の設定 データがアップロードされたときに、自動的にアプリをロードすることができます。 リロードしたいアプリをチェックして、[承認する]を クリックします。 最大10個まで選択できます。
  24. 24. 24 データベーステーブルのアップロード5 アップロードの実施 ①画面右の[・・・]をクリック ②[アップロード]をクリック テーブルごとにQVDファイルが作成され、指定したスペースにアップロードされます。 ①②
  25. 25. 25 Qlik Senseアプリのデータのアップロード 同時にリロードするクラウド上のアプリも設定できます。 アップロードの実行はデータベースの場合と同じです。 アプリに含まれるテーブルをクラウド上のQVDファイルとしてアップロードします。 ①[Qlikアプリ]をクリック ②[追加+]を入力 ③名前を入力 ④アップロード先のスペースを選択 ⑤[次へ]をクリック ⑥QFVファイルの格納先を入力します。 ⑦[承認]をクリックします。 ① ② ⑦ ⑥ ⑤ ③ ④
  26. 26. 26 スケジューリング データ接続とQlikアプリからのデータのアップロードは、スケジュール設定により自動で行うことができます。 ①[スケジュールされたアップロード]をクリック ②[追加+]を入力 ③名前、データソース、繰り返し、間隔、時 刻指定、開始日、終了日を入力 ④ [保存]をクリック ① ② ③ ④
  27. 27. 27 ファイルのアップロード ①[データフォルダ]をクリック ②[追加+]を入力 ③名前、フォルダへのフルパス、アップロー ド先のスペース、リロードするアプリを入力 ④[承認]をクリックします。 ① ② オンプレミス環境のフォルダのExcelやcsvファイルをクラウド上にアップロードします。 フォルダにファイルが追加されたり、データが変更されると自動でアップロードします。 ③ ④
  28. 28. 28 アップロードされたデータの確認 アップロード先に指定したスペースにデータが格納されます。
  29. 29. 29 DEMO
  30. 30. 30 制限事項 •データセットごとに最大 200 のテーブルまたはファイルをアップロード ✓ データセットに 200 を超えるテーブルまたはファイルがある場合、最初の 200 のみアップロード ✓ 例:データ接続または Qlik アプリで 200 を超えるテーブルを選択、 200 を超えるファイルを含むデータ フォルダ •アップロードするファイルは 500 MB 以下 •Essbase または Dropbox 内のファイルへの接続はサポート外 •データ フォルダからファイルを削除してもアップロードファイルはクラウドから削除されない •アプリのアップロードを使用する場合、アプリはQlik DataTransferの環境でリロードできること ✓ Qlik Sense Desktop で作成されている、またはQSサーバーでロードできる
  31. 31. 31 補足情報
  32. 32. 32 共有フォルダはサポート 〇: sharedata マップフォルダはサポート外 × : Z:data インストールフォルダ(初期設定) C:Program FilesQlikDataTransfer C:ProgramDataQlikDataTransfer ログ C:ProgramDataQlikDataTransferLog C:Users[user]AppDataLocalTemp • Qlik DataTransfer_*.log • Qlik DataTransfer_*_DataTransferService.log ブラウザからアクセス可能 URL: http://localhost:5505 コネクタ C:Program FilesQlikDataTransferConnectors システム情報 ポート データ アップロード サービス 5505 エンジン サービス 5506 コネクター レジストリ プロキシ 5507
  33. 33. 33 Qlik SaaS Cloud Based RDBMS Cloud Based Flat Files Replicate MAINFRAMEFILESEDW / RDBMS NoSQLSAP Compose 大規模に、リアルタイムでデータをアップロード Qlikデータ統合製品のご紹介 • さらに大規模容量のデータをアップロード • リアルタイムで最新のデータを反映 • 多様なデータソースに対応 Qlik Replicate リアルタイムで高速にデー タを転送 Qlik Compose for DataWarehouse Qlik Compose for Data Lake 最適化されたデータウェアハウスやデータレイクを 自動構築
  34. 34. 34 FAQ
  35. 35. 35 FAQ No. 質問 回答/対応 1 他のQlikのデータ統合ツールと比べての利点はなんですか。 無償の軽量ツールで、ITスキルがないユーザーでもすぐに使い始めることがで きます。 2 社内の他のスケジューラーと接続できますか。 Qlik DataTransferではできません。必要な場合はQlik CLI(Qlik Command Line Interface)を使用して直接 SaaS APIs に接続す ることができます。 3 バックアップや復元、冗長化の仕組みはありますか。 バックアップや復元、冗長化の機能はありません。必要に応じて下記をバッ クアップしてください。 C:ProgramDataQlikDataTransferDataUploadstorage 4 設定情報はどこにありますか。 C:ProgramDataQlikDataTransferDataUploadstorage 5 アップロード用ファイルはどこに格納されますか。 C:ProgramDataQlikDataTransferDataUploadqixdata に、QVDファイルとして格納されます。 6 すべてのシステムが共通の時刻参照を持つように、同期化され たタイムサービスプロトコル(NTPなど)を使用していますか? Qlikデータ転送のスケジューリングは、インストールされているサーバーのロー カルタイムに基づいています。 7 1つのData Transfer Agentのインスタンスで複数のテナント をサポートできますか?例えば、本番環境と非本番環境が分 離されている場合など。 対応していません。
  36. 36. 36 FAQ No. 質問 回答/対応 8 転送可能なデータ量に制限はありますか。 Qlikエンジンとコネクタが消費するメモリに依存します。 9 メモリの使用は制限できますか。 制限はできません。 10 ソースデータはアップロードした後はどうなりますか。 そのままローカル側に残ります。 11 データリネージは確認できますか。 できません。Qlik データ統合製品のご使用をお勧めします。 12 データが重複でアップロードされたり、正規の環境以外で使用さ れないよう制限する方法はありませんか。 機能はありません。ユーザー側で対応していただく必要があります。 13 データ管理・監査の責任について定義され文書化されています か。 ありません。 14 転送先の地理的な場所を制限することをできますか。 制限はできません。オンプレミスのソースに関係なく、登録された一か所のテ ナントに転送します。 15 前回のアップロードとの差分のみをアップロードすることはできます か。 常に全件をアップロードします。ただしデータベースに対して、「今日追加され たデータのみ」といったフィルタを設定したり、Qlikのアプリに差分データを作成 するロジックを組み込んで実現することは可能です。 16 管理スペースにもデータをアップロードすることはできますか。 管理スペースを含め、すべてのスペースにアップロードすることができます。
  37. 37. 37 FAQ No. 質問 回答/対応 17 ODBCドライバーを使用時に、シングルサインオンによる接続は できますか。 できます。 18 Qlik DataTransferのエージェントはどのようなユーザー認証 (NTLM, MSAD, SAML or IdP) が行えますか。 データソースに対して、Qlik Sense DesktopやClient Managedと同様 の認証をサポートしています。 19 セキュリティについて httpsプロトコルを使用しています。 テナント情報や接続情報などの機密情報を暗号化するために、AES (Advanced Encryption Standard)アルゴリズムを使用しています。 一般的なSaaSプラットフォームの要件に従って、プライバシー侵害の監視を しています。 プロキシを設定している場合も使用できます。 20 エラーが発生した場合に、通知機能や再実行の機能はありま すか。 通知機能や再実行の機能はありません。エラーはQlik DataTransferの ログに出力されます。
  38. 38. 38 Q&A
  39. 39. 39 Q&A 質問 回答 DataTransferを利用するにあたって、必要なポートと URLはありますでしょうか? 5505、5506、5507が必要です。 下記リンクをご参照ください。 https://help.qlik.com/ja-JP/cloud- services/Subsystems/Hub/Content/Sense_Hub/QlikDataTransfer/install- Qlik-DataTransfer.htm#anchor-3 QDTはサーバーリソースを消費するということですが、デー タ転送用としての使用を考慮する際のデータボリュームは どの程度と考えておけば良いでしょうか。 下記に制限事項があります。ファイルのサイズや個数などに制限があります。 https://help.qlik.com/ja-JP/cloud- services/Subsystems/Hub/Content/Sense_Hub/QlikDataTransfer/qlik- datatransfer.htm#anchor-5 フォルダに配置したファイルアップロードは、サービスがポーリ ングして検知していると思いますが、ポーリング間隔は何 秒か?ポーリング間隔を設定ファイル等で制御できるか、 ご教示ください。 ポーリング間隔については公開しておりません。ユーザー向けの設定機能もございません。 R&D開発者の内部の実装詳細になってしまいますが、Windows APIのShell APIを使用し て、Windowsフォルダ内の変更監視をリアルタイムで行っていると思われます。もしポーリングし て監視すると、仮にファイル数が1万個ほどあるフォルダの場合、ポーリングだけで処理時間がか かってしまいますので、そのためのフォルダ内用の変更通知APIがWindows API(Shell API) に存在します。これ以上の内容については、必要があればテクニカルサポートにご連絡ください。
  40. 40. 40 Q&A 質問 回答 Data TransferのインストールにQlik Senseは必須で しょうか? Qlik DataTransferのインストールには、Qlik Senseは必要ありません。接続する(設定す る)際には、クラウド版Qlik Senseが必要となります。 データのアップロード時にネットワークエラーが起こったときは、 ロールバックですか?リトライでしょうか? 自動でロールバックやリトライを行う機能はありません。アップロード状況とログをご確認の上、対 応していただくことになります。 Qlik DataTransferの環境にQlik Senseは、データ接 続と、データフォルダを利用するのみ場合は不要でしょう か? Qlikアプリを使う場合に必要という認識でしょうか?その 場合、Qlik Sense Desktopではだめでしょうか? Qlikアプリを使用する場合はDataTransferがアプリのロードスクリプトを実行します。Qlik DataTransferにはQlikのエンジンが含まれているのでQlik Senseは必要ありませんが、アプリ に含まれるデータ接続に接続できる必要があります。またアップロードに使用するアプリを開発す るためのQlik Senseが必要となります。データ接続と、データフォルダを利用するのみ場合はオン プレミス環境にQlik Senseは不要です。 エラーの通知機能はないですか? エラー通知機能はありません。
  41. 41. 41 Appendix
  42. 42. 42 Qlik Senseの書籍出版 タイトル:Qlik Sense ユーザーのためのデータ分析実践バイブル ・仕様:B5 変 ・ 500ページ ・定価:4,200円+税 ・刊行日:2020年9月7日 発売中! • QlikSpaceの記事をベースに、書籍用に大幅にカスタマイズ&加筆 • 1 冊でQlik Sence の基本をマスターし(=基本編)、ニーズの高い分 析例(=応用編)をできるだけ丁寧に紹介
  43. 43. 43 各種情報のご提供 QlikSpace Qlik Community Japan YouTube – Qlik Japan Qlik Partner Portal 製品最新情報、イベント情報、チュートリアル、サンプルアプリ 製品・技術Q&A、製品関連資料 新製品リリースの説明ムービーなど 製品プレゼンテーション資料など(PPT)
  44. 44. 44 今後のQlik Tech Talkの予定
  45. 45. 45 これまでのTech Talkはこちらから Qlik Espresso Web セミナーシリーズ
  46. 46. For more information, visit: qlik.com/products/nprinting

×