Downloaded 34 times
More Related Content
Similar to TECHTALK_20220802 Direct Query.pdf
![【ウェブ セミナー】AI 時代のクラウド データ ウェアハウス Azure SQL Data Warehouse [実践編]](https://cdn.slidesharecdn.com/ss_thumbnails/webinarsqldw20170726-180220004900-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Cloud OnAir] 最新アップデート Google Cloud データ関連ソリューション 2020年5月14日 放送](https://cdn.slidesharecdn.com/ss_thumbnails/0514-200514080330-thumbnail.jpg?width=640&height=640&fit=bounds)
![[db tech showcase Sapporo 2015] B15:ビッグデータ/クラウドにデータ連携自由自在 (オンプレミス ↔ クラウド ↔ クラ...](https://cdn.slidesharecdn.com/ss_thumbnails/dbtssapporo2015b15bigdatacloudinsighttechnology-150917050117-lva1-app6892-thumbnail.jpg?width=640&height=640&fit=bounds)
TECHTALK_20220802 Direct Query.pdf
- 1. クラウドデータベースへの新しいアクセス方法 Aug 2022 TECH TALK 最新データにライブ接続！ QlikCloud Direct Queryの紹介
- 2.
- 3. 3 3 Q&Aについて • 質問はZoom画面下のQAアイコンをクリックして入力してください。 • 質問に対してQlikパネラーが随時QAパネルで回答します。 •質問と回答については、セミナーの最後に他の参加者に情報共有させていただき ます。
- 4. 4 4 本日の動画と資料について • 本セッションの資料と動画は後日TechPlayのレポートで公開されます。 • 以前のセッションにつきましては、YouTubeのプレイリスト、Slideshareを ご覧ください。 • SlideShareからのPDF版のダウンロードはSlideShareへの登録が必要と なります。
- 5. 5 5 アジェンダ • DirectQuery概要 • Direct Query設定方法 • ODAGへの移行 • ユーズケース • サマリ • FAQ
- 6.
- 7.
- 8.
- 9. 9 SQLプッシュダウンとは? • データベースレベルで実行されるSQLクエリー • ユーザーは、ディメンションの選択など、チャー トとのインタラクションを通じて、データベースを "プッシュダウン"します。 データベースのプッシュダウン データベースレベル
- 10. 10 Direct Query クラウドデータベースへの新しいアクセス方法 • ODAGとDynamicviewsを補完する SQLプッシュダウン・オプション • 理由 - 処理の再利用 - ビッグデータ、またはデータの再利用 - アクセスコントロールとビジネスロジック • 特定のユースケースに適合 - データアナリストのためのプロトタイピング - 少人数向けの概要アプリ - ODAG用セレクションアプリ
- 11. 11 Direct Queryの位置づけ アナリティクスの利用オプション アナリティクス エンジン Dynamic Views Direct Query ライブチャートやビ ジュアライゼーショ ンには、クエリーが 組み込まれていま す。 オンデマンドアプリ 生成：ドリルダウ ンアプリを作成す ることで、非常に 大きなデータセット の分析が可能に なります。 ODAG プッシュダウン /Direct Query インメモリ アプリやダッシュ ボード全体をクラ ウドデータベース に接続し、オンデ マンドでSQLを プッシュダウンする ことができます。 ハイブリッド データモデル アナリティクスエンジン ＋ ダイナミック・ビュー の ハイブリッドな機能 を提供します。 *競争優位 高コスト、 パフォーマンスリスク 低コスト、 高いユーザーエクスペリエンス インタラクティブな分 析に特化しており、 パフォーマンスと、拡 張、アラート、自動 化などの高度なイン タラクションのために 最適化されている
- 12. 12 12 12 12 12 12 12 Hybrid Approach アナリティクスの全貌 Analytics Engine(In-Memory) -アナリティクス側のキャッシュによる最適化された処理 -大規模な同時接続に適している -高度なインタラクティビティとユーザーエクスペリエンス - 低コスト フルアナリティクススペクトラム Direct Query - データベース側での処理 - SQLプッシュダウン - 同時接続の制限 - 高コスト 運用 ダッシュボード ビッグデータ & ニアタイム ディスカバリー Qlik Sense SaaSは、高度なユーザーエクスペリエンスを提供するAnalytics Engineと、ほぼリアルタイムまたはビッグデータのユースケースを実現するDirect Query によって、柔軟なアプローチを提供します。 その他 5 % ユーズケースの95%
- 13.
- 14.
- 15.
- 16. 16 Snowflake Oauth設定 OAuthをサポートするSnowflakeインスタンスの設定方法 Create securityintegration oauth_kp_int type = oauth enabled = true oauth_client = custom oauth_client_type = 'CONFIDENTIAL’ oauth_redirect_uri = 'https://connector.qlik.com/auth/oauth/v2.htm’ oauth_issue_refresh_tokens = true oauth_refresh_token_validity = 86400 blocked_roles_list = ('SYSADMIN’); Show security integrations; Select system$show_oauth_client_secrets('OAUTH_KP_INT'); ユーザーの作成：OAuthは管理者以外のアカウントにのみ許可されます。 Warehouseの起動。 Snowflake のドキュメントへのリンク カスタムクライアントのための Snowflake OAuth の設定
- 17. 17 テスト用OAuth付きSnowflakeインスタンス ユーザー定義認証とOAuthを使ったコネクタの設定方法 Qlik DB connector Snowflake_OAuth_test example.snowflakecomputing.com COMPUTE_WH https://example.snowflakecomputing.com/oauth/authorize https://example.snowflakecomputing.com/oauth/token-request ClientId Q3pPn_example (from Snowflake) Client Secret uSwL_example (from Snowflake) (Both the client ID and client secret can be retrieved using the SYSTEM$SHOW_OAUTH_CLIENT_SECRETS function.) Example: select system$show_oauth_client_secrets('OAUTH_KP_INT');
- 18.
- 19. 19 データ選択 データモデラーの使用 • データ接続の作成 • DirectQueryに移動 • ロール、データベース、スキーマの選択 • テーブルと項目の選択 • 関係の作成 (1テーブル以上ある場合)
- 20. 20 ビジュアライゼーションの作成 Qlik Senseチャート・ポートフォリオのサブセット • アナリティクスエンジンとの部分的比較 -標準チャート: 棒、ブレット、ボタン、コンボ、コンテナ、 フィルターパネル、ゲージ, KPI, 折れ線, マップ、メッコ、 円、 散布図、テーブル、テキスト、ウォーターフォール ( ボックスプロット, 分布プロット, ヒストグラム, ピボット テーブル, ツリーマップは非対応) - Dashboard bundle: Video player (Animator, Date picker, Variable input非対応) - Visualization bundle: Funnel, Multi KPI, Radar, Sankey Word cloud (Grid, Network, Org, P&L, Trellis, Variance waterfall非対応) - Extensions非対応 • メジャーのグループおよび積み上げ(軸の積み上げ 非対応) • 軸のグループ • 色：単色および軸1(数式 非対応) • チャートによってサポートは異なる
- 21. 21 利用可能な数式 クラウド上のSQLデータベースで定義 • =Only(), Sum(),Min(), Max(), Count(), Distinct, Total • String concatenation, ie =‘Sales’ & sum(Sales) • SET分析の制限 🖝 • 変数は文字列で利用可能 ‘$(vVar)’
- 22. 22 制限 機能制限 • Senseの多くのパーツはAnalytics Engineに依存 • 機能は、基盤となるクラウドデータ ベースに依存します •機能を除外、制限、または範囲を 超えて使用した場合のエラーメッ セージを表示 • サブスクライブ、ブックマーク、ストー リーテリング、スマートサーチ、モニタリ ングチャート、グローバルセレクター、 アソシエイティブインサイト、インサイト アドバイザーは無効、印刷、エクス ポート
- 23. 23 データベース特有の機能 メジャーでデータベース関数を呼び出して使用 • クラウドデータベース固有の機能を利用 することが可能です。 (軸は含まない) •クラウドデータベースによって設定される 機能は異なります • 例えば、Snowflakeには534の関数が あります。そのうち、エクスプレッションエ ディターで選択できるのは370個です。 • 注意：データベース関数を使用すると、 データベースの変更やインメモリへの移行 が難しくなります。
- 24. 24 Direct Queryアプリケーションの共有 ユーザーごとに実行時にデータにアクセスするため異なる • ユーザーアクセスは、データベースに よって管理されることを想定している :ユーザー定義の認証情報 •アプリは共有スペースにあり、ユー ザーはデータを消費できるロールを 持っていなければならない • データベース接続を共有スペースで 維持する • エンドユーザーがデータ接続にアクセ スできること
- 25.
- 26.
- 27. 27 ダイレクトクエリーアプリからODAGへの移行 Menu :テンプレートアプリの生成 • 編集権限のあるユーザーに対して有効 •1つのフィールドで選択 • Menu “テンプレートアプリの生成” • クラウドデータベースからフィールドを取得 したテンプレートODAGスクリプト • where句のODAGバインディング • 選択範囲から挿入されたテスト値 • より多くのソースでテンプレートを構築 IF '$(odagActive)'='' THEN set odagn_ProductKey = ‘214’; END IF; SELECT ProductKey, MovementDate, UnitsIn FROM "SNOWFLAKE_SAMPLE_DATA"."TPCH_SF1"."NATION" WHERE ProductKey IN ($(odag_ProductKey));
- 28. 28 ユーザーベースの認証情報によるODAG アクセスコントロールのためにエンドユーザーとしてデータをロードする • クラウドデータベースのアクセス制御 を利用するために必要なユーザー ベースの認証情報 • ロードスクリプトのキーワードでユー ザー認証が可能///!ODAG_SSO •注意 データベース接続を共有ス ペースで維持する • 注意 エンドユーザーはデータ接続に アクセスできる必要があります
- 29.
- 30. 30 作業分担 Qlikとクラウドデータベースの分岐点 Qlik Engine • クエリーー生成 •選択 • 推論結合 • Set数式 • クエリーキャッシュ Cloud database • クエリー生成 • 機能実行 • アクセスコントロール
- 31.
- 32.
- 33. 33 データが膨大 非常に大きなデータセットをクラウド 上で分析することができます。 ユーズケース Qlik Senseの拡張 データはニアリアルタイム シナリオによっては、最新のデータが必 要な場合があります ユーズケース例: • 金融不正の検出 •IOT異常 ユーズケース例: • ウェアハウスオペレーション • フリートマネジメント
- 34. 34 ユーズケース ダイレクトクエリーに適した典型的なシナリオ • 新しいデータベースとテーブルを探求 するデータアナリスト • ライブKPIのためのシンプルなダッシュ ボード、少人数のユーザー •生産前の初期段階におけるダッシュ ボードのプロトタイプ化 • オンデマンドアプリ生成を使用して Qlik Analytic Engineにデータの スライスを抽出するための踏み台と なるDirect Query
- 35. 35 ダイレクトクエリーからの移行 Qlik Analytics Engineを使ったより深い分析 •SQLのプッシュダウンには、コストと時間が かかります。 • オンデマンドアプリを起動させるボタンアク ション • Direct QueryをAnalytics Engineア プリに変換 • オンデマンドテンプレートのエクスポート
- 36.
- 37.
- 38. 38 1. Direct Queryとは何か DirectQueryは、アプリケーショ ンやダッシュボードからクラウド データベースに直接問い合わ せることができ、オンデマンドで SQLをプッシュダウンできるため、 ビッグデータ分析やニアリアルタ イムのユースケースを実現しま す。 *アナリティクスエンジンの限定的な機能 サマリ Direct Query + Qlik Sense 2. Direct Queryによる販売力強化 より多くのRFPへの対応 Snowflakeのようなベンダーと戦略的に連携 競合のFUDを打ち砕く ▪ Direct Queryでリードしながらも、インポー ト（PBI）や抽出（Tableau）への依存 をしている競合との比較 ▪ AstratoのようなピュアプレイのSQLプッシュダウ ンベンダーとの比較大規模なエンタープライズ 分析プラットフォームを持っていません。 3. プラットフォームでリード Qlikのアナリティクスエンジンは、 多くのユースケースに対応してい ます。 戦略的にDirect Queryを活用 SQLプッシュダウンを先行して回 答しないように注意
- 39.
- 40. 40 FAQ • クエリーのキャッシュ時間は？30秒です。アプリの設定で、更新時に強制的に変更されま す。 • クエリーは共有されていますか？いいえ、1回につき1つです。 •Direct QueryはSaaSのみの機能ですか？はい、そうです。 • なぜチェックボックス形式のリストボックスなのか？データが選択されるのではなく、フィルタリン グされるからです。 • nullはどのように扱われるのですか？Analytics Engineとは異なり、今のところアプリの設 定で除外されます。 • Direct Queryはなぜ制限されるのか？SQLのプッシュダウンという性質上、データベース 側の処理への影響、同時接続の制限などがあるためです。ODAGなどでAnalytics Engineのメモリに移動してください。
- 41. 41 FAQ • カスタムSQLはサポートされていますか？最初のリリースでは、高度な設定の一部としてサ ポートされていません。代わりにSnowflakeでビューを作成します。 • 複数のSnowflakeインスタンスに接続することはできますか？いいえ。ただし、 Snowflake側で海外のインスタンスを共有することは可能です。 •ヘルパーテーブルでSQLを最適化することは可能ですか？最初のリリースでは、詳細設定 の一部に含まれていません。 • BigQueryはいつサポートされるのですか？次はDatabricks、その次はBigQuery、そし てRedshiftの順番でリリースされる予定です。 • テンプレートアプリを生成するの目的とは？アプリ開発者がオンデマンドのアプリ生成を使っ てインメモリに移行するのを簡略化する。
- 42.
- 43.
- 44.
- 45.
- 46. 46 Qlik Japanグループのフォローをお願いします。 Tech Playのグループを フォローいただくと、イ ベント情報が届きます。 TECHPLAYのQlikコミュニティサイト: https://techplay.jp/community/qlik
- 47.
- 48. 48 過去のセミナー動画 YouTubeチャンネル YouTube プレイリスト：TECH TALK YouTubeプレイリスト： Qlik Replicate 基礎から学ぶ勉強会 Qlik Japan Youtubeチャンネル 登録チャンネルの お願いします。
- 49. 49 49 49 49 49 49 49 「Qlik Sense 参考書」好評発売中 QlikSense ユーザーのためのデータ分析実践バ イブル 判型：b5 変 ・総ページ数：～480ページ程度 予価本体：4,200円(+税) • 1 冊でQlik Senseの基本をマスターする （＝基本編）、ニーズの高い分析例（＝応 用編）をできるだけ丁寧に紹介する。
- 50. 50 その他の情報 セミナー動画・事例紹介 デモ・新機能紹介 Qlik Japan YoutubeQlik Community Japan Qlikショーケース 日本語アプリの公開 Qlik Japanブログ 製品・技術情報の公開