Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to 20210907 Qlik Tech Talk Snowflake with Qlik Best Practices
Similar to 20210907 Qlik Tech Talk Snowflake with Qlik Best Practices (20)
More from QlikPresalesJapan
More from QlikPresalesJapan (20)
20210907 Qlik Tech Talk Snowflake with Qlik Best Practices
- 1. SnowflakeとQlik Senseで実践！ ビッグデータ分析のベストプラクティス 2021/09/07 クリックテック・ジャパン株式会社 Qlik TECH TALK 中嶋 翔, Solution Architect
- 3. 3 Q&Aについて • 質問はZoom画面下のQAアイコンをクリックして入力してください。 • 質問に対してQlikパネラーが随時QAパネルで回答します。 • 質問と回答については、セミナーの最後に他の参加者に情報共有させ ていただきます。
- 4. 4 本日の動画と資料について • 本セッションの資料と動画は後日Webで公開されます。 • 以前のセッションの動画・資料一覧はQlik Japan公認ブログの「過去 イベント動画・資料」をご覧ください。 • 資料はSlideShareにアップロードされます。PDF版のダウンロードは SlideShareへの登録が必要となります。
- 5. 5 • Qlikのライブクエリ機能概要 (復習) • QlikとSnowflake • DEMO • ライブクエリ実装のポイント • その他の情報 アジェンダ
- 7. 7 Qlik Sense インメモリアプローチ Region Sales North 100 North 120 South 100 South 85 リレーショナルテーブル シンボルテーブル Region Binary Pointers North 00 South 01 Sales Binary Pointers 100 00 120 01 85 10 Region Sales 00 00 00 01 01 00 01 10 データテーブル Source Data Associative Data Indexing ソースデータをすべてインメモリに 展開して、変換・集計を実施 ・冗長性を排除 ・特許技術で、大幅な圧縮 ・バイナリで関係を表現 ・高速な列指向型のテーブル
- 9. 9 Qlik データメソドロジー ビッグデータにおける選択 Source Compute vs. Volume Source Compute Cost Volume / Recency ODAG Dynamic Views In-Memory In-Memory: - 100% in Memory - インデックス化 ODAG(On-Demand App Generation): (オンデマンドアプリ生成) - 集約された情報をもつソースアプリを使用 - 必要なときに必要な詳細データを取得 - アドホック分析とインメモリ分析の併用 Dynamic Views: - ダイナミックビューチャートを生成 - ユーザの任意のタイミングでデータを取得 - アドホック分析とインメモリ分析の併用
- 10. 10 オンデマンドアプリ生成(ODAG) の特長 データのサブセットは、すべてインメモリ上でホストされる （抽出されたデータを取り込んだ、完結したアプリで分析） 生成されたアプリは、通常のアプリと同様に完全なQlik Senseの機 能を利用可能 ⇒ Qlik連想エンジンのメリットを享受可能 データ量または軸の選択に基づいて、サイズを制御したアプリの起動 が可能 カスタマイズ可能なSQLやロードスクリプトを生成 Qlikがサポートする すべてのデータソースで動作可能
- 11. 11 ODAG オペレーション 1 2 3 4 5 選択アプリから、データ をグラフ/フィルタ ボック スから選択します。 選択中のデータ量が 閾値を下回ると ODAGが有効(緑 色) になります。 選択ステートに応じてアプ リがロードされます。 (例) 選択アプリからフィルター用項目 が渡され、抽出スクリプトに動的 に値が挿入され、ロードされます。 分析アプリが起動します。
- 12. 12 Dynamic Views の特長 データの更新タイミングを各ユーザーが制御可能 ビッグデータや急速に変化するデータの最新のビジュアライゼーションが可能 （ソースデータのリアルタイムに分析が可能） ひとつのアプリに、Dynamic Viewsを使用するチャートと通常のチャートの両 方を利用可能（分析アプリの生成が不要） データのサブセットは、すべてインメモリ上でホストされる 通常のアプリと同様に完全なQlik Senseの機能の利用可能 ⇒ Qlik連想エンジ ンのメリットを享受可能 データ量または軸の選択に基づいて、サイズを制御したチャートの表示が可能 カスタマイズ可能なSQLやロードスクリプトを生成 Qlikがサポートする すべてのデータソースで動作可能
- 13. 13 Dynamic Views オペレーション 1 2 3 4 5 選択アプリ (ベースアプ リ) から、データをグラフ /フィルタ ボックスから選 択します。 選択中のデータ量が 閾値を下回ると Dynamic Viewsの 更新が可能になりま す。 選択ステートに応じて Dynamic Viewsが実 行されます。 (例) 選択アプリからフィルター用項目 が渡され、抽出スクリプトに動的 に値が挿入され、ロードされます。 Dynamic Viewsチャートが 表示されます。
- 17. 17 In-Memory キャッシングによりソース計算量を最適化 同時接続ユーザーが多い時に最適 データサイロの調和 低コスト アナリティクス全領域 Direct Query 必要な時にデータへライブアクセス 限られた同時接続ユーザー 高コスト Qlik Senseは、インメモリとダイレクトクエリの両方の機能を備えた柔軟なアプローチ を提供しており、クエリのコスト、パフォーマンス、ユーザーエクスペリエンスを容易 に管理することができます。 業務向け ダッシュボード アドホック & データ探索 Qlikのキャッシング(インメモリ)は、同じデータの更新で、データソースの使用コス トを最大30倍まで削減することができます。 あらゆる角度からの分析
- 18. 18 Snowflakeでライブクエリを使用することは、アドホックやデータ探索のニーズには非常に 有効ですが、コモディティBIやレポーティングにはQlik Senseの方が適しています。 クエリベースBI ダッシュボード • 8600万行のデータ • 1時間ごとのデータ更新 • 1時間に4万回クエリ (1アプリ) • X-Large WH (オートスケール) Qlik Sense ダッシュボード • 8600万行のデータ • 1時間ごとのデータ更新 • 1時間に8回クエリ (1アプリ) • Large WH (スケールなし) 年間コスト: $270k 3,000万円弱 年間コスト: $9k 100万円弱 Qlik Senseは、インメモリ展開時およびライブクエリ時のみSnowflakeにクエリを投げるためコ スト効率が非常によい。 コスト 同時接続ユーザー数 Qlik Qlik Sense® Just Makes Sense for Snowflake
- 19. 19 Snowflakeの利用状況を最適化 自社でSnowflakeがどのように利用されているかを把握することができます。 • ユーザーインタラクションを最大化しつつ、コ ストとパフォーマンスの最適化とバランスを図 る - コストと使用量の分析 - セキュリティ監査 - パフォーマンス監視 • ダウンロード(GitHubリポジトリ) - releasesフォルダからバージョンを 指定してダウンロード
- 23. 23 TPCH_SF#データベース • トライアル登録後、Snowflakeコンソールにアクセ スすると、SNOWFLAKE_SAMPLE_DATAという データベースが用意されています。 • 同DBのTPCH_SF10スキーマをデモで使用します。 - 合計: 約8,600万行 - ORDERS:1,500万行 - LINEITEM:約6,000万行 - CUSTOMER: 150万行 - PART:200万行 - PARTSUPP:800万行 - SUPPLIER:10万行 - REGION: 5行 - NATION: 25行
- 24. 24 （参考）TPC_Hデータベース • TPC_HデータベースはDBの性能をテストするため のDBです。 • TPC_Hは8つのエンティティで構成されています。 • 受注ヘッダー(ORDERS)エンティティと受注詳細 (LINEITEM)エンティティ、その他パーツやサプラ イヤといった6つのマスターが存在しています。
- 25. 25 分析要望とデータモデルの検討 • 分析要望 - 90%のユーザーは、全体の売上KPI、顧客別の売上棒チャート、マーケットセグメント別の売上、そしてそれ らの推移などを確認します。(チャート・KPIレベルの確認) - 10%のユーザーは、顧客、パーツ、サプライヤといったあらゆるデータを受注明細レベル(最も細かい粒度)で 確認します。(明細レベルの確認) • データモデル - 8,600万行すべてのデータをそのままの粒度でQlik Senseに取りこむことは難しいため、Dynamic Viewsを検 討し、90%のユーザーが利用するサマリーアプリと、10%のユーザーが利用するテンプレートアプリ(ダイナ ミックチャート)を作成します。 - サマリーアプリ： • KPIやチャート作成に必要な最低限のデータとテンプレートアプリに渡す項目(ODAGバインディング)をインメモリに取りこみます。 - テンプレートアプリ： • 10%のユーザーが必要とする明細データを取得するロードスクリプトを記述します。 • Dynamic Viewsに使用するロジックをロードスクリプトに組み込みます。
- 26. 26 ODAGのバインディング数式とは • odag_プレフィックスは、選択アプリ(サマリーアプリ)の選択ステートをODAGもしくはDynamic Viewsのテンプレートアプリのロードスクリプトにバインドするために使用されます。 • データバインディング数式でプレフィックス「odag_」に続く部分は、選択アプリの項目名と一致 する名前にする必要があります。 - 例: 選択アプリから渡したい項目名が「%ORDERKEY」の場合、バインディングは「odag_%ORDERKEY」 • ODAGアプリまたはダイナミックチャートが生成されるとき、選択アプリの現在の選択状態を使用し て、各項目をバインドするための適切な値が取得されます。テンプレートアプリのロードスクリプト に含まれる各 $(odag_項目名) 数式は、選択アプリの選択状態に対応する項目において選択された 値のリストに置き換えられます。 - 主に、SQL/LOAD文のWHERE句に$(odag_項目名)が指定され、ロード時の絞り込みに使用されます。 odag_項目名 Help:On-demand テンプレート アプリのバインディング数式
- 28. 28 サマリーアプリ：ロードスクリプト Snowflakeへの接続(SaaS版Qlik SenseビルトインのSnowflakeコネクタを使用) TPCH_SF10の接続定義を変数に格納 TPCH_SF以降の数値を替えることで、Snowflakeが提供する異なる規模のTPCHをロード可能 テンプレートアプリでも同じDBを指定する
- 29. 29 サマリーアプリ：ロードスクリプト ORDERSテーブルをロード LINEITEMテーブルのうち、PARTKEY、 SUPPKEYのみロード(ODAGバインディング に使用) LINEITEMテーブルは6,000万レコードある ため、メジャー項目や関連マスターの取り 込みを行わない（データ容量削減） ※キー項目にはプレフィクスとして「%」を指定したエイリアスを作成
- 33. 33 テンプレートアプリ：ロードスクリプト ODAGテスト用のスクリプト(odagActive) 各定数の値は、指定した%ORDERKEYの注 文に関連する値であること ロードパフォーマンス向上のスクリプト Snowflakeへの接続 TPCH_SF10の接続定義を変数に格納 TPCH_SF以降の数値を替えることで、 Snowflakeが提供する異なる規模のTPCHを ロード可能 サマリーアプリと同じDBを指定する ※キー項目にはプレフィクスとして「%」を指定したエイリアスを作成
- 34. 34 ロードパフォーマンス向上のスクリプト ロードスクリプトの設定について （例） SET CreateSearchIndexOnReload = 0; // データリロード時の検索インデックスを作成しない SEARCH EXCLUDE *; // すべてのフィールドをスマートサーチから除外 SET DISABLE_INSIGHTS = ‘1’; // インサイト（洞察）の生成を無効化 SET UseAutoFieldOnTheFly=0; // Fields-on-the-flyの生成を無効化
- 38. 38 テンプレートアプリ：ロードスクリプト PARTSUPP、PARTテーブルのロード PARTSUPPテーブルは複合キーである%PARTKEY と％SUPPKEYをODAGバインディングとして指定 PARTテーブルは％PARTKEYをODAGバインディ ングとして指定 PARTは後段でPARTSUPPにLeft Joinされる が、SQLでSnowflakeから抽出する時点で データを絞りこむことで効率化を図る PARTテーブルをPARTSUPPテーブルにJOIN ※キー項目にはプレフィクスとして「%」を指定したエイリアスを作成
- 39. 39 テンプレートアプリ：ロードスクリプト SUPPLIERテーブルをロード。％SUPPKEYを ODAGバインディングとして指定 SUPPLIERは後段でPARTSUPPにLeft Joinされるが、SQLでSnowflakeから 抽出する時点でデータを絞りこむこと で効率化を図る SUPPLIERテーブルをPARTSUPPテーブルに JOIN NATION、REGIONテーブルをロードし、 PARTSUPPテーブルにJOIN ※キー項目にはプレフィクスとして「%」を指定したエイリアスを作成
- 41. 41 サマリーアプリ：UI
- 42. 42 テンプレートアプリ：UI 記述したスクリプトをロード。odagActiveプレースフォルダ変数の値がロードされます サマリーアプリからDynamic Viewsを使用して参照したい項目を明細テーブルに追加 明細テーブルをマスタービジュアライゼーションに追加
- 43. 43 サマリーアプリ：Dynamic Viewsの作成 ※事前にQMCでダイナミックビューを有効化してください。 作成したテンプレートアプリを指定 [行数制限数式]を選択 [数式]と[最大行数]にダイナミックビューのク エリを実行する基準値を設定 現在選択中のデータにおいて、％ORDERKEY の固有値が50以下ならクエリを実行 編集モードの アセットパネル
- 45. 45 サマリーアプリ：Dynamic Viewsのテスト チャート表示までの所要時間 データの整合性(サマリー⇔明細) 1. フィルターやチャートで データを絞り込み 2. 明細シートに移動 (ダイナミックビュー をトリガー) 3. データロード& チャート更新
- 47. 47 サマリーアプリには必要最低限のデータをロード • インメモリでの分析に必要なデータ - 必要な(不要な)テーブルや項目の検討 - 必要なデータの粒度を検討し、適宜集約 (e.g., 時間→日→月→四半期→年) • テンプレートアプリにODAGバインディン グとして渡すデータ - ファクトのキー項目だけでなく、マスターの キー項目もODAGバインディングとして使用 (e.g., %PARTKEY, %SUPPKEY) ODAGバイン ディング用項目 分析に必要な項目
- 48. 48 ODAGバインディングでロードの効率化 • テンプレートアプリではWHERE~IN句(LOAD文の場合WHERE~MATCH)とODAGバインディング を活用して、データロードの効率を考慮する。 - ファクト・ディメンションともに、ロード件数の大きくなりそうなテーブルに関してはSQLクエリの時点で ODAGバインディングで絞り込む - SQLの実行履歴はSnowflakeコンソールで確認
- 49. 49 ロードパフォーマンス向上のスクリプト SET CreateSearchIndexOnReload = 0; // データリロード時の検索インデックスを作成しない SEARCH EXCLUDE *; // すべてのフィールドをスマートサーチから除外 SET DISABLE_INSIGHTS = ‘1’; // インサイト（洞察）の生成を無効化 SET UseAutoFieldOnTheFly=0; // Fields-on-the-flyの生成を無効化 • 以下のスクリプトをテンプレートアプリのロードスクリプトに追加して、ロードにか かる時間を削減する
- 51. 51 ウェアハウスのスケールアップ ODAG/Dynamic Viewsでクエリするデータ量が大きいとき、Snowflakeのウェアハウスをスケール アップすることでSQL実行時間を短縮 ウェアハウスをXS→Lにスケールアップ Snowflakeのキャッシュ機能の影響を受けないよう考慮 1,000件のORDERを指定してクエリ 各テーブルへのクエリ実行時間が大幅に短縮 一番大きなLINEITEM約4,000行への実行時間は3.5秒短縮
- 52. 52 まとめ • サマリーアプリには必要最低限のデータをロード • ODAGバインディングでロードの効率化 • ロードパフォーマンス向上のスクリプト • クエリパフォーマンスの確認・チューニング • ウェアハウスのスケールアップ
- 53. 53 その他の情報
- 57. 57 Qlik Replicate勉強会 毎週木曜開催。Qlik Replicateの使い方を網羅的に学習する。 https://techplay.jp/community/qlik/event
- 58. 58 Qlik Japanグループのフォローをお願いします Tech Playのグループを フォローいただくと、イ ベント情報が届きます。 TECH PLAYのQlikコミュニティサイト: https://techplay.jp/community/qlik
- 60. 60 日本語アプリサイト Qlik Showcase 100以上のサンプルアプリを実際に操作できます。 サイト：https://qtjsc.ap.qlikcloud.com 使い方：Qlik Showcase(日本語版デモアプリサイト)のご利用について 一部のアプリはこちらからダウンロードできます。 日本語アプリ一覧
- 63. 63 待望の「Qlik Sense 参考書」 Qlik Sense ユーザーのためのデータ分析実践バ イブル ・判型：B5 変 ・総ページ数：～480 ページ程度 ・予価本体：4,200円 (+税) • QlikSpaceの記事をベースに、書籍用に大幅 にカスタマイズ＆加筆 • 1 冊でQlik Sense の基本をマスターし（＝ 基本編）、ニーズの高い分析例（＝応用 編）をできるだけ丁寧に紹介
- 64. Thank You!
Editor's Notes
- 4, 6
- Qlik and Snowflake together transform an organization’s data and analytics supply chain, from a fulfillment process, into their own competitive advantage. Qlik’s data integration and analytics technologies coupled with Snowflake’s elastic date warehousing offer a distinct edge for any organization that strives to be data driven and optimize their investments around data and analytics.
- Qlik Senseが他のクエリファーストのベンダーと比べて優れている点は、クエリ処理にハイブリッドなアプローチを提供していることです。 1. Qlik Senseは、市場をリードする連想エンジンを利用したインメモリ（アナリティクス側のキャッシュ）を提供します。 2. ダイナミックビューは、プッシュダウンコントロールで直接クエリを実行します。 このアプローチの利点は以下の通りです。 クエリを実行する場所を正確に管理することで、データソースの使用コストを削減できる パフォーマンスとユーザー・エクスペリエンスをより良く管理できる ビジネスの要件を満たし、最適化の能力を失うことなく、あらゆる分析機能を強化することができます。 The benefit of Qlik Sense vs other query-first vendors is the fact that we offer a hybrid approach to query processing: In-Memory aka Analytics side cache – leveraging our market leading Associative Engine Dynamic Views provide direct querying with push down controls. The advantage of this approach is: The precision and control in managing where queries are executed, thus reducing data source usage costs Ability to better manage performance and user experience Meet the requirements of the business and empower the full analytics spectrum without losing any ability to optimize
- Qlik Sense supports both approaches to query processing – In-Memory / Analytics side cache’ AND Direct Query with push down control. This enables an organization the ability to satisfy full realm of requirements from operational dashboards to live access/real-time use cases - all while keeping costs low and the user experience high. There’s a balance and need for both approaches based on the use case. Not everyone needs access to live data all the time, but some do. The reality is that this type of approach to analytics is: Expensive – for every reload and interaction is a charge for compute (paying for something you already own) Overkill – makes managing performance and user experience more difficult. Live access to data isn’t always a requirement, but it will always come with a price tag. That’s where we emphasize an organized approach to executing query processing and ensuring our platform positions our customers to be successful through their analytics endeavors. By utilizing our In-Memory capabilities, organizations now have: The precision and control to balance where queries are executed and reduce data source usage costs (by up to 30x !) Ability to better manage performance and user experience – specifically reduce response times Meet the requirements of the business and empower the full analytics spectrum without losing any ability to optimize Our Associative Difference and augmented capabilities offer a world class experiences across analytics and data discovery. Our platform leverages advanced technologies and sophisticated AI to create an augmented experience where conversation analytics and active intelligence become a reality. Snowflake is a consolidator for the DB side and Qlik is it’s equal on the analytics side – “we are not an either-or, but we are an any or both! We cover Analytics from any angle. We provide a single platform that supports the entire range of analytics – not just a single part of it.
- Ad Hoc and Data Mining are important use cases that may require push down query control, but they will end up being a fraction of the total query volume across the entire analytics environment. Our In-Memory and world-class associative analytics experience is cost effective and supports every use case across the organization. Test Case In this example, we have 1 application with 86 million rows of data that is refreshed hourly, across a user base that can generate on average 40,000 queries per hour. In the Query-based dashboard, the 40k queries are exactly that - 40k queries. Every click by a user is a charge against the database and at the end of the year this can increase costs significantly. In our case example, the annual cost for querying this application and its data (which the client already owns) = $270,000. With Qlik’s ability to balance query execution and move it to In-Memory – that same application and test case could be simplified to 8 queries per hour with an annual costs of $9,000 – 30x cheaper than direct access querying! Summary: Don’t overpay accessing data you already own, leverage analytics side caching and our market leading analytics engine to keep budgets balanced. The overall architecture and methodology to analytics and querying execution needs to be organized and intelligent. Qlik’s hybrid approach guarantees analytics for everyone while being cost effective.
- Analyze Cost & Usage: Both the pay-as-you go model or Enterprise credit purchases. Auditing & Security: Understand who is logging in and where they are located along with metrics associated with Security and Connectivity. Performance & Optimization: Who is running queries, where are their issues and how much does this relate to overall cost and usage
- Qlik Sense supports a hybrid approach to query processing – In-Memory / Analytics side cache’ AND Direct Query with push down control. This enables an organization the ability to satisfy full realm of requirements from operational dashboards to live access/real-time use cases - all while keeping costs low and the user experience high. Live access to data isn’t always a requirement, but it will always come with a price tag. That’s where we emphasize an organized approach to executing query processing and ensuring our platform positions our customers to be successful through their analytics endeavors. By utilizing our In-Memory capabilities, organizations now have: The precision and control to balance where queries are executed and reduce data source usage costs (by up to 30x !) Ability to better manage performance and user experience – specifically reduce response times Meet the requirements of the business and empower the full analytics spectrum without losing any ability to optimize Our Associative Difference and augmented capabilities offer a world class experiences across analytics and data discovery. Our platform leverages advanced technologies and sophisticated AI to create an augmented experience where conversation analytics and active intelligence become a reality. We cover Analytics from any angle. We provide a single platform that supports the entire range of analytics – not just a single part of it.