Downloaded 11 times
【TECK TALK】ノーコードで分析データを準備、データフローを使いこなそう.pptx
- 1. TECH TALK Qlik DataFlow ノーコードで分析データを準備 データフローを使いこなそう クリックテック・ジャパン株式会社 三輪尚平 2025 年 02 月 25 日 1
- 2. TECH TALK とは？ Qlikの製品や機能の中から 特定のテーマを取り上げて、 技術的な情報を発信していくセミナーです。
- 3. • 質問は Zoom画面下の Q&A アイコンをクリックして入力してください。 • 質問に対して Qlik パネラーが随時 Q&A パネルで回答します。 • 質問と回答については、セミナーの最後に他の参加者に共有させていただきます。 3 Q&A について
- 4.
- 5.
- 6.
- 7. 7 データ準備のリリースにあたる市場投入 • 単一テーブルの準備： TalendData Preparation • データフロービジュアル設計： Talend Pipeline Designer シンプルで複雑な繰り返し可能なデータ準備は、プラットフォーム全体での幅広い分析ユースケースの成功に不 可欠です。 • データ準備ユースケースではスクリプトが依然として必要 Talend のノーコード機能と Qlik エンジンのパワー、そしてアナリティクス ユーザーへのリーチを組み合わせるこ とで、アナリティクスと AI 向けの「ユースケース対応」データセットを作成するためのエンドツーエンドのユー ザー ジャーニーを提供します。
- 8. 8 Qlik のデータ準備へのアプローチ さまざまなユーザージャーニーに対応できる多目的なデータ準備 データフロー テーブルレシピ スクリプト シンプル中間 高度 Qlik スクリプトの完全な柔軟性 コード不要 現場レベルの業務への重点 ノーコード / ローコード テーブルレベルの操作への重点 ✅2023-11: Qlik Cloud Analytics のスクリプト エディ ターハブから直接アクセス ✅2024-07: Talend Cloud でのセルフサービスデータ準備 Talend Data Preparation を使用
- 9. 視覚的なフローで複数のデータセットを組み合わせて形を整える 直感的なビジュアルエクスペリエンス ドラッグ アンド ドロップによるキャンバス 20以上のプロセッサ データとスクリプトのプレビュー Qlik Cloud Analytics とのネイティブ統 合 Qlik スクリプトの生成 接続、スケジュール、系統、自動化、アクティビティ センター Qlik Cloud Analytics のコード不要のデータフロー
- 10.
- 11.
- 12.
- 13. データフロー・ビルディング・ブロック Join Union Aggregate Dates Filter Select fields Remove fields Math Numbers Strings Concatenate fields Cleanse Hash Fork Unpivot Qlik script Datafile Connection Dataset Split fields Sort Window Calculate fields Connection Targets Processors Sources
- 14. データフローエディターのオーバービュー Assets Node configuratio n Script preview Datapreview Design canvas
- 15. データセット データファイル： Qlik Cloudへアップロードされたファイル データベース、データウェアハウスから登録されたデータセット 接続 データ・マネージャーがサポートする接続と同じ 制限事項：データ・ロード・エディターとスクリプト・エディターに比べ、以下 の機能はサポートされていません • 高度な分析、 AI/ML 、 AutoML 、 GeoOperations （ doc ）などの分析 ソース • 特定のコネクター Google 広告、 Google カレンダー、 Meaning Cloud 、 OData 、 Sentiment140 、 SMTP 、 Watson 自然言語理解 • YouTube Analytics ワイルドカード、相対構文 データフロー・ビルディング・ブロック Dataset Connection Sources
- 16. データファイル Qlik Cloud Analyticsの管理対象ファイル ファイル形式： Parquet 、 QVD 、 CSV 、 TXT サブフォルダ閲覧 UI なし：フルパスを入力する必要がある 接続 外部ファイルストレージ ファイルフォーマット ファイル形式： Parquet 、 QVD 、 CSV 、 TXT ファイルのみサポート：データベースやデータウェアハウス等への書き込み はサポートされていません。 データフロー・ビルディング・ブロック Connection Data file Targets
- 17. データフロー・ビルディング・ブロック Join Union Aggregate Dates Filter Select fields Remove fields Math Numbers Strings Concatenate fields Cleanse Hash Fork Unpivot Splitfields Sort Window • スキーマ操作によるフィールドの選択、名前の変更、並べ替え、削除 • 複数の入力からのデータの結合 • 行のフィルタリングや複数の出力への分岐 • 集計とウィンドウベースの計算 • 列から行へのピボット解除 • フィールドレベルの操作
- 18. データフロー・ビルディング・ブロック Qlik script Calculate fields • スクリプト式を使用して1 つ以上の計 算フィールドを作成する 例 • 定数値またはフラグ • 条件ロジック / フォーマット / エンコー ディング • 複数演算子による計算 • ソース ( 入力データ ) として使用可能 • Qlik スクリプトを直接入力し、データフ ロー内でデータの準備を可能とする 例 複数のソースファイルをループする
- 19. プロセッサー処理例 • スクリプト式の IF関数を使用して DEAL SIZE が Large であれば〇 それ以外は – という Gift with Purchase 列を作成 • Fork プロセッサーにより、同一の出力データを 2 経路に引き渡しする。 • Select Fields プロセッサーにより、それぞれ必要な別のフィールドを選択する Calculate fields Fork Select fields
- 20. プロセッサー処理例 • 入力データ Area(地域 ) 、営業担当者 Lisa/James/Sharon における売上目標値が含まれたものを、地域別 . 営業担当者別 . 売上 目標数値へ変換して出力する。 • 列行変換 ( 縦持ち / 横持ち変換 ) Unpivot
- 21. データフローの各ステップまたはデータフロー全体で、生成されたスク リプトを読み取り専用でプレビューできます。 データフローを編集可能なスクリプトオブジェクトに変換可能：ノー コードから始めて、より高度なロジックのスクリプトに移行可能データ フローには、 Qlik スクリプトとCalculate フィールドプロセッサを使用 したカスタムスクリプトロジックを含めることができます。 ※ 既存のスクリプトをデータフローに変換することはできません。 データフローとスクリプト
- 22.
- 23. チュートリアル - 初心者向けデータフロー このシナリオでは、世界中の顧客と、顧客の名前、注文日とステータス、出身国、州、住所、電話番号などの情報を含む販売デー タサンプルに焦点を当てます。米国の顧客に焦点を当てるようにデータを準備するとします。 米国の顧客に関するすべてのデータを分離し、出身州に関する不足している情報を追加し、書式を少し変更して、たとえば分析ア プリのソースとして使用できる新しいファイルにデータをエクスポートします。 https://help.qlik.com/en-US/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataFlow/data-flow-tutorial.htm 使用するデータ • states.xlsx • sales_data_sample.xlsx
- 24.
- 25.
- 26.
- 27.
- 28.
- 29.
- 30.
- 31.
- 32.
- 33.
- 34.
- 35.
- 36.
- 37.
- 38. データフローの完了 / アプリの作成 データフローの実行により作成されたqvd ファイルと系列の確認 作成された qvd ファイルからアプリを作成
- 39.
- 40. データフローのソースとターゲット - サポートする接続ソース https://help.qlik.com/en-US/cloud-services/Subsystems/Hub/Content/Sense_Helpsites/Connectors_SaaS.htm #anchor-2 Qlik CloudAnalytics でサポートされたデータソース - サポートするファイルタイプ https://help.qlik.com/en-US/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataSource/load-data-from -files.htm#anchor-1 CSV / HTML /Excel / Apache purquet / JSON / QVD / QVX etc.. - ターゲットの制限 https://help.qlik.com/ja-JP/cloud-services/Subsystems/Hub/Content/Sense_Hub/DataFlow/Known-limitations- data-flow.htm データ フローのターゲットはファイルとしてのみ保存できます。
- 41.
- 42.
- 43.
- 44. 自動化への組み込み Application Automation にあるDo Reload ブロックからデータフローオブジェクトの指定を行う事が可能です。 Application Automation からデータフローを実行する
- 45. データフローを使用した Qlik Answers統合 Application Automation Dataset Connection Sources Targets Data file on TXT Processors Data Flow Knowledge Base Assistant Index File Question Answer notify Execute Data Flow Indexation to Index Execute Prompt USA で一番購入した顧客名 は？ (tutorial.txt を参照 )
- 46. Qlik Talend Cloudにおけるデータフローの活用 Qlik Talend Cloud においても Qlik Cloud Analytics 同様のデータフローの利用が可能です。 Qlik Cloud Analytics におけるデータ準備のためのデータフローとして機能しますが、 Data Intagration の組み 合わせを行う事でデータ移動のためのデータフローを活用することが可能です。 データインテグレーション SaaS App Onpremiss DB Warehous e Data flow Sources and Targets QCA Supported DB Data flow Sources Data flow Processer Join
- 47. Qlik Talend Cloudにおけるデータ移動としてのデータフ ロー Qlik Analytics Analytics Process Data Integration Process DI Task DF Target (S3Tier0.1) SaaS App Onpremiss DB Or DF Target (S3Tier2) DF Target (S3Tier1) JSON Redshi ft Cloud Trail Data flow Processer Data flow Warehous e Join / Fork Join DF Target (S3Tier3) Data flow Sources and Targets Data flow Processer Data flow Targets Data flow Source Taget QCA Supported DB Data flow Sources Script Semantic Parquet Glue Crawler DataCatalog (Hive Metastore) Amazon Athena (Trino)
- 48. Qlik Talend Cloudにおけるデータ移動としてのデータフ ロー Qlik Analytics Analytics Process Data Integration Process DI Task DF Target (S3Tier0.1) SaaS App Onpremiss DB Or DF Target (S3Tier2) DF Target (S3Tier1) JSON Redshi ft Cloud Trail Data flow Processer Data flow Warehous e Join / Fork Join DF Target (S3Tier3) Data flow Sources and Targets Data flow Processer Data flow Targets Data flow Source Taget QCA Supported DB Data flow Sources Script Semantic Parquet Glue Crawler DataCatalog (Hive Metastore) Amazon Athena (Trino)
- 49.
- 50.
- 51. Web セミナーやイベントにご参加ください！ 技術セミナー LT 形式Tips 共有 技術イベント 医療・ヘルスケア関連 トレーニング
- 52.
- 53.
- 54.
- 55. 55 Qlik Tips プレイリスト Qlik使用のちょっとした技術やコツを短い動画でご紹介しています。 https://www.youtube.com/playlist?list=PLTGfcjhh8Hh5a6vjjOlBa7mAtL2H0hw7K
- 56. Qlik Sense Business入門ハンズオン Web セミナー ハンズオン Web セミナーのリニューアル Qlik Sense Business のセットアップから分析・コラボレーション まで一通りの分析ワークロードを 1 時間ほどで体験いただき、基 本的な機能や操作について理解いただける内容となっています。 ※Qlik Sense Business と Qlik Sense Enterprise Client-Managed では基本的な 操作はほぼ同じですが、一部画面や手順が異なる場合もあります。 https://pages.qlik.com/JPN_QSBeginner_Webinar.html?utm_medium=inter nal&utm_source=QlikWeb&utm_team=Web Qlik Sense アプリ開発アドバンスト Qlik Sense 売上管理ダッシュボードの作成 架空の会社の CEO とセールスマネージャーの要件をもとに、 Qlik Sense で売上管理のアプリを作成します。ビジネスア ナリスト向けの実践的なアプリ開発の実習として、データは 既にデータアーキテクトにより整理されているものとし、 ロードスクリプトによる加工は行いません。 ・要件の理解 ・ KPI 、軸、メジャーの決定 ・データマネージャーによるデータ準備 ・ダッシュボード画面の作成（画面設計、チャートの選択、 マスターアイテムの登録、数式の記述など） Qlik Sense のアプリ開発における基本的な操作を学習した 方に向けて、より実践的なアプリ開発のスキルを学習でき るハンズオンセミナーを実施します。 ・ロードスクリプトによるデータ取込 ・データモデリング ・基本的な集計関数 ・自由な集計を実現する SET 分析 ・頻出のチャート関数 ・ QVD ファイル https://pages.qlik.com/QlikHandsonWebinarSeries_Registration .html リニューアル
- 57. セミナー動画・事例紹介 ・デモ・新機能紹介 Qlik Japan Youtube QlikCommunity Japan 製品・技術 Q&A 、製品関連資料 Qlik Showcase 日本語アプリの公開 Qlik Japan Blog 製品・技術情報の公開 その他の情報もご利用ください。
- 58. 「 Qlik Sense参考書」好評発売中 Qlik Sense ユーザーのためのデータ分析実践バイブル ・判型： B5 変 ・総ページ数：～ 480 ページ程度 ・予価本体： 4,200 円 (+ 税 ) • QlikSpace の記事をベースに、書籍用に大幅 にカスタマイズ＆加筆 • 1 冊で Qlik Sense の基本をマスターし（＝基 本編）、ニーズの高い分析例（＝応用編）を できるだけ丁寧に紹介
- 59.
- 60.