43rd Microsoft Data Platform Day(Online) 登壇資料 https://sqlserver.connpass.com/event/201066/ 【初級者向け】Power Query Online

1. 【初級、中級者向け】
Power Query Online
Low-Code Data Preparation
株式会社ジール
永田 亮磨
Twitter:@ryomaru0825
Linkedin:ryoma-nagata-0825
Qiita:qiita.com/ryoma-nagata

2. 1. Power Queryとは
2. データプラットフォーム目線でのDataflow
AGENDA

3. • 様々なデータソースに対するデータ変換(ETL処理)をユーザフレンドリなUIで提
供するエンジンまたはそのUX
Power Query とは
• Power Query とは | Microsoft Docs
Extract Transform Load
Azure分析基盤で高度利用
フルマネージドデータインフラ連携
使い慣れた表計算ツールで活用
インメモリ分析モデルでの可視化
様々なデータストア
構造化～非構造化データ
オンプレミスからクラウド、
Webサービスまで
直感的な変換定義

4. • 豊富なコネクタ
• Power Query の全コネクタの一覧 | Microsoft
Docs
• 様々なMSテクノロジーに組み込み
• Power Query とは | Microsoft Docs
特徴

5. 基本UI
• Power Query ユーザーインターフェイス | Microsoft Docs
1. リボン: ≒Officeの
あれ
2. クエリペイン: クエリ
(≒View)の一覧
3. ビュー: データノプレ
ビューやステップのダ
イヤグラム表示など
4. クエリ設定：現在
選択されているクエリ
のステップなど
5. ステータスバー：実
行時間、合計の列
や行、処理状況など

6. ダイヤグラムビュー

7. • Desktop ・・・インメモリ分析モデル開発時
• Visual Studio での Analysis Serviceモデル読み込み前の変換
• Power BI Desktopでのモデル読み込み前の変換
• クラウド ・・・ データ基盤への連携
• Power BI Service上のPower BI Dataflow
• ロード先: Data Lake
• Power BI 専用 / 自身のAzure Data Lake Storage Gen2
• Data Factory 上のPower Query Online(旧Wrangling Dataflow)
• Spark による実行に変換されるので大規模処理に対応
• ロード先: ADF シンク先（現時点ではCopyと同じ相手が選べるが、MDFと同様）
• ※Synapse Analytics 版は今後
データプラットフォーム目線でのPower Query
• Power Platform データフローと Azure Data Factory ラングリングデータフローが相互にどの
ように関連しているか | Microsoft Docs

8. Power BI データフロー概念
• データフローとセルフサービスのデータ準備の概要 - Power BI | Microsoft Docs
Microsoftマネージドな
DataLakeで変換結果のファイルが配置される

9. Power BI データフロー概念
• データフローとセルフサービスのデータ準備の概要 - Power BI | Microsoft Docs
保存先を自分の
Data Lakeに変更可能

10. • Power Platformデータフロー(標準データフロー)と
• Power BI データフロー（or 分析データフロー）の違い
データフローの種類
• Microsoft Power Platform と Dynamics 365 製品全体のデータフローの概要 |
Microsoft Docs
Power BI
データフロー
Power Platform
データフロー
Dataverse（旧Common Data
Serivce）
に格納
※分析データフローとして作成も可能
（その場合はADLSに格納）
DataLakeStorageに格納
※分析向けの保持形態

11. Synapse Analytics 上のデータ加工
ローコード
コードファースト
• データエンジニアによるデータ加工や、Upsert
• データクレンジングなど標準データ生成が中心
• アナリスト、サイエンティストによるデータ加工、増分連携
• データの統計などを確認しながら、分析業務向け利用が中心
データ統合（インフラETL） データ準備（プレパレーション）
T-SQL/ Spark Notebook
Power Query Online※現在ADFのみ
Mapping Dataflow

12. Data Factory Power Query Online Demo

13. ありがとうございました。