【de:code 2020】 Power Platform で広がるデータ インテグレーションの世界 (1/2)日本マイクロソフト株式会社
あらゆるビジネスの過程でデータが発生し、最適なストレージに蓄積され、データサイエンティストが分析し、業務上で次に打つべきベストなアクションを起こす。このようなデジタル フィードバック ループは、一部の限られた企業のみが実現可能なものでしょうか?確かに「データが事業部門(LOB)毎に点在している」「データは溜まっているけど、活用できていない」などのお困り事が良く聞かれます。マイクロソフトのビジネスアプリケーションの基盤である Power Platform では、皆さまの企業において、あらゆるシステムからのデータを集約、統合し、データが分析されるまでの準備を簡単に行うことができます。Power Apps、CDS、ADLS、Power BI などをキーワードに、それらの最新のテクノロジを整理してご紹介します。
開発者におくる Power BI を使う時に考えるべきアーキテクチャ ~ データを溜めるのは誰だ? ~Yugo Shimizu
Microsoft のイベント de:code 2018 AD21 で私がお話したセッション資料です。後日動画が公開される予定ですので、あわせてご覧ください。
Power BI をこれから使おうと思われている方、既に使っているがうまくいかないという方にレポートの種類とデータ接続モードについて、適切なアーキテクチャがわかる内容になっております。
【de:code 2020】 Power Platform で広がるデータ インテグレーションの世界 (1/2)日本マイクロソフト株式会社
あらゆるビジネスの過程でデータが発生し、最適なストレージに蓄積され、データサイエンティストが分析し、業務上で次に打つべきベストなアクションを起こす。このようなデジタル フィードバック ループは、一部の限られた企業のみが実現可能なものでしょうか?確かに「データが事業部門(LOB)毎に点在している」「データは溜まっているけど、活用できていない」などのお困り事が良く聞かれます。マイクロソフトのビジネスアプリケーションの基盤である Power Platform では、皆さまの企業において、あらゆるシステムからのデータを集約、統合し、データが分析されるまでの準備を簡単に行うことができます。Power Apps、CDS、ADLS、Power BI などをキーワードに、それらの最新のテクノロジを整理してご紹介します。
開発者におくる Power BI を使う時に考えるべきアーキテクチャ ~ データを溜めるのは誰だ? ~Yugo Shimizu
Microsoft のイベント de:code 2018 AD21 で私がお話したセッション資料です。後日動画が公開される予定ですので、あわせてご覧ください。
Power BI をこれから使おうと思われている方、既に使っているがうまくいかないという方にレポートの種類とデータ接続モードについて、適切なアーキテクチャがわかる内容になっております。
アンケートを即可視化!~MS Forms ⇒ MS Flow ⇒ Power BI~Yugo Shimizu
2017年12月2日 Power BI 勉強会 #6 の清水のセッション資料です。
まだプレビューですが Office 365 のファミリーとして Microsoft Forms が使えるようになりました。そこで、MS Forms を利用してアンケートを作成し、その結果を MS Flow を通じて Power BI で可視化します。2017年も終わりということで、アンケート結果をその場でイジりながら、行こうと思います。
Microsoft Azure の Data & AI 関連サービスの2020年4月のアップデート情報へのリンクを一覧にしました。
Azure の Apps & Infra 関連サービスについては、以下のURLに公開されています。
https://www.slideshare.net/ssuser2602c6/azure-app-infra-update-20204
Azure の最新情報が必要な方のお役に立てば幸いです。
Microsoft Azure の Data & AI 関連サービスの2020年8月度のアップデート情報へのリンクを一覧にしました。
Azure の Apps & Infra 関連サービスについては、以下のURLに公開されています。
<<<URLは、後日更新>>>
Azure の最新情報が必要な方のお役に立てば幸いです。
Power BI dataflows と Power Platform Data Integration の使いどころYugo Shimizu
Microsoft Ignite The Tour Tokyo と Osaka でお話した同タイトルのセッション資料です
BRK30034 @ Tokyo 2019/12/06 15:15 - 16:00 JST
BRK30156 @ Osaka 2020/01/24 12:15 - 13:00 JST
セッション概要:
Power BI dataflows と Power Platform dataflows は両方とも Power Query でデータを集め、使いたい形に変えることが可能ですが、その用途は使い分けるべきです。(=Data Preparation, ETL)
似たような機能がなぜそれぞれに存在するのか?それは目的が異なるからです。本セッションでは、シナリオベースでそれぞれの使い方をご紹介します。
1. シニア テクニカル アーキテクト
清水 優吾(しみず ゆうご) / 株式会社セカンドファクトリー
@yugoes1021
yugoes1021 Microsoft MVP
for Data Platform - Power BI
(2017.02 -)
Two Dataflows
~ 利用者が少ないように感じるので、こんな使い方はどうだろう? ~
2021-06-05
Power BI 勉強会 #21
2021/06/05 Power BI 勉強会 #21 1
https://www.slideshare.net/yugoes1021
2. 自己紹介:
清水 優吾 (Yugo Shimizu)
株式会社セカンドファクトリー
CTO, シニア テクニカル アーキテクト
UX を看板に掲げて、飲食業を営んでいる IT 企業に勤めている会社員で
Data Platform をメインに活動をしている Technical Architect
専門・興味:
Data Platform (Azure),
Power Platform (Power Apps, Power Automate, Power BI, Power Virtual Agents)
Qiita: https://qiita.com/yugoes1021
YouTube: https://www.youtube.com/c/YugosRoom/
Power BI 勉強会: https://powerbi.connpass.com
Japan Power BI User Group: https://www.facebook.com/groups/JapanPBUG/
Japan Power Virtual Agents User Group: https://www.facebook.com/groups/JPVAUG/
Japan Power of Humans Community: https://jpohc.connpass.com/ (次回: 未定)
Microsoft MVP
for Data Platform -
Power BI
(2017.02 - )
MVP
プロフィールページ
Twitter: @yugoes1021
Facebook: yugoes1021
LinkedIn: yugoes1021
2021/06/05 Power BI 勉強会 #21 2
3. 今日のテーマ
2021/06/05 Power BI 勉強会 #21 3
2つのデータフロー
- Two Dataflows –
Power Platform にはデータフローが2つあります
Power Query Online とも呼ばれるデータフローですが
なかなか癖があったりします。
(使い道がないとか、エラーが出て先に進めないとか)
今日はこれら2つのデータフローを使ってみます
5. • “ノーコード” で ビジネスロジック が作れる
• 1つのトリガーと1つ以上のアクション
• MS 以外のサービスも接続可能
• RPA 機能である UI flows が使用可能
Power Automate
• “ノーコード” で BI が実現できる
• データの可視化
• 分析用レポート/リアルタイムダッシュボード
• AI 機能や ETL 機能を含む
Power BI
• “ノーコード” で アプリ が作れる
• マルチプラットフォームで動作する
• アプリは組織内で管理
• AI Builder 利用可能
Power Apps
• “ノーコード” で ボット が作れる
• Power Automate を呼び出すことが可能
• MS 以外のチャネルにデプロイ可能
Power Virtual Agents
Power Platform
つまり システム が作れる
6. Microsoft Dataverse
AI Builder
Power Platform
Azure Data Lake Storage Gen2 (ADLS)
- Current Version (2020.09) -
Power Automate Power BI
Power Apps
Power
Virtual Agents
Power
Platform
dataflows
Power Query
Data Sources
Power BI
dataflows
Power Query
Dynamics 365
Teams
7. Two Dataflows in Power Platform - Current Version (2019.11) -
Data
Sources
Power Platform dataflows
Power BI dataflows
Azure Data Lake
Storage Gen 2
CDM
Folders
Azure
Machine
Learning
Cognitive
Services
Power Query Online
Automatic replication
(Project Athena)
分析エンティティのみ
(Analytical entities only)
AI
Builder
Microsoft
Dataverse
8. シナリオ
2021/06/05 Power BI 勉強会 #21 12
• データソースはオンプレミスの PC のフォルダ
• フォルダの中には四半期ごとの CSV
• 2020年1月1日~2021年6月5日のデータがある
• 2020年分は既に締められているので毎回の更新が不要
• 2020年分は更新対象から除外したい
• 2020年分は組織内で誰でも使えるようにしておきたい
• 2021年分は Dataset にてスケジュール更新
9. 手順1 – Power Query を作って移植する
Power BI 勉強会 #21
Power BI Desktop
2020年分だけ
Power BI dataflows
Power Query のみ移植
2020年分だけ
C:¥Work¥Data¥sample_sales_data
オンプレミスの
PC のフォルダ
自分のマシンのフォルダ
C:¥Work¥Data¥sample_sales_data
on-premises data gateway
同じフォルダに
コピー
1
2
3
10. 手順2 – レポート作成~発行
Power BI 勉強会 #21
Power BI dataflows
2020年分だけ
オンプレミスの
PC のフォルダ
C:¥Work¥Data¥sample_sales_data
on-premises data gateway
Power BI Desktop
自分のマシンのフォルダ
レポート作成時
のみ取得
2020年分だけ
2021年分だけ
C:¥Work¥Data¥sample_sales_data
自分のマシンのフォルダ
2020 + 2021年分
Power BI Service
発行
4
5
6
11. 手順3 – 結果
Power BI 勉強会 #21
Power BI dataflows
オンプレミスの
PC のフォルダ
C:¥Work¥Data¥sample_sales_data
on-premises data gateway
Power BI Service
2020年分のデータ
は固定で保持
2020 + 2021年分
Dataset
2021年分のデータは
スケジュール更新対象
Azure Data Lake
Storage Gen 2
12. 手順1 – Power Platform dataflows を使うと…
Power BI 勉強会 #21
Power BI Desktop
2020年分だけ
Power Platform
dataflows
Power Query のみ移植
2020年分だけ
C:¥Work¥Data¥sample_sales_data
オンプレミスの
PC のフォルダ
自分のマシンのフォルダ
C:¥Work¥Data¥sample_sales_data
on-premises data gateway
同じフォルダに
コピー
注意:
移植前に Dataverse に
テーブルを作っておいてください
1
13. 手順2 – Power Platform dataflows を使うと…
Power BI 勉強会 #21
Power Platform
dataflows
2020年分だけ
オンプレミスの
PC のフォルダ
C:¥Work¥Data¥sample_sales_data
on-premises data gateway
Microsoft
Dataverse
Azure Data Lake
Storage Gen 2
AI Builder
Power Apps
Azure Other Services