Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

技術者として抑えておきたい Power BI アーキテクチャ

5,063 views

Published on

2018年9月8日 Power BI 勉強会 第9回 Dev Track で清水が話したセッションのスライドです。

Published in: Data & Analytics
  • Hi there! I just wanted to share a list of sites that helped me a lot during my studies: .................................................................................................................................... www.EssayWrite.best - Write an essay .................................................................................................................................... www.LitReview.xyz - Summary of books .................................................................................................................................... www.Coursework.best - Online coursework .................................................................................................................................... www.Dissertations.me - proquest dissertations .................................................................................................................................... www.ReMovie.club - Movies reviews .................................................................................................................................... www.WebSlides.vip - Best powerpoint presentations .................................................................................................................................... www.WritePaper.info - Write a research paper .................................................................................................................................... www.EddyHelp.com - Homework help online .................................................................................................................................... www.MyResumeHelp.net - Professional resume writing service .................................................................................................................................. www.HelpWriting.net - Help with writing any papers ......................................................................................................................................... Save so as not to lose
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • Dating direct: ❶❶❶ http://bit.ly/2Qu6Caa ❶❶❶
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • Dating for everyone is here: ❶❶❶ http://bit.ly/2Qu6Caa ❶❶❶
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • ..............ACCESS that WEBSITE Over for All Ebooks ................ ......................................................................................................................... DOWNLOAD FULL PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Full EPUB Ebook here { http://bit.ly/2m6jJ5M } .........................................................................................................................
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • ..............ACCESS that WEBSITE Over for All Ebooks ................ ......................................................................................................................... DOWNLOAD FULL PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Full EPUB Ebook here { http://bit.ly/2m6jJ5M } .........................................................................................................................
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

技術者として抑えておきたい Power BI アーキテクチャ

  1. 1. シニア テクニカル アーキテクト 清水 優吾(しみず ゆうご) / 株式会社セカンドファクトリー @yugoes1021 yugoes1021 Microsoft MVP for Data Platform - Power BI (2017.02 -) 技術者として抑えておきたい Power BI アーキテクチャ ~ Make it possible with Power BI ~ 2018-09-08 Power BI 勉強会 第9回 Dev Track 2018/09/08 Power BI 勉強会 1 https://www.slideshare.net/yugoes1021
  2. 2. 自己紹介: 清水 優吾 (Yugo Shimizu) ♂ 株式会社セカンドファクトリー シニア テクニカル アーキテクト 2018/09/08 Power BI 勉強会 2 • もともと金融系システムの開発者。今はテクニカルアーキテクト。 • 時々コーディングもしてます。 専門: Power BI, Web API, “つくらず、つなぐこと” 興味: MS Flow, Logic Apps, IFTTT, PowerApps, o365 周辺サービス Twitter: @yugoes1021 Facebook: yugoes1021 Qiita: https://qiita.com/yugoes1021 Power BI 勉強会: https://powerbi.connpass.com Japan Power BI User Group: https://www.facebook.com/groups/JapanPBUG/ Microsoft MVP for Data Platform - Power BI (2017.02 - )
  3. 3. 注意事項と前提 ■注意事項 • 資料はすべて公開(powerbi.connpass.com or SlideShare) • 写真・動画の撮影は自由に! • 私の肖像権はフリー • SNS 等へのアップOK(私以外の方が含まれる場合は、ご遠慮願います。) ハッシュタグ: #PowerBI #PBIJP #PBIJP758 ■私が心掛けていること • 誰でも実現可能な方法であること • お金がかかっても、できるだけ安価であること • なにより「試してみよっかなー」と思っていただけること 2018/09/08 Power BI 勉強会 3 https://www.slideshare.net/yugoes1021
  4. 4. お約束 2018/09/08 Power BI 勉強会 4 What is BI? BI is 何?
  5. 5. データベース ダッシュボード レポート 会議で JUDGE現場へ GO Business Intelligence 現場で DO 意 思 決 定 の た め に 通常業務により自然と溜まるデータ どこでも SEE 現場で DO
  6. 6. データベース ダッシュボード レポート Business Intelligence 現場で DO 通常業務により自然と溜まるデータ どこでも SEE 現場で DO
  7. 7. 2018/09/08 Power BI 勉強会 7 【フェーズ1】 システムからデータをフラットファイル(CSV、Excel)でダウ ンロード データをグラフ化して、ファイルを共有 分析 現場へ 手動で ダウン ロード DB 分析 可視化 全体のコストの80-90% 議論・判 断
  8. 8. 2018/09/08 Power BI 勉強会 8 【フェーズ2】 システムと BI ツールを自動連携。定期的かつ必要なタイミ ングで最新データがグラフ化され、分析や議論に適切な時間 を費やすことができ、繰り返し「試行」が可能となる 自動連携 議論・判 断 BI ツー ル DB 現場へ 可視化 全体のコストの80-90% 分析 試行
  9. 9. 2018/09/08 Power BI 勉強会 9 【フェーズ3】 複数のシステムをデータソースとして DWH を構成、データ を一元管理して、BI ツールを自動連携。データがグラフ化さ れ、分析や議論。 自動連携 分析 議論・判 断 BI ツー ル DB 現場 へ 可視化 DB SaaS SNS DWH
  10. 10. BI で意識するべき アーキテクチャとは 2018/09/08 Power BI 勉強会 10
  11. 11. BI で意識するべきアーキテクチャとは 2018/09/08 Power BI 勉強会 11 データ接続
  12. 12. BI で意識するべきアーキテクチャとは 2018/09/08 Power BI 勉強会 12 1. データ連携方法 データソース、ツール 2. 更新頻度 1日にxx回、xx分に1回、リアルタイム 3. データ範囲 過去全部、過去2年分、今期のみ 4. データライフサイクル 対象のデータソースのライフサイクル 5. 同時接続数 同時利用ユーザー(DirectQuery の場合) データ接続
  13. 13. 2018/09/08 13 Power BI ServiceData Source DWH 1.接続方法(データソース、ツール) Application Service Power BI のコネクタ:Power Query(M言語) アプリ、ツールによるデータ連携 , R, Python
  14. 14. 2018/09/08 14 Power BI ServiceData Source DWH 2.更新頻度(1日に何回、xx分に1回、リアルタイム) Application Service Power BI のコネクタ 昨日までのデータ が見れればOK “今”が見たい 1時間ごとの データが最新 • ユーザーの「最新」の定義 • UX を意識して必要最小限の コストで更新
  15. 15. 2018/09/08 15 Power BI ServiceData Source DWH 3.データ範囲(過去全部、過去2年分、今期のみ) Application Service Power BI のコネクタ 当月と前年同期比 が見たい “今”と予算比が 見たい 当月の今日までと 前月比が見たい 要求を満たすのに最低限どの範 囲のデータがあればよいか?
  16. 16. 2018/09/08 16 Power BI ServiceData Source DWH 4.データライフサイクル Application Service Power BI のコネクタ 1年後, 3年後, 5年後の データソース には どの範囲のデータがあるのか?
  17. 17. 2018/09/08 17 Power BI ServiceData Source DWH 5.同時接続数(DirectQuery の場合) Application Service Power BI のコネクタ DirectQuery の大前提 ETL, モデリングは Power BI の範疇ではない データソース側ですべて終わらせておく! レポートへのアクセスのたび にデータソースへデータを取 りに行くので、データソース 側へのコストを見積っておく
  18. 18. データ接続モード ストレージモード 2018/09/08 Power BI 勉強会 18
  19. 19. 2018/09/08 Power BI 勉強会 19 データ接続モード Power BI Desktop の DirectQuery https://docs.microsoft.com/ja-jp/power-bi/desktop-use-directquery
  20. 20. 2018/09/08 Power BI 勉強会 20 ストレージモード(プレビュー) Power BI Desktop (プレビュー) でのストレージ モード https://docs.microsoft.com/ja-jp/power-bi/desktop-storage-mode Power BI Desktop (プレビュー) での複合モデル https://docs.microsoft.com/ja-jp/power-bi/desktop-composite-models
  21. 21. 2018/09/08 Power BI 勉強会 21 データ接続モード x レポートの種類 分析用レポート リアルタイム ダッシュボード じっくり分析 ほぼリアルタイ ム 完全リアルタイ ム インポート 〇 × × DirectQuery × 〇 × ライブ接続 REST API × × 〇 de:code 2018 の内容です YouTubeはこちら 資料はこちら
  22. 22. 越えられない壁 ~ Web API の制約 ~ 2018/09/08 Power BI 勉強会 22
  23. 23. 2018/09/08 Power BI 勉強会 23 標準のコネクターは豊富だが… ファイル • Excel • TEXT/CSV • XML • JSON • フォルダー • SharePoint フォルダー データベース • SQL Server データベース • Access データベース • SQL Server Analysis Services • Oracle データベース • IBM DB2 データベース • IBM Informix データベース (Beta) • IBM Netezza • MySQL データベース • PostgreSQL データベース • Sybase データベース • Teradata データベース • SAP HANA データベース • SAP Business Warehouse Application サーバー • SAP Business Warehouse メッセージ サーバー (Beta) • Amazon Redshift • Impala • Google BigQuery • Snowflake • Exasol Power BI • Power BI データセット Azure • Azure SQL Database • Azure SQL Data Warehouse • Azure Analysis Services データベース • Azure BLOB ストレージ • Azure テーブル ストレージ • Azure Cosmos DB (ベータ版) • Azure Data Lake Store • Azure HDInsight (HDFS) • Azure HDInsight Spark (Beta) • HDInsight 対話型クエリ (Beta) • Azure KustoDB (Beta) Power BI Desktop のデータ ソース https://docs.microsoft.com/ja-jp/power-bi/desktop-data-sources
  24. 24. 2018/09/08 Power BI 勉強会 24 標準のコネクターは豊富だが… オンライン サービス • SharePoint Online リスト • Microsoft Exchange Online • Dynamics 365 (オンライン) • Dynamics NAV (Beta) • Dynamics 365 Business Central • アプリ用 Common Data Service (Beta) • Common Data Service (Beta) • Microsoft Azure Consumption Insights (Beta) • Visual Studio Team Services (Beta) • Salesforce オブジェクト • Salesforce レポート • Google アナリティクス • Adobe Analytics • appFigures (Beta) • comScore Digital Analytix (Beta) • Dynamics 365 for Customer Insights (ベータ) • Data.World - データセットの取得 (Beta) • Facebook • GitHub (Beta) • MailChimp (Beta) オンライン サービス • Marketo (Beta) • Mixpanel (Beta) • Planview Enterprise One - PRM (Beta) • Planview Projectplace (Beta) • QuickBooks Online (Beta) • Smartsheet • SparkPost (Beta) • Stripe (Beta) • SweetIQ (Beta) • Planview Enterprise One - CMT (Beta) • Twilio (Beta) • tyGraph (Beta) • Webtrends (Beta) • Zendesk (Beta) • TeamDesk (Beta)
  25. 25. 2018/09/08 Power BI 勉強会 25 標準のコネクターは豊富だが… その他 • Vertica (Beta) • Web • SharePoint リスト • OData フィード • Active Directory • Microsoft Exchange • Hadoop ファイル (HDFS) • Spark • R スクリプト • ODBC • OLE DB • 空のクエリ [押さえておくこと] 内部実装は基本的にすべて Power Query (M言語) Power Query から呼び出されているのは Web API 当然 Web API 側の制約(認証、スロットリング、制限)を受ける 実業務で使用するなら Web API 側の制約 を知ってから! 技術者なら… OK:コネクタ、あるじゃん!試してみようー NG:コネクタ、あるじゃん!つながるじゃん、できる、できる
  26. 26. 2018/09/08 Power BI 勉強会 26 Web API の制約 よくある制約 • 一度に取得できるデータ量(件数)に制限がある • 時間当たりの呼び出し回数が決まっている • 取得できるデータの時間的範囲に制限がある • 認証の手続きが面倒 Web APIDB Service Power BI Service 制約 ⇒ 欲しいデータが取得できない!
  27. 27. 2018/09/08 27 Web API の制約 よくある制約 • 一度に取得できるデータ量(件数)に制限がある • 時間当たりの呼び出し回数が決まっている • 取得できるデータの時間的範囲に制限がある • 認証の手続きが面倒 Web APIDB Service Power BI Service ⇒ 欲しいデータが取得できない! 集約DB Application Logic AppsFlow Functions 集約DB にデータを 差分更新する アプリ を用意する
  28. 28. 2018/09/08 Power BI 勉強会 28 【Appendix】 Power BI を使用した トータルソリューション
  29. 29. Business Application Platform (Citizen Application Platform) 2018/09/08 Power BI 勉強会 29 Flow Power BIPowerApps • “コーディングなし” で アプリが作れる • マルチプラットフォーム で動作する • アプリは組織内で管理 • インストール不要 • “コーディングなし” で ビジネスロジックが 作れる • 1つのトリガーと 1つ以上のアクション • MS以外のサービスも 接続可能 • “コーディングなし” で BI が実現できる • データの可視化 • 分析用レポート • リアルタイム ダッシュボード • 一時的にデータを保持 Office 365
  30. 30. Business Application Platform (Citizen Application Platform) 2018/09/08 Power BI 勉強会 30 Flow Power BIPowerApps Frontend Business Logic Data Office 365 つまり システム が作れる
  31. 31. Appendix 2018/09/08 Power BI 勉強会 31
  32. 32. デモ1 PowerApps + Flow + Power BI = 飲食店ソリューション 2018/09/08 Power BI 勉強会 32
  33. 33. デモ1 デモ1のシナリオです 2018/09/08 Power BI 勉強会 33
  34. 34. こんな行列 よくありま すよね? 2018/09/08Power BI 勉強会 34 例えば飲食店…
  35. 35. 名前を書いて…待つ。。。 2018/09/08 Power BI 勉強会 35
  36. 36. 2018/09/08 Power BI 勉強会 36 だから最近こんなの増えてますよね https://www.recruit-lifestyle.co.jp/news/pressrelease/business/nw16192_20160225 より引用
  37. 37. デモ1 で、これを PowerApps + Flow + Power BI で 作ってみた 2018/09/08 Power BI 勉強会 37
  38. 38. デモ1のアーキテクチャ 2018/09/08 Power BI 勉強会 38 Power BI Service PowerApps からデータ送信 Microsoft Flow PowerApps Teams Mail
  39. 39. デモ2 Flow + AI + Power BI = SNS投稿写真管理ソリューション 2018/09/08 Power BI 勉強会 39
  40. 40. デモ2 デモ2のシナリオです 2018/09/08 Power BI 勉強会 40
  41. 41. デモ2 2018/09/08 Power BI 勉強会 41 Facebook と Twitter など複数の SNS に 同じ写真をそれぞれ投稿するのはめんどい…
  42. 42. デモ2 2018/09/08 Power BI 勉強会 42 一発で両方に投稿したい ってことでこれを Flow でやってみた
  43. 43. 2018/09/08 Power BI 勉強会 43 Microsoft Flow Text Analytics Computer Vision ついでに投稿内容を Cognitive Services で 解析しちゃおう Microsoft Flow アプリ ボタン Power BI Service Blob Storage Facebook Twitter
  44. 44. まとめ 2018/09/08 Power BI 勉強会 44
  45. 45. 2018/09/08 Power BI 勉強会 45 いかがでしたでしょうか? Power BIを使う際のアーキテクチャ 課題になるのはデータ関連が6割
  46. 46. 2018/09/08 Power BI 勉強会 46 https://www.microsoft.com/en-us/ignite
  47. 47. 2018/09/08 Power BI 勉強会 47 https://www.microsoft.com/ja-jp/events/techsummit/2018/
  48. 48. Business Application Platform (Citizen Application Platform) 2018/09/08 Power BI 勉強会 48 Flow Power BIPowerApps Frontend Business Logic Intelligence Office 365 Power Platform Common Data Service, Common Data Model
  49. 49. 2018/09/08 Power BI 勉強会 49 https://www.facebook.com/groups/JapanPBUG/ Power BI に興味がある人はもちろん 興味がない人も ぜひご登録を(*’ω’*)
  50. 50. ご清聴ありがとうございました! ~ご不明な点は何なりと!~ 2018/09/08 Power BI 勉強会 50 より詳細にお話聞きたい、 実案件でご相談があるという場合は 遠慮なくお申し付けください m(_ _)m

×