Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

なぜ、CData Softwareが Power BI 専用 コネクターを 開発したのか?

1,331 views

Published on

2018/09/08 Power BI 勉強会@東京#9

Published in: Technology
  • Be the first to comment

なぜ、CData Softwareが Power BI 専用 コネクターを 開発したのか?

  1. 1. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB @kuwazzy 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBI なぜ、CData が Power BI 専用 コネクターを 開発したのか?
  2. 2. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB Today’s agenda 1. 自己紹介 2. CData Power BI Connectors とは 3. Power BI 標準 + CData Power BI Connectorsで接続できるデータソース 4. CData Power BI Connectors の使い方 5. オンプレミスゲートウェイを使用したPower BI Service へのデータ更新 6. DirectQuery • 撮影OK、Tweet (#pbijp) 大歓迎 • 詳細は15:30 –のDev側セッションへ(4-6.を解説)!! • 資料はCompassに(Slideshareのリンクを) Upします
  3. 3. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB 自己紹介 桑島 義行 @kuwazzy CData Software Japan 合同会社 技術担当ディレクター 専門 データベーステクノロジー データアナリティクス Web API PBIJP歴 : 2回目 [Power BI 勉強会 @ 東京 #8] グラフ構造のデータモデルをPower BIで可視化してみた https://www.slideshare.net/cdatajapan/power-bi-100071632/cdatajapan/power-bi-100071632 Twitter : @kuwazzy Facebook : Yoshiyuki.Kuwajima SlideShare: http://www.slideshare.net/cdatajapan Qiita : http://qiita.com/kuwazzy Github : https://github.com/kuwazzy Codezine : https: //github.com/kuwazzy
  4. 4. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB CDatα Software = 3rd Party データドライバー屋 CData Softwareとは 100+種類のデータソース 標準インタフェース あらゆるツールや言語から様々なデータソース に“同じように“アクセスする事を実現
  5. 5. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB CData Power BI Connectors とは
  6. 6. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB Power BI のデータソース を大幅に拡張 CData Power BI Connectorsとは ビルトイン83 種類 (※1) 100+種類 ※1 2018/09/02 登壇者調べ (参考) Data sources in Power BI Desktop https://docs.microsoft.com/en-us/power-bi/desktop-data-sources データソース ビジュアライズ
  7. 7. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB Power BI 専用コネクターだと何が良いのか? • ODBCだとインポートモードしか使えない (=DirectQueryが使えない) • インポート時に全レコードをサーチして時間がか かるし、APIリミットや、サーチ量による無駄な課 金が発生 • 利用者に「ODBC経由で様々なデータソース に 接続出来る」というイメージを持って頂けない ODBCだとダメなの?
  8. 8. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB Power BI 専用コネクターの特徴 CData Power BI Connectorsとは • Power BIのカスタムコネクター (※1) • 100+ のデータソース • NoSQLや国内で人気のクラウドアプリケーションをサ ポート • DirectQuery モード (※2) をサポート • オンプレミス データ ゲートウェイ (※3) で PowerBI.comへ発行 ※1 (参考) Power BI でのコネクタの機能拡張 https://docs.microsoft.com/ja-jp/power-bi/desktop-connector-extensibility ※2 (参考) Power BI Desktop の DirectQuery https://docs.microsoft.com/ja-jp/power-bi/desktop-use-directquery ※3 (参考)オンプレミス データ ゲートウェイ https://docs.microsoft.com/ja-jp/power-bi/service-gateway-onprem
  9. 9. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB ここにアクセス!! 昨夜(9/7)、日本語ページ(プレ)オープン https://www.cdata.com/jp/ https://www.cdata.com/jp/powerb i
  10. 10. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB Power BI 標準+ CData Connectorsで 接続できるデータソース
  11. 11. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB Power BI CData Excel Excel Text/CSV CSV XML XML JSON JSON Folder Excel Online Google Sheets OFX ファイル・データベース(1) ファイル サービスプロバイダ 接続例 ローカル URI=C:folder1; HTTP またはHTTPS URI=http://www.host1.com/streamname1; Amazon S3 URI=s3://bucket1/folder1; OAuthAccessTokenSecret=secret1; OAuthAccessToken=token1; Google Drive URI=gdrive://folder1; Box URI=box://folder1; OAuthClientId=oauthclientid1; OAuthClientSecret=oauthcliensecret1; CallbackUrl=http://localhost:12345; Sharepoint URI=sp://Documents/folder1; User=user1; Password=password1; FTP またはFTPS URI=ftps://localhost:990/folder1; User=user1; Password=password1;  ローカルPCのファイルだけでなく、クラウドストレージ内のファイ ル(CSV, XML, JSON)も読める  Excel Online版、Google SpreadSheetも読める Power BI CData Access Database Access SQL Server Analysis Services Database SQL Server Analysis Services IBM DB2 Database DB2 MySQL Database MySQL PostgreSQL Database Postgresql Sybase Database Sybase Oracle Database - SQL Server Database - IBM Netezza - IBM Informix database - - Sqlite - Xbase Btrieve RDB ※ 緑:リリース 黄色:ベータ・開発中 Power BI 標準 + CData Connectorsで接続できるデータソース
  12. 12. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB データベース(2) Power BI 標準 + CData Connectorsで接続できるデータソース Power BI CData Azure SQL Database Azure SQL Data Warehouse Azure Analysis Services database Azure Analysis Services Azure Blob Storage Azure Table Storage Azure Table Azure Cosmos DB Azure CosmosDB Azure Data Lake Store Azure HDInsight (HDFS) Azure HDInsight Spark HDInsight Interactive Query Azure KustoDB (beta) Microsoft Azure Consumption Insights Azure Data Management Common Data Service for Apps Power BI CData Cassandra Couchbase DynamoDB MongoDB Redis IBM Cloudant NoSQL DB HarperDB Google Cloud Spanner Amazon Athena Power BI CData Teradata Database Teradata SAP HANA Database SAP HANA Amazon Redshift Amazon Redshift Google BigQuery Google BigQuery Snowflake Snowflake Exasol SAP BW Application Server SAP BW Message Server Vertica HPCC SlicingDice Greenplum MarkLogic Power BI CData Splunk Elasticsearch Spark SparkSQL Impala Cloudera Impala Hadoop File (HDFS) - Apache HBase Apache Hive DWH NoSQL Search / Hadoop / Spark Azure・PowerApps  特にNoSQL系のデータソー ス が充実 ※ 緑:リリース 黄色:ベータ・開発中
  13. 13. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB 顧客管理 Power BI CData Dynamics 365 (online) Dynamics365CRM Dynamics 365 for Customer Insights DynamicsCRM (Onpre) Salesforce Objects Salesforce Salesforce Reports Salesforce Salesforce Chatter ZohoCRM SugarCRM SuiteCRM OracleSalesCloud SAP HybrisC4C ActCRM Highrise CRM PCA商魂&商管DX Zendesk Zendesk クラウドサイン Power BI CData Dynamics 365 BC Dynamics 365 BC Dynamics NAV Dynamics NAV Dynamics 365 FO Dynamics GP Netsuite SAP Netweaver SAP Business One Odoo Acumatica Exact Online QuickBooks Online QuickBooks Online QuickBooks Desktop / POS Xero FreshBooks Reckon Sage50UK Intacct SAP Concur PCA会計 Moneyforward 請求書・経 費 Power BI CData Marketo Marketo Eloqua HubSpot Salesforce Marketing Cloud ActOn Sendgrid マーケティング ERP・会計 SaaS・ビジネスアプリケーション (1) Power BI CData SharePoint (Online) SharePoint SharePoint Folder / List SharePoint Excel Services(SharePoint) Office 365 Google Calendar Google Contacts ServiceNow Smartsheet Smartsheet tyGraph kintone MS Project VS Online Jira Basecamp GitHub GitHub Visual Studio Team Services TeamDesk グループウェア・コラボレーション  国内で人気のクラウドアプリケーションが対応 ※ 緑:リリース 黄色:ベータ・開発中 Power BI 標準 + CData Connectorsで接続できるデータソース
  14. 14. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB Power BI CData MailChimp MailChimp SparkPost SweetIQ Google Analytics Google Analytics Adobe Analytics Google Adwords DoubleClick CM DoubleClick FP appFigures Mixpanel Youtube YouTube Analytics Google Search Bing Bing Ads Youtube YouTube Analytics Webtrends メール配信・SEO・広告・動画 Power BI CData Facebook Facebook Twitter Instagram LinkedIn SNS Power BI CData Gmail Microsoft Exchange Online Exchange Microsoft Exchange Exchange Email Slack メール・チャット Power BI CData Stripe Stripe Shopify Square Paypal AuthorizeNet Amazon Marketplace Ebay Etrade Magento Open Exchange Rates Quandl Power BI CData Twilio Twilio Data.World - Get Dataset comScore Digital Analytix Planview Enterprise One - PRM Planview Projectplace Planview Enterprise One - CMT Wordpress Survey Monkey 決済・EC SaaS・ビジネスアプリケーション (2) その他 Power BI CData Power BI データセット 1010Data Salesforce Einstein Analytics BI Power BI CData Google Drive Box Dropbox Evernote オンラインストレージ Power BI CData Active Directory Active Directory LDAP Google Directory ディレクトリ  多彩なデータソースあり Power BI 標準 + CData Connectorsで接続できるデータソース
  15. 15. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB 標準インタフェース・プログラミング言語 Power BI CData Web OData Feed OData REST RSS R Script Blank Query ODBC OLE DB FTP 規格・プログラミング言語  一般的なREST APIをもつサービス・アプリケーションであれ ば接続が可能 https://qiita.com/kuwazzy/items/86564f27c39b4825a0bf https://qiita.com/kuwazzy/items/5c35bf53ea0e493f5784 https://qiita.com/kuwazzy/items/bc6439bb2a2e36c876a9 https://qiita.com/kuwazzy/items/463da23152d0c4cfdde5 https://qiita.com/kuwazzy/items/89194f642f77371d2662 https://qiita.com/kuwazzy/private/24ce990c6412cc4022b2 https://qiita.com/sugimomoto/items/2837fd644ce78bc6c8fb https://qiita.com/sugimomoto/items/1262eae4056f092ad8df http://kageura.hatenadiary.jp/entry/2017/12/12/%E8%AB%8B %E6%B1%82%E6%9B%B8%E4%BD%9C%E6%88%90%E3 %82%B5%E3%83%BC%E3%83%93%E3%82%B9Misoca%E 3%81%AE%E3%83%87%E3%83%BC%E3%82%BF%E3%82 %92Power_BI_%E2%98%93_CData_REST_ODBC%E3%83 %89%E3%83%A9%E3%82%A4%E3%83%90 接続記事 Power BI 標準 + CData Connectorsで接続できるデータソース
  16. 16. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB CData Power BI Connectors の使い方
  17. 17. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB CData Power BI Connectors の使い方 “実現できる事” Power BI標準では接続出来ないサイボウズのkintone内の顧客一覧と案件一覧を集計・可視化
  18. 18. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB 手順 1 1. Power BI kintone Connectorsをダウンロー ド ※ 全データソース 、30日間の無償評価版あり ※ 現在、英語版ビルドでのご提供(日本語版をご提供予定) https://www.cdata.com/jp/powerbi/ 2. インストール CData Power BI Connectors の使い方
  19. 19. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB 3. 接続設定 製品マニュアルにデータソース 毎の接続に必要なプロパティが記載 手順 2 CData Power BI Connectors の使い方
  20. 20. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB 4. Power BI Desktop – データを取 得 手順 3 CData Power BI Connectors の使い方
  21. 21. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB 5. テーブル(kintoneのアプリ)を選択 6. リレーションシップの設定 手順 4 CData Power BI Connectors の使い方
  22. 22. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB 6. ビジュアライズ 手順 5 CData Power BI Connectors の使い方
  23. 23. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB オンプレミスゲートウェイを使用したPower BI Service へのデータ更新
  24. 24. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB オンプレミスゲートウェイを使用したPower BI Service へのデータ更新 Power BI Desktopで作成したkintoneデータソースのレポートを PowerBI.comに発行してデータを定期更新 Power BI サービス powerbi.com (参考) https://docs.microsoft.com/ja-jp/power-bi/service-gateway-onprem データ ソース Live/DirectQuery ユーザー構成による手動更新また はスケジュールされた更新 Analysis Services 表形式 はい はい Analysis Services 多次元 はい はい ファイル いいえ はい フォルダー いいえ はい IBM DB2 いいえ はい IBM Informix データベース いいえ はい IBM Netezza はい はい Impala はい はい MySQL いいえ はい OData いいえ はい ODBC いいえ はい Oledb いいえ はい Oracle はい はい PostgresSQL いいえ はい SAP BW はい はい SAP HANA はい はい SharePoint リスト (オンプレミス) いいえ はい Snowflake はい はい SQL Server はい はい Sybase いいえ はい Teradata はい はい Web いいえ はい Power BI標準で使用可能なデータソースの種類の一覧 “実現できる事”
  25. 25. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB 手順 1 1. On-Premis gatewayをダウンロード 2. インストール オンプレミスゲートウェイを使用したPower BI Service へのデータ更新 (参考) https://docs.microsoft.com/ja-jp/power-bi/service-gateway-install ※ エンタープライズゲートウェイ、パーソナルゲートウェイどちらでも利用可能 (参考) https://powerbi.microsoft.com/en-us/gateway/
  26. 26. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB 手順 2 3. カスタムデータコネクタの設定 オンプレミスゲートウェイを使用したPower BI Service へのデータ更新 (参考) オンプレミス データ ゲートウェイでカスタム データ コネクタを使用する https://docs.microsoft.com/ja-jp/power-bi/service-gateway-custom-connectors
  27. 27. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB 手順 3 4. PowerBIサービス側のゲートウェイの設定 オンプレミスゲートウェイを使用したPower BI Service へのデータ更新  データソースの種類の一覧に前手順で設定 したカスタムデータコネクタが表示される  Data Source Nameには、ODBCのDSN名を 設定
  28. 28. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB 手順 4 5. Power BI Desktopのレポートを Power BIサービスへ発行 オンプレミスゲートウェイを使用したPower BI Service へのデータ更新 6. 発行されたデータセットをスケジュール設定
  29. 29. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB 手順 5 7. Power BI サービス内のkintoneレポートが定期的に最新データを読み込み オンプレミスゲートウェイを使用したPower BI Service へのデータ更新
  30. 30. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB DirectQuery
  31. 31. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB Direct Query Power BI DesktopのDirectQuery (ご参考) Power BI Desktop の DirectQuery https://docs.microsoft.com/ja-jp/power-bi/desktop-use-directquery •Amazon Redshift •Azure Databricks •Azure HDInsight Spark (Beta) •Azure SQL Database •Azure SQL Data Warehouse •Google BigQuery (ベータ版) •IBM Netezza (ベータ) •Impala (バージョン 2.x) •Oracle データベース (バージョン 12 以降) •SAP Business Warehouse Application サーバー •SAP Business Warehouse メッセージ サーバー (Beta) •SAP HANA •Snowflake •Spark (ベータ) (バージョン 0.9 以降) •SQL Server •Teradata データベース •Vertica (Beta) Power BI標準でDirectQueryが使用可能な データソースの種類の一覧 DirectQuery を使用する場合の利点は次のとおりです。 •DirectQuery なら、他の方法では全データをインポートするこ と自体が不可能なほど大きなデータセットでも事前集計を使用 して視覚化を作成できます。 •元になるデータが変更されるとデータの更新が必要になる場合 があり、レポートによっては、現在のデータを表示しなければ ならない場合に大きなデータの転送が必要になって、データの 再インポートが不可能になることがあります。 対照的 に、 DirectQuery レポートは常に現在のデータを使用します。 •データセットの 1 GB 制限は、DirectQuery には適用されませ ん。 DirectQueryモードで 動作させるには
  32. 32. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB Direct Query “実現できる事” Import Power BI SELECT deviceId, sum (value) FROM DeviceLog 1億件 2GB DirectQuer y SELECT * FROM DeviceLog データソース 1億件 2GB 1GB まで デバイスのレコード 件数のみ 全件インポート出来ない大量データをデータソースサイドで事前集計する事が出来る
  33. 33. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB Direct Query MongoDBでの確認  ドキュメント型(JSONでデータを保持) NoSQLの代表格MongoDB  mLab(※1)を使用して、一つのコレクション(テーブルに相当)に約17万件のデバイスログデータ を格納 ※1 mLab : MongoDBのDaas(Database as a Service) https://mlab.com/
  34. 34. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB Direct Query Import vs DirectQuery Import DirectQuery レポートは同じ Valueという数値項目の 集計値をカードに表示 66 秒 8秒 Executed query: [SELECT sum("value") AS "C1" FROM "CData"."cdataj"."DeviceLog"]. Success: (1356 ms). Executing query: [SELECT "_id", "value" FROM "CData"."cdataj"."DeviceLog"].
  35. 35. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB 是非お試しください 最後に  全データソース 30日間の無償トライアルあります  分からないことがあればkuwajima@cdata.com までお問い合わせください!! https://www.cdata.com/jp/powerbi/ https://www.cdata.com/jp/subscriptions/powerbi/#purchase
  36. 36. 2018/09/08 Power BI 勉強会@東京#9 ハッシュタグ : #PBIJB 是非お試しください 最後に  kintone https://s3-ap-northeast-1.amazonaws.com/cdatajbuilds/CData/20180906_PBI/LKBD-A/setup.exe  MFクラウド経費 https://s3-ap-northeast-1.amazonaws.com/cdatajbuilds/CData/20180906_PBI/LYBD-A/setup.exe  MFクラウド請求書 https://s3-ap-northeast-1.amazonaws.com/cdatajbuilds/CData/20180906_PBI/LMBD-A/setup.exe 日本向けサービスのコネクターは、まだ、Webサイトに公開出来ていないのでこちらのリン クよりダウンロードください

×