Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Data Orchestration with LogicFlow

274 views

Published on

2018/03/18 CLR/H in TOKYO #13 で利用したスライド

Published in: Technology
  • Be the first to comment

Data Orchestration with LogicFlow

  1. 1. Data Orchestration with LogicFlow 2018/03/17 LogicFlow-ja/CLR-H 小尾 智之
  2. 2. Self Introduction Attribute1: VB / LogicApps-Flow-PowerApps @twit_ahf Attribute2: 提督 / 殿 / メガネ / クマ / プロレス tomoyuki.obi http://el.jibun.atmarkit.co.jp/ahf Community: LogicFlow-ja / CLR/H Microsoft MVP for Microsoft Azure(2017.03 ~)
  3. 3. https://www.facebook.com/groups/logicflowja/
  4. 4. • LogicAppsで行うデータオーケストレーション – OnPremiss DataGateway • SQL Server • ローカルファイル – Enterprise Integration Pack Agenda
  5. 5. LogicApps/Flow is iPaas = Integration Platform as a Service
  6. 6. Plan / License
  7. 7. LogicApps 従量課金プラン https://azure.microsoft.com/ja-jp/pricing/details/logic-apps/
  8. 8. Logic Apps/Flow 仕様と制限 最大実行継続時間 90 日 ストレージリテンション期間 90 日 最小繰り返し時間 1 秒 最大繰り返し間隔 500 日 ForEach レコード数 100,000 Loop Until 回数 5,000 SplitOn 最大数 100,000 ForEach 並列処理数 20 アクション実行数(5分間) 100,000 同時呼出し数 2,500 エンドポイント同時受信数 1,000 エンドポイント読み取り可能呼出し数 60,000 エンドポイント起動可能呼出し数 45,000 ワークフローでのアクション数 250 ワークフロー内部でのネスト数 5 1リージョンでのワークフロー数 1,000 ワークフローごとのトリガ数 10 一つの式での最大文字数 8,192 アクション/トリガ名の文字数 80 コメントの文字数 256 パラメーター数 50 高スループットモード登場
  9. 9. 1 Action 1 Action 1 Action 1 Flow LogicApps の課金単位 Flow の課金単位
  10. 10. Connectors
  11. 11. Enterprise Integration SNS Office365 / Dynamics365 Data Connect Web Service Azure Service Online Storage Notification Standard Connecter Cognitive Service Button Approval Batch
  12. 12. Enterprise Integration SNS Office365 / Dynamics365 Data Connect Web Service Azure Service Online Storage Notification Standard Connecter Cognitive Service Button Approval Batch 217 Connectors
  13. 13. https://aka.ms/logicappsroadmap
  14. 14. OnPremiss Data Gateway
  15. 15. Hybrid Connection (ServiceBus – Relay) OnPremiss Data Gateway (ServiceBus – Queue) OnPremiss DataGateway 対象コネクタ DataGateway はメッセージを ポーリングする方式でやり取りを行う (リアルタイム性は若干落ちる) 要 Office365/Flow Premium ライセンス
  16. 16. 利用するリージョンは LogicApps/Flow ともに 「既定のリージョン」
  17. 17. •ルートフォルダ:接続先 PC でのローカルパス (共有はかけなくても大丈夫) •認証タイプ:Windows 認証 •ユーザー名:(マシン名)¥(アカウント) を入力 AD アカウントではないので注意! •パスワード:パスワードを入力 •ゲートウェイ:インストールしたゲートウェイを選択
  18. 18. デザイナー上で オンプレミス情報を 参照できるようになる
  19. 19. DataGateway 利用ポート TCP 443 (既定値) / 5671 / 5672 / 9350 ~ 9354 データ送信のみで受信は必要ない HTTPS を強要する場合は config ファイルの書き換えかインストーラから設定
  20. 20. Demo
  21. 21. Data Connectors
  22. 22. SQL Server/SQL Databases Trigger 2 Action 8
  23. 23. MySQL/PostgresSQL/Oracle Trigger 0 Action 6 OnPremiss Only
  24. 24. CosmosDB Trigger 0 Action 11
  25. 25. Azure Table Storage Trigger 0 Action 12
  26. 26. Azure File Storage Trigger 0 Action 10
  27. 27. Azure Blob Storage Trigger 1 Action 13
  28. 28. Azure Data Lake Trigger 0 Action 7 Azure SQL Data Warehouse Trigger 0 Action 2
  29. 29. トリガが少ない事もあり データの発生をトリガーにする処理には 適していない
  30. 30. Excel Online SharePoint Local File
  31. 31. コネクタがあるデータベース アプリを作らなくても データ連携が可能
  32. 32. Demo
  33. 33. LogicFlow コネクタが存在する データソース 開発者じゃなくても データ変換・連携が可能
  34. 34. Enterprise Integration Pack
  35. 35. Enterprise Integration 統合アカウント ファイルからのエンコード ファイルへのデコード XML の検証 XML 変換 EDIFACT AS2 X12 特定プロトコルの コネクタは用意済 Visual Studio に EIP 拡張機能をインストール VS 上でスキーマやマップの定義を行い Azure へアップロードが必要 Liquid での変換
  36. 36. BizTalk Server ArchitectureBizTalk Server Architecture BizTalk Service Architecture BizTalk の「オーケストレーション」部分を Enterprise Integration Pack として提供
  37. 37. 統合アカウントに「スキーマ」と「マップ」 をアップロード
  38. 38. Demo
  39. 39. デコード: 指定したスキーマに合わせ 変換(指定形式→XML) エンコード: 指定したスキーマに合わせ 変換(XML→指定形式)
  40. 40. LogicApps によるオーケストレーション • データ変換を API として公開 • 異種データソース間でのデータ変換 • 外部システム間でのデータ連携 LogicApps と Flow • Flow は実行回数制限が重要なポイント • ビジネスには LogicApps • 社内の作業自動化は Flow
  41. 41. Let’s develop without coding, and Welcome to Serverless !
  42. 42. Appendix
  43. 43. Appendix • LogicFlow-ja ( https://www.facebook.com/groups/logicflowja/ ) • LogicFlow を扱っている Blog – nrjlog ( http://zuvuyalink.net/nrjlog/ ) – てすとぶろぐ ( http://blogahf.blogspot.jp/ ) • Azure LogicApps ( https://blogs.msdn.microsoft.com/logicapps/ ) • Flow – Blog (https://flow.microsoft.com/en-us/blog/) • PowerApps – Blog (https://powerapps.microsoft.com/en-us/blog/) • Twitter Hashtag – LogicApps → #LogicApps – Flow → #MicrosoftFlow

×