Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
アプリのロギングから
データ収集・分析・活用
チャットボットアプリを例に Azure のビッグデータ向けサービスと連携
2018-03
CLR/H #13
Cogbot #13
ABOUT ME
@BEACH_SIDE
横浜 篤
よこはま あつし
http://beachside.hatenablog.com/
株式会社アイティーブレーン
Edge Technology and Projects 部
部長
Using…...
前
説
表示フォント:HGS明朝B
(`・ω・´)((キリッ
本日のチャットボットの話の前提…
Microsoft Bot Framework で実装
ASP.NET ベースのアプリケーション
Azure 上でホスト
Azure Bot Service などの App Servi...
Bot
Telemetry
(_`・ω・)_バァン
Business
Insights
=
Telemetry
表示フォント:HGS明朝B
チャットボットをはじめとする AI を活用す
るアプリケーションは、
運用後
データをどう収集し、どう改善に生かすかが
生死の分かれ目である…
注:あくまで個人的見解です。
ログの出力
Telemetry :取得から活用のイメージ
Application
Data
Management
Analytics Visualization
収集・変換 分析 可視化
改善
ソフトウェアの改善とビジネスの発展へ
Application
Data
Management
Analytics
Visualization
ログの出力
Telemetry :取得から活用のイメージ
収集・変換
分析
可視化
改善
継続的なサイクルでソフトウェアの改善とビジネスの発...
表示フォント:HGS明朝B
本
編
開
幕
本日お伝えしたいこと
•Chatbot でテレメトリーとして使えるデータの出力方法
•データの収集・変換~分析に使える Azure のサービス群
WARNING 2018年3月時点ノ情報デスWARNING
チャットボットやAIが絡むシステムを作...
Application
Data
Management
Analytics
Visualization
1. ログの出力
Bot Framework で作られたチャットボットを例に
Application
Bot Framework におけるログの出力 – (1)
地道にログを実装して出力する
• SDK を利用すると、数行のコードで会話のログが取得可能
http://beachside.hatenablog.com/entry/2017/08/...
Bot Framework におけるログの出力– (2)
Application Insights の活用
• アプリケーションのパフォーマンスを管理するサービス
• 実装したログの出力に加え、リクエストの応答時間やセッション
数などのロギング...
Application Insights のデータ活用
Blob Storage へエクスポートしてデータの永続化
• Application Insights のデータストアの保存期限は有限
• “継続的” にエクスポートする機能(連続エクス...
Application Insights
• Azure Portalでログの可視化
• 連続エクスポート
DEMO
Application
Data
Management
Analytics
Visualization
Azure のサービスでデータ収集・変換
2. 収集・変換
Data
Management
適切なサービスを使いましょう
データの収集と変換 – 自力編
Azure Functions でBlobトリガー!
• コーディングが好きなひとなら楽々
• ログの出力先は Blob だけじゃない
• トリガーがないデータストアはどーすんねん(...
データの収集と変換 – マネージドサービスの利用
Azure Data Factory (v2)
• データの収集、各種処理のパイプラインを構築できる
• スケジュール実行などで ”継続的” にパイプラインの実行可能
• GUIを使ってノンコー...
Azure Data Factory (v2) の概要
• Connect & Collect
オンプレ/クラウドのあらゆるデータソースに接続し、データを取り込む
• Transform & Enrich
HDInsight Hadoop, S...
Azure Data Factory (V2)
DEMO
データの保存 – ビッグデータ向けの保存サービス
Data Lake Store
• 分析などでデータを利用時に構造を定義して変換 (schema on read)
SQL Data Warehouse
• スキーマが定義されたテーブルにデータ...
Data Lake Store 概要 – 実質無制限のデータストア
ハイパフォーマンス
• ペタバイト単位のデータに超並列処理でクエリを実行できる
セキュア
• アクセス制御、暗号化などエンタープライズ向けのセキュリティ
高可用性
• Azur...
SQL Data Warehouse 概要 – PaaS型のデータウエアハウス
ハイパフォーマンス
• シェアードナッシング型の超並列アーキテクチャ
• コンピュート層とストレージ層が分かれており、スケールアウトが容易
セキュア
• アクセス制...
Application
Data
Management
Analytics
Visualization
Azure のビッグデータ分析用のサービス
3. 分析
Analytics
データ分析 – 自力編
Azure Functions でゴリゴリに分析
• ビッグデータ扱うにはさすがに厳しいだろ…
適切なサービスを使いましょう
分析 – ビッグデータ向け
HDInsight
• Hadoop, Spark クラスタのマネージドサービス
Data Lake Store Analytics
• 分析時に柔軟にサーバーリソースを割り当てる「サーバーレス」のアーキテクチャで
...
Azure Data Lake Store Analytics
Apache YARN ベースの分析基盤
• 実質無制限のビッグデータを処理
• 自動スケールやジョブ実行の仕組みが組み込まれている
• U-SQLで処理可能で、PythonやRや...
HDInsight
Hadoop, Spark のマネージドサービス
• 実質無制限のビッグデータを処理
• オープンソースの Hortonworks Data Platform
分析 – 分析が終わったら…
BI ツールやアプリのデータストアへ転送して活用
• Data Factory のパイプラインで転送したり…
• Stream Analytics で転送したり…
Application
Data
Management
Analytics
Visualization
活用して、Business を改善しよう
4. 可視化
Visualization
可視化 – Microsoft Power BI
Application
Data
Management
Analytics
Visualization
まとめ
継続的な運用がカギに
本日お伝えしたかったこと
• Chatbot でテレメトリーとして使えるデータの出力方法
• データの収集・変換~分析に使える Azure のサービス群
ログと合わせて、Application Insights を有効に活用
して楽できます。
...
関連リソース
Application Insights
• https://azure.microsoft.com/ja-jp/services/application-insights/
Data Factory (V2)
• https:/...
… .. . ..
Thank you !!
CLR/H #13
Cogbot #13
Upcoming SlideShare
Loading in …5
×

アプリのロギングからデータ収集・分析・活用

772 views

Published on

チャットボットアプリを例に、 Azure のビッグデータ向けサービスを使ったデータ収集・分析について

Published in: Technology
  • Be the first to comment

  • Be the first to like this

アプリのロギングからデータ収集・分析・活用

  1. 1. アプリのロギングから データ収集・分析・活用 チャットボットアプリを例に Azure のビッグデータ向けサービスと連携 2018-03 CLR/H #13 Cogbot #13
  2. 2. ABOUT ME @BEACH_SIDE 横浜 篤 よこはま あつし http://beachside.hatenablog.com/ 株式会社アイティーブレーン Edge Technology and Projects 部 部長 Using… C#, ASP.NET, Azure, Cognitive Services, Bot Framework…. 開発者募集しています♪ C#er ♪ Cogbot コミュニティ BEACHSIDE BLOG
  3. 3. 前 説 表示フォント:HGS明朝B
  4. 4. (`・ω・´)((キリッ 本日のチャットボットの話の前提… Microsoft Bot Framework で実装 ASP.NET ベースのアプリケーション Azure 上でホスト Azure Bot Service などの App Service 上で動くもの
  5. 5. Bot Telemetry (_`・ω・)_バァン Business Insights = Telemetry
  6. 6. 表示フォント:HGS明朝B チャットボットをはじめとする AI を活用す るアプリケーションは、 運用後 データをどう収集し、どう改善に生かすかが 生死の分かれ目である… 注:あくまで個人的見解です。
  7. 7. ログの出力 Telemetry :取得から活用のイメージ Application Data Management Analytics Visualization 収集・変換 分析 可視化 改善 ソフトウェアの改善とビジネスの発展へ
  8. 8. Application Data Management Analytics Visualization ログの出力 Telemetry :取得から活用のイメージ 収集・変換 分析 可視化 改善 継続的なサイクルでソフトウェアの改善とビジネスの発展へ
  9. 9. 表示フォント:HGS明朝B 本 編 開 幕
  10. 10. 本日お伝えしたいこと •Chatbot でテレメトリーとして使えるデータの出力方法 •データの収集・変換~分析に使える Azure のサービス群 WARNING 2018年3月時点ノ情報デスWARNING チャットボットやAIが絡むシステムを作った先に待っているデータ収集・活用という 辛い現実と向き合うために…
  11. 11. Application Data Management Analytics Visualization 1. ログの出力 Bot Framework で作られたチャットボットを例に Application
  12. 12. Bot Framework におけるログの出力 – (1) 地道にログを実装して出力する • SDK を利用すると、数行のコードで会話のログが取得可能 http://beachside.hatenablog.com/entry/2017/08/23/234500 • サーバーのテレメトリー(リクエストの応答時間など)の実装が面倒? 会話から利用傾向や ボットの応答の精度改善に活用 非機能要件の改善に活用
  13. 13. Bot Framework におけるログの出力– (2) Application Insights の活用 • アプリケーションのパフォーマンスを管理するサービス • 実装したログの出力に加え、リクエストの応答時間やセッション 数などのロギング、アラート、グラフィカルな表示も可能
  14. 14. Application Insights のデータ活用 Blob Storage へエクスポートしてデータの永続化 • Application Insights のデータストアの保存期限は有限 • “継続的” にエクスポートする機能(連続エクスポート)搭載 カスタムイベントを活用して、用途に応じた エクスポートすると便利かも!
  15. 15. Application Insights • Azure Portalでログの可視化 • 連続エクスポート DEMO
  16. 16. Application Data Management Analytics Visualization Azure のサービスでデータ収集・変換 2. 収集・変換 Data Management
  17. 17. 適切なサービスを使いましょう データの収集と変換 – 自力編 Azure Functions でBlobトリガー! • コーディングが好きなひとなら楽々 • ログの出力先は Blob だけじゃない • トリガーがないデータストアはどーすんねん(めんどくさい) • データストアが増えれば増えただけ実装&メンテナンス(めんどくさい) • スモールスタートとしてならば….ありか…
  18. 18. データの収集と変換 – マネージドサービスの利用 Azure Data Factory (v2) • データの収集、各種処理のパイプラインを構築できる • スケジュール実行などで ”継続的” にパイプラインの実行可能 • GUIを使ってノンコーディングで構築やPowerShellやプログラムで 構築 ボクはコード書きたいけどね
  19. 19. Azure Data Factory (v2) の概要 • Connect & Collect オンプレ/クラウドのあらゆるデータソースに接続し、データを取り込む • Transform & Enrich HDInsight Hadoop, Spark, Data Lake Analytics, Machine Learning など のサービスと接続して変換や処理 • Publish データストアへ出力してBIツールや各種アプリケーションで利用できる状態に • Monitor Azure Portal, Azure Monitor, Microsoft Operations Management Suiteなど の監視ツールが組み込まれており、動作の監視が可能
  20. 20. Azure Data Factory (V2) DEMO
  21. 21. データの保存 – ビッグデータ向けの保存サービス Data Lake Store • 分析などでデータを利用時に構造を定義して変換 (schema on read) SQL Data Warehouse • スキーマが定義されたテーブルにデータを格納 (schema on write)
  22. 22. Data Lake Store 概要 – 実質無制限のデータストア ハイパフォーマンス • ペタバイト単位のデータに超並列処理でクエリを実行できる セキュア • アクセス制御、暗号化などエンタープライズ向けのセキュリティ 高可用性 • Azure Storage 等と同様に2つのレプリカを保持 全てのファイルをそのままの書式で格納、分析などでデータを利用時に構造を 定義して変換 (schema on read)
  23. 23. SQL Data Warehouse 概要 – PaaS型のデータウエアハウス ハイパフォーマンス • シェアードナッシング型の超並列アーキテクチャ • コンピュート層とストレージ層が分かれており、スケールアウトが容易 セキュア • アクセス制御、暗号化などエンタープライズ向けのセキュリティ 高可用性 • Azure Storage 等と同様に2つのレプリカを保持 分析などでデータを利用時に構造を定義して変換 (schema on read)
  24. 24. Application Data Management Analytics Visualization Azure のビッグデータ分析用のサービス 3. 分析 Analytics
  25. 25. データ分析 – 自力編 Azure Functions でゴリゴリに分析 • ビッグデータ扱うにはさすがに厳しいだろ… 適切なサービスを使いましょう
  26. 26. 分析 – ビッグデータ向け HDInsight • Hadoop, Spark クラスタのマネージドサービス Data Lake Store Analytics • 分析時に柔軟にサーバーリソースを割り当てる「サーバーレス」のアーキテクチャで 多くのノードで並列分析処理 • C# ベースの言語で SQL を U-SQL という言語による分析 • Cognitive Services, Python, R などの機能・モジュールを組込み可能 Azure Databricks という Apache Spark ベースの新たな分析プラットフォームも!
  27. 27. Azure Data Lake Store Analytics Apache YARN ベースの分析基盤 • 実質無制限のビッグデータを処理 • 自動スケールやジョブ実行の仕組みが組み込まれている • U-SQLで処理可能で、PythonやRやCognitive Services との連携も可能 • Azure Data Lake Store に最適化
  28. 28. HDInsight Hadoop, Spark のマネージドサービス • 実質無制限のビッグデータを処理 • オープンソースの Hortonworks Data Platform
  29. 29. 分析 – 分析が終わったら… BI ツールやアプリのデータストアへ転送して活用 • Data Factory のパイプラインで転送したり… • Stream Analytics で転送したり…
  30. 30. Application Data Management Analytics Visualization 活用して、Business を改善しよう 4. 可視化 Visualization
  31. 31. 可視化 – Microsoft Power BI
  32. 32. Application Data Management Analytics Visualization まとめ 継続的な運用がカギに
  33. 33. 本日お伝えしたかったこと • Chatbot でテレメトリーとして使えるデータの出力方法 • データの収集・変換~分析に使える Azure のサービス群 ログと合わせて、Application Insights を有効に活用 して楽できます。 適切なサービスを使って 継続的 にデータの収集・ 分析できる仕組みを構築しましょう。
  34. 34. 関連リソース Application Insights • https://azure.microsoft.com/ja-jp/services/application-insights/ Data Factory (V2) • https://docs.microsoft.com/ja-jp/azure/data-factory/introduction Data Warehouse • https://azure.microsoft.com/ja-jp/services/sql-data-warehouse/ Data Lake • https://azure.microsoft.com/ja-jp/solutions/data-lake/ HDInsight • https://azure.microsoft.com/ja-jp/services/hdinsight/ Azure Databricks • https://azure.microsoft.com/ja-jp/services/hdinsight/
  35. 35. … .. . .. Thank you !! CLR/H #13 Cogbot #13

×