Successfully reported this slideshow.

アプリのロギングからデータ収集・分析・活用

0

Share

1 of 35
1 of 35

More Related Content

Similar to アプリのロギングからデータ収集・分析・活用

Related Books

Free with a 14 day trial from Scribd

See all

Related Audiobooks

Free with a 14 day trial from Scribd

See all

アプリのロギングからデータ収集・分析・活用

  1. 1. アプリのロギングから データ収集・分析・活用 チャットボットアプリを例に Azure のビッグデータ向けサービスと連携 2018-03 CLR/H #13 Cogbot #13
  2. 2. ABOUT ME @BEACH_SIDE 横浜 篤 よこはま あつし http://beachside.hatenablog.com/ 株式会社アイティーブレーン Edge Technology and Projects 部 部長 Using… C#, ASP.NET, Azure, Cognitive Services, Bot Framework…. 開発者募集しています♪ C#er ♪ Cogbot コミュニティ BEACHSIDE BLOG
  3. 3. 前 説 表示フォント:HGS明朝B
  4. 4. (`・ω・´)((キリッ 本日のチャットボットの話の前提… Microsoft Bot Framework で実装 ASP.NET ベースのアプリケーション Azure 上でホスト Azure Bot Service などの App Service 上で動くもの
  5. 5. Bot Telemetry (_`・ω・)_バァン Business Insights = Telemetry
  6. 6. 表示フォント:HGS明朝B チャットボットをはじめとする AI を活用す るアプリケーションは、 運用後 データをどう収集し、どう改善に生かすかが 生死の分かれ目である… 注:あくまで個人的見解です。
  7. 7. ログの出力 Telemetry :取得から活用のイメージ Application Data Management Analytics Visualization 収集・変換 分析 可視化 改善 ソフトウェアの改善とビジネスの発展へ
  8. 8. Application Data Management Analytics Visualization ログの出力 Telemetry :取得から活用のイメージ 収集・変換 分析 可視化 改善 継続的なサイクルでソフトウェアの改善とビジネスの発展へ
  9. 9. 表示フォント:HGS明朝B 本 編 開 幕
  10. 10. 本日お伝えしたいこと •Chatbot でテレメトリーとして使えるデータの出力方法 •データの収集・変換~分析に使える Azure のサービス群 WARNING 2018年3月時点ノ情報デスWARNING チャットボットやAIが絡むシステムを作った先に待っているデータ収集・活用という 辛い現実と向き合うために…
  11. 11. Application Data Management Analytics Visualization 1. ログの出力 Bot Framework で作られたチャットボットを例に Application
  12. 12. Bot Framework におけるログの出力 – (1) 地道にログを実装して出力する • SDK を利用すると、数行のコードで会話のログが取得可能 http://beachside.hatenablog.com/entry/2017/08/23/234500 • サーバーのテレメトリー(リクエストの応答時間など)の実装が面倒? 会話から利用傾向や ボットの応答の精度改善に活用 非機能要件の改善に活用
  13. 13. Bot Framework におけるログの出力– (2) Application Insights の活用 • アプリケーションのパフォーマンスを管理するサービス • 実装したログの出力に加え、リクエストの応答時間やセッション 数などのロギング、アラート、グラフィカルな表示も可能
  14. 14. Application Insights のデータ活用 Blob Storage へエクスポートしてデータの永続化 • Application Insights のデータストアの保存期限は有限 • “継続的” にエクスポートする機能(連続エクスポート)搭載 カスタムイベントを活用して、用途に応じた エクスポートすると便利かも!
  15. 15. Application Insights • Azure Portalでログの可視化 • 連続エクスポート DEMO
  16. 16. Application Data Management Analytics Visualization Azure のサービスでデータ収集・変換 2. 収集・変換 Data Management
  17. 17. 適切なサービスを使いましょう データの収集と変換 – 自力編 Azure Functions でBlobトリガー! • コーディングが好きなひとなら楽々 • ログの出力先は Blob だけじゃない • トリガーがないデータストアはどーすんねん(めんどくさい) • データストアが増えれば増えただけ実装&メンテナンス(めんどくさい) • スモールスタートとしてならば….ありか…
  18. 18. データの収集と変換 – マネージドサービスの利用 Azure Data Factory (v2) • データの収集、各種処理のパイプラインを構築できる • スケジュール実行などで ”継続的” にパイプラインの実行可能 • GUIを使ってノンコーディングで構築やPowerShellやプログラムで 構築 ボクはコード書きたいけどね
  19. 19. Azure Data Factory (v2) の概要 • Connect & Collect オンプレ/クラウドのあらゆるデータソースに接続し、データを取り込む • Transform & Enrich HDInsight Hadoop, Spark, Data Lake Analytics, Machine Learning など のサービスと接続して変換や処理 • Publish データストアへ出力してBIツールや各種アプリケーションで利用できる状態に • Monitor Azure Portal, Azure Monitor, Microsoft Operations Management Suiteなど の監視ツールが組み込まれており、動作の監視が可能
  20. 20. Azure Data Factory (V2) DEMO
  21. 21. データの保存 – ビッグデータ向けの保存サービス Data Lake Store • 分析などでデータを利用時に構造を定義して変換 (schema on read) SQL Data Warehouse • スキーマが定義されたテーブルにデータを格納 (schema on write)
  22. 22. Data Lake Store 概要 – 実質無制限のデータストア ハイパフォーマンス • ペタバイト単位のデータに超並列処理でクエリを実行できる セキュア • アクセス制御、暗号化などエンタープライズ向けのセキュリティ 高可用性 • Azure Storage 等と同様に2つのレプリカを保持 全てのファイルをそのままの書式で格納、分析などでデータを利用時に構造を 定義して変換 (schema on read)
  23. 23. SQL Data Warehouse 概要 – PaaS型のデータウエアハウス ハイパフォーマンス • シェアードナッシング型の超並列アーキテクチャ • コンピュート層とストレージ層が分かれており、スケールアウトが容易 セキュア • アクセス制御、暗号化などエンタープライズ向けのセキュリティ 高可用性 • Azure Storage 等と同様に2つのレプリカを保持 分析などでデータを利用時に構造を定義して変換 (schema on read)
  24. 24. Application Data Management Analytics Visualization Azure のビッグデータ分析用のサービス 3. 分析 Analytics
  25. 25. データ分析 – 自力編 Azure Functions でゴリゴリに分析 • ビッグデータ扱うにはさすがに厳しいだろ… 適切なサービスを使いましょう
  26. 26. 分析 – ビッグデータ向け HDInsight • Hadoop, Spark クラスタのマネージドサービス Data Lake Store Analytics • 分析時に柔軟にサーバーリソースを割り当てる「サーバーレス」のアーキテクチャで 多くのノードで並列分析処理 • C# ベースの言語で SQL を U-SQL という言語による分析 • Cognitive Services, Python, R などの機能・モジュールを組込み可能 Azure Databricks という Apache Spark ベースの新たな分析プラットフォームも!
  27. 27. Azure Data Lake Store Analytics Apache YARN ベースの分析基盤 • 実質無制限のビッグデータを処理 • 自動スケールやジョブ実行の仕組みが組み込まれている • U-SQLで処理可能で、PythonやRやCognitive Services との連携も可能 • Azure Data Lake Store に最適化
  28. 28. HDInsight Hadoop, Spark のマネージドサービス • 実質無制限のビッグデータを処理 • オープンソースの Hortonworks Data Platform
  29. 29. 分析 – 分析が終わったら… BI ツールやアプリのデータストアへ転送して活用 • Data Factory のパイプラインで転送したり… • Stream Analytics で転送したり…
  30. 30. Application Data Management Analytics Visualization 活用して、Business を改善しよう 4. 可視化 Visualization
  31. 31. 可視化 – Microsoft Power BI
  32. 32. Application Data Management Analytics Visualization まとめ 継続的な運用がカギに
  33. 33. 本日お伝えしたかったこと • Chatbot でテレメトリーとして使えるデータの出力方法 • データの収集・変換~分析に使える Azure のサービス群 ログと合わせて、Application Insights を有効に活用 して楽できます。 適切なサービスを使って 継続的 にデータの収集・ 分析できる仕組みを構築しましょう。
  34. 34. 関連リソース Application Insights • https://azure.microsoft.com/ja-jp/services/application-insights/ Data Factory (V2) • https://docs.microsoft.com/ja-jp/azure/data-factory/introduction Data Warehouse • https://azure.microsoft.com/ja-jp/services/sql-data-warehouse/ Data Lake • https://azure.microsoft.com/ja-jp/solutions/data-lake/ HDInsight • https://azure.microsoft.com/ja-jp/services/hdinsight/ Azure Databricks • https://azure.microsoft.com/ja-jp/services/hdinsight/
  35. 35. … .. . .. Thank you !! CLR/H #13 Cogbot #13

×