Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Azure における強化学習への取り組み

1,657 views

Published on

2020年8月1日(土) Deep Learning Digital Conference
https://dldc-2020.dllab.ai/
https://dllab.connpass.com/event/178714/

技術セッションにて Azure の強化学習サービスについて説明。

<サービス>
- Azure Machine Learning : Ray/RLlib ベースの強化学習のマネージドサービス
- Azure Personalizer : Webアプリケーションのパーソナライズを実現
- Bonsai : 産業用制御システムの自律化を実現

Published in: Data & Analytics
  • Be the first to comment

Azure における強化学習への取り組み

  1. 1. Azure の強化学習への取り組み #dllab
  2. 2. konabuta Keita Onabuta Cloud Solution Architect - Machine Learning & Deep Learning @keonabutkeita-onabuta
  3. 3. 対象者 課題 ゴール • 従来の機械学習だけでなく、強化学習に興味がある⽅ • Microsoft の最新のテクノロジーに興味がある⽅ • 現在取り⼊れている AI テクノロジーの限界を感じている • 強化学習の導⼊ハードルが⾼い • 強化学習の概念を理解する • Microsoft のサービスを活⽤し、実⽤的な強化学習プロジェクトを実現する
  4. 4. 強化学習 (Reinforcement Learning) とは?
  5. 5. 蒸気 や 電気 ソフトウェア (+AI) AI (強化学習!)
  6. 6. Machine Learning 教師あり 学習 教師無し 学習 強化学習 Classification Regression Clustering Reward-based 種類 カテゴリの例 アルゴリズムの例 ・故障予測 ・離反予測 ・画像認識 ユースケース ・売上予測 ・需要予測 ・セグメンテーション ・顧客グルーピング ・メール キャンペーン ・⾃動運転 ・⾃律型ビル管理 ・パーソナライズ
  7. 7. 強化学習 Reinforcement Learning Environment Agent ž Agent のゴール : 報酬を最⼤化するアクションを選択する ž Modeling の⽅法 : 通常は、MDP としてモデル化する (Markov Decision Process) ž Markov: 過去の状態の限られた数のみに応じて、 現在の状態を考慮する ž Decision: エージェントは、その⽬標を達成するために どのアクションを取る必要があるかを決定する ž Process: 我々は環境のダイナミクスを定常であると仮定する。それは、 時間の経過と同時に変更されない (または⾮常にゆっくりと変更される)
  8. 8. ユースケース
  9. 9. Reinforcement Learning at Microsoft
  10. 10. AI Platform Autonomous System Bonsai Open Source Vowpal Wabbit AirSim Ray/RLlib (contribute) Azure Machine Learning Azure Personalizer
  11. 11. Azure Machine Learning+
  12. 12. Source: RLlib: Scalable Reinforcement Learning
  13. 13. ReinforcmentLearningEstimator マネージドな強化学習サービスで⼤規模なスケーラブルな分散シミュレーション・学習を実現
  14. 14. Data Scientist Submits Experiment Azure Machine Learning Ray Cluster Head Node (Training) Worker Node Worker Node Worker Worker Worker Worker Simulator Cluster Simulator Node Simulator Node Sim Sim Sim Sim Training Results (TensorBoard, Azure ML studio etc)
  15. 15. Personalizer を使⽤すると、関連性の⾼いコンテンツやユーザーエクスペリエンスの優先順位 を設定できるため、ライブで進⾏中の学習ループでターゲット層の好みに適応できます 👍👍👍👍 1. リアルタイムの情報を提供する アプリケーション 2. Personalizer が アクションを推奨 3. ユーザーの選択 4. Personalizer が ⾃動的に学習
  16. 16. 強化学習の専⾨知識が不要 API 経由で素早く、簡単に実装 “⾒習いモード” による事前の学習 により本番に速やかに移⾏ ユーザーフレンドリーなUIで 強化学習のループを簡単に監視・調整
  17. 17. https://docs.microsoft.com/ja-jp/azure/architecture/solution-ideas/articles/machine-teaching
  18. 18. デモンストレーション Project Moab aka.ms/moab Blog https://medium.com/@konabuta/bo nsai-で始める深層強化学習-超⼊⾨- b069f724b603
  19. 19. https://aka.ms/machineteaching https://www.aicrowd.com/challenges/neurips-2020- minerl-competition https://www.microsoft.com/en-us/research/academic- program/game-of-drones-competition-at-neurips-2019/ 研究開発推進のため NeurIPS Competition へも協⼒RL & Machine Teaching 専⾨の Research グループ https://www.microsoft.com/en- us/research/theme/reinforcement-learning-group/
  20. 20. まとめ
  21. 21. • 「Data Hack」はMicrosoft Azure上のデータサービスを利⽤しデータ分析活⽤を開始されたい 特定のお客様に向けた無償*の特別⽀援サービスです。 • 弊社データサイエンティストおよびアーキテクトが分析プロジェクトの導⼊フェーズに数⽇間参画し、 サステイナブルなプロジェクトフレームの構築を⽀援します。 1.導⼊アセスメント 2.データ準備 3.モデル作成/評価 4.本格展開 ⼀般的なデータ分析プロジェクトの作業フロー(※通常数か⽉〜半年程度) Data Hack対象領域 数⽇〜1週間+ + 分析プロジェクト の迅速なスタート アップ⽀援!
  22. 22. ž Azure Machine Learning ž Azure Machine Learning での強化学習 (ドキュメント) ž https://docs.microsoft.com/ja-jp/azure/machine-learning/how-to-use-reinforcement-learning ž Minecraft でのサンプルコード ž https://techcommunity.microsoft.com/t5/azure-ai/introducing-reinforcement-learning-on-azure-machine-learning/ba-p/1403028 ž Personalizer ž 製品トップページ ž https://azure.microsoft.com/ja-jp/services/cognitive-services/personalizer/ ž Demo ž https://personalizationdemo.azurewebsites.net/ ž Bonsai ž 製品トップページ ž https://azure.microsoft.com/ja-jp/services/project-bonsai/ ž Machine Teaching Demo ž https://aidemos.microsoft.com/machineteaching Get Started !

×