Azure における強化学習への取り組み

1. Azure の強化学習への取り組み #dllab

2. konabuta Keita Onabuta Cloud Solution Architect - Machine Learning & Deep Learning @keonabutkeita-onabuta

3. 対象者課題ゴール • 従来の機械学習だけでなく、強化学習に興味がある⽅ • Microsoft の最新のテクノロジーに興味がある⽅ • 現在取り⼊れている AI テクノロジーの限界を感じている • 強化学習の導⼊ハードルが⾼い • 強化学習の概念を理解する • Microsoft のサービスを活⽤し、実⽤的な強化学習プロジェクトを実現する

4. 強化学習 (Reinforcement Learning) とは？

5. 蒸気や電気ソフトウェア (+AI) AI (強化学習！)

6. Machine Learning 教師あり学習教師無し学習強化学習 Classification Regression Clustering Reward-based 種類カテゴリの例アルゴリズムの例・故障予測・離反予測・画像認識ユースケース・売上予測・需要予測・セグメンテーション・顧客グルーピング・メールキャンペーン・⾃動運転・⾃律型ビル管理・パーソナライズ

7. 強化学習 Reinforcement Learning Environment Agent Agent のゴール : 報酬を最⼤化するアクションを選択する Modeling の⽅法 : 通常は、MDP としてモデル化する (Markov Decision Process) Markov: 過去の状態の限られた数のみに応じて、現在の状態を考慮する Decision: エージェントは、その⽬標を達成するためにどのアクションを取る必要があるかを決定する Process: 我々は環境のダイナミクスを定常であると仮定する。それは、時間の経過と同時に変更されない (または⾮常にゆっくりと変更される)

8. ユースケース

9. Reinforcement Learning at Microsoft

10. AI Platform Autonomous System Bonsai Open Source Vowpal Wabbit AirSim Ray/RLlib (contribute) Azure Machine Learning Azure Personalizer

11. Azure Machine Learning＋

12. Source: RLlib: Scalable Reinforcement Learning

13. ReinforcmentLearningEstimator マネージドな強化学習サービスで⼤規模なスケーラブルな分散シミュレーション・学習を実現

14. Data Scientist Submits Experiment Azure Machine Learning Ray Cluster Head Node (Training) Worker Node Worker Node Worker Worker Worker Worker Simulator Cluster Simulator Node Simulator Node Sim Sim Sim Sim Training Results (TensorBoard, Azure ML studio etc)

15. Personalizer を使⽤すると、関連性の⾼いコンテンツやユーザーエクスペリエンスの優先順位を設定できるため、ライブで進⾏中の学習ループでターゲット層の好みに適応できます 👍👍👍👍 1. リアルタイムの情報を提供するアプリケーション 2. Personalizer がアクションを推奨 3. ユーザーの選択 4. Personalizer が⾃動的に学習

16. 強化学習の専⾨知識が不要 API 経由で素早く、簡単に実装 “⾒習いモード” による事前の学習により本番に速やかに移⾏ユーザーフレンドリーなUIで強化学習のループを簡単に監視・調整

17. https://docs.microsoft.com/ja-jp/azure/architecture/solution-ideas/articles/machine-teaching

18. デモンストレーション Project Moab aka.ms/moab Blog https://medium.com/@konabuta/bo nsai-で始める深層強化学習-超⼊⾨- b069f724b603

19. https://aka.ms/machineteaching https://www.aicrowd.com/challenges/neurips-2020- minerl-competition https://www.microsoft.com/en-us/research/academic- program/game-of-drones-competition-at-neurips-2019/ 研究開発推進のため NeurIPS Competition へも協⼒RL & Machine Teaching 専⾨の Research グループ https://www.microsoft.com/en- us/research/theme/reinforcement-learning-group/

20. まとめ

21. • 「Data Hack」はMicrosoft Azure上のデータサービスを利⽤しデータ分析活⽤を開始されたい特定のお客様に向けた無償*の特別⽀援サービスです。 • 弊社データサイエンティストおよびアーキテクトが分析プロジェクトの導⼊フェーズに数⽇間参画し、サステイナブルなプロジェクトフレームの構築を⽀援します。１．導⼊アセスメント２．データ準備３．モデル作成/評価４．本格展開⼀般的なデータ分析プロジェクトの作業フロー（※通常数か⽉〜半年程度） Data Hack対象領域数⽇〜1週間＋＋分析プロジェクトの迅速なスタートアップ⽀援！

22. Azure Machine Learning Azure Machine Learning での強化学習 (ドキュメント) https://docs.microsoft.com/ja-jp/azure/machine-learning/how-to-use-reinforcement-learning Minecraft でのサンプルコード https://techcommunity.microsoft.com/t5/azure-ai/introducing-reinforcement-learning-on-azure-machine-learning/ba-p/1403028 Personalizer 製品トップページ https://azure.microsoft.com/ja-jp/services/cognitive-services/personalizer/ Demo https://personalizationdemo.azurewebsites.net/ Bonsai 製品トップページ https://azure.microsoft.com/ja-jp/services/project-bonsai/ Machine Teaching Demo https://aidemos.microsoft.com/machineteaching Get Started !