Automated ml & model interpretability
•
0 likes•86 views
DLLAB Engineer Days Day2: Conference Room 3-2 日本マイクロソフト株式会社 女部田 啓太 氏
Recommended
Recommended
More Related Content
Similar to Automated ml & model interpretability
Similar to Automated ml & model interpretability (20)
More from Deep Learning Lab（ディープラーニング・ラボ）
More from Deep Learning Lab（ディープラーニング・ラボ） (20)
Recently uploaded
Recently uploaded (10)
Automated ml & model interpretability
- 1. Introduction to Automated ML & Model Interpretability
- 2. • ⾃動機械学習の概要 • モデル解釈の概要 • Azure ML service 全体像 • Automated ML の特徴 • デモンストレーション#1 Automated ML Introduction • Interpretability SDK • Microsoft Interpret ML • デモンストレーション#2 Model Interpretability Azure ML service
- 5. Microsoft - Automated Machine Learing Microsoft - Neural Network Intelligence DataRobot Google - AutoML H2O dotData
- 6. モデルの精度とモデルの解釈性はトレードオフになりがち Black Box モデル • なぜその予測値になった？ • モデルの改善⽅法は？ • モデル構造が複雑 • 理解するのが⾮常に困難 • このモデルは妥当？信頼できる？
- 7. 1. 解釈可能なモデル 2. Black Box 解釈フレームワーク Data
- 11. スケーラブル & マネージドなインフラストラクチャー Machine Learning Compute 実験サービス Rest API (Swagger) 機械学習モデル Power BI Data warehouses モデル運⽤管理 & ガバナンス Kubernetes 監査証跡 データセット モデル データソース コード 開発ツール モニタリング インタフェース ONNX + App Azure Machine Learning service 全体像 MLOps
- 12. スケーラブル & マネージドなインフラストラクチャー Machine Learning Compute 実験サービス Rest API (Swagger) 機械学習モデル Power BI Data warehouses モデル運⽤管理 & ガバナンス Kubernetes 監査証跡 データセット モデル データソース コード 開発ツール モニタリング インタフェース ONNX + App Azure Machine Learning service 全体像 MLOps 今⽇のテーマ
- 13. データセット ゴール設定 制約条件 アウトプット協調フィルタリング & ベイズ最適化を⽤いて 表形式データに対して⾃動機械学習を並列実⾏ Optimized model Azure Machine Learning service
- 14. http://papers.nips.cc/paper/7595-probabilistic-matrix- factorization-for-automated-machine-learning
- 15. • 様々なスペックのVM (CPU, GPU) に対応 • 学習時に⾃動起動して、処理が 完了したら⾃動シャットダウン • ジョブ管理、スケジュール管理 学習コード train train train ジョブ・スケジュール管理 ・・・ • 低優先度オプション : 80%割引 で利⽤可能 スケーラブルな計算環境で⾼速に⾃動機械学習を実現
- 18. Python & ONNX
- 20. automl_settings = { "iterations": 5, "n_cross_validations": 3, "primary_metric": 'AUC_weighted', "preprocess": True, } automl_config = AutoMLConfig(task = 'classification', # regression, forecasting X = X_train, y = y_train, **automl_settings)
- 21. 項⽬ 設定値 iterations イテレーション回数 (=試⾏するパイプライン数) primary_metric 精度指標の指定, 回帰は下記のメトリックをサポート: accuracy AUC_weighted average_precision_score_weighted norm_macro_recall precision_score_weighted task 機械学習モデルの種類 classification, regression or forecasting X 学習データ (説明変数) pandas, numpy, azure ml datasets をサポート y 学習データ (ターゲット変数) pandas, numpy, azure ml datasets をサポート
- 24. モデル解釈可能性
- 25. モデル全体の説明変数の重要度
- 29. konabuta/DataExplore-Workshop Algorithm Environment Interpretability Type Description Decision Tree Azure ML service Python SDK / InterpretML Interpretable Decision Tree (決定⽊) を⽤いたモデル開発 のサンプルコード Linear Regression Excel / Azure ML service Python SDK / InterpretML Interpretable Linear Regression (線形回帰) を⽤いたモデ ル開発のサンプルコード Decision Tree & Linear Regression Power BI - Key Influencers Interpretable KPI 要因探索ビジュアル機能 AutoML + Model Interpretability Azure ML service Python SDK (Automated ML + Interpretabiliy SDK) Model-Agnostic ⾃動機械学習 + モデル解釈統合フレームワー ク Microsoft InterpretML Python - Classification Interpretable Microsoft Interpret ML によるモデル開発の サンプルコード Global Surrogate n/a Model-Agnostic Global Surrogate を⽤いたモデル解釈 Permutation Feature Importance n/a Model-Agnostic PFI を⽤いたモデル解釈 LIME external site Model-Agnostic LIME によるモデル解釈 SHAP external site Model-Agnostic SHAP によるモデル解釈
- 30. Azure AI 概要 Azure Machine Learning service ドキュメント Azure Machine Learning service Sample Code Interpretable Machine Learning - A Guide for Making Black Box Models Explainable
- 31. http://bit.ly/357lhP9 Introduction to Automated ML & Model Interpretability
- 33. MICROSOFT CONFIDENTIAL 本資料は情報提供のみを⽬的としており、本資料に記載されている情報は、本資料作成時点でのマイクロソフトの⾒解を⽰し たものです。状況等の変化により、内容は変更される場合があります。本資料に表記されている内容（提⽰されている条件等 を含みます）は、貴社との有効な契約を通じて決定されます。それまでは、正式に確定するものではありません。従って、本資 料の記載内容とは異なる場合があります。また、本資料に記載されている価格はいずれも、別段の表記がない限り、参考価 格となります。貴社の最終的な購⼊価格は、貴社のリセラー様により決定されます。マイクロソフトは、本資料の情報に対して 明⽰的、黙⽰的または法的な、いかなる保証も⾏いません。 © 2019 Microsoft Corporation. All rights reserved.