20181117 Azure Machine Lerning 勉強会 in Okayama (1)

1. Azure Machine Learningの概要
モジュールの解説（データ＆前処理）
2018.11.17
Azure Machine Learning勉強会 in Okayama
貞松 政史

2. OCL × OITEC
オカヤマ コンピュータサイエンス ラボ (OCL)
Okayama IT Engineer Community (OITEC)

3. 自己紹介
• 貞松 政史 （サダマツ マサシ）
• @sady_nitro
• Microsoft系テクノロジー
• コンピュータサイエンス
• 組合せ最適化、 強化学習など

4. 本日のハッシュタグ
#okacslab

5. 本日の流れ
• Azure Machine Learningの概要説明
• Azure Machine Learningのモジュール説明
• データ読み込み
• 前処理
• 学習アルゴリズム
• 評価
• Azure Machine Learningで機械学習実験のデモ
• レコメンドの実験

6. 本セッションの流れ
• Azure Machine Learningの概要説明
• Azure Machine Learningのモジュール説明
• データ読み込み
• 登録済みデータの配置
• 外部データの接続
• 前処理
• データのクリーニング
• データのフィルタリング
• データの加工 (絞り込み、結合、集計、ハッシュ化 など)
• データの分割 (学習データとテストデータ)

7. Azure Machine Learningの概要説明
• Azure Machine Learningの概要説明
• Azure Machine Learningのモジュール説明
• データ読み込み
• 登録済みデータの配置
• 外部データの接続
• 前処理
• データのクリーニング
• データのフィルタリング
• データの加工 (絞り込み、結合、集計など)
• データの分割 (学習データとテストデータ)

8. Azure Machine Learningとは
• Azureの機械学習サービス(PaaS)

9. Azure Machine Learningとは
• （ほぼ）GUIでの操作だけで機械学習の実験を実施できる
• 予め準備されているモジュールを組み合わせる
• RやPythonのコードを実行することもできる
• Experiments内のモジュールで実行
• ビルトインのJupyter Notebookを使用

10. Azure Machine Learningでできること
• 一般的に機械学習で取り扱う問題を解決する
(その為のモデルを学習する)
• 予測
• 分類(Two-Class, Multi-Class)
• クラスタリング
• 異常検知
など

11. Azure Machine Learningの実験の流れ
• データの準備 (データのアップロード、外部データの接続)
• モデルの学習と評価
• 学習済みモデルをWebサービス (Web API)として公開

12. モデルの学習と評価までの構成
データの読み込み
データの加工
学習アルゴリズム
学習モデルの評価

13. Webサービスとして公開
学習済みモデルにWebAPI用の
Input・OutPutをつなぐだけ

14. モジュール説明(データ読み込み)
• Azure Machine Learningの概要説明
• Azure Machine Learningのモジュール説明
• データ読み込み
• 登録済みデータの配置
• 外部データの接続
• 前処理
• データのクリーニング
• データのフィルタリング
• データの加工 (絞り込み、結合、集計など)
• データの分割 (学習データとテストデータ)

15. Saved Datasets
予め用意されたサンプルデータ
もしくはアップロード済みの
データを配置する

16. Data Input and Output
Azure ML Studio上にない外部データを取り込むための
モジュール(一部出力するためのモジュール)

17. Data Format Conversions
Azure ML Studio上で扱うデータを別の形式に変換する為のモジュール

18. モジュール説明(前処理)
• Azure Machine Learningの概要説明
• Azure Machine Learningのモジュール説明
• データ読み込み
• 登録済みデータの配置
• 外部データの接続
• 前処理
• データのクリーニング
• データのフィルタリング
• データの加工 (絞り込み、結合、集計など)
• データの分割 (学習データとテストデータ)

19. Data Transformation
読み込んだデータを実験用に加工するためのモジュール群

20. Filterモジュール
主に信号データに対するフィルターを適用するモジュール

21. Learning with Countsモジュール

22. Manipulationモジュール
Datasetに対して、何かしらの処理を
加えるためのモジュール
- 列や行の追加
- 列の絞り込み
- データの結合
- 欠損データの除去
- SQLクエリによる集計
など

23. Sample and Splitモジュール
データセットのサンプリングや学習データとテストデータの分割

24. Scale and Reduceモジュール
正規化や主成分分析により学習データをスケールするモジュール

25. Feature Selectionモジュール
特徴選択モジュール
予測や分類を実行する際に最適な特徴(説明変数)を判断する

26. Text Analyticsモジュール
テキストデータの言語やキーワード
を抽出したり、学習用にベクトル化
やハッシュ化するためのモジュール
※日本語のテキストに対して
適用する為には、事前に
「わかち書き」が必要

27. 前半のまとめ
• Azure Machine Learning
• Azureの機械学習サービス
• GUIで機械学習の実験を構成できる
• 学習済みモデルをWebサービスとして公開できる
• データ読み込み・加工の為のモジュール
• 事前アップロードもしくは実験実行時にデータロード
• データの種類、状態に応じてデータの加工を行うモジュールが多数存在