FIT2015 Amazon Machine Learning概要

1. classmethod.jp
Amazon Machine Learning
概要
FIT2015
第14回情報科学技術フォーラム
1
2015/09/16 クラスメソッド株式会社 能登 諭

2. classmethod.jp
自己紹介
• 氏名：能登 諭（のと さとし）
• 会社：クラスメソッド株式会社
• 所属：AWSコンサルティング部
• 担当：機械学習とビッグデータ
• Twitter：@n3104
2

3. classmethod.jp
クラスメソッド株式会社
• 事業：AWSとiOS/Android開発
• 設立：2004年
• オフィス：秋葉原、札幌、シアトル
• 体制：約80名
• ブログ：Developers.IO
• http://dev.classmethod.jp/
3

4. classmethod.jp
本日のアジェンダ
• Amazon Web Services概要
• Amazon Machine Learning概要
4

5. classmethod.jp
5
Amazon Web Services概要

6. classmethod.jp
Amazon Web Servicesとは
• いわゆるクラウド
• 従量課金
• 40以上のサービス
• 汎用仮想マシン（サーバー）
• RDBMS、DWH、KVS
• 並列分散処理
• ストリーミング処理
• クラウドストレージなどなど
6

7. 40以上のサービス
7

8. classmethod.jp
8
事例紹介

9. 事例1：ANAシステムズ株式会社様
効率化と自動化によるコスト削減
9
http://classmethod.jp/cases/ana-systems/group-website/

10. 事例2：株式会社あきんどスシロー様
すし皿のセンサーデータをリアルタイムにAWS
上に転送してほぼリアルタイムで把握可能に
10
http://classmethod.jp/cases/sushiro/sushiro-all-data/

11. 事例3：慶應義塾大学様
並列分散処理のプログラム演習環境として利用
11
http://classmethod.jp/cases/keio/

12. classmethod.jp
12
Amazon Machine Learning
概要

13. classmethod.jp
Amazon Machine Learningとは
• 略称はAmazon ML
• 2015年4月にAWSがリリースした機械学習に
関するサービス
13

14. classmethod.jp
サービスとしての特徴
• マネージドサービスとして提供されているた
め、モデルの学習/評価を行うサーバーの管理
が不要になる。予測を行うサーバーの管理も
不要となる。
• 手順に沿って進めれば機械学習の知識がなく
とも手軽に利用できる。具体的には、目的変
数のデータ型から自動的にモデルが決定され
る。
14

15. Amazon MLで利用可能なモデル
二項分類（ロジスティック回帰）
このお客様は商品を買うか？買わないか？
多項分類（多項式ロジスティック回帰）
この商品は本か？映画か？衣服か？
回帰（線形回帰）
この商品はいくつぐらい売れるか？
15

16. Amazon MLで利用可能な予測手法
バッチ予測
予測対象となるデータファイルをAmazon S3という
クラウドストレージにアップロードしてAmazon ML
でまとめて予測する。
リアルタイム予測
データを1件ずつAmazon MLが提供するAPIを呼び出
して予測する。
16

17. classmethod.jp
17
Amazon MLの利用手順

18. classmethod.jp
Amazon MLを使うための4つのステップ
1. 教師用/評価用データを準備
• 表形式のCSVファイルを用意する
2. 教師データからモデルを作成
• 用意されたデータをもとに予測モデルを作成
3. モデルの品質評価
• 予測モデルの品質の確認や簡単なチューニングを行う
4. 実際の予測の実施
• バッチ予測
• リアルタイム予測
18

19. classmethod.jp
19
1. 教師用/評価用データを準備

20. classmethod.jp
1. 教師用/評価用データを準備(1)
表形式のCSVファイルを用意し、Amazon S3
（クラウドストレージ）にアップロードする。
20
※ ヘッダー行の指定は任意

21. classmethod.jp
1. 教師用/評価用データを準備(2)
Amazon MLからS3上のCSVファイルを
Datasourceとして指定する。
21

22. classmethod.jp
1. 教師用/評価用データを準備(3)
スキーマ定義と目的変数の指定を行う。
22

23. classmethod.jp
1. 教師用/評価用データを準備(補足1)
Datasourceを作成すると統計情報を参照できる
ようになる。
23

24. classmethod.jp
1. 教師用/評価用データを準備(補足2)
Datasourceとしては現時点で以下の3つを利用
できる。
• Amazon S3（CSVファイル）
• Amazon Redshift（DWH）
• Amazon RDS for MySQL（RDBMS）
24

25. classmethod.jp
25
2. 教師データからモデルを作成

26. classmethod.jp
2. 教師データからモデルを作成(1)
学習用のDatasourceからModelを作成する。
26

27. classmethod.jp
2. 教師データからモデルを作成(2)
利用する機械学習のモデルは目的変数のデータ
型から自動的に決定される。
• Binary：二項分類
• Categorical：多項分類
• Numeric：回帰
27

28. classmethod.jp
2. 教師データからモデルを作成(3)
Datasourceを教師データと評価データに分割す
るか指定できる。デフォルト設定の場合は、教
師用（7割）と評価用（3割）の2つに分割す
る。
28

29. classmethod.jp
2. 教師データからモデルを作成(補足)
カスタム設定で、Recipeによるデータ変換、正
則化オプション等を指定できる。
29

30. classmethod.jp
30
3. モデルの品質評価

31. 3. モデルの品質評価(1)
評価データで学習モデルの評価をできる。モデル毎に
評価指標が異なる。
二項分類：
AUC（Area Under the Curve）
多項分類：
F1値
回帰：
RMSE（Root Mean Squared Error）
31

32. classmethod.jp
3. モデルの品質評価(2)
二項分類であればcut-off scoreの調整ができる。
32

33. classmethod.jp
3. モデルの品質評価(3)
多項分類、回帰ではモデルに合わせたグラフで
詳細を確認できる。
33

34. classmethod.jp
34
4. 実際の予測の実施

35. classmethod.jp
4. 実際の予測の実施(1)
バッチ予測を行うには、学習データと同じ形式
のCSVファイルをAmazon S3にアップロードす
る。バッチ予測結果はS3上に出力され、CSV
ファイルの各レコードに対するscoreが出力され
ている。
35

36. classmethod.jp
4. 実際の予測の実施(2)
リアルタイム予測を行うには、1レコード分の説
明変数を引数としてAPIを呼び出し、予測結果の
scoreをレスポンスとして受け取る。
36

37. classmethod.jp
実際に試す際は
• 公式ドキュメントのチュートリアル
• http://docs.aws.amazon.com/machine-
learning/latest/dg/tutorial.html
• http://dev.classmethod.jp/cloud/aws/getting-
started-amazon-machine-learning/
• AWSアカウントの作成手順
• https://aws.amazon.com/jp/register-flow/
37

38. classmethod.jp
38
Amazon ML補足

39. 利用費は使った分だけ
データソース作成、モデル作成、評価：
$0.42 / インスタンス時
バッチ予測：
$0.10 / 1,000 レコード
リアルタイム予測：
$0.10 / 1,000 リクエスト
+ 1時間毎のキャパシティリザベーションチャージ
（10 MB のメモリにつき 1 時間あたり $0.001）
39

40. classmethod.jp
Amazon MLを利用してみての感想
• インフラ管理について考える必要がないのは
開発/運用が楽になる。APIについてもボタン1
つで利用できるようになる。
• 特徴抽出は自前で行う必要があるので、機械
学習の知識が全く不要というわけではない。
• 利用できるモデルが現時点では少ないので、
今後に期待している。
40

41. classmethod.jp
弊社での利用する際の構成
• DWHとしてAmazon Redshiftを利用
• 可視化にはBIツールであるTableauを利用
41

42. classmethod.jp
42
まとめ

43. classmethod.jp
Amazon MLまとめ
• インフラ管理が不要。とりあえず始められる
• 利用可能なモデルは現時点で二項分類/多項分
類/回帰の3つ
• 利用費は従量課金
• DWHやBIツールと併用する場合が多い
43