1.
Amazon ML（あるいは他社の
サービス）の簡単なデモレベル
はやったことあるけど、それっ
きりってエンジニアに聞いてほ
しいですね

2.
自己紹介
Mr. T
大学で、文学、心理学、哲学をやってるうちに
コンピュータの思考に興味。
夢はインターネット上の言葉を覚えさせてお
しゃべりすること。
好きなAWS: SimpleDB
はじめまして

3.
QAmazon ML 触ったことは？
何かしらソリューションにした
チュートリアルやった
マネジメントコンソールを開いた
CLIでaws mach[TAB]と打った
何もしていない

4.
GOAL
触ったことはある。もしくは全く
触ったことがない。そんな人が、
これなら自分にも出来る。けど、
今日はビールが待ってるから、出
来ないけど明日から本気出すと
思ってくれる事。
実際にはここにいる40％くらいがやっ
てくれれば十分です。
10%before
40%after
このセッションの目的

5.
Amazon
Machine
Learning
Amazon Machine Learning は、
どのスキルレベルの開発者でも、
機械学習テクノロジーを
簡単に使用できるようになるサービス
Amazon Machine Learning をちゃんと知
るAbout Amazon Machine Learning

6.
Amazon ML 4つの概念
About Amazon Machine Learning
ML Models
Datasourcesのデータを使って、
機械学習のモデルを作成する。
Datasources
機械学習に利用するデータを用意する。
S3、RedShift、(RDS)に入っている必
要がある。このデータは学習にも検証に
も使われる。
Evaluations
Datasourcesのデータを利用して、
モデルの精度を検証する。
Prediction
作成されたML Modelを利用して
予測を行う。
バッチとAPIでのリアルタイムの2種
類が行える。
Datasource作成：ただのデータのままではなくて、機械学習で扱える形で保存する。
ML Modelの作成：Datasourceのデータの特徴を見つけ出し、利用できる形にする。
Evalution: ML Modelの精度をテストデータを用いて検証する。
Prediction: ML Modelを使って予測を行う。
Amazon ML 利用の流れ

7.
Datasource
S3
from
Redshift
from
RDS
from
Datasource
S3,Redshift,RDSに格納されているデータに、MLとし
ての型(Type)を付ける事と予測の対象(Target)を指定
することで、MLで使える形とする。
From RDS
RDSからクエリで取り出す
(Management Consoleには無
い)
From Redshift
Redshiftからクエリで取り出す。
From S3
S3にあるデータを利用する。
Datasourceの作成
About Amazon Machine Learning

8.
Datasource 4つのColumn
TypeAbout Amazon Machine Learning
Categorical
数値や文字列のように、不特
定多数の値ではなく、
特定多数(少数)の値が入って
くる。型は文字列でも数値で
も可。
Text
文字列のデータ
予測の対象(Target)には使えな
い。
Binary
2種類のみ許される。
(Yes or No)
Numeric
数値型のデータ

9.
ML model
typeAmazon Machine Learningでは
3種類の予測モデルを作成出来る。
1. Regression(Numeric)
2. Multiclass
Classification(Categorical)
3. Binaryclass Classificatoion (Binary)
DatasourceのTargetのTypeによって自動
で変わる。
ML Modelの作成
About Amazon Machine Learning

10.
ML Model
About Amazon Machine LearningRegression
数値型の予測
TargetがNumericの時に作られるモデル。
ビールの売上予測
売上
湿度
Aug 9 -
2015
Aug 30 -
2015
TO DONE

11.
ML Model
About Amazon Machine Learning

12.
モデルの検証
正解のデータを利用して、予測値と正解の
値を比較。
About Amazon Machine Learning

13.
RMSE
Regression の検証
About Amazon Machine Learning - Evaluation

14.
Macro average F1
score
Mulcticlass Clasification の検
証About Amazon Machine Learning - Evaluation

15.
Binaryclass Classification の検証
About Amazon Machine Learning - Evaluation

16.
Amazon ML 4つの概念
About Amazon Machine Learning
ML Models
Datasourcesのデータを使って、
機械学習のモデルを作成する。
Datasources
機械学習に利用するデータを用意する。
S3、RedShift、(RDS)に入っている必
要がある。このデータは学習にも検証に
も使われる。
Evaluations
Datasourcesのデータを利用して、
モデルの精度を検証する。
Prediction
作成されたML Modelを利用して
予測を行う。
バッチとAPIでのリアルタイムの2種
類が行える。
Datasource作成：ただのデータのままではなくて、機械学習で扱える形で保存する。
ML Modelの作成：Datasourceのデータの特徴を見つけ出し、利用できる形にする。
Evalution: ML Modelの精度をテストデータを用いて検証する。
Prediction: ML Modelを使って予測を行う。
Amazon ML 利用の流れ

17.
ML Modelの
チューニング

18.
Maximum number of data
passes
Regularization [type |
ammount ]
Recipe
チューニング方法
チューニングの方法
About Amazon Machine Learning - tuning
Amazon ML でのチューニング

19.
特徴を検出する回数
モデルを作成するにあたり、何回もこの関
連性が強いかな?どうかな?
みたいな事をする。基本多い方が正確に
1
収束したらそこで終了
あるところで、あ、これだみたいなしっくり来る
ところがある。
それを検知した場合自動で終了
2
Maximum number of data passes
Amazon Machine Learning

20.
L1
None 正則化
複雑すぎるモデルを使うと、訓練用のデー
タの癖に影響を受けやすい。
それをさらっといい感じにする。
L2
Regularization Type |
AmmountAbout Amazon Machine Learning

21.
Recipeを制する者
は
Amazon Machine
Learningを制す
Recipe
Amazon Machine Learning
日本初

22.
JSON形式で指定
Recipeのフォーマット
Amazon Machine Learning
{
groups:{},
assignments:{},
outputs:{}
}

23.
groups:
Recipeのフォーマット
Amazon Machine Learning
groups:{
“group1”:
”group(var1,var2)”
}
ALL_TEXT,
ALL_NUMERIC,
ALL_CATEGORICAL,
ALL_BINARY

24.
groups:
Recipeのフォーマット
Amazon Machine Learning groups:{
“group2”:
”group(ALL_CATEGORICAL,
ALL_BINARY)”,
“group3”:
“group_remove(
ALL_CATEGORICAL,
title,subject)"
}

25.
assignments:
Recipeのフォーマット
Amazon Machine Learning "assignments": {
"binned_age":
"quantile_bin(age,30)",
"c_g_interaction":
"cartesian(country,
gender)"

26.
Data
Transformations
Recipeのフォーマット
Amazon Machine Learning ngram(var1, 3)
osb(var1, 5)
lowercase(var1)
no_punct(var1)
normalize(ALL_NUMERIC)

27.
outputs:
Recipeのフォーマット
Amazon Machine Learning "outputs": [
"ALL_NUMERIC" ,
“group1”,
“lowercase(var2),
var3
]

28.
recipe
Recipeのフォーマット
Amazon Machine Learning
{ "groups": {
"NUMERIC_VARS_QB_100": "group('RecordID')",
"NUMERIC_VARS_QB_20": "group('CostBeforeTax',
'UsageQuantity','TotalCost','BlendedRate','TaxAmount')",
"NUMERIC_VARS_QB_10": "group('RateId')" },
"assignments": {},
"outputs": [ "ALL_CATEGORICAL",
"quantile_bin(NUMERIC_VARS_QB_100,100)",
"quantile_bin(NUMERIC_VARS_QB_20,20)",
"quantile_bin(NUMERIC_VARS_QB_10,10)",
"ALL_TEXT”
]
}

29.
Amazon ML 4つの概念
About Amazon Machine Learning
ML Models
Datasourcesのデータを使って、
機械学習のモデルを作成する。
Datasources
機械学習に利用するデータを用意する。
S3、RedShift、(RDS)に入っている必
要がある。このデータは学習にも検証に
も使われる。
Evaluations
Datasourcesのデータを利用して、
モデルの精度を検証する。
Prediction
作成されたML Modelを利用して
予測を行う。
バッチとAPIでのリアルタイムの2種
類が行える。
Datasource作成：ただのデータのままではなくて、機械学習で扱える形で保存する。
ML Modelの作成：Datasourceのデータの特徴を見つけ出し、利用できる形にする。
Evalution: ML Modelの精度をテストデータを用いて検証する。
Prediction: ML Modelを使って予測を行う。
Amazon ML 利用の流れ

30.
REAL TIME PREDICTION
API経由でのその場でのPrediction実行
BATCH PREDICTION
S3においてあるファイルからのバッチ実行
日次などで一気に予測したい場合に有用

31.
THANK YOU FOR
YOUR ATTENTION