Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Amazon ML(あるいは他社の
サービス)の簡単なデモレベル
はやったことあるけど、それっ
きりってエンジニアに聞いてほ
しいですね
自己紹介
Mr. T
大学で、文学、心理学、哲学をやってるうちに
コンピュータの思考に興味。
夢はインターネット上の言葉を覚えさせてお
しゃべりすること。
好きなAWS: SimpleDB
はじめまして
QAmazon ML 触ったことは?
何かしらソリューションにした
チュートリアルやった
マネジメントコンソールを開いた
CLIでaws mach[TAB]と打った
何もしていない
GOAL
触ったことはある。もしくは全く
触ったことがない。そんな人が、
これなら自分にも出来る。けど、
今日はビールが待ってるから、出
来ないけど明日から本気出すと
思ってくれる事。
実際にはここにいる40%くらいがやっ
てくれれば十分です。...
Amazon
Machine
Learning
Amazon Machine Learning は、
どのスキルレベルの開発者でも、
機械学習テクノロジーを
簡単に使用できるようになるサービス
Amazon Machine Learning を...
Amazon ML 4つの概念
About Amazon Machine Learning
ML Models
Datasourcesのデータを使って、
機械学習のモデルを作成する。
Datasources
機械学習に利用するデータを用意する。...
Datasource
S3
from
Redshift
from
RDS
from
Datasource
S3,Redshift,RDSに格納されているデータに、MLとし
ての型(Type)を付ける事と予測の対象(Target)を指定
すること...
Datasource 4つのColumn
TypeAbout Amazon Machine Learning
Categorical
数値や文字列のように、不特
定多数の値ではなく、
特定多数(少数)の値が入って
くる。型は文字列でも数値で
も...
ML model
typeAmazon Machine Learningでは
3種類の予測モデルを作成出来る。
1. Regression(Numeric)
2. Multiclass
Classification(Categorical)
3...
ML Model
About Amazon Machine LearningRegression
数値型の予測
TargetがNumericの時に作られるモデル。
ビールの売上予測
売上
湿度
Aug 9 -
2015
Aug 30 -
201...
ML Model
About Amazon Machine Learning
モデルの検証
正解のデータを利用して、予測値と正解の
値を比較。
About Amazon Machine Learning
RMSE
Regression の検証
About Amazon Machine Learning - Evaluation
Macro average F1
score
Mulcticlass Clasification の検
証About Amazon Machine Learning - Evaluation
Binaryclass Classification の検証
About Amazon Machine Learning - Evaluation
Amazon ML 4つの概念
About Amazon Machine Learning
ML Models
Datasourcesのデータを使って、
機械学習のモデルを作成する。
Datasources
機械学習に利用するデータを用意する。...
ML Modelの
チューニング
Maximum number of data
passes
Regularization [type |
ammount ]
Recipe
チューニング方法
チューニングの方法
About Amazon Machine Learning - t...
特徴を検出する回数
モデルを作成するにあたり、何回もこの関
連性が強いかな?どうかな?
みたいな事をする。基本多い方が正確に
1
収束したらそこで終了
あるところで、あ、これだみたいなしっくり来る
ところがある。
それを検知した場合自動で終了
...
L1
None 正則化
複雑すぎるモデルを使うと、訓練用のデー
タの癖に影響を受けやすい。
それをさらっといい感じにする。
L2
Regularization Type |
AmmountAbout Amazon Machine Learning
Recipeを制する者
は
Amazon Machine
Learningを制す
Recipe
Amazon Machine Learning
日本初
JSON形式で指定
Recipeのフォーマット
Amazon Machine Learning
{
groups:{},
assignments:{},
outputs:{}
}
groups:
Recipeのフォーマット
Amazon Machine Learning
groups:{
“group1”:
”group(var1,var2)”
}
ALL_TEXT,
ALL_NUMERIC,
ALL_CATEGORIC...
groups:
Recipeのフォーマット
Amazon Machine Learning groups:{
“group2”:
”group(ALL_CATEGORICAL,
ALL_BINARY)”,
“group3”:
“group_re...
assignments:
Recipeのフォーマット
Amazon Machine Learning "assignments": {
"binned_age":
"quantile_bin(age,30)",
"c_g_interaction...
Data
Transformations
Recipeのフォーマット
Amazon Machine Learning ngram(var1, 3)
osb(var1, 5)
lowercase(var1)
no_punct(var1)
norm...
outputs:
Recipeのフォーマット
Amazon Machine Learning "outputs": [
"ALL_NUMERIC" ,
“group1”,
“lowercase(var2),
var3
]
recipe
Recipeのフォーマット
Amazon Machine Learning
{ "groups": {
"NUMERIC_VARS_QB_100": "group('RecordID')",
"NUMERIC_VARS_QB_20...
Amazon ML 4つの概念
About Amazon Machine Learning
ML Models
Datasourcesのデータを使って、
機械学習のモデルを作成する。
Datasources
機械学習に利用するデータを用意する。...
REAL TIME PREDICTION
API経由でのその場でのPrediction実行
BATCH PREDICTION
S3においてあるファイルからのバッチ実行
日次などで一気に予測したい場合に有用
THANK YOU FOR
YOUR ATTENTION
Amazon ML(あるいは他社のサービス)の簡単なデモレベルはやったことあるけど、それっきりってエンジニアに聞いてほしいですね
Amazon ML(あるいは他社のサービス)の簡単なデモレベルはやったことあるけど、それっきりってエンジニアに聞いてほしいですね
Upcoming SlideShare
Loading in …5
×

Amazon ML(あるいは他社のサービス)の簡単なデモレベルはやったことあるけど、それっきりってエンジニアに聞いてほしいですね

4,471 views

Published on

2016年3月12日に行われたJAWSDAYS2016で流しの機械学習屋Mr.TがAmazon MLについて発表したスライドです。この世に実体が存在しないMr.Tの代わりに私のアカウントでアップロードしています
http://jawsdays2016.jaws-ug.jp/speaker/421
※同じイニシャルTですが、立花の作成したスライドではございません。

Published in: Technology
  • Login to see the comments

Amazon ML(あるいは他社のサービス)の簡単なデモレベルはやったことあるけど、それっきりってエンジニアに聞いてほしいですね

  1. 1. Amazon ML(あるいは他社の サービス)の簡単なデモレベル はやったことあるけど、それっ きりってエンジニアに聞いてほ しいですね
  2. 2. 自己紹介 Mr. T 大学で、文学、心理学、哲学をやってるうちに コンピュータの思考に興味。 夢はインターネット上の言葉を覚えさせてお しゃべりすること。 好きなAWS: SimpleDB はじめまして
  3. 3. QAmazon ML 触ったことは? 何かしらソリューションにした チュートリアルやった マネジメントコンソールを開いた CLIでaws mach[TAB]と打った 何もしていない
  4. 4. GOAL 触ったことはある。もしくは全く 触ったことがない。そんな人が、 これなら自分にも出来る。けど、 今日はビールが待ってるから、出 来ないけど明日から本気出すと 思ってくれる事。 実際にはここにいる40%くらいがやっ てくれれば十分です。 10%before 40%after このセッションの目的
  5. 5. Amazon Machine Learning Amazon Machine Learning は、 どのスキルレベルの開発者でも、 機械学習テクノロジーを 簡単に使用できるようになるサービス Amazon Machine Learning をちゃんと知 るAbout Amazon Machine Learning
  6. 6. Amazon ML 4つの概念 About Amazon Machine Learning ML Models Datasourcesのデータを使って、 機械学習のモデルを作成する。 Datasources 機械学習に利用するデータを用意する。 S3、RedShift、(RDS)に入っている必 要がある。このデータは学習にも検証に も使われる。 Evaluations Datasourcesのデータを利用して、 モデルの精度を検証する。 Prediction 作成されたML Modelを利用して 予測を行う。 バッチとAPIでのリアルタイムの2種 類が行える。 Datasource作成:ただのデータのままではなくて、機械学習で扱える形で保存する。 ML Modelの作成:Datasourceのデータの特徴を見つけ出し、利用できる形にする。 Evalution: ML Modelの精度をテストデータを用いて検証する。 Prediction: ML Modelを使って予測を行う。 Amazon ML 利用の流れ
  7. 7. Datasource S3 from Redshift from RDS from Datasource S3,Redshift,RDSに格納されているデータに、MLとし ての型(Type)を付ける事と予測の対象(Target)を指定 することで、MLで使える形とする。 From RDS RDSからクエリで取り出す (Management Consoleには無 い) From Redshift Redshiftからクエリで取り出す。 From S3 S3にあるデータを利用する。 Datasourceの作成 About Amazon Machine Learning
  8. 8. Datasource 4つのColumn TypeAbout Amazon Machine Learning Categorical 数値や文字列のように、不特 定多数の値ではなく、 特定多数(少数)の値が入って くる。型は文字列でも数値で も可。 Text 文字列のデータ 予測の対象(Target)には使えな い。 Binary 2種類のみ許される。 (Yes or No) Numeric 数値型のデータ
  9. 9. ML model typeAmazon Machine Learningでは 3種類の予測モデルを作成出来る。 1. Regression(Numeric) 2. Multiclass Classification(Categorical) 3. Binaryclass Classificatoion (Binary) DatasourceのTargetのTypeによって自動 で変わる。 ML Modelの作成 About Amazon Machine Learning
  10. 10. ML Model About Amazon Machine LearningRegression 数値型の予測 TargetがNumericの時に作られるモデル。 ビールの売上予測 売上 湿度 Aug 9 - 2015 Aug 30 - 2015 TO DONE
  11. 11. ML Model About Amazon Machine Learning
  12. 12. モデルの検証 正解のデータを利用して、予測値と正解の 値を比較。 About Amazon Machine Learning
  13. 13. RMSE Regression の検証 About Amazon Machine Learning - Evaluation
  14. 14. Macro average F1 score Mulcticlass Clasification の検 証About Amazon Machine Learning - Evaluation
  15. 15. Binaryclass Classification の検証 About Amazon Machine Learning - Evaluation
  16. 16. Amazon ML 4つの概念 About Amazon Machine Learning ML Models Datasourcesのデータを使って、 機械学習のモデルを作成する。 Datasources 機械学習に利用するデータを用意する。 S3、RedShift、(RDS)に入っている必 要がある。このデータは学習にも検証に も使われる。 Evaluations Datasourcesのデータを利用して、 モデルの精度を検証する。 Prediction 作成されたML Modelを利用して 予測を行う。 バッチとAPIでのリアルタイムの2種 類が行える。 Datasource作成:ただのデータのままではなくて、機械学習で扱える形で保存する。 ML Modelの作成:Datasourceのデータの特徴を見つけ出し、利用できる形にする。 Evalution: ML Modelの精度をテストデータを用いて検証する。 Prediction: ML Modelを使って予測を行う。 Amazon ML 利用の流れ
  17. 17. ML Modelの チューニング
  18. 18. Maximum number of data passes Regularization [type | ammount ] Recipe チューニング方法 チューニングの方法 About Amazon Machine Learning - tuning Amazon ML でのチューニング
  19. 19. 特徴を検出する回数 モデルを作成するにあたり、何回もこの関 連性が強いかな?どうかな? みたいな事をする。基本多い方が正確に 1 収束したらそこで終了 あるところで、あ、これだみたいなしっくり来る ところがある。 それを検知した場合自動で終了 2 Maximum number of data passes Amazon Machine Learning
  20. 20. L1 None 正則化 複雑すぎるモデルを使うと、訓練用のデー タの癖に影響を受けやすい。 それをさらっといい感じにする。 L2 Regularization Type | AmmountAbout Amazon Machine Learning
  21. 21. Recipeを制する者 は Amazon Machine Learningを制す Recipe Amazon Machine Learning 日本初
  22. 22. JSON形式で指定 Recipeのフォーマット Amazon Machine Learning { groups:{}, assignments:{}, outputs:{} }
  23. 23. groups: Recipeのフォーマット Amazon Machine Learning groups:{ “group1”: ”group(var1,var2)” } ALL_TEXT, ALL_NUMERIC, ALL_CATEGORICAL, ALL_BINARY
  24. 24. groups: Recipeのフォーマット Amazon Machine Learning groups:{ “group2”: ”group(ALL_CATEGORICAL, ALL_BINARY)”, “group3”: “group_remove( ALL_CATEGORICAL, title,subject)" }
  25. 25. assignments: Recipeのフォーマット Amazon Machine Learning "assignments": { "binned_age": "quantile_bin(age,30)", "c_g_interaction": "cartesian(country, gender)"
  26. 26. Data Transformations Recipeのフォーマット Amazon Machine Learning ngram(var1, 3) osb(var1, 5) lowercase(var1) no_punct(var1) normalize(ALL_NUMERIC)
  27. 27. outputs: Recipeのフォーマット Amazon Machine Learning "outputs": [ "ALL_NUMERIC" , “group1”, “lowercase(var2), var3 ]
  28. 28. recipe Recipeのフォーマット Amazon Machine Learning { "groups": { "NUMERIC_VARS_QB_100": "group('RecordID')", "NUMERIC_VARS_QB_20": "group('CostBeforeTax', 'UsageQuantity','TotalCost','BlendedRate','TaxAmount')", "NUMERIC_VARS_QB_10": "group('RateId')" }, "assignments": {}, "outputs": [ "ALL_CATEGORICAL", "quantile_bin(NUMERIC_VARS_QB_100,100)", "quantile_bin(NUMERIC_VARS_QB_20,20)", "quantile_bin(NUMERIC_VARS_QB_10,10)", "ALL_TEXT” ] }
  29. 29. Amazon ML 4つの概念 About Amazon Machine Learning ML Models Datasourcesのデータを使って、 機械学習のモデルを作成する。 Datasources 機械学習に利用するデータを用意する。 S3、RedShift、(RDS)に入っている必 要がある。このデータは学習にも検証に も使われる。 Evaluations Datasourcesのデータを利用して、 モデルの精度を検証する。 Prediction 作成されたML Modelを利用して 予測を行う。 バッチとAPIでのリアルタイムの2種 類が行える。 Datasource作成:ただのデータのままではなくて、機械学習で扱える形で保存する。 ML Modelの作成:Datasourceのデータの特徴を見つけ出し、利用できる形にする。 Evalution: ML Modelの精度をテストデータを用いて検証する。 Prediction: ML Modelを使って予測を行う。 Amazon ML 利用の流れ
  30. 30. REAL TIME PREDICTION API経由でのその場でのPrediction実行 BATCH PREDICTION S3においてあるファイルからのバッチ実行 日次などで一気に予測したい場合に有用
  31. 31. THANK YOU FOR YOUR ATTENTION

×