Aws azure machine_learning

プログラムを使わない機械学習
2018/08/24
株式会社 Rosso
技術推進室 TechLead
小田島靖
1

はじめに
• 本日はご来社いただき誠にありがとうございます。
• 本日のテーマはPython等プログラムを使わないで機械学習を行
います。また内容は機械学習に知見がない人様でも「機械学習
のなんたるか」をつかめるようにするため、内容をかみ砕いた
ものとなっております。
• ターゲット
機械学習着手へのきっかけをつかむ！！
2

目次
• 概要
• 機械学習～学習方法～
• Cloudで行う機械学習
• デモ～予測実演～
3

登壇者紹介
小田島
おだしま
靖
やすし
• 株式会社 Rosso 技術推進室 TechLead
• Citrixを使用したVDI環境の運用業務
• Ansibleを使用した某キャリアのシステム運用作業の自動化
• オンプレミス環境からクラウド環境へのリプレース（Azure）
• 機械学習ソリューションのインフラ設計と構築
4/60
Qiita(yo_dazy)

機械学習とは
• 機械学習とは昨今注目されている技術であり、大量のデータを
機械に学習させ事象について予測したり分析を行う技術になり
ます。
• 機械学習が使われている例
• Google検索
• AmazonやZOZOTOWN等オンラインショップ
• 医療診断
• 株式取引
• 顔認証機能
• メールのスパム認証
5

機械はどうやって学習するのか？
• 機械学習には大きく3つの学習方法が存在しています。用途に
よって使用する学習方法は違ってきます。
【教師あり学習】
：あらかじめ正解パターンを与えそのデータをもって予測する
【教師なし学習】
：データのみを与え、機械に特徴等やパターンを導き出させる
【強化学習】
：行動に対して報酬を与え、より良い結果を得る為に変更する
7
今回は「教師あり学習」を使用します

それぞれの学習方法はどんな動きをするのか？
9

教師なし学習
11
画像を2種類
に分けて！！了解！！
どうやって
分けよう…
色分け！
ありがとう！！
• 教師なし学習とは様々なデータを読み込むことで新規の要素に
ついての分類を行います。ここではその一例を記載します。

教師なし学習
12
これ入れて
みよ了解！！
• 様々なデータを機械に読み込ませその特徴を学習し分類します。
新しい特徴にはまたグループを作成します
は別のGrです
はどっちでもない…

教師なし学習まとめ
13
• 教師なし学習は「正解ラベルを持たないデータ」を大量に読み
込ませパターン別に様々な形でグループ分けをします。
• 代表的な学習方法
アルゴリズム意味
１クラスタリング与えられたデータから同じ要素を
持つ個体をグループに分ける手法
レコメンド機能
※Amazon等の「この商品を買った人
はこんな商品も買っています」
2 アソシエーショ
ン分析
与えられたデータに対して特定の
ルールを導き出す
商品の購買予測
コーヒーを買った人は砂糖も買う等

強化学習
• コンピュータ「報酬」を得るために自ら学んでより良い行動を
とるようにする学習法になります。
15
行動状態/報酬
より報酬が
高い行動

強化学習
• まず「目標」をAIに与えます。AIは「目標」を達成するために
「行動」をします。
16
どうしよう・・・
持ち駒
あと1手で負ける
・・・
この時機械は「目標」つまり勝つことに対してのプラン
を検討します。
目標：一手で相手に勝つ事

強化学習
17
飛車を置いてみよう
持ち駒
しかしまだ学習していない状態だと機械は最適解がわかりません

強化学習
18
持ち駒
は！？

強化学習
19
持ち駒
とりあえず
逃げとこう

強化学習
20
逃げられた。。。
このAI頭悪い
評価：０
「行動」が「目標」を達成することが出来なかった…

強化学習
22
どうしよう・・・
持ち駒
あと1手で負ける
・・・
前回逃げられたことを学習済み！

強化学習
23
今度は金で勝負！
持ち駒

強化学習
24
今度は金で勝負！
持ち駒
どうしようも
ない

強化学習
25
勝った！
まいりました
・・・
評価：１
前回の経験から学習した「行動」が「目標」を達成した

強化学習まとめ
26
• 強化学習とは、「目標」を与え「報酬」を得るために最善の行
動をさせる学習方法になります。強化学習は現在、研究が進め
ており今後発展する見込みです。
学習方法意味
1 Q学習行動価値関数Qの値が高くなるように学習する方法。
2 モンテカルロ法乱数に基づく試行を繰り返し、その結果を統計的に読み
解くことで、求めるものについての近似解を導く
事例名内容
1 アルファ碁囲碁プログラムが世界のトッププロに勝つ
2 自動運転ケンブリッジ大学にて研究。20分ほどで自動的に車線を走らせることに成
功
・代表的な学習方法
・代表的な事例

教師あり学習
• 正解ラベルを教えることで問題に対する回答を導く
28
１
２
３
①
②
③
⓵
⓶
⓷
⑴
⑵
⑶
数字の１である
数字の２である
数字の３である
データ正解ラベル
了解！！
上の全部
覚えて
了解！！

教師あり学習
• 正解ラベルを教えることで問題に対する回答を導く
29
１
２
３
①
②
③
⓵
⓶
⓷
⑴
⑵
⑶
データ正解ラベル
了解！！これなぁに？
❸
数字のサン
です

教師あり学習
• 正解パターンを教えることで問題に対する回答を導く
30
１
２
３
①
②
③
⓵
⓶
⓷
⑴
⑵
⑶
データ教師データ
了解！！これなぁに？
ⅲ
わかりません

教師あり学習まとめ
31
• 教師あり学習とは、あらかじめ正解ラベルを付与したデータを
機会に渡しそのうえで未知のデータに関する分析を行います
学習方法内容
1 二項分類（二値分類）膨大なデータからYesOrNo等の回答を導き出す
2 多項分類二項分類と違い3種類以上の分析を行う
事例名内容
1 スパムメールメールデータとユーザ報告により問題のメールを「スパムか否か」を
判定する
2 文字認証特定文字に関する様々な形式のデータを読み込ませ問題の文字を特定
する
・代表的な学習方法
・代表的な事例

今回やるのはどんなことか？
32

二項分類による予測
• 学習データである「天候データ」から特定日の降雨状況を判定
します。この手法は「二項分類」と呼びます。
34
天候データ
雨は降るのか？
降らないのか？InputData
（特定日の天候データ）

クラウドを使用することで簡単に…
35
• 機械学習は本来ならば、[統計学],[データ分析],[プログラミン
グ]の知識がなければできません。
• クラウドを使うことで上記の知識がなくても機械学習を使うこ
とができます！必要なのはアカウントだけ！

Cloudで扱っている機械学習
36
• ｢Amazon｣｢Google｣｢MS Azure｣の三社で機械学習が提供され
ています。
「Amazon」
： Amazon Machine Learning
「MS Azure」
： Azure Machine Learning Studio
「Google」
： Google Cloud Machine Learning

Azure Machine Learning Studio
37
• ｢MS Azure｣が提供する機械学習のPaaS。2015年1月に正式
サービスを開始。
【特徴】
• 予測までのフローチャートをGUIで作成が可能
• アルゴリズム多数
• ｢WEB APP｣を使用することでWEBサービスに対応

AWS Machine Learning
38
• Amazonが提供する機械学習のPaaS。2015年4月に正式サービ
スを開始。
【特徴】
• モデルの作成が自動化されている
• 予測までに必要な知識はいらない
• 最大シェアの為学習材料も豊富に存在

AWS vs Azure
39
• AWSMLとAzureMLのGoogleトレンド

ではこの二つどうやって使うのか？
40

予測までの作業フロー
41
｢AzureML｣も｢AWSML｣もやることはシンプルです。予測評価ま
でにプログラミングの知識も必要ありません。
データの作成 CSV形式でデータを作成し、正解ラベルを付与
データのアップロード作成したデータをアップする
モデルの作成/チューニングモデルの作成と閾値の設定（AWSは自動化）
モデルの評価未知のデータを入れて結果を予測させる

データの作成
42
気象庁より2000年以降のデータを取得。最終行に正解ラベル(天
気(雨1晴れ0))を手動追加。
項目項目項目
年月日最大風速(m/s) 最大瞬間風速(m/s)
平均気温(℃) 最大風速(m/s) 最多風向(16方位)
最高気温(℃) 平均湿度(％) 最小相対湿度(％)
最低気温(℃) 平均蒸気圧(hPa) 最低海面気圧(hPa)
降水量の合計(mm) 平均雲量(10分比) 平均海面気圧(hPa)
日照時間(時間) 合計全天日射量(MJ/㎡) 平均現地気圧(hPa)
降雪量合計(cm) 最深積雪(cm) 天気(雨1晴れ0)
※1ならば雨。０ならば雨は
降っていない
平均風速(m/s) 最大瞬間風速(m/s)
抽出期間 2000/01/01 ～ 2018/05/31

データのアップロード
43
AWS：S3にアップロード
Azure：ローカル環境よりアップロード

モデル作成
44
AWS：DataSourceと同時に作成可能。
Azure：モデルの選択から作成までGUIで作成可能。
AWS Azure

データの投入
45
気象庁より2018年8月11日のデータを取得し、モデルに投入し
ます。この時正解ラベルは入力しません。
項目値項目値項目値
年月日 2018/8/11 最大風速(m/s) 5.7 最大瞬間風速向南東
平均気温(℃) 28.7 最大風速向(m/s) 南南東最多風向(16方位) 南南東
最高気温(℃) 33.6 平均湿度(％) 85 最小相対湿度(％) 63
最低気温(℃) 26 平均蒸気圧(hPa) 33.3 最低海面気圧 1002.2
降水量の合計 0 平均雲量(10分比) 9.5 平均海面気圧 1004.5
日照時間(時間) 5.4 合計全天日射量(MJ/㎡) 17.27 平均現地気圧 1001.8
降雪量合計 0 最深積雪(cm) 0
平均風速(m/s) 2.3 最大瞬間風速(m/s) 8.9
判定日 2018/08/11@東京

データ投入
46
サンプルデータを投入し評価を行います。予測方法は｢バッチ予
測（複数）｣｢リアルタイム予測（単数）｣があります
AWS Azure

評価
47
作成したモデルの評価はデータを投入後に判明する[AUC]と
[Score]で評価します。
AUC: 値が1に近いほうモデルの制度が高いことを示す。
Score: 予測結果のパーセンテージ。
AWS
[Score]が１を示しているので8月11日は
雨が降っているという予測

評価
48
作成したモデルの評価はデータを投入後に判明する[AUC]と
[Score]で評価します。
AUC: 値が1に近いほうモデルの制度が高いことを示す。
Score: 予測結果のパーセンテージ。
Azure
Score

評価詳細
49
{
"Prediction": {
"details": {
"Algorithm": "SGD",
"PredictiveModelType": "BINARY"
},
"predictedLabel": "1",
"predictedScores": {
"1": 0.781744122505188
}
}
}
Result: {"Results":{"output1":{"type":"table","value":{"ColumnNames":["
年月日","平均気温(℃)","最高気温(℃)","最低気温(℃)","降水量の合計
(mm)","1時間降水量の最大(mm)","日照時間(時間)","合計全天日射量
(MJ/㎡)","最深積雪(cm)","降雪量合計(cm)","平均風速(m/s)","最大風速
(m/s)","最大風速向(m/s)","最大瞬間風速(m/s)","最大瞬間風速向
(m/s)","最多風向(16方位)","平均蒸気圧(hPa)","平均湿度(％)","最小相対
湿度(％)","最低海面気圧(hPa)","平均海面気圧(hPa)","平均現地気圧
(hPa)","平均雲量(10分比)","Scored Labels","Scored
Probabilities"],"ColumnTypes":["DateTime","Double","Double","Double
","Double","Double","Double","Double","Int32","Int32","Nullable`1","D
ouble","String","Double","String","String","Double","Int32","Int32","Do
uble","Double","Double","Double","Int32","Double"],"Values":[["8/11/2
018 12:00:00
AM","28.7","33.6","26","0.5","0.5","5.4","17.27","0","0","2.3","5.7","南南
東","8.9","南東","南南東
","33.3","85","63","1002.2","1004.5","1001.8","9.5","1","0.567447960376
74"]]}}}}
AWS Azure
Score 0.781744122505188 0.56744796037674
AUC 0.894 0.890
予想天候 1(雨) 1(雨)

結果評価
50
以下の気象庁のデータより今回のモデルの精度はある程度信用で
きるかと思います。
出典：気象庁ホームページ https://www.data.jma.go.jp/gmd/risk/obsdl/index.php#!table
実際でも雨

これより8月23日のデータをそれぞれに投入します
51

データの投入
53
気象庁より2018年8月23日のデータを実際に作成したそれぞれ
のモデルに投入しリアルタイム予測を行います。
項目値項目値項目値
年月日 2018/8/23 最大風速(m/s) 9.5 最大瞬間風速向南南東
平均気温(℃) 29.4 最大風速向(m/s) 南南東最多風向(16方位) 南南東
最高気温(℃) 33.7 平均湿度(％) 78 最小相対湿度(％) 61
最低気温(℃) 26.2 平均蒸気圧(hPa) 31.7 最低海面気圧 1011.4
降水量の合計 0 平均雲量(10分比) 8.5 平均海面気圧 1014.1
日照時間(時間) 5.9 合計全天日射量(MJ/㎡) 18.11 平均現地気圧 1011.4
降雪量合計 0 最深積雪(cm) 0
平均風速(m/s) 4.8 最大瞬間風速(m/s) 16.5
判定日 2018/08/23@東京

それでは画面切り替えます
54

結果
55
• 同じデータを使用した場合下記の結果になっております。
判定日 2018/8/23
ScoreLabel 1
Score 0.6209551095962524
判定結果雨
判定日 2018/8/23
ScoreLabel 0
Score 0.451944470405579
判定結果雨は降っていない
※実際の結果はご来場の皆様が知っているかと思います
■AWS MachinLearning
■Azure MachinLearning

結果評価
56
このデータの結果はAWSは[雨]を判定していましたので結果と
してはAWSのほうが精度は高いといえます
出典：気象庁ホームページ https://www.data.jma.go.jp/gmd/risk/obsdl/index.php#!table
実際でも雨
結果は雨

まとめ
57
【AWS MachinLearning】
• 初心者でもできるという通り予測するまで簡単にできる
• Azureと比べモデル作成までに時間がかかる
• WEB化には｢Lambda+API Gateway＋WEBサーバ｣が必要
※プログラムを作成する必要があります
【Azure MachinLearning】
• モデル作成を自動化していない分ややハードルは高い
• WEB化が簡単（以下のPaaSで5分程度）
※[Azure ML Request-Response Service Web App]
作成したWEB：https://mlweb0001.azurewebsites.net/Default.aspx

補足
58
AWSとAzureのMachineLearningのモデル作成方法は以下の
URLに詳細を記載しています。
AWS ML
https://qiita.com/yo_dazy/items/f24345642fc4d48f3a57
Azure ML
https://qiita.com/yo_dazy/items/c4c12e394c924f108d60

ご清聴ありがとうございます
59

Aws azure machine_learning

Recommended

Recommended

More Related Content

Similar to Aws azure machine_learning

Similar to Aws azure machine_learning (20)

Aws azure machine_learning

Editor's Notes