Supervised Learning Basics

1. 機械学習勉強会(1)
教師あり学習の基礎
April 17, 2019
Tomoya Nakayama

2. 今日おぼえてほしいこと
• 機械学習（教師あり学習）の理論
• 回帰分析
• 2値分類（ロジスティック回帰）
• 多値分類
• （ディープラーニング）
• 各種ライブラリ・ツール →後半ハンズオンあり
2

3. 1. 機械学習の理論
3

4. 単回帰分析
x y
1 3
2 5
3 7
4 9
5 11
6 ?
• 𝑦 = 𝑤𝑥 + 𝑏に当てはまるwとb
を求める。
• 𝑤は「重み(weight)」
• 𝑏は「バイアス(bias)」
4

5. 解法 (1)
1. wとbを適当に設定する
• wはランダムに、bは0に
設定するケースが多い
2. 設定したwとbを使って、
与えられたxすべてに対する
yの予測値を計算する
• 𝑦𝑖 = 𝑤𝑥𝑖 + 𝑏 (0 ≤ 𝑖 ≤ 𝑛)
※nはデータの個数
0
2
4
6
8
10
12
0 1 2 3 4 5 6
y
x
実際の値 予測値
5
w=1, b=0に
設定

6. 解法 (2)
3. 予測値と正解値との差分の
2乗を計算し、すべてのxに
おける平均値を求める
これが平均二乗誤差(Mean
Squared Error)
• 𝐽 =
1
𝑛 𝑖=1
𝑛
( 𝑦𝑖 − 𝑦𝑖)2
↑損失関数(Loss Function)
0
2
4
6
8
10
12
0 1 2 3 4 5 6
y
x
実際の値 予測値
差分の2乗を求める。
ここは(7-3)^2=16
6

7. 解法 (3)
4. 損失関数をwとbでそれぞれ偏微分したものを求める
（仮にJ’(w), J’(b)とする）
• 𝐽′ 𝑤 =
𝛿
𝛿𝑤
𝐽
• 𝐽′ 𝑏 =
𝛿
𝛿𝑏
𝐽
5. J’(w), J’(b)に学習率(learning rate)αを乗じたものを
w, bからそれぞれ引いて新たなw, bを設定する
• 𝑤 ← 𝑤 − 𝛼𝐽′ 𝑤
• 𝑏 ← 𝑏 − 𝛼𝐽′(𝑏)
6. 2～5の手順を繰り返す。
7

8. 重回帰分析
x1 x2 y
1 0 3
2 1 6
3 0 7
4 1 10
5 0 11
6 1 ?
• 𝑦 = 𝑤1 𝑥1 + 𝑤2 𝑥2 + 𝑏に当ては
まるw1, w2, bを求める。
• 𝑋 =
𝑥1
𝑥2
, 𝑊 =
𝑤1
𝑤2
と行列表
現にすると、
𝒚 = 𝑾 𝑻 𝑿 + 𝒃と一般化できる
• あとの手順は単回帰分析と同
じ
8

9. 2値分類
科目1 科目2 合否
64 75 ×
77 66 ○
82 55 ×
49 95 ○
58 83 ○
69 69 ?
40
50
60
70
80
90
100
40 50 60 70 80 90
9

10. 2値分類
科目1 科目2 合否
64 75 ×
77 66 ○
82 55 ×
49 95 ○
58 83 ○
69 69 ?
40
50
60
70
80
90
100
40 50 60 70 80 90
10
合格と不合格の
境界線を見つける

11. 2値分類の基本的な考え方
• 2値の一方を1、他方を0の数値に置き換える
• 先の例では合格＝1、不合格＝0
• 「1となる確率」を計算する
• 導出された確率と正解値（1または0）との乖離を損失とする
• 確率が0.5以上かどうかで1か0かを予測する
• 0.5の閾値は任意に変えてもよい
11

12. 2値分類の目的関数
• 𝑦 = 𝜎(𝑊 𝑇 𝑋 + 𝑏)
• σはシグモイド(sigmoid)関数
• 必ず0から1の間の数値になる
• 正解が1なら1に近く、
正解が0なら0に近い数値が
出るようWとbを調整する
0
0.5
1
-6 -4 -2 0 2 4 6
y
x
シグモイド関数
12

13. 2値分類の損失
• 𝐽 =
1
𝑛 𝑖=1
𝑛
−𝑦𝑖 log 𝑦𝑖 − 1 − 𝑦𝑖 log 1 − 𝑦𝑖
• ↑の式が交差エントロピー(cross entropy)
• 正解とσの計算値が近いほど損失が小さくなる
13

14. 2値分類の評価
• 正答率(accuracy)は当てにならない
ことがある
• データの正解が1か0のどちらか一方に
大きく偏っている場合
• 全部1/0と予測しても正答率が
高くなる
• 適合率と再現率
• 適合率(precision)…1と予測したものの
うち正解が1である割合
• 再現率(recall)…正解が1であるもののう
ち1と予測した割合
予測／正解 1
(Positive)
0
(Negative)
1
(Positive)
True Positive False
Positive
0
(Negative)
True
Negative
False
Negative
14

15. 多値分類
• 分類が3個以上になったもの
• 𝑦 = 𝑠𝑜𝑓𝑡𝑚𝑎𝑥(𝑊 𝑇 𝑋 + 𝐵)
• 𝑊 =
𝑤11 𝑤12 𝑤13
𝑤21 ⋱ ⋮
𝑤31 … ⋱
∈ ℝ 𝑚×𝑘
, 𝐵 =
𝑏1
𝑏2
𝑏3
∈ ℝ 𝑘
, 𝑦 ∈ ℝ 𝑘
• 𝑠𝑜𝑓𝑡𝑚𝑎𝑥 𝑥𝑖 =
𝑒 𝑥 𝑖
𝑖=1
𝑘
𝑒 𝑥 𝑘
• 𝑚はパラメータの数、𝑘は分類の数
• Softmax値がもっとも高いものが予測分類
• 2値分類も結局はこれで一般化できる
15

16. 多層パーセプトロン(MLP)
• Y=WTX+bの計算を複数個・複数層組み合わせて、
非線形の問題を解けるようにしたもの
• 中間層（隠れ層:hidden layer)はReLUなどの活性化関数を通す
16
←左図は3層のMLP
・入力層3ノード
・中間層（隠れ層）4ノード
・出力層2ノード

17. モデルのテスト
• 手持ちのデータを訓練データとテストデータに分けておく
• 交差検証(cross validation)用のデータを作ることも
• 訓練データとテストデータで正答率・損失を比べる
• オーバーフィッティング（学習しすぎ）
• 正則化(regularization)…ペナルティ項の導入
• アンダーフィッティング（学習しなさすぎ）
• データを増やす
• パラメータを増やす
17

18. 2. 各種ライブラリ・ツール
18

19. 機械学習フレームワーク
19

20. ライブラリ
• numpy（数値計算）
• scikit-learn（アルゴリズム）
• pandas（前処理）
• matplotlib（グラフ作成）
• seaborn（グラフ作成）
20

21. 開発環境
• Jupyter Notebook/Lab
• コードとドキュメントの統合
• Jupyterと連動するIDE
• PyCharm
• Visual Studio Code
• Anaconda
• PC内に独立したpython環境を複数作れる
21

22. オンライン実行環境
• Amazon SageMaker
• Azure Notebook
• Azureのアカウントがあれば無料で使えるらしい
• Google Colaboratory
• Googleアカウントがあれば無料で使える
• Binder
• GitHub/GitLab上のJupyter Notebookを無料で実行できる
22

23. 3. ハンズオン
23

24. ハンズオン
1. 線形回帰編
• Google Colab版
• Binder版
2. MNIST画像認識編
• Google Colab版
• Binder版
• Googleアカウントを使用でき
る場合はGoogle Colab版を選択
してください
• Googleアカウントを使用でき
ない場合はBinder版を選択し
てください
• Binder版は起動に10分程度かか
ることがあります
• Binder版はGPUを使えないため
動作が遅いです
24