社内勉強会で使用した資料です。

1. Python機械学習プログラミング
読み会
第3章（〜3.4）
分類問題—機械学習ライブラリ scikit-learn の活用(前半)
1
[第2版]
基盤 江口春紀

2. 目次
● 分類アルゴリズムの選択
● scikit-learn 活用へのファーストステップ：パーセプトロンのトレーニング
● ロジスティック回帰を使ってクラスの確率を予測するモデルの構築
● サポートベクトルマシンによる最大マージン分類
2

3. 3
分類アルゴリズムの選択

4. 分類アルゴリズムの選択
● モデルの選択
● それぞれのモデルにはそれぞれの特性があるので、
数種類のアルゴリズムを比較する。（ノーフリーランチ定理）
● この章ではscikit-learnを使い、様々なアルゴリズムの主要な概念に着目する。
（ロジスティック回帰、SVM、決定木等...）
4

5. 5
scikit-learn 活用へのファーストステップ：
パーセプトロンのトレーニング

6. scikit-learn 活用へのファーストステップ
● scikit-learn
● ユーザフレンドリなインターフェイス
● データの前処理、モデルの調整や評価を行うための関数
6
簡単な
データセット
データの分割
特徴量の
スケーリング
性能指標の
計算

7. パーセプトロンのトレーニング
● scikit-learnによるパーセプトロントレーニングモデルの比較
7
前章で実装した
パーセプトロン
scikit-learnで実装した
パーセプトロン
データセットを標準化した
パーセプトロン

8. 8
ロジスティック回帰を使って
クラスの確率を予測するモデルの構築

9. ロジスティック回帰
● パーセプトロンの学習規則
● クラスを完全に線形分離できない時は収束しない
● Epochごとに誤分類されるサンプルが 1つでもあれば、絶えず重みが更新される
● ロジスティック回帰
● 単純だが、線形分類問題と二値分類問題に対して強力なアルゴリズムである
● パーセプトロン同様、多クラス分類に拡張ができる
● 回帰ではなく分類のためのモデルである
9

10. ロジスティック回帰
10
オッズは、値の範囲が0から∞だが、
対数オッズは、値の範囲を-∞から+∞に広げることができる
● 対数オッズ● オッズ

11. ロジスティック回帰
● Logit関数を使うことで、特徴量の値と対数オッズとの間の
線形関係を表すことができる。
11
シグモイド関数

12. ロジスティック回帰
● ADELINEとロジスティック回帰の違い
12
恒等関数が
シグモイド関数になった！

13. ロジスティック回帰
● クラスラベルの予測
● シグモイド関数の出力（入力ベクトル xが与えられた時、yがクラス1に属する確率）を
閾値関数に入力。
13

14. ロジスティック関数の重みの学習
● 尤度
● データセットのサンプルが互いに独立していると仮定して、
ロジスティック回帰モデルの構築時に最大化したい尤度 Lを定義する。
14

15. ロジスティック関数の重みの学習
● コスト関数
● さっきの対数尤度をコスト関数 Jとして書き直す。
15シグモイド関数の出力
コスト

16. ● ADELINEの実装を変換
1. コスト関数の置き換え
2. 活性化関数をシグモイド関数に置き換え
3. 閾値関数を1, -1から0, 1を返すように置き換え
ロジスティック回帰の実装
16
独自実装
scikit-learn実装

17. 正則化による過学習への対処
17

18. 正則化による過学習への対処
● 正則化
● 極端なパラメータの重みにペナルティを科すためのバイアスを導入するもの。
● L1正則化，L2正則化等
● L2正則化
18

19. 正則化による過学習への対処
● 正規化されたコスト関数
19

20. 20
サポートベクトルマシンによる
最大マージン分類

21. サポートベクトルマシンによる最大マージン分類
● SVM
● 最適化の目的はマージンを最大化すること（パーセプトロンは誤分類率を最小化した）
● マージンは決定境界とその決定境界に最も近いサンプルとの距離として定義される
● 最も距離の近いサンプルはサポートベクトルと呼ばれる
21

22. 最大マージンを直感的に理解する
● 決定境界のマージンを最大化すると、汎化誤差が小さくなる傾向にある
22
正と負のそれぞれの超平面
正と負の超平面の距離（ 最大化したいマージン ）
を最小化していく

23. スラック変数を使ったソフトマージン分類
● ソフトマージン分類
● スラック変数ξを加えて，線形分離不可能なデータの線形制約を緩和させたモデル
● 誤分類が存在する状態のまま最適化問題を収束させることができる
23

24. スラック変数を使ったソフトマージン分類
● scikit-learnでSVMを実装
24
C = 10.0 C = 0.1
誤分類に対して寛大過ぎた

25. scikit-learnでの代替実装
● 使用していたライブラリ
● LIBLINER、LIBSVMは最適化されているので高速
● データセットが大きすぎる場合使えないことがある
25

26. まとめ（前半）
● scikit-learnを使って複数のアルゴリズムを実装した
● ロジスティック回帰
● 条件付き尤度を最大化する（ SVMより外れ値の影響を受けやすい）
● より単純なモデル
● SVM（ハードマージン・ソフトマージン）
● サポートベクトルを見てマージンを最大化する
26