社内勉強会で使用した資料です。

1. Python機械学習プログラミング
読み会
第4章
データ前処理ーより良いトレーニングセットの構築
1
[第2版]
基盤 江口春紀

2. 目次
● 欠測データへの対処
● カテゴリデータの処理
● データセットをトレーニングデータセットとテストデータセットに分割する
● 特徴量の尺度を揃える
● 有益な特徴量の選択
● ランダムフォレストで特徴量の重要度にアクセスする
2

3. 3
欠測データへの対処

4. 欠測データへの対処
● pandasを使った欠測値への対処
● 欠測値の特定：isnull().sum()
● 欠測値の除去：dropna(), dropna(axis=1)
4
サンプルを削除しすぎると有益な特徴量が抜け落ちたり
解析の信頼性が下がることがある

5. 欠測値を補完する
● 平均値補完
● 欠測値を特徴量の列全体の平均値と置き換える
● 中央値や最頻値を使う場合もある
● scikit-learnのImputerクラスによって実装されている
5

6. 6
カテゴリデータの処理

7. 名義特徴量と順序特徴量
● 名義特徴量
● Tシャツの色：緑、赤、青
● 順序特徴量
● Tシャツのサイズ：XL > L > M
7
Color size Price Classlabel
0 Green M 10.1 class1
1 Red L 13.5 class2
2 Blue XL 15.3 class1
名義特徴量 順序特徴量 数値特徴量

8. 名義特徴量と順序特徴量
● 順序特徴量の解釈
●
● クラスラベルのエンコード
● 特に順序特徴量でもないので、 0から順に番号付け
8
Color size Price Classlabel
0 Green 1 10.1 0
1 Red 2 13.5 1
2 Blue 3 15.3 0

9. 名義特徴量と順序特徴量
● 名義特徴量でのone-hotエンコーディング
● blue-> 0, red -> 1, green -> 2 としてしまうと、学習アルゴリズムが
greenがblueよりも大きく、redがblueよりも大きいと想定してしまう
● one-hotエンコーディング
● ダミー特徴量を新たに作成する
9
color_blue color_red coclor_green
1 0 0
0 1 0
0 0 1
size Price color_red color_brue
0 1 10.1 0 1
1 2 13.5 1 0
2 3 15.3 0 0

10. 10
データセットを
トレーニングデータセットと
テストデータセットに分割する

11. データセットの分割
● データセット分割例
● Wine: 178行のサンプルデータと 13列の特徴量で構成されている
11
UCI Machine Learning Repository(https://archive.ics.uci.edu/ml/datasets/Wine)

12. 12
特徴量の尺度を揃える

13. 特徴量の尺度を揃える
● 特徴量のスケーリング
● 決定木やランダムフォレストを除く機械学習のアルゴリズムは、
特徴量の尺度が揃っていたほうがうまく動作する
● 手法
● 正規化
● 正則化
13

14. 特徴量の尺度を揃える
● 正規化
● 特徴量を[0,1]の範囲にスケーリングする
● min-maxスケーリング
● 標準化
● 平均0，標準偏差1に変換する
14
入力 正規化 標準化
0.0 0.0 -1.464
1.0 0.2 -0.878
2.0 0.4 -0.293
3.0 0.6 0.293
4.0 0.8 0.878
5.0 1.0 1.464

15. 15
有益な特徴量の選択

16. 有益な特徴量の選択
● 過学習時の汎化誤差を減らす方法
● トレーニングデータを増やす
● 正則化を使う
● パラメータをの数が少ない、より単純なモデルにする
● データの次元削減をする
16

17. L1/L2正則化
● L2正則化
● 大きな重みに対してペナルティを科す
● L1正則化
● 重みの2乗の和を、重みの絶対値の和に置き換えている
● 疎な特徴ベクトルを返し、ほとんどの特徴ベクトルの重みが 0になる
17

18. L2正則化の幾何学的解釈
● 誤差平方和のコスト関数について考える
18
ペナルティ項を
コスト関数に追加する
重み係数は制約内
に収まる

19. L1正則化による疎な解
● コスト関数の楕円とL1のひし形の境界線の交点は軸状にある可能性が高い
19

20. L1正則化による疎な解
● L1正則化の適用例
● Wineデータセットを使い、正則化の強さを変化させたときの重みをプロット
● c < 0.1のとき特徴量の重みは全て 0となった
20

21. 逐次的特徴選択アルゴリズム
● 逐次的特徴選択アルゴリズム
● 貪欲探索アルゴリズムの一種
● 元々のd次元の特徴空間をk次元に削減する
● 逐次的特徴選択アルゴリズムの目的
● 重要な特徴量の部分集合を自動的に選択して、 計算効率を改善する
● 無関係な特徴量やノイズを取り除くことで、 モデルの汎化誤差を削減 する
21

22. 逐次的特徴選択アルゴリズム
● 逐次後退選択 (Sequential Backward Selection)
● 元々の特徴空間の次元を減らし、分類器の性能低下を最小限に抑えた上で
計算効率を改善する
● 過学習しているモデルの予測改善ができることがある
● 手順
1. k=dで初期化する。dは全特徴空間Xdの次元数を表す。
2. Jの評価が最大になる特徴量 を決定する。
3. 特徴量の集合から2で決定した特徴量xを削除してkをデクリメントする。
4. kが目的の数になるまで 2~3を繰り返す。
22

23. 逐次的特徴選択アルゴリズム
● Wineデータセットを使ったSBSの実装
● KNN、Kernel SVM、Random Forestの正解率で評価
23
KNN KernelSVM
(RBF Kernel)
Random Forest

24. 逐次的特徴選択アルゴリズム
● Wineデータセットを使ったSBSの実装
● KNN、Kernel SVM、Random Forestの正解率で評価
24
KNN KernelSVM
(RBF Kernel)
Random Forest
['Alcohol', 'Malic acid', 'OD280/OD315 of diluted wines']

25. 逐次的特徴選択アルゴリズム
● 特徴量を全て使った時と3つしか使わなかった時の性能差(KNN)
● Wineデータセットは小さなデータセットなので、
データ分割の仕方によって性能に差が出てしまう
● 特徴量を減らすと解釈しやすい単純なモデルになる
25
特徴量数 トレーニングデータ テストデータ
3 0.952 0.926
13 0.968 0.963
特徴量を減らすと
予測性能が少し低下している

26. 26
ランダムフォレストで
特徴量の重要度にアクセスする

27. ランダムフォレストで特徴量の重要度にアクセスする
● ジニ係数による重要度の決定
● 不純度が低いと分割されたサンプルが偏っている
● 不純度が小さくなる分割が、特徴量の重要度と近似的に表現できる
27
ジニ不純度が
高い
ジニ不純度が
低い

28. ランダムフォレストで特徴量の重要度にアクセスする
● 特徴量加工による重要度の決定
28

29. ランダムフォレストで特徴量の重要度にアクセスする
● scikit-learnを使った特徴量の選択
29