機械学習シリーズスライドです。このスライドでは、ランダムフォレストによる識別の例を説明しました。

1. Ver. 1.0, 2017-08-11
森下功啓
1

2. 識別（分類）問題とは？
• 特徴ベクトルを基に、クラスを分類する問題を識別問題という
2
• 特徴ベクトルが数値やラベルという点は回帰問題と同じ
• 正解が文字列や整数で与えられる「ラベル」という点が回帰問
題と異なる
“ネコ”
“イヌ”
学習器
学習器
ここでの「クラス」
とは、”猫”とか”
イヌ”のこと

3. Random Forestの概要
3

4. Tree Model（木）
Tree Modelは、非線形回帰分析の一種である。樹状のグラフ
を作成して結果を表示するという特徴を持つ。目的変数が量
的変数のとき回帰木、質的変数のとき決定木という。
4
https://ja.wikipedia.org/wiki
/%E6%B1%BA%E5%AE%9A%
E6%9C%A8
枝分かれの様子
が木に似ている

5. 決定木の例
5
http://www.slideshare.net/mrtc0/machine-learning-41005650?next_slideshow=1

7. 7
ところで、特徴量の中にはノイズにすぎないものや、場合によっ
ては予想結果に悪影響を及ぼすものもある。
そこで、多数の全特徴量から一部をランダムに取り出して決定
木を作成し、それらを多数束ねることでForest（森）とする。
また、このForestを構成する個々の木の多数決で最終出力を決
定する。これがランダムフォレスト（RF）である。
*ランダムフォレストはアンサンブル学習の一種

8. RFの良いところ
外れ値に強い
とりあえず使っておけ、という安心感
大抵の問題に適用可能
回帰問題も識別（分類）問題にも対応
8

9. RFの学習例
• この例では特徴量は2つ
• 色でクラスターを表している
• クラスターを綺麗に分離できれば成功
9
http://qiita.com/yshi12/items/6d30010b353b084b3749
元データ 学習後に決定境界を描画した様子
過学習を若干起こしている。

10. ランダムフォレストを用いた、
アヤメ（Iris）の自動識別の例
10

11. アヤメ（Iris）の分類問題
11
Iris versicolorIris setosa Iris versinica
3種類の花の種類を自動的に識別したい

12. Irisの4つの特徴量
• ガク片の長さと幅
• 花弁の長さと幅
12
https://www.kamikochi-vc.or.jp/learn/dictionary/dic_plants.html

13. 特徴量の散布図行列
花の種類毎（層別）に色を付けた散布図行列
setosaは完全に集団から独立しており、識別しやすそうだ。 13

14. サンプルプログラムのダウンロード
14
1
2
Download:
https://github.com/KatsuhiroMorishita/machine_leaning_samples

15. 15
• 以降のスライドでは、下記のプログラムを使った解説を行います
• ランダムフォレストというアルゴリズムを利用したサンプルです

16. iris_learning.csv
• 学習に使う教師データが格納されたCSVファイル
• 個体ごとの花弁とがく片の数値が並んでいる
16
1個体分のデータ
特徴ベクトル
正解
ラベル

17. learning.py
• 学習に使うPythonのスクリプト（プログラム）
17

18. 18
ライブラリの取り込み
ファイルの読み込み
列で切り出し
x: 特徴ベクトル
y: 正解ラベル
学習
学習データに対する適合率計算
2次元配列→1次元配列
学習器の作成
学習済みの学習器をファイルに保存
学習器の動作確認
特徴量毎の重要度の確認

19. learning.pyの実行方法@Windows
• プログラムのあるフォルダでShift+右クリック
• メニューから「コマンドウィンドウをここで開く」又は「PowerShell
ウィンドウをここに開く」をクリック
• ウィンドウが開いたら、コマンドを入力してエンターキーを押す
19
実行したいプログラム名
＊実行にはPython3とscikit-learnなどのパッケージがインストールされたPC/Macが必要です

20. 実行結果の例
20
なお、「ランダム」フォレストなので、結果は毎回微妙に変化する
学習がうまく行った
か1つ入力して試し
ている
学習データに対
するフィット具合
特徴量が結果に及ぼす影響力
Irisは3つ目と4つ目の特徴量の影
響が大きいことが分かる。

21. prediction.py
• 検証データを使って、学習成果を検証するプログラム
21

22. 22
ライブラリの取り込み
ファイルの読み込み
列で切り出し
予測
予測結果の保存
ファイルに保存済みの学習器を読み
だして、オブジェクトを再構成
結果が数値でも文字列に変換

23. 実行結果の例
23
コンソールへの出力
結果はcsvファイルとしても出力さている

24. 検証データと予測の比較
• 検証データの正解と予測を比較することで性能を判断できる
• 正解と予測が一致していた方が良い
24
sepal_length sepal_width petal_length petal_width kind 予測 一致チェック
5.1 3.8 1.9 0.4 setosa setosa 1
4.8 3 1.4 0.3 setosa setosa 1
5.1 3.8 1.6 0.2 setosa setosa 1
4.6 3.2 1.4 0.2 setosa setosa 1
5.3 3.7 1.5 0.2 setosa setosa 1
5 3.3 1.4 0.2 setosa setosa 1
5.7 3 4.2 1.2 versicolor versicolor 1
5.7 2.9 4.2 1.3 versicolor versicolor 1
6.2 2.9 4.3 1.3 versicolor versicolor 1
5.1 2.5 3 1.1 versicolor versicolor 1
5.7 2.8 4.1 1.3 versicolor versicolor 1
6.7 3 5.2 2.3 virginica virginica 1
6.3 2.5 5 1.9 virginica virginica 1
6.5 3 5.2 2 virginica virginica 1
6.2 3.4 5.4 2.3 virginica virginica 1
5.9 3 5.1 1.8 virginica virginica 1
この例では完全
一致であった