2017年3月22日のKCS AI班の活動

1. 1
Random Forestの解説
Twitter:@Tea_0852

2. 目次
1. Random Forestとは
1. 決定木
2. サンプリング
3. アンサンブル学習
2. 利用例
2

3. Random Forestとは
高精度の機械学習アルゴリズム
集団学習(アンサンブル学習)を行う
決定木を利用
3

4. 決定木
4
条件ごとの最大エントロピーを最小化する説明
変数を見つけ，その順にノードを増やしていく
𝐼 = 𝐻 𝑆 −
𝑆 𝑖
𝑆
𝐻(𝑆 𝑖
)
S サンプリングされたノード
I 獲得情報量
H S = − 𝑝 𝑐 log(𝑝 𝑐 )

5. 決定木
5
決定木生成の終了条件
◦ 一定の深さに到達
◦ 一定のノード数に到達
◦ 分岐によって得られる獲得情報量が一定値以下

6. サンプリング
外れ値を高確率で除去 (サンプリング前)
6

7. サンプリング
外れ値を高確率で除去 (サンプリング後)
→誤学習が起こる決定木を減らせる！
7

8. サンプリング
ブートストラップ法
n個の標本から，繰り返しを許してランダムにn個の
標本を一定組選び，平均や分散の推定を行い，その
分布から確率分布を求める．
→サンプリングの部分を利用している？
8

9. アンサンブル学習
複数の決定木の平均値(もしくは多数決)によっ
て出力を決定する方法
9
教師データ
教師データ 教師データ 教師データ
サンプリング
・・・
決定木 決定木 決定木
多数決or平均
予測結果

10. アンサンブル学習
メリット
◦ 弱学習器を沢山使用することで，誤学習を減
らし制度を上げることができる
◦ 推定値の信頼性を定量的に評価できる
→推定されたクラスごとの弱学習器の個数
10

11. 利用例
回帰も分類もできる
領域識別が得意
例）人体の画像から，パーツごとに分類
11

12. 参考文献
「映像情報メディア学会誌」
https://www.ite.or.jp/contents/keywords/FILE-
20160413113700.pdf
12