Submit Search
Upload
はじめてのパターン認識 第11章 11.1-11.2
•
6 likes
•
4,783 views
P
Prunus 1350
Follow
第14回「はじめてのパターン認識」読書会
Read less
Read more
Education
Report
Share
Report
Share
1 of 39
Download now
Download to read offline
Recommended
はじパタ11章 後半
はじパタ11章 後半
Atsushi Hayakawa
はじめてのパターン認識 第6章 後半
はじめてのパターン認識 第6章 後半
Prunus 1350
はじパタ 10章 クラスタリング 前半
はじパタ 10章 クラスタリング 前半
Katsushi Yamashita
はじパタ8章 svm
はじパタ8章 svm
tetsuro ito
はじパタ6章前半
はじパタ6章前半
T T
はじめてのパターン認識 第5章 k最近傍法(k_nn法)
はじめてのパターン認識 第5章 k最近傍法(k_nn法)
Motoya Wakiyama
はじめてのパターン認識輪読会 10章後半
はじめてのパターン認識輪読会 10章後半
koba cky
Bayesian Neural Networks : Survey
Bayesian Neural Networks : Survey
tmtm otm
Recommended
はじパタ11章 後半
はじパタ11章 後半
Atsushi Hayakawa
はじめてのパターン認識 第6章 後半
はじめてのパターン認識 第6章 後半
Prunus 1350
はじパタ 10章 クラスタリング 前半
はじパタ 10章 クラスタリング 前半
Katsushi Yamashita
はじパタ8章 svm
はじパタ8章 svm
tetsuro ito
はじパタ6章前半
はじパタ6章前半
T T
はじめてのパターン認識 第5章 k最近傍法(k_nn法)
はじめてのパターン認識 第5章 k最近傍法(k_nn法)
Motoya Wakiyama
はじめてのパターン認識輪読会 10章後半
はじめてのパターン認識輪読会 10章後半
koba cky
Bayesian Neural Networks : Survey
Bayesian Neural Networks : Survey
tmtm otm
PRML第3章@京大PRML輪講
PRML第3章@京大PRML輪講
Sotetsu KOYAMADA(小山田創哲)
はじめてのパターン認識 第9章 9.5-9.6
はじめてのパターン認識 第9章 9.5-9.6
Prunus 1350
PRML読書会#2,#3資料
PRML読書会#2,#3資料
Hiromasa Ohashi
PRML 第4章
PRML 第4章
Akira Miyazawa
今さら聞けないカーネル法とサポートベクターマシン
今さら聞けないカーネル法とサポートベクターマシン
Shinya Shimizu
クラシックな機械学習の入門 4. 学習データと予測性能
クラシックな機械学習の入門 4. 学習データと予測性能
Hiroshi Nakagawa
PRML第6章「カーネル法」
PRML第6章「カーネル法」
Keisuke Sugawara
ベイズ深層学習5章 ニューラルネットワークのベイズ推論 Bayesian deep learning
ベイズ深層学習5章 ニューラルネットワークのベイズ推論 Bayesian deep learning
ssuserca2822
PRML輪読#3
PRML輪読#3
matsuolab
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Takao Yamanaka
PRMLの線形回帰モデル(線形基底関数モデル)
PRMLの線形回帰モデル(線形基底関数モデル)
Yasunori Ozaki
クラシックな機械学習の入門 3. 線形回帰および識別
クラシックな機械学習の入門 3. 線形回帰および識別
Hiroshi Nakagawa
「内積が見えると統計学も見える」第5回 プログラマのための数学勉強会 発表資料
「内積が見えると統計学も見える」第5回 プログラマのための数学勉強会 発表資料
Ken'ichi Matsui
PRML 上 2.3.6 ~ 2.5.2
PRML 上 2.3.6 ~ 2.5.2
禎晃 山崎
はじめてのパターン認識4章後編
はじめてのパターン認識4章後編
Tanaka Hidenori
Prml 1.3~1.6 ver3
Prml 1.3~1.6 ver3
Toshihiko Iio
PRML読み会第一章
PRML読み会第一章
Takushi Miki
統計的学習の基礎_3章
統計的学習の基礎_3章
Shoichi Taguchi
PRML輪読#7
PRML輪読#7
matsuolab
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
Deep Learning JP
トピックモデルを用いた 潜在ファッション嗜好の推定
トピックモデルを用いた 潜在ファッション嗜好の推定
Takashi Kaneda
はじめてでもわかるベイズ分類器 -基礎からMahout実装まで-
はじめてでもわかるベイズ分類器 -基礎からMahout実装まで-
Naoki Yanai
More Related Content
What's hot
PRML第3章@京大PRML輪講
PRML第3章@京大PRML輪講
Sotetsu KOYAMADA(小山田創哲)
はじめてのパターン認識 第9章 9.5-9.6
はじめてのパターン認識 第9章 9.5-9.6
Prunus 1350
PRML読書会#2,#3資料
PRML読書会#2,#3資料
Hiromasa Ohashi
PRML 第4章
PRML 第4章
Akira Miyazawa
今さら聞けないカーネル法とサポートベクターマシン
今さら聞けないカーネル法とサポートベクターマシン
Shinya Shimizu
クラシックな機械学習の入門 4. 学習データと予測性能
クラシックな機械学習の入門 4. 学習データと予測性能
Hiroshi Nakagawa
PRML第6章「カーネル法」
PRML第6章「カーネル法」
Keisuke Sugawara
ベイズ深層学習5章 ニューラルネットワークのベイズ推論 Bayesian deep learning
ベイズ深層学習5章 ニューラルネットワークのベイズ推論 Bayesian deep learning
ssuserca2822
PRML輪読#3
PRML輪読#3
matsuolab
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Takao Yamanaka
PRMLの線形回帰モデル(線形基底関数モデル)
PRMLの線形回帰モデル(線形基底関数モデル)
Yasunori Ozaki
クラシックな機械学習の入門 3. 線形回帰および識別
クラシックな機械学習の入門 3. 線形回帰および識別
Hiroshi Nakagawa
「内積が見えると統計学も見える」第5回 プログラマのための数学勉強会 発表資料
「内積が見えると統計学も見える」第5回 プログラマのための数学勉強会 発表資料
Ken'ichi Matsui
PRML 上 2.3.6 ~ 2.5.2
PRML 上 2.3.6 ~ 2.5.2
禎晃 山崎
はじめてのパターン認識4章後編
はじめてのパターン認識4章後編
Tanaka Hidenori
Prml 1.3~1.6 ver3
Prml 1.3~1.6 ver3
Toshihiko Iio
PRML読み会第一章
PRML読み会第一章
Takushi Miki
統計的学習の基礎_3章
統計的学習の基礎_3章
Shoichi Taguchi
PRML輪読#7
PRML輪読#7
matsuolab
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
Deep Learning JP
What's hot
(20)
PRML第3章@京大PRML輪講
PRML第3章@京大PRML輪講
はじめてのパターン認識 第9章 9.5-9.6
はじめてのパターン認識 第9章 9.5-9.6
PRML読書会#2,#3資料
PRML読書会#2,#3資料
PRML 第4章
PRML 第4章
今さら聞けないカーネル法とサポートベクターマシン
今さら聞けないカーネル法とサポートベクターマシン
クラシックな機械学習の入門 4. 学習データと予測性能
クラシックな機械学習の入門 4. 学習データと予測性能
PRML第6章「カーネル法」
PRML第6章「カーネル法」
ベイズ深層学習5章 ニューラルネットワークのベイズ推論 Bayesian deep learning
ベイズ深層学習5章 ニューラルネットワークのベイズ推論 Bayesian deep learning
PRML輪読#3
PRML輪読#3
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
PRMLの線形回帰モデル(線形基底関数モデル)
PRMLの線形回帰モデル(線形基底関数モデル)
クラシックな機械学習の入門 3. 線形回帰および識別
クラシックな機械学習の入門 3. 線形回帰および識別
「内積が見えると統計学も見える」第5回 プログラマのための数学勉強会 発表資料
「内積が見えると統計学も見える」第5回 プログラマのための数学勉強会 発表資料
PRML 上 2.3.6 ~ 2.5.2
PRML 上 2.3.6 ~ 2.5.2
はじめてのパターン認識4章後編
はじめてのパターン認識4章後編
Prml 1.3~1.6 ver3
Prml 1.3~1.6 ver3
PRML読み会第一章
PRML読み会第一章
統計的学習の基礎_3章
統計的学習の基礎_3章
PRML輪読#7
PRML輪読#7
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
Viewers also liked
トピックモデルを用いた 潜在ファッション嗜好の推定
トピックモデルを用いた 潜在ファッション嗜好の推定
Takashi Kaneda
はじめてでもわかるベイズ分類器 -基礎からMahout実装まで-
はじめてでもわかるベイズ分類器 -基礎からMahout実装まで-
Naoki Yanai
パターン認識 第10章 決定木
パターン認識 第10章 決定木
Miyoshi Yuya
今日から使える! みんなのクラスタリング超入門
今日から使える! みんなのクラスタリング超入門
toilet_lunch
Simple perceptron by TJO
Simple perceptron by TJO
Takashi J OZAKI
バンディットアルゴリズム入門と実践
バンディットアルゴリズム入門と実践
智之 村上
決定木学習
決定木学習
Mitsuo Shimohata
SVMについて
SVMについて
mknh1122
機会学習ハッカソン:ランダムフォレスト
機会学習ハッカソン:ランダムフォレスト
Teppei Baba
Tokyo.R 41 サポートベクターマシンで眼鏡っ娘分類システム構築
Tokyo.R 41 サポートベクターマシンで眼鏡っ娘分類システム構築
Tatsuya Tojima
「はじめてでもわかる RandomForest 入門-集団学習による分類・予測 -」 -第7回データマイニング+WEB勉強会@東京
「はじめてでもわかる RandomForest 入門-集団学習による分類・予測 -」 -第7回データマイニング+WEB勉強会@東京
Koichi Hamada
ロジスティック回帰の考え方・使い方 - TokyoR #33
ロジスティック回帰の考え方・使い方 - TokyoR #33
horihorio
一般向けのDeep Learning
一般向けのDeep Learning
Preferred Networks
機械学習チュートリアル@Jubatus Casual Talks
機械学習チュートリアル@Jubatus Casual Talks
Yuya Unno
Viewers also liked
(14)
トピックモデルを用いた 潜在ファッション嗜好の推定
トピックモデルを用いた 潜在ファッション嗜好の推定
はじめてでもわかるベイズ分類器 -基礎からMahout実装まで-
はじめてでもわかるベイズ分類器 -基礎からMahout実装まで-
パターン認識 第10章 決定木
パターン認識 第10章 決定木
今日から使える! みんなのクラスタリング超入門
今日から使える! みんなのクラスタリング超入門
Simple perceptron by TJO
Simple perceptron by TJO
バンディットアルゴリズム入門と実践
バンディットアルゴリズム入門と実践
決定木学習
決定木学習
SVMについて
SVMについて
機会学習ハッカソン:ランダムフォレスト
機会学習ハッカソン:ランダムフォレスト
Tokyo.R 41 サポートベクターマシンで眼鏡っ娘分類システム構築
Tokyo.R 41 サポートベクターマシンで眼鏡っ娘分類システム構築
「はじめてでもわかる RandomForest 入門-集団学習による分類・予測 -」 -第7回データマイニング+WEB勉強会@東京
「はじめてでもわかる RandomForest 入門-集団学習による分類・予測 -」 -第7回データマイニング+WEB勉強会@東京
ロジスティック回帰の考え方・使い方 - TokyoR #33
ロジスティック回帰の考え方・使い方 - TokyoR #33
一般向けのDeep Learning
一般向けのDeep Learning
機械学習チュートリアル@Jubatus Casual Talks
機械学習チュートリアル@Jubatus Casual Talks
More from Prunus 1350
SAS University EditionでもJupyter Notebookが使えるようになった話
SAS University EditionでもJupyter Notebookが使えるようになった話
Prunus 1350
統計的学習の基礎 第2章後半
統計的学習の基礎 第2章後半
Prunus 1350
Rで学ぶデータマイニングI 第8章〜第13章
Rで学ぶデータマイニングI 第8章〜第13章
Prunus 1350
TokyoR 第36回LT Rで部分空間法
TokyoR 第36回LT Rで部分空間法
Prunus 1350
パターン認識と機械学習 §8.3.4 有向グラフとの関係
パターン認識と機械学習 §8.3.4 有向グラフとの関係
Prunus 1350
はじめてのパターン認識 第1章
はじめてのパターン認識 第1章
Prunus 1350
パターン認識と機械学習 §6.2 カーネル関数の構成
パターン認識と機械学習 §6.2 カーネル関数の構成
Prunus 1350
集合知プログラミング 第4章 4.7
集合知プログラミング 第4章 4.7
Prunus 1350
スティーヴ・ライヒを聴こう
スティーヴ・ライヒを聴こう
Prunus 1350
第5章 統計的仮説検定 (Rによるやさしい統計学)
第5章 統計的仮説検定 (Rによるやさしい統計学)
Prunus 1350
More from Prunus 1350
(10)
SAS University EditionでもJupyter Notebookが使えるようになった話
SAS University EditionでもJupyter Notebookが使えるようになった話
統計的学習の基礎 第2章後半
統計的学習の基礎 第2章後半
Rで学ぶデータマイニングI 第8章〜第13章
Rで学ぶデータマイニングI 第8章〜第13章
TokyoR 第36回LT Rで部分空間法
TokyoR 第36回LT Rで部分空間法
パターン認識と機械学習 §8.3.4 有向グラフとの関係
パターン認識と機械学習 §8.3.4 有向グラフとの関係
はじめてのパターン認識 第1章
はじめてのパターン認識 第1章
パターン認識と機械学習 §6.2 カーネル関数の構成
パターン認識と機械学習 §6.2 カーネル関数の構成
集合知プログラミング 第4章 4.7
集合知プログラミング 第4章 4.7
スティーヴ・ライヒを聴こう
スティーヴ・ライヒを聴こう
第5章 統計的仮説検定 (Rによるやさしい統計学)
第5章 統計的仮説検定 (Rによるやさしい統計学)
Recently uploaded
ゲーム理論 BASIC 演習106 -価格の交渉ゲーム-#ゲーム理論 #gametheory #数学
ゲーム理論 BASIC 演習106 -価格の交渉ゲーム-#ゲーム理論 #gametheory #数学
ssusere0a682
The_Five_Books_Overview_Presentation_2024
The_Five_Books_Overview_Presentation_2024
koheioishi1
2024年度 東京工業大学 工学院 機械系 大学院 修士課程 入試 説明会 資料
2024年度 東京工業大学 工学院 機械系 大学院 修士課程 入試 説明会 資料
Tokyo Institute of Technology
TokyoTechGraduateExaminationPresentation
TokyoTechGraduateExaminationPresentation
YukiTerazawa
生成AIの回答内容の修正を課題としたレポートについて:お茶の水女子大学「授業・研究における生成系AIの活用事例」での講演資料
生成AIの回答内容の修正を課題としたレポートについて:お茶の水女子大学「授業・研究における生成系AIの活用事例」での講演資料
Takayuki Itoh
次世代機の製品コンセプトを描く ~未来の機械を創造してみよう~
次世代機の製品コンセプトを描く ~未来の機械を創造してみよう~
Kochi Eng Camp
世界を変えるクレーンを生み出そう! 高知エンジニアリングキャンプ2024プログラム
世界を変えるクレーンを生み出そう! 高知エンジニアリングキャンプ2024プログラム
Kochi Eng Camp
東京工業大学 環境・社会理工学院 建築学系 大学院入学入試・進学説明会2024_v2
東京工業大学 環境・社会理工学院 建築学系 大学院入学入試・進学説明会2024_v2
Tokyo Institute of Technology
Recently uploaded
(8)
ゲーム理論 BASIC 演習106 -価格の交渉ゲーム-#ゲーム理論 #gametheory #数学
ゲーム理論 BASIC 演習106 -価格の交渉ゲーム-#ゲーム理論 #gametheory #数学
The_Five_Books_Overview_Presentation_2024
The_Five_Books_Overview_Presentation_2024
2024年度 東京工業大学 工学院 機械系 大学院 修士課程 入試 説明会 資料
2024年度 東京工業大学 工学院 機械系 大学院 修士課程 入試 説明会 資料
TokyoTechGraduateExaminationPresentation
TokyoTechGraduateExaminationPresentation
生成AIの回答内容の修正を課題としたレポートについて:お茶の水女子大学「授業・研究における生成系AIの活用事例」での講演資料
生成AIの回答内容の修正を課題としたレポートについて:お茶の水女子大学「授業・研究における生成系AIの活用事例」での講演資料
次世代機の製品コンセプトを描く ~未来の機械を創造してみよう~
次世代機の製品コンセプトを描く ~未来の機械を創造してみよう~
世界を変えるクレーンを生み出そう! 高知エンジニアリングキャンプ2024プログラム
世界を変えるクレーンを生み出そう! 高知エンジニアリングキャンプ2024プログラム
東京工業大学 環境・社会理工学院 建築学系 大学院入学入試・進学説明会2024_v2
東京工業大学 環境・社会理工学院 建築学系 大学院入学入試・進学説明会2024_v2
はじめてのパターン認識 第11章 11.1-11.2
1.
第14回「はじめてのパターン認識」読書会 第11章 識別器の組み合わせによる性能強化(前半) 2014/3/18(火) @Prunus1350
2.
11.1 ノーフリーランチ定理
3.
11.1 ノーフリーランチ定理 • 「すべての諸問題に対して、ほかの識別器より識別性能がよい識別器 は存在しない」
4.
11.1 ノーフリーランチ定理 • すべてのクラス分布で一様に評価すれば、どの識別器も同じ性能にな る。 •
対象とする問題領域を規定しなければ、汎化性能はすべて同じになっ てしまう。 学習データ テストデータ 𝒙 𝑡 ℎ1 ℎ2 𝒙 𝑡1 𝑡2 ⋯ 𝑡25 ℎ1 ℎ2 000 −1 −1 −1 011 1 −1 ⋯ −1 −1 1 001 −1 −1 −1 100 −1 1 ⋯ −1 −1 1 010 1 1 1 101 1 −1 ⋯ −1 −1 1 110 −1 1 ⋯ −1 −1 1 111 −1 1 ⋯ −1 −1 1
5.
11.1 ノーフリーランチ定理 • 問題領域が規定されても、一つの識別器ではよい認識性能が得られな い場合がある。 •
そのような場合に対処する一つの方法は、複数の識別器を組み合わせ ることである。
6.
11.1 ノーフリーランチ定理 • 簡単な識別器の組み合わせで複雑な識別境界を構成する手法 •
決定木 • 複数の決定木や識別器を組み合わせて識別性能を強化する手法 • バギング • ブースティング • ランダムフォレスト
7.
11.1 ノーフリーランチ定理 • 決定木の学習に関する代表的な方式 •
CART (classification and regression tree) ← 本章ではこれを中心に扱う • ID3 • C4.5
8.
11.2 決定木
9.
11.2 決定木 • この図のようなデータ分布があった場合、●と○のクラスを識別する ための識別関数は非線形になる。 𝑥1 𝑥2
10.
11.2 決定木 𝑥1 𝑥2 𝑎
11.
11.2 決定木 𝑥1 𝑥2 𝑎 𝑏
12.
11.2 決定木 𝑥1 𝑥2 𝑎 𝑐 𝑏
13.
11.2 決定木 𝑥1 𝑥2 𝑎 𝑑 𝑐 𝑏
14.
11.2 決定木 𝑥1 𝑥2 𝑎 𝑑
𝑒 𝑐 𝑏
15.
11.2 決定木 • 特徴軸
𝑥1 の値がしきい値 𝑎, 𝑑, 𝑒 より大きいか小さいか、特徴軸 𝑥2 の 値がしきい値 𝑏, 𝑐 より大きいか小さいかを判断しさえすれば、●と○ を識別することができる。 𝑥1 𝑥2 𝑎 𝑑 𝑒 𝑐 𝑏
16.
11.2 決定木 • ある特徴軸の値としきい値の大小関係を判断する過程は、上図のよう な決定木として表現することができる。 1 2
3 4 5 8 9 10 11 6 7 𝑥1 > 𝑎 𝑥2 > 𝑏 𝑥1 > 𝑑 𝑥1 > 𝑒 𝑥2 > 𝑐 Yes Yes Yes Yes No No No No NoYes
17.
11.2 決定木 1 2 3 4
5 8 9 10 11 6 7 𝑥1 > 𝑎 𝑥2 > 𝑏 𝑥1 > 𝑑 𝑥1 > 𝑒 𝑥2 > 𝑐 Yes Yes Yes Yes No No No No NoYes 根ノード
18.
11.2 決定木 1 2 3 4
5 8 9 10 11 6 7 𝑥1 > 𝑎 𝑥2 > 𝑏 𝑥1 > 𝑑 𝑥1 > 𝑒 𝑥2 > 𝑐 Yes Yes Yes Yes No No No No NoYes 終端ノード 葉ノード
19.
11.2 決定木 1 2 3 4
5 8 9 10 11 6 7 𝑥1 > 𝑎 𝑥2 > 𝑏 𝑥1 > 𝑑 𝑥1 > 𝑒 𝑥2 > 𝑐 Yes Yes Yes Yes No No No No NoYes 内部ノード
20.
11.2 決定木 1 2 3 4
5 8 9 10 11 6 7 𝑥1 > 𝑎 𝑥2 > 𝑏 𝑥1 > 𝑑 𝑥1 > 𝑒 𝑥2 > 𝑐 Yes Yes Yes Yes No No No No NoYes 非終端ノード
21.
11.2 決定木 • 学習データから決定木を構成する方法 •
ボトムアップ的な手法 • ある一つの学習データを正しく識別できる特徴の集合を探して特殊な識別規則を作 り、特徴に対する制約を緩めながら、ほかの学習データも正しく識別できるよう規 則を一般化していく手法 • トップダウン的な手法 • まず根ノードですべての学習データをできるだけ誤りの少ないようにクラス分けで きる特徴軸を探して特徴空間を2分割する規則を求め、2分割された空間をさらにそ れぞれ2分割する規則を求めることを繰り返して決定木を成長させる手法 • 分割統治法と呼ばれる • 現在主流の手法
22.
11.2 決定木 • トップダウン的な手法で決定木を学習データから構成するためには、 次の要素について考える必要がある。 1.
各ノードにおいて特徴空間分割規則を構成するための特徴軸としきい値の選択 2. 終端ノードの決定。大きくなった木の剪定をどこまで行うかの選択。 3. 終端ノードに対する多数決によるクラスの割り当て。
23.
11.2.1 決定木に関する諸定義
24.
11.2.1 決定木に関する諸定義 • 木は、0
ではない有限個の正の整数からなる集合 𝑇 と、 𝑡 ∈ 𝑇 から 𝑇 ∪ 0 への二つの関数 left( ) と right( ) で構成される。 • left , right( ) はそれぞれ左側、右側の次ノード番号を与える関数
25.
11.2.1 決定木に関する諸定義 • 木が満たす性質 1.
各 𝑡 ∈ 𝑇 について、left 𝑡 = right 𝑡 = 0 (終端ノード)か、left 𝑡 > 𝑡 かつ right 𝑡 > 𝑡 (非終端ノード)のいずれかが成り立つ。 2. 各 𝑡 ∈ 𝑇 について、 𝑇 内の最小数(根ノード)を除いて 𝑡 = left 𝑠 または 𝑡 = right 𝑠 のどちらかを満たすただ一つの 𝑠 ∈ 𝑇 が存在する。𝑠 を親ノード、 𝑡 を 子ノードといい、 𝑠 = parent 𝑡 で表す。
26.
11.2.2 ノード分割規則
27.
11.2.2 ノード分割規則 • 各ノードにおける特徴空間の最適な分割は、特徴軸ごとに可能な考え うる分割を、不純度と呼ばれる評価関数で評価し選択する。
28.
11.2.2 ノード分割規則 • ノード
𝑡 の不純度 ℐ 𝑡 = 𝜙 𝑃 𝐶1|𝑡 , ⋯ , 𝑃 𝐶 𝐾|𝑡 11.7 • ここで、関数 𝜙 𝑧1, ⋯ , 𝑧 𝐾 は、𝑧𝑖 ≥ 0, 𝑖=1 𝐾 𝑧𝑖 = 1 に対して次の三つの 性質を満たせばよい。 1. 𝜙() は、すべての 𝑖 = 1, ⋯ , 𝐾 に対して 𝑧𝑖 = 1/𝐾 のとき、すなわちど のクラスの事後確率も一様に等しいとき最大になる。 2. 𝜙() は、ある 𝑖 について 𝑧𝑖 = 1 となり、𝑗 ≠ 𝑖 のときはすべて 𝑧𝑗 = 0 、 すなわち、ただ一つのクラスに定まるとき最小になる。 3. 𝜙() は、 𝑧1, ⋯ , 𝑧 𝐾 に関して対称な関数である。
29.
11.2.2 ノード分割規則 • 代表的な不純度を表す関数 1.
ノード 𝑡 における誤り率 ℐ 𝑡 = 1 − max 𝑖 𝑃 𝐶𝑖|𝑡 2. 交差エントロピーまたは逸脱度(deviance) ℐ 𝑡 = − 𝑖=1 𝐾 𝑃 𝐶𝑖|𝑡 ln 𝑃 𝐶𝑖|𝑡 3. ジニ係数(Gini index) ℐ 𝑡 = 𝑗≠𝑖 𝑃 𝐶𝑖|𝑡 𝑃 𝐶𝑗|𝑡 = 𝑖=1 𝐾 𝑃 𝐶𝑖|𝑡 1 − 𝑃 𝐶𝑖|𝑡
30.
11.2.2 ノード分割規則 • ノード
𝑡 で分割規則を作るとき、不純度の減り方が一番大きな分割を 選べばよい。 • 分割を 𝑠 としたとき、 Δℐ 𝑠, 𝑡 = ℐ 𝑡 − 𝑝 𝐿ℐ 𝑡 𝐿 + 𝑝 𝑅ℐ 𝑡 𝑅 が最大になる 𝑠 を、可能な分割の候補の中から選べばよい。
31.
11.2.2 ノード分割規則 • どこで分割を止めればよいのか? •
解決策の一つとして、「不純度が十分に小さくなるまで木を成長させ、 次に、誤り率と木の複雑さで決まる許容範囲まで木を剪定する」とい うものがある。
32.
11.2.3 木の剪定アルゴリズム
33.
11.2.3 木の剪定アルゴリズム • 木を構成した学習アルゴリズムに対する再代入誤り率を定義する。 •
終端ノード 𝑡 ∈ 𝑇 における誤り率は 𝑅 𝑡 = 𝑀 𝑡 𝑁 𝑡 ∈ 𝑇 と定義できる。 • ここで、 • 𝑀 𝑡 :終端ノード 𝑡 における誤り数 • 𝑁 :総学習データ数 • 木全体での再代入誤り率の推定値は 𝑅 𝑇 = 𝑡∈ 𝑇 𝑅 𝑡 となる。
34.
11.2.3 木の剪定アルゴリズム • 木の複雑さを終端ノードの数で評価することにする。 •
一つの終端ノードにおける誤り率と複雑さのコストの和 𝑅 𝛼 𝑡 = 𝑅 𝑡 + 𝛼 • ここで、𝛼 :一つの終端ノードがあることによる複雑さのコスト • 木全体のコストは、 𝑅 𝛼 𝑇 = 𝑡∈ 𝑇 𝑅 𝛼 𝑡 = 𝑅 𝑇 + 𝛼 𝑇 となる。 • ここで、 𝑇 :終端ノード数
35.
11.2.3 木の剪定アルゴリズム • 任意のノード
𝑡 と根ノードとする分枝( 𝑡 のすべての子孫からなる部分 木)を 𝑇𝑡 で表す。 • もし、 𝑅 𝛼 𝑇𝑡 < 𝑅 𝛼 𝑡 であれば、𝑡 を終端ノードと考えたときの誤り と複雑さのコストより、 𝑡 の分枝がもつコストの方が小さいので、 𝑇𝑡 をそのままにしておいた方が全体のコストは小さくなる。 • しかし、正則化パラメータ 𝛼 を次第に大きくしていけば両者は等しく なり、そのときの 𝛼 は、 𝛼 = 𝑅 𝑡 − 𝑅 𝑇𝑡 𝑇𝑡 − 1 で与えられる。
36.
11.2.3 木の剪定アルゴリズム • 𝛼
を 𝑡 の関数とみなして、 𝑔 𝑡 = 𝑅 𝑡 − 𝑅 𝑇𝑡 𝑇𝑡 − 1 と定義する。 • これをノード 𝑡 のリンクの強さに関する尺度と考える。
37.
11.2.3 木の剪定アルゴリズム • 木の剪定アルゴリズム 1.
𝑇0 = 𝑇, 𝑘 = 0 とする 2. 𝑔 𝑘 𝑡 𝑘 = min 𝑡∈ 𝑇 𝑘− 𝑇 𝑘 𝑔 𝑡 を計算する 3. 最小値をとるノードの集合を 𝑇 𝑘 = 𝑡1 𝑘 , ⋯ , 𝑡 𝑚 𝑘 𝑘 とする 4. 𝑖 = 1, ⋯ , 𝑚 𝑘 について以下を繰り返す a. left 𝑡𝑖 𝑘 を根とする分枝を 𝑇 𝑘 から削除する b. right 𝑡𝑖 𝑘 を根とする分枝を 𝑇 𝑘 から削除する 5. 𝑘 = 𝑘 + 1 とする 6. 剪定された木を 𝑇 𝑘 とする 7. 𝑇 𝑘 = 1 であれば終了。そうでなければ 2 に戻る
38.
11.2.3 木の剪定アルゴリズム • 再代入誤り率
𝑅 𝑇 𝐾 は、剪定を進めると単調に増加するので、どこで 止めるべきかの情報を与えてくれない。 • 止めるとことを探すためには、テストデータで汎化誤差を推定しなが ら剪定を進める必要がある。 • ホールドアウト法や交差確認法を用いて誤り率が最も小さくなる 𝑘 の 値を求めればよい。 • 1 標準偏差ルールとよばれる手法が提案されている。
39.
ご清聴ありがとうございました。
Download now