1554522

1. 数当てゲーム
0 1
2 4
3
0 Ư4 5 Ư9
5 6
7 9
8
0 Ư2 3 Ư4
0 Ư1 5 Ư6
5 Ư7 8 Ư9
3 4
2
0 1 5 6
8 9
7

2. 決定⽊木
決定⽊木とは
ある⽬目的のもとにデータの集合を分割し、
分割を⽊木構造で表現したもの。
様々な特徴を持ったものが混ざった状態から、
不純度を減らすように分割する。

3. [テーマ] 講義の構成
Rによる計算例
不純度とジニ係数
まとめ
集合の分割と⽊木構造

4. 集合の分割と⽊木構造

5. 集合の分割と⽊木構造
要素に応じて集合を分割

6. グラフと⽊木
頂点（ノード）と枝（エッジ）
の集まり
ループのないグラフ
⽊木(根つき⽊木)
グラフ
点のつながり⽅方を表す

7. 集合の分割と⽊木構造
要素に応じて集合を分割
根ノード

8. D1
集合の分割と⽊木構造
要素に応じて集合を分割
根ノード

9. D1
集合の分割と⽊木
要素に応じて集合を分割
親ノード
⼦子ノード

10. D1
D2
D3
集合の分割と⽊木構造
要素に応じて集合を分割

11. D1
D2
D3
集合の分割と⽊木構造
要素に応じて集合を分割
親ノード
⼦子ノード
親ノード
⼦子ノード

12. D1
D2
D3
D4
集合の分割と⽊木構造
要素に応じて集合を分割

13. D1
D2
D3
D4
集合の分割と⽊木構造
葉は⼦子ノードを持たない
要素に応じて集合を分割

14. E1
集合の分割と⽊木構造
構造は １種類とは限らない

15. 集合の分割と⽊木構造
E1
E2

16. E1
E2
E3
集合の分割と⽊木構造
どんな⽬目的で分割をするかに依る
構造は分割⽅方法に依存する

17. 不純度とジニ係数

18. ӌॲಀ܎ ௻໎ १ല ୐ॐ
1 40 ‫ݖ‬ෆෂ ટ१ 70 ୐Τࣣ
2 40 ‫ݖ‬ෆෂ ࢗ१ 70 ୐Τࣣ
3 40 ‫ݖ‬ෆෂ ટ१ 70 ୐Τࣣ
4 40 ‫ݖ‬ෆෂ ટ१ 70 ୐Τࣣ
5 40 ‫ݖ‬Τࣣ ટ१ 70 ୐Τࣣ
6 40 ‫ݖ‬ෆෂ ટ१ 70 ୐ෆෂ
7 40 ‫ݖ‬Τࣣ ࢗ१ 70 ୐ෆෂ
8 40 ‫ݖ‬Τࣣ ࢗ१ 70 ୐ෆෂ
9 40 ‫ݖ‬Τࣣ ટ१ 70 ୐ෆෂ
10 40 ‫ݖ‬Τࣣ ࢗ१ 70 ୐ෆෂ
（例題）成績データ
ある科⽬目の10⼈人の試験結果

19. ӌॲಀ܎ ௻໎ १ല ୐ॐ
1 40 ‫ݖ‬ෆෂ ટ१ 70 ୐Τࣣ
2 40 ‫ݖ‬ෆෂ ࢗ१ 70 ୐Τࣣ
3 40 ‫ݖ‬ෆෂ ટ१ 70 ୐Τࣣ
4 40 ‫ݖ‬ෆෂ ટ१ 70 ୐Τࣣ
5 40 ‫ݖ‬Τࣣ ટ१ 70 ୐Τࣣ
6 40 ‫ݖ‬ෆෂ ટ१ 70 ୐ෆෂ
7 40 ‫ݖ‬Τࣣ ࢗ१ 70 ୐ෆෂ
8 40 ‫ݖ‬Τࣣ ࢗ१ 70 ୐ෆෂ
9 40 ‫ݖ‬Τࣣ ટ१ 70 ୐ෆෂ
10 40 ‫ݖ‬Τࣣ ࢗ१ 70 ୐ෆෂ
（例題）成績データ
ある科⽬目の10⼈人の試験結果
カテゴリー変数
（数種類）
バイナリー変数
（ 2種類）
連続変数
↕

20. ӌॲಀ܎ ௻໎ १ല ୐ॐ
1 40 ‫ݖ‬ෆෂ ટ१ 70 ୐Τࣣ
2 40 ‫ݖ‬ෆෂ ࢗ१ 70 ୐Τࣣ
3 40 ‫ݖ‬ෆෂ ટ१ 70 ୐Τࣣ
4 40 ‫ݖ‬ෆෂ ટ१ 70 ୐Τࣣ
5 40 ‫ݖ‬Τࣣ ટ१ 70 ୐Τࣣ
6 40 ‫ݖ‬ෆෂ ટ१ 70 ୐ෆෂ
7 40 ‫ݖ‬Τࣣ ࢗ१ 70 ୐ෆෂ
8 40 ‫ݖ‬Τࣣ ࢗ१ 70 ୐ෆෂ
9 40 ‫ݖ‬Τࣣ ટ१ 70 ୐ෆෂ
10 40 ‫ݖ‬Τࣣ ࢗ१ 70 ୐ෆෂ
（例題）成績データ
ある科⽬目の10⼈人の試験結果
⽬目的変数
カテゴリー変数
（数種類）
バイナリー変数
（ 2種類）
連続変数
↕

21. ӌॲಀ܎ ௻໎ १ല ୐ॐ
1 40 ‫ݖ‬ෆෂ ટ१ 70 ୐Τࣣ
2 40 ‫ݖ‬ෆෂ ࢗ१ 70 ୐Τࣣ
3 40 ‫ݖ‬ෆෂ ટ१ 70 ୐Τࣣ
4 40 ‫ݖ‬ෆෂ ટ१ 70 ୐Τࣣ
5 40 ‫ݖ‬Τࣣ ટ१ 70 ୐Τࣣ
6 40 ‫ݖ‬ෆෂ ટ१ 70 ୐ෆෂ
7 40 ‫ݖ‬Τࣣ ࢗ१ 70 ୐ෆෂ
8 40 ‫ݖ‬Τࣣ ࢗ१ 70 ୐ෆෂ
9 40 ‫ݖ‬Τࣣ ટ१ 70 ୐ෆෂ
10 40 ‫ݖ‬Τࣣ ࢗ१ 70 ୐ෆෂ
（例題）成績データ
ある科⽬目の10⼈人の試験結果
カテゴリー変数
（数種類）
バイナリー変数
（ 2種類）
連続変数
↕ ⽬目的変数

22. ӌॲಀ܎ ௻໎ १ല ୐ॐ
1 40 ‫ݖ‬ෆෂ ટ१ 70 ୐Τࣣ
2 40 ‫ݖ‬ෆෂ ࢗ१ 70 ୐Τࣣ
3 40 ‫ݖ‬ෆෂ ટ१ 70 ୐Τࣣ
4 40 ‫ݖ‬ෆෂ ટ१ 70 ୐Τࣣ
5 40 ‫ݖ‬Τࣣ ટ१ 70 ୐Τࣣ
6 40 ‫ݖ‬ෆෂ ટ१ 70 ୐ෆෂ
7 40 ‫ݖ‬Τࣣ ࢗ१ 70 ୐ෆෂ
8 40 ‫ݖ‬Τࣣ ࢗ१ 70 ୐ෆෂ
9 40 ‫ݖ‬Τࣣ ટ१ 70 ୐ෆෂ
10 40 ‫ݖ‬Τࣣ ࢗ१ 70 ୐ෆෂ
（例題）成績データ
ある科⽬目の10⼈人の試験結果
カテゴリー変数
（数種類）
バイナリー変数
（ 2種類）
連続変数
↕
・カテゴリー変数
 分類⽊木
・連続変数
 回帰⽊木

23. 不純度とデータの分割
ӌॲಀ܎ ௻໎ १ല ୐ॐ
1 40 ‫ݖ‬ෆෂ 70 ୐Τࣣ
2 40 ‫ݖ‬ෆෂ 70 ୐Τࣣ
3 40 ‫ݖ‬ෆෂ ટ१ 70 ୐Τࣣ
4 40 ‫ݖ‬ෆෂ ટ१ 70 ୐Τࣣ
5 40 ‫ݖ‬Τࣣ ટ१ 70 ୐Τࣣ
6 40 ‫ݖ‬ෆෂ ટ१ 70 ୐ෆෂ
7 40 ‫ݖ‬Τࣣ ࢗ१ 70 ୐ෆෂ
8 40 ‫ݖ‬Τࣣ ࢗ१ 70 ୐ෆෂ
9 40 ‫ݖ‬Τࣣ ટ१ 70 ୐ෆෂ
10 40 ‫ݖ‬Τࣣ ࢗ१ 70 ୐ෆෂ
ટ१
ࢗ१
ટ१ ࢗ१
40 ‫ݖ‬ෆෂ
40 ‫ݖ‬Τࣣ

24. ड़ധ ௰ໃ
ઔड़ ࢌड़ 40 ‫݋‬
Ιࣘ
40 ‫݋‬
රභ
70 ୅රභ
70 ୅Ιࣘ
不純度とデータの分割
集合の分割

25. ड़ധ ௰ໃ
ઔड़ ࢌड़ 40 ‫݋‬
Ιࣘ
40 ‫݋‬
රභ
70 ୅රභ
70 ୅Ιࣘ
不純度とデータの分割
集合の分割
不純度が低くなるように分割

26. ड़ധ ௰ໃ
ઔड़ ࢌड़ 40 ‫݋‬
Ιࣘ
40 ‫݋‬
රභ
70 ୅රභ
70 ୅Ιࣘ
不純度とデータの分割
不純度が低くなるように分割
集合の分割 ジニ係数

27. ड़ധ ௰ໃ
ઔड़ ࢌड़ 40 ‫݋‬
Ιࣘ
40 ‫݋‬
රභ
70 ୅රභ
70 ୅Ιࣘ
不純度とデータの分割
AとBという 2種類のボール：
1つ取り出して、元に戻して
もう1つ取り出すとする。
不純度が低い
⇔ 別のものを取り出す割合が⼩小さい
集合の分割 ジニ係数
不純度が低くなるように分割
I = 1 − p2
A − p2
B
= 2pA(1 − pA)

28. ड़ധ ௰ໃ
ઔड़ ࢌड़ 40 ‫݋‬
Ιࣘ
40 ‫݋‬
රභ
70 ୅රභ
70 ୅Ιࣘ
不純度とデータの分割
不純度が低くなるように分割
ジニ係数
AとBという 2種類のボール：
1つ取り出して、元に戻して
もう1つ取り出すとする。
不純度が低い
⇔ 別のものを取り出す割合が⼩小さい
集合の分割
I = 1 − p2
A − p2
B
= 2pA(1 − pA)

29. ड़ധ ௰ໃ
ઔड़ ࢌड़ 40 ‫݋‬
Ιࣘ
40 ‫݋‬
රභ
70 ୅රභ
70 ୅Ιࣘ
不純度とデータの分割
IP = 1 −
!
5
10
#2
+
5
10
#2
$
= 0.5
分割前

30. ड़ധ ௰ໃ
ઔड़ ࢌड़ 40 ‫݋‬
Ιࣘ
40 ‫݋‬
රභ
70 ୅රභ
70 ୅Ιࣘ
不純度とデータの分割
IP = 1 −
!
5
10
#2
+
5
10
#2
$
= 0.5
IS(ઔड़) = 1 −
4
6
2
+
2
6
2
=
4
9
= 0.444 . . .
IS(ࢌड़) = 1 −
1
4
2
+
3
4
2
=
3
8
= 0.375
IS =
6
10
×
4
9
+
4
10
×
3
8
=
5
12
= 0.416 . . .
性別
分割前

31. ड़ധ ௰ໃ
ઔड़ ࢌड़ 40 ‫݋‬
Ιࣘ
40 ‫݋‬
රභ
70 ୅රභ
70 ୅Ιࣘ
不純度とデータの分割
IP = 1 −
!
5
10
#2
+
5
10
#2
$
= 0.5
IY (40 ‫݋‬Ιࣘ) = 1 −
4
5
2
+
1
5
2
=
8
25
= 0.32
IY (40 ‫݋‬රභ) = 1 −
1
5
2
+
4
5
2
=
8
25
= 0.32
IY =
5
10
×
8
25
+
5
10
×
8
25
=
8
25
= 0.32
年齢
分割前

32. ड़ധ ௰ໃ
ઔड़ ࢌड़ 40 ‫݋‬
Ιࣘ
40 ‫݋‬
රභ
70 ୅රභ
70 ୅Ιࣘ
不純度とデータの分割
IP = 1 −
!
5
10
#2
+
5
10
#2
$
= 0.5
IS =
6
10
×
4
9
+
4
10
×
3
8
=
5
12
= 0.416 . . .
性別
年齢
IY =
5
10
×
8
25
+
5
10
×
8
25
=
8
25
= 0.32
∆IP Y = IP − IY = 0.5 − 0.32 = 0.18
∆IP S = IP − IS = 0.5 − 0.416 · · · = 0.083 · · ·

33. Rによる計算

34. データについて
R
number, age, sex, trial, score
1, Under40, Man, New, Under70
2, Under40, Woman, New, Under70
3, Over40, Woman, Retry, Under70
4, Over40, Man, New, Over70
5, Over40, Woman, New, Over70
6, Under40, Man, New, Over70
7, Under40, Woman, New, Under70
8, Under40, Man, New, Over70
9, Under40, Woman, Retry, Under70
10, Under40, Man, New, Over70
.
.
.
(Τђࣈຊ)

35. 決定⽊木の演習
library( mvpart )
s1 -­ read.csv( “exam.csv”, header=T, row.names=1)
plot ( s2 )
text( s2, pretty=0, all.leaves=T )
R
s2 -­ rpart( score~ age + sex + trial , data=s1,method=“class” )
s2 -­ rpart( score~. , data=s1,method=“class” )

36. 決定⽊木の演習
library( mvpart )
s1 -­ read.csv( “exam.csv”, header=T, row.names=1)
plot ( s2 )
text( s2, pretty=0, all.leaves=T )
R
s2 -­ rpart( score~ age + sex + trial , data=s1,method=“class” )
s2 -­ rpart( score~. , data=s1,method=“class” )

37. 決定⽊木の演習
library( mvpart )
s1 -­ read.csv( “exam.csv”, header=T, row.names=1)
plot ( s2 )
text( s2, pretty=0, all.leaves=T )
s2 -­ rpart( score~ age + sex + trial , data=s1,method=“class” )
s2 -­ rpart( score~. , data=s1,method=“class” )
R

38. まとめ

39. 決定⽊木
決定⽊木とは
ある⽬目的のもとにデータの集合を分割し、
分割を⽊木構造で表現したもの。
様々な特徴を持ったものが混ざった状態から、
不純度を減らすように分割する。

40. まとめ
不純度・ジニ係数
集合を適切な順序で分割
純度が⾼高くなるように分割
決定⽊木
ルールを⽊木構造で表す
親ノードから葉ノードへ