트리학습에 대한 아꿈사 스터디

1. CH12. 트리학습
아꿈사 김진성

2. - 트리학습의 장점
• 기존의 뉴럴 네트워크에서 답을 구하는 접근 방법과 다름
• 2진 트리(binary tree)를 사용
• 알고리즘을 트레이닝하고 결과를 바로 적용함
• 규칙 귀납(rule induction)에 사용되기 적합

3. 12.1 결정 트리 사용
• 논리적 합의 집합으로 표현
• 이진 논리를 통해 트리를 사용
• 질문에 의해서 분류가 달라지므로 질문의 결정이 중요함
• 결정트리는 질문에 대한 알고리즘이 중요함

4. Ex) 타이타닉호 탑승객의 생존 여부를 나타내는 결정트리

5. 12.2 결정 트리 만들기
• 결정 트리의 종류
- ID3 (Iterative Dichotomiser 3)
- C4.5 (successor of ID3)
- C5.0 (successor of ID4)
- CART (Classification And Regression Tree)
- CHAID (CHi-squared Automatic Interaction Detector)
- MARS (Multivariate adaptive regression splines)
- 조건부 추론 트리 (Conditional Inference Trees)
• 질문을 수치화하여 해결함. (정보이론-information theory)

6. 12.2.1 정보 이론의 엔트로피
• 피처들의 집합에 존재하는 불순도(같은 정보의 정도)의 양을 표현
• 엔트로피의 값이 양수이면 질문에 만족하고
음수이면 질문에 만족하지 않는다.
• 하이엔트로피 = 불순도의 양이 많다.
로우엔트로피 = 분순도의 양이 적다.

7. 12.2.2 ID3
• 분류 스텝에서 특정 피처를 선택했을 때 전체 트레이닝데이터
의 엔트로피가 얼마나 줄어드는지를 살펴보는 것
• ID3 알고리즘은 각 피처의 알고리즘 이득값을 계산하고 가장 높
은 값을 선택함

8. • Ex) 데이터 S={s1=true, s2=false, s3=false, s4=false}, {f1, f2, f3}
데이터 피처값
s1 f2
s2 f2
s3 f3
s4 f1

9. 12.2.3 트리와 그래프 파이썬 구현하기
• Dictionary를 통해 key()

10. 12.2.5 연속변수값 처리하기
• 방법 : 연속적인 변수를 비연속적인 변수로 처리
데이터를 분열시킬 위치들 클래스 분류

11. 12.3 분류와 회귀트리
• CART
• 지니 불순도(Gini Impurity) : ID3의 엔트로피값의 다른 방법
• 제곱오류의 합을 최소화