Downloaded 148 times
Uploaded byHaesun Park
2.supervised learning(epoch#2)-1
Slides based on "Introduction to Machine Learning with Python" by Andreas Muller and Sarah Guido for Hongdae Machine Learning Study(https://www.meetup.com/Hongdae-Machine-Learning-Study/) (epoch #2) 홍대 머신 러닝 스터디(https://www.meetup.com/Hongdae-Machine-Learning-Study/) (epoch #2)의 "파이썬 라이브러리를 활용한 머신러닝"(옮긴이 박해선) 슬라이드 자료.
![[홍대 머신러닝 스터디 - 핸즈온 머신러닝] 1장. 한눈에 보는 머신러닝](https://cdn.slidesharecdn.com/ss_thumbnails/handon-mlch-180626070350-thumbnail.jpg?width=640&height=640&fit=bounds)
![[홍대 머신러닝 스터디 - 핸즈온 머신러닝] 3장. 분류](https://cdn.slidesharecdn.com/ss_thumbnails/handson-mlch-180724063825-thumbnail.jpg?width=640&height=640&fit=bounds)
![[홍대 머신러닝 스터디 - 핸즈온 머신러닝] 2장. 머신러닝 프로젝트 처음부터 끝까지](https://cdn.slidesharecdn.com/ss_thumbnails/handon-mlch-180710075557-thumbnail.jpg?width=640&height=640&fit=bounds)
![[홍대 머신러닝 스터디 - 핸즈온 머신러닝] 4장. 모델 훈련](https://cdn.slidesharecdn.com/ss_thumbnails/handson-mlch-180814064959-thumbnail.jpg?width=640&height=640&fit=bounds)
![[홍대 머신러닝 스터디 - 핸즈온 머신러닝] 6장 결정 트리](https://cdn.slidesharecdn.com/ss_thumbnails/handson-mlch-181010080045-thumbnail.jpg?width=640&height=640&fit=bounds)
![[홍대 머신러닝 스터디 - 핸즈온 머신러닝] 5장. 서포트 벡터 머신](https://cdn.slidesharecdn.com/ss_thumbnails/handson-mlch-180905033306-thumbnail.jpg?width=640&height=640&fit=bounds)
2.supervised learning(epoch#2)-1
- 1. Introduction to Machine Learningwith Python 2. Supervised Learning(1) Honedae Machine Learning Study Epoch #2 1
- 2. Contacts Haesun Park Email :haesunrpark@gmail.com Meetup: https://www.meetup.com/Hongdae-Machine-Learning-Study/ Facebook : https://facebook.com/haesunrpark Blog : https://tensorflow.blog 2
- 3. Book 파이썬 라이브러리를 활용한머신러닝, 박해선. (Introduction to Machine Learning with Python, Andreas Muller & Sarah Guido의 번역서입니다.) 번역서의 1장과 2장은 블로그에서 무료로 읽을 수 있습니다. 원서에 대한 프리뷰를 온라인에서 볼 수 있습니다. Github: https://github.com/rickiepark/introduction_to_ml_with_python/ 3
- 4.
- 5. 지도 학습supervised learning 입력과출력의 샘플 데이터가 있을 때 새로운 입력에 대한 출력을 예측합니다. 5 훈련(training, learning) 예측(predict, Inference) 사전에 데이터를 만드는 노력이 필요합니다(자동화 필요).
- 6. 분류classification와 회귀regression 분류는 가능성있는 클래스 레이블 중 하나를 예측합니다. 이진 분류binary classification의 예: 두 개 클래스 분류(스팸, 0-음성클래스, 1-양성클래스) 다중 분류multiclass classification의 예: 셋 이상의 클래스 분류(붓꽃 품종) 언어의 종류를 분류(한국어와 프랑스어 사이에 다른 언어가 없음) 대부분 머신러닝 문제가 분류의 문제입니다. 회귀는 연속적인 숫자(실수)를 예측합니다. 예)교육, 나이, 주거지를 바탕으로 연간 소득 예측 전년도 수확량, 날씨, 고용자수로 올해 수확량 예측 예측 값에 미묘한 차이가 크게 중요하지 않습니다.(연봉 예측의 경우 40,000,001 원이나 39,999,999원이 문제가 되지 않습니다.) 통계학에서 많이 연구되어 왔습니다. 6
- 7. 회귀 - Regression 7 “regressiontoward the mean” 프랜시스 골턴Francis Galton
- 8. 일반화, 과대적합, 과소적합 일반화generalization 훈련세트로 학습한 모델을 테스트 세트에 적용하는 것입니다. (예, 모델이 테스트 세트에 잘 일반화가 되었다) 과대적합overfitting 훈련 세트에 너무 맞추어져 있어 테스트 세트의 성능 저하되는 현상입니다. (예, 모델이 훈련 세트에 과대적합되어 있다) 과소적합underfitting 훈련 세트를 충분히 반영하지 못해 훈련 세트, 테스트 세트에서 모두 성능 저하되는 현상입니다. (예, 모델이 너무 단순하여 과소적합되어 있다) 8
- 9. 너무 상세한 모델 과대적합 9 45세 이상, 자녀 셋 미만, 이혼하지 않은 고객이 요트를 살 것이다. 요트회사의 고객 데이터를 활용해 요트를 사려는 사람을 예측하려고 합니다. 만약 10,000개의 데이터가 모두 이 조건을 만족한다면?
- 10. 너무 간단한 모델 과소적합 10 집이 있는 고객은 모두 요트를 살 것이다.
- 11. 모델 복잡도 곡선 11 데이터에대한 민감성 알고리즘 자체 오차 (y = ax + b 의 b가 아님) 편향-분산 트레이드오프bias-variance tradeoff라고도 부릅니다.
- 12. 데이터셋과 복잡도 관계 데이터가많으면 다양성이 커져 복잡한 모델을 만들 수 있습니다. 10,000명의 고객 데이터에서 45세 이상, 자녀 셋 미만, 이혼하지 않은 고객이 요트를 사려한다면 이전보다 훨씬 신뢰 높은 모델이라고 할 수 있습니다. 12 훈련 테스트 (less complex) (more complex)
- 13. 데이터셋 forge 데이터셋 인위적으로 만든이진 분류 데이터셋, 26개의 데이터 포인트, 2개의 속성 13
- 14. 데이터셋 wave 데이터셋 인위적으로 만든회귀 데이터셋, 40개의 데이터 포인트, 1개의 속성 14
- 15. 데이터셋 위스콘신 유방암 데이터셋 악성Malignant(1)/양성Benign(0)의이진 분류, load_breast_cancer(), 569개의 데이터 포인트, 30개의 특성 보스턴 주택가격 데이터셋 1970년대 보스턴 주변의 주택 평균가격 예측, 회귀 데이터셋, load_boston(), 506개의 데이터 포인트, 13개의 특성 확장 보스턴 주택가격 데이터셋 특성끼리 곱하여 새로운 특성을 만듦(특성 공학, 4장, PolynomialFeatures), mglearn.datasets.load_extended_boston(), 104개의 데이터 포인트 중복 조합 공식은 𝑛 𝑘 = 𝑛+𝑘−1 𝑘 이므로 13 2 = 13+2−1 2 = 14! 2! 14−2 ! = 91 15 양성positive, 음성negative 특성의 제곱이 만들어짐
- 16.
- 17. load_boston() 17 원래 13개 특성 확장된104개 특성 이 책의 예제를 위해서 만든 확장된 데이터셋
- 18.
- 19. k-최근접 이웃 분류 새로운데이터 포인트에 가까운 이웃 중 다수 클래스majority voting를 예측합니다. forge 데이터셋에 1-최근접 이웃, 3-최근접 이웃 적용하면 다음과 같습니다. 19 예측이 바뀜
- 20. k-NN 분류기 20 훈련 세트와테스트 세트로 분리 모델 객체 생성 모델 평가 모델 학습
- 21. KNeighborsClassifier 분석 21 more complex 과대적합 lesscomplex 과소적합 일정한 간격으로 생성한 포인트의 예측 값을 이용해 결정 경계 구분
- 22. k-NN 분류기의 모델복잡도 22 more complex less complex 최적점 과대적합 과소적합
- 23.
- 24. k-최근접 이웃 회귀 새로운데이터 포인트에 가까운 이웃의 출력값 평균이 예측이 됩니다. wave 데이터셋(1차원)에 1-최근접 이웃, 3-최근접 이웃 적용하면 다음과 같습니다. 24 테스트 데이터 예측
- 25. k-NN 추정기 25 훈련 세트와테스트 세트로 분리 모델 객체 생성 모델 평가 모델 학습
- 26. 회귀 모델의 평가 회귀모델의 score() 함수는 결정 계수 𝑅2 를 반환 𝑅2 = 1 − 𝑖=0 𝑛 𝑦 − 𝑦 2 𝑖=0 𝑛 𝑦 − 𝑦 2 𝑦: 타깃값 𝑦: 타깃값의 평균 𝑦: 모델의 예측 완벽 예측: 타깃값==예측 분자==0, 𝑅2 = 1 타깃값의 평균 정도 예측: 분자≈분모, 𝑅2 = 0이 됨 평균 보다 나쁘게 예측하면 음수가 될 수 있음 26
- 27. KNeighborsRegressor 분석 27 more complex 과대적합 lesscomplex 과소적합
- 28. 장단점과 매개변수 중요 매개변수 포인트사이의 거리 측정 방법: metric 매개변수 기본값 ‘minkowski’ 이고 p 매개변수 기본값 2 일 때, 유클리디안 거리 𝑖=0 𝑚 𝑥1 (𝑖) − 𝑥2 (𝑖) 2 이웃의 수(n_neighbors): 3개나 5개(기본값)가 보편적 장점 이해하기 쉬움, 특별한 조정 없이 잘 작동, 처음 시도하는 모델로 적합, 비교적 모델을 빠르게 만들 수 있음 단점 특성 개수나 샘플 개수가 크면 예측이 느림, 데이터 전처리 중요(스케일이 작은 특성에 영향을 줄이지 않으려면 정규화 필요), (수백개 이상의) 많은 특성을 가진 데이터셋에는 잘 작동하지 않음, 희소한 데이터셋에 잘 작동하지 않음 28
- 29. 선형 모델 -회귀 29
- 30. 회귀의 선형 모델 선형함수(linear model)를 사용하여 예측 𝑦 = 𝑤 0 × 𝑥 0 + 𝑤 1 × 𝑥 1 + ⋯ + 𝑤 𝑝 × 𝑥 𝑝 + 𝑏 𝑦 = 𝑤0 × 𝑥0 + 𝑤1 × 𝑥1 + ⋯ + 𝑤 𝑝 × 𝑥 𝑝 + 𝑏 특성 : 𝑥 0 ~𝑥 𝑝 특성 개수: (p + 1) 모델 파라미터model parameter: 𝑤 0 ~𝑤 𝑝 , 𝑏 𝜔 : 가중치weight, 계수coefficient, 𝜃, 𝛽 e.g. model.coef_ 𝘣 : 절편intercept, 편향bias e.g. model.intercept_ 하이퍼파라미터hyperparameter: 학습되지 않고 직접 설정해 주어야 함(매개변수) e.g. KNeighborsRegressor의 n_neighbors 30 사용자가 지정한 매개변수와 구분
- 31. wave 데이터셋(특성 1개)으로비교 31 선형 모델 k-최근접 이웃 𝑦 = 𝑤 0 × 𝑥 0 + 𝑏 k-최근접 이웃에 비해 단순해 보이지만 특성이 많으면 오히려 과대적합 되기 쉽습니다. 선형 모델은 특성이 두 개이면 평면, 세 개 이상은 초평면hyperplane이 됩니다.
- 32. 최소제곱법OLS, ordinary leastsquares 평균제곱오차mean square error(MSE = 1 𝑛 𝑖=0 𝑛 𝑦𝑖 − 𝑦𝑖 2)를 최소화 LinearRegression: 정규방정식normal equation 𝛽 = 𝑋 𝑇 𝑋 −1 𝑋 𝑇 𝑦을 사용하여 w, b를 구함 32 훈련 세트와 테스트 세트로 분리 모델 평가 모델 객체 생성 & 학습 과소적합(1차원 데이터셋이라 예상한 대로) 가중치는 특성의 개수만큼
- 33. 최소제곱법OLS, ordinary leastsquares 보스턴 주택 가격 데이터셋, 506개 샘플, 104개 특성 33 훈련 세트와 테스트 세트의 R2 점수 차이가 큼 특성이 많아 가중치가 풍부해져(104개의 차원) 과대적합 됨 동일한 기본 매개변수로 훈련
- 34. 릿지ridge 선형 모델(MSE 최소화)+ 가중치 최소화(가능한 0에 가깝게) L2 규제regularization : L2 노름norm의 제곱 𝑤 2 2 = 𝑗=1 𝑚 𝑤𝑗 2 비용 함수cost function : 𝑀𝑆𝐸 + 𝛼 𝑗=1 𝑚 𝑤𝑗 2 손실 함수loss function, 목적 함수objective function 라고도 부름 𝛼가 크면 페널티가 커져 𝑤𝑗가 작아져야 함(과대적합 방지) 𝑤𝑗가 0에 가깝게 되지만 0이 되지는 않음 34 최적값 페널티penalty ⍺↑ ⍺↓
- 35. Ridge 클래스 35 (가중치가 규제되어)과대적합이 줄고 테스트 세트 점수가 상승됨 기본값 alpha=1.0 제약이 너무 커짐 과소적합 alpha=0.00001 로 하면 비슷해짐 최소제곱법
- 36. Ridge.coef_ 36 alpha 값에 따른coef_ 값의 변화
- 37. 규제와 훈련 데이터의관계 보스턴 주택가격 데이터셋의 학습곡선 : LinearRegression vs Ridge(alpha=1) 37 훈련 세트의 점수는 릿지가 더 낮음 테스트 세트의 점수는 릿지가 더 높음 데이터가 적을 땐 LinearRegression 학습 안됨 R2 < 0 (4~10 samples per weight) 데이터가 많으면 규제 효과 감소 (복잡한 모델이 가능해짐) 데이터가 많아지면 과대적합 줄어듬
- 38. 라쏘Lasso 38 선형 모델(MSE 최소화)+ 가중치 최소화(가능한 0으로) L1 규제 : L1 노름 𝑤 1 = 𝑗=1 𝑚 𝑤𝑗 비용 함수cost function : 𝑀𝑆𝐸 + 𝛼 𝑗=1 𝑚 𝑤𝑗 𝛼가 크면 페널티가 커져 𝑤𝑗가 더 작아져야 함 𝑤𝑗가 0이 될 수 있음(특성 선택의 효과) 일부 계수가 0이 되면 모델을 이해하기 쉽고 중요한 특성을 파악하기 쉽습니다. 최적값 ⍺↑ ⍺↓
- 39. Lasso 39 alpha=1.0, max_iter=1000 과소적합(규제가 너무큼), 4개의 특성만 활용됨 규제를 너무 낮추면 LinearRegression과 비슷 좌표하강법coordinate descent 최소제곱법 릿지와 비슷
- 40. Lasso.coef_ 40 alpha 값에 따른coef_ 값의 변화
- 41. Ridge vs Lasso 일반적으로릿지가 라쏘보다 선호됨 L2 페널티가 L1 페널티보다 선호됨 (SGD에서 강한 수렴) 많은 특성 중 일부만 중요하다고 판단되면 라쏘 분석하고 이해하기 쉬운 모델을 원할 때는 라쏘 41
- 42. ElasticNet 릿지와 라쏘 페널티결합 (R의 glmnet) alpha, l1_ratio 매개변수로 L1 규제와 L2 규제의 양을 조절 사실 Lasso는 ElasticNet(l1_ratio=1.0)와 동일 42 𝑀𝑆𝐸 + 𝛼 × 𝑙1_𝑟𝑎𝑡𝑖𝑜 𝑗=1 𝑚 𝑥𝑗 + 1 2 𝛼 × 1 − 𝑙1_𝑟𝑎𝑡𝑖𝑜 𝑗=1 𝑚 𝑤𝑗 2 𝑙1 = 𝛼 × 𝑙1_𝑟𝑎𝑡𝑖𝑜 𝑙2 = 𝛼 × 1 − 𝑙1_𝑟𝑎𝑡𝑖𝑜 𝛼 = 𝑙1 + 𝑙2 𝑙1_𝑟𝑎𝑡𝑖𝑜 = 𝑙1 𝑙1 + 𝑙2 𝑙1과 𝑙2에 맞추어 𝛼와 𝑙1_ratio을 조절
Editor's Notes
- #4 이 코스에서 다룰 내용은 이 책에 크게 의존하고 있습니다. 이 수업을 듣기 위해 꼭 이 책이 필요한 것은 아니지만 수업에 맞추어 병행해서 본다면 도움이 될 것 입니다.
- #7 양성 클래스가 좋은 클래스를 말하는 것이 아니고 학습하고자 하는 대상임. 스팸 메일의 경우에는 스팸 메일이 양성 클래스가 됨
- #8 19세기 후반 프랜시스 골턴의 연구 키가 큰 부모의 아이들의 키가 평균에 가까워진다. 연관 관계를 정량화하고 데이터에 선을 피팅하는 방식을 회귀라 부름. http://blog.minitab.com/blog/statistics-and-quality-data-analysis/so-why-is-it-called-regression-anyway
- #10 100% 들어맞지만 다른 가능한 규칙도 많음 66, 52, 53, 58세 고객이 요트를 산다도 가능함. 즉 과대적합임. 훈련 세트에서 100%는 큰 의미 없음 새로운 데이터에 잘 맞아야 함.
- #11 너무 간단한 모델이어서 과소 적합.
- #16 PolynomialFeatures
- #23 이웃의 수가 늘어날 수록 모델이 단순해지고 훈련 세트의 정확도는 내려가지만 테스트 세트의 정확도는 올라감 모델이 너무 단순해지면 테스트 세트의 성능이 오히려 낮아짐
- #27 https://stats.stackexchange.com/questions/12900/when-is-r-squared-negative https://stats.stackexchange.com/questions/183265/what-does-negative-r-squared-mean
- #29 이웃간의 거리를 계산할 때 특성 값의 범위가 다르면 작은 특성에 영향을 받음, k-NN을 사용할 땐 특성이 같은 스케일을 가지도록 정규화하는 것이 보통 예측이 느리고 많은 특성을 처리하지 못하는 단점이 없는 모델이 선형 모델임
- #31 sklearn coef_ 속성에 학습한 가중치를 저장 이책에서는 w를 사용, 컴퓨터 사이언스 쪽은 theta, 통계쪽은 beta 즐겨씀
- #32 회귀는 60개 샘플, k-NN은 40개 샘플 선형 모델: 특성이 하나일 때 직선, 두 개일 땐 평면, 세 개 이상일 땐 초평면(hyperplane) 직선이 제약이 더 많고 비현실적으로 보이지만 특성이 많을 경우 매우 강력한 성능을 발휘함
- #33 coef_: 가중치, 계수, 특성 개수 만큼 intercept_: 절편, 편향, 실수값 하나 _ 의 의미 훈련 세트와 테스트 세트의 성능이 비교적 낮으면서 비슷과소적합 wave는 1차원이라 과대적합되기 어려움
- #35 손실함수, 비용함수, 목적함수 라그랑주 승수법(Lagrange multiplier)이라는 최적화 문제 해결을 위한 한가지 방법이다. 위 그림에서 알파가 감소하면 제약조건 영역이 넓어져 가중치가 커지고 알파가 증가하면 제약조건 영역이 좁아져 가중치가 작아진다. (http://m.blog.naver.com/fantajeon/80171071356)제약이 있는 최적화 문제에서, 원 문제를 풀기 쉬운 문제로 변화하는 기법이 종종사용된다. 이때 원 문제를 primary problem(원시 문제)이고, 변환된 문제를 dual problem이라고 한다. 변환 방법은 Lagrangian dual problem, Wolfe dual problem, Fenchel dual problem이 있다. 보통 많이 사용하는 Lagrangian dual problem은 제약식을 목적 함수(object function)에 추가 하기 위하여, 0이 아닌 양의 새로운 변수(λ) Lagrange multipliers를 사용하여 Lagrangian 포맷으로 변화화 하는 것이다. 그리고 원문제의 변수(primal variables)의 해를 찾기 위하여, dual problem의 최소가 되는 해를 찾는다. 이때의 해는 원 변수(primal variable)를 dual variables라 불리는 Lagrange multiplier들의 함수 형태로 제공한다. 그래서, 변환된 문제는 제약식 하에서 dual variables와 관련하여 object function이 최대화 된다. 일반적으로 primal problem과 dual problem의 최적화 값이 같을 필요는 없다. 이때 사용하는 용어가 duality gap이다.* duality gap: 원 해와 dual 해의 차이(항상 0 보다 크거나 같다). ==> strong duality를 만족한다면, duality gap은 0이다(필요 충분 관계). 비슷한 용어:relaxation - 어려운 문제를 풀기 쉽게 근사화하는 것.
- #36 1) LinearRegression보다 Ridge가 더 일반화된 모델임
- #37 alpha=10 일 때 -3~3 사이에 위치하지만 1, 0.1 로 갈수록 점점 더 커짐. LinearRegression은 규제가 없어 그래프를 넘어감
- #38 반복 훈련 알고리즘에서의 학습 곡선 https://stats.stackexchange.com/questions/116132/regression-with-very-small-sample-size https://stats.stackexchange.com/questions/10079/rules-of-thumb-for-minimum-sample-size-for-multiple-regression
- #39 L1 노름을 비용함수에 추가하여 규제한다. |w| < t 안에서 비용함수가 최소인 가중치를 찾는다. t 와 알파 간의 관계는 데이터 의존적이다.(https://en.wikipedia.org/wiki/Lasso_(statistics)#Basic_form) 위 그림에서 알파가 감소하면 제약조건 영역이 넓어져 가중치가 커지고 알파가 증가하면 제약조건 영역이 좁아져 가중치가 작아진다.
- #40 ElasticNet 클래스에서 L2 규제가 빠진 것이 Lasso임 ElasticNet은 좌표하강법을 사용하여 반복적인 학습을 함. alpha가 줄어들면 가중치가 자유스러워져 학습 가능 횟수가 늘어나므로 max_iter를 늘려주어야 함
- #41 기본값 alpha=1 일 때 대부분 0 0.01이면 많은 계수가 0 (0.1 릿지와 비슷함) 0.0001 꽤 큰 값이 됨