Downloaded 34 times
![[신경망기초] 소프트맥스회귀분석](https://cdn.slidesharecdn.com/ss_thumbnails/nn09-180318142813-thumbnail.jpg?width=640&height=640&fit=bounds)
![[홍대 머신러닝 스터디 - 핸즈온 머신러닝] 1장. 한눈에 보는 머신러닝](https://cdn.slidesharecdn.com/ss_thumbnails/handon-mlch-180626070350-thumbnail.jpg?width=640&height=640&fit=bounds)
Multinomial classification and application of ML
- 1. Machine/Deep Learning with Theano Softmaxclassification : Multinomial classification Application & Tips : Learning rate, data preprocessing, overfitting Deep Neural Nets for Everyone
- 2.
- 3. Logistic Regression 𝐻𝐿(𝑋) =𝑊𝑋 𝐻𝐿 𝑋 = 𝑍 𝑔(𝑍) = 1 1 + 𝑒−𝑍 𝐻 𝑅 𝑋 = 𝑔(𝐻𝐿(𝑋)) 𝑋 𝑊 𝑍 𝑌 𝑌 : Prediction ( 0 ~ 1 ) 𝑌 : Real Value ( 0 or 1 )
- 4. Binomial Classification 왼쪽의 그림은원 일까? yes/no
- 5. Binomial Classification 𝑥1 ⇒모서리의 경향성 𝑥2 ⇒ 직선의 경향성 𝑥1 𝑥2 원 𝑋 𝑊 𝑍 𝑌 다각형
- 6. Multinomial Classification 왼쪽의 그림은A/B/C 중 무엇일까?
- 7.
- 8.
- 9.
- 10.
- 11.
- 12. Multinomial Classification 𝑋 𝑊 𝑍 𝑤1 𝑤2𝑤3 𝑥1 𝑥2 𝑥3 = 𝑤1 𝑥1 + 𝑤2 𝑥2 + 𝑤3 𝑥3
- 13. Multinomial Classification 𝑋 𝑊 𝑍 𝑤 𝐴1𝑤 𝐴2 𝑤 𝐴3 𝑥1 𝑥2 𝑥3 = 𝑤 𝐴1 𝑥1 + 𝑤 𝐴2 𝑥2 + 𝑤 𝐴3 𝑥3 𝑋 𝑊 𝑍 𝑤 𝐵1 𝑤 𝐵2 𝑤 𝐵3 𝑥1 𝑥2 𝑥3 = 𝑤 𝐵1 𝑥1 + 𝑤 𝐵2 𝑥2 + 𝑤 𝐵3 𝑥3 𝑋 𝑊 𝑍 𝑤 𝐶1 𝑤 𝐶2 𝑤 𝐶3 𝑥1 𝑥2 𝑥3 = 𝑤 𝐶1 𝑥1 + 𝑤 𝐶2 𝑥2 + 𝑤 𝐶3 𝑥3
- 14. Multinomial Classification 𝑋 𝑊 𝑍 𝑤 𝐴1𝑥1 + 𝑤 𝐴2 𝑥2 + 𝑤 𝐴3 𝑥3 𝑤 𝐵1 𝑥1 + 𝑤 𝐵2 𝑥2 + 𝑤 𝐵3 𝑥3 𝑤 𝐶1 𝑥1 + 𝑤 𝐶2 𝑥2 + 𝑤 𝐶3 𝑥3 𝑋 𝑊 𝑍 𝑥1 𝑥2 𝑥3 = 𝑋 𝑊 𝑍 𝑤 𝐴1 𝑤 𝐴2 𝑤 𝐴3 𝑤 𝐵1 𝑤 𝐵2 𝑤 𝐵3 𝑤 𝐶1 𝑤 𝐶2 𝑤 𝐶3 𝐻𝐴(𝑋) 𝐻 𝐵(𝑋) 𝐻 𝐶(𝑋) =
- 15. Multinomial Classification 𝐻𝐴(𝑋) 𝐻 𝐵(𝑋) 𝐻𝐶(𝑋) 150 5 −0.1 example =
- 16. Multinomial Classification :Softmax Function Score Probability 𝑯 𝑨 𝑿 = 𝒁 𝑨 𝑯 𝑩 𝑿 = 𝒁 𝑩 𝑯 𝑪 𝑿 = 𝒁 𝑪 𝒀 𝑨 𝒀 𝑩 𝒀 𝑪 𝒔𝒐𝒇𝒕𝒎𝒂𝒙(𝒁𝒊) = 𝒆 𝒁 𝒊 𝒊 𝒆 𝒁 𝒊 (2) 𝒊 𝒀𝒊 = 𝟏(1) 𝟎 ≤ 𝒀𝒊 ≤ 𝟏
- 17. Multinomial Classification 𝑋 𝑊𝐴 𝑍 𝐴 𝑋 𝑊𝐵 𝑍𝐵 𝑋 𝑊𝐶 𝑍 𝐶 softmax hot encoding (find maximum) 1.0 0.0 0.0 𝑌𝐵 𝑌𝑐 𝑌𝐴 0.8 0.15 0.05
- 18. Cost Function Cross EntropyFunction
- 19. Entropy Function 𝐻 𝑝= − 𝑝(𝑥) log 𝑝(𝑥) • 확률 분포 p 에 담긴 불확실성을 나타내는 지표 • 이 값이 클 수록 일정한 방향성과 규칙성이 없는 chaos • p라는 대상을 표현하기위해 필요한 정보량(bit)
- 20. Cross Entropy Function 𝐻𝑝, 𝑞 = − 𝑝(𝑥) log 𝑞(𝑥) • 두 확률 분포 p, q 사이에 존재하는 정보량을 계산하는 방법 • p->q로 정보를 바꾸기 위해 필요한 정보량(bit)
- 21. Cross Entropy CostFunction 𝑋 𝑊𝐴 𝑍 𝐴 𝑋 𝑊𝐵 𝑍 𝐵 𝑋 𝑊𝐶 𝑍 𝐶 𝑌𝐴 𝑌𝐵 𝑌𝑐 𝑌 : Prediction ( 0 ~ 1 ) 𝑌 : Real Value ( 0 or 1 ) 𝐷 𝑌𝑖, 𝑌𝑖 = − 𝑌𝑖 log 𝑌𝑖
- 22. Cross Entropy CostFunction 𝑌𝐴 𝑌𝐵 𝑌𝐶 = 1 0 0 𝑌𝐴 𝑌𝐵 𝑌𝐶 = 1 0 0 − 1 0 0 ∙ log 1 0 0 = − 1 0 0 0 ∞ ∞ = 0 0 0 = 0 𝐷 𝑌𝑖, 𝑌𝑖 = − 𝑌𝑖 log 𝑌𝑖
- 23. Cross Entropy CostFunction 𝐷 𝑌𝑖, 𝑌 𝑖 = − 𝑌𝑖 log 𝑌𝑖 𝑌𝐴 𝑌𝐵 𝑌𝐶 = 1 0 0 𝑌𝐴 𝑌𝐵 𝑌𝐶 = 0 1 0 − 0 1 0 ∙ log 1 0 0 = − 1 0 0 0 ∞ ∞ = 0 −∞ 0 = −∞
- 24. Logistic Cost VSCross Entropy binomial classification 의 경우 각각 오직 2가지 경우의 Real Data와 H(x) 값이 나올 수 있다. 0 1 1 0 위 행렬은 다음과 같이 표현 할 수 있다. 𝐻(𝑥) 1 − 𝐻(𝑥) 𝐻 𝑥 , 𝑦 0 1 𝑦 1 − 𝑦
- 25. Logistic Cost VSCross Entropy Cross Entropy Cost Function에 대입하면 𝐻 𝐻(𝑥), 𝑦 = − 𝑦 1 − 𝑦 ∙ log 𝐻(𝑥) 1 − 𝐻(𝑥) = − 𝑦log 𝐻 𝑥 1 − 𝑦 log(1 − 𝐻 𝑥 ) = −𝑦 log 𝐻 𝑋 − (1 − 𝑦)log(1 − 𝐻 𝑥 ) = 𝐶(𝐻 𝑥 , 𝑦)
- 26. Cross Entropy CostFunction 𝐿 = 1 𝑁 𝑛 𝐷 𝑛 𝑌, 𝑌 = − 1 𝑁 𝑌𝑖log 𝑌𝑖 N 개의 training set 에 대한 Cost들의 합
- 27. Application & Tips LearningRate Data Preprocessing Overshooting
- 28. Gradient Descent Function 𝑊= 𝑊 − 𝛼 𝜕 𝜕𝑊 𝐶𝑜𝑠𝑡(𝑊) Learning Rate
- 29. Learning rate :Overshooting 𝐿(𝑊) 𝑊
- 30. Learning rate :Too small 𝐿(𝑊) 𝑊
- 31.
- 32. Data Preprocessing 𝑤1 𝑤2 𝑊 =𝑊 − 𝛼 𝜕 𝜕𝑊 𝐶𝑜𝑠𝑡(𝑊) 𝛼 가 변하면서 각 weight 값들에 미치는 영향이 다를 때 적절한 Learning rate을 찾기가 힘들어진 다.
- 33. Data Preprocessing :Standardization 𝑤𝑖′ = 𝑤𝑖 − 𝜇𝑖 𝜎𝑖 𝜇𝑖 ∶ 𝑤의 평균 𝜎𝑖 ∶ 𝑤의 표준편차
- 34. Overfitting • training data에과도하게 최적화 되는 현상 • real data에 대해선 잘 동작하지 않는다.
- 35.
- 36. Overfitting • 많은 양의training data로 학습 시킨다. • feature(𝑥𝑖)의 개수를 줄인다. • Regularization Solution:
- 37. Overfitting : Regularization 𝐿= 1 𝑁 𝑛 𝐷 𝑛 𝑌, 𝑌 + λ 𝑊2 • weight가 너무 큰 값을 가지지 않도록 한다. => Cost 함수가 굴곡이 심하지 않도록 조정한다. Regularization Strength
- 38. Overfitting : Regularization 𝐿= 1 𝑁 𝑛 𝐷 𝑛 𝑌, 𝑌 + λ 𝑊2 Regularization Strength
- 39. Application & Tips Learningand Test data sets
- 40. Training, validation andtest sets • training data에 대해서는 이미 정답을 memorize 한 상태이기 때문에 실제 real data에 잘 작동 하는지 확인을 할 수 없다. => Test data 필 요! • 학습된 machine에 대해서 적절한 learning rate와 regularization strengt를 찾기 위한 validation 작업이 있어야 한다. => Validation data 필요!
- 41. Online Learning Data Model • 너무많은 양의 데이터 가 있을 때, 분할하여 나누어 학습시킨다. • Data가 지속적으로 유 입 되는 경우 사용되기 도 한다.
Editor's Notes
- #20 도박을 할 때 확률 값을 기반으로 값을 맞춘다고 하자 동전 던지기의 경우 H, T 0.5 0.5 이므로 확률 데이터를 기반으로 답을 맞추는 의미가 없다. => 엔트로피 1 특정 동전의 경우 H, T 0.8, 0.2 이라고 할 때 이 확률 데이터를 기반으로 H를 선택하면 답을 맞출 확률이 높아진다. => 엔트로피가 작아진다. 즉 모든 확률의 값이 똑같을 때 엔트로피는 가장 높고 특정 데이터에 확률이 치중 되어 있을 때 엔트로피는 작아진다.