Submit Search
Upload
[신경망기초] 소프트맥스회귀분석
•
0 likes
•
1,848 views
jaypi Ko
Follow
다층 퍼셉트론과 같이 시그모이드 함수를 도입한 정합 방법입니다. 분류 문제를 위해 신경망의 출력단으로 사용되므로 사용빈도가 매우 높습니다.
Read less
Read more
Engineering
Report
Share
Report
Share
1 of 16
Download now
Download to read offline
Recommended
[신경망기초] 멀티레이어퍼셉트론
[신경망기초] 멀티레이어퍼셉트론
jaypi Ko
[신경망기초] 오류역전파알고리즘
[신경망기초] 오류역전파알고리즘
jaypi Ko
딥러닝기본-신경망기초
딥러닝기본-신경망기초
jaypi Ko
[신경망기초] 선형회귀분석
[신경망기초] 선형회귀분석
jaypi Ko
확통 회귀분석
확통 회귀분석
jaypi Ko
[신경망기초] 신경망의시작-퍼셉트론
[신경망기초] 신경망의시작-퍼셉트론
jaypi Ko
Adversarial Attack in Neural Machine Translation
Adversarial Attack in Neural Machine Translation
HyunKyu Jeon
HI-ARC PS 101
HI-ARC PS 101
Jae-yeol Lee
Recommended
[신경망기초] 멀티레이어퍼셉트론
[신경망기초] 멀티레이어퍼셉트론
jaypi Ko
[신경망기초] 오류역전파알고리즘
[신경망기초] 오류역전파알고리즘
jaypi Ko
딥러닝기본-신경망기초
딥러닝기본-신경망기초
jaypi Ko
[신경망기초] 선형회귀분석
[신경망기초] 선형회귀분석
jaypi Ko
확통 회귀분석
확통 회귀분석
jaypi Ko
[신경망기초] 신경망의시작-퍼셉트론
[신경망기초] 신경망의시작-퍼셉트론
jaypi Ko
Adversarial Attack in Neural Machine Translation
Adversarial Attack in Neural Machine Translation
HyunKyu Jeon
HI-ARC PS 101
HI-ARC PS 101
Jae-yeol Lee
Chapter 15 Representation learning - 1
Chapter 15 Representation learning - 1
KyeongUkJang
HI-ARC PS 102 Brute Force
HI-ARC PS 102 Brute Force
Jae-yeol Lee
HI-ARC Number Theory
HI-ARC Number Theory
Jae-yeol Lee
Backtracking [ICPC Sinchon]
Backtracking [ICPC Sinchon]
Jae-yeol Lee
Auto-Encoders and Variational Auto-Encoders
Auto-Encoders and Variational Auto-Encoders
Jinho Lee
2021 2학기 정기 세미나 4주차
2021 2학기 정기 세미나 4주차
Moonki Choi
2021 2학기 정기 세미나 5주차
2021 2학기 정기 세미나 5주차
Moonki Choi
머신 러닝을 해보자 1장 (2022년 스터디)
머신 러닝을 해보자 1장 (2022년 스터디)
ssusercdf17c
머신 러닝을 해보자 3장 (2022년 스터디)
머신 러닝을 해보자 3장 (2022년 스터디)
ssusercdf17c
[신경망기초] 퍼셉트론구현
[신경망기초] 퍼셉트론구현
jaypi Ko
밑바닥부터시작하는딥러닝 Ch05
밑바닥부터시작하는딥러닝 Ch05
HyeonSeok Choi
Variational AutoEncoder(VAE)
Variational AutoEncoder(VAE)
강민국 강민국
Public key
Public key
NewHeart
딥러닝 제대로시작하기 Ch04
딥러닝 제대로시작하기 Ch04
HyeonSeok Choi
[D2 CAMPUS] 2016 한양대학교 프로그래밍 경시대회 문제풀이
[D2 CAMPUS] 2016 한양대학교 프로그래밍 경시대회 문제풀이
NAVER D2
딥러닝과 강화 학습으로 나보다 잘하는 쿠키런 AI 구현하기 DEVIEW 2016
딥러닝과 강화 학습으로 나보다 잘하는 쿠키런 AI 구현하기 DEVIEW 2016
Taehoon Kim
밑바닥부터시작하는딥러닝 Ch05
밑바닥부터시작하는딥러닝 Ch05
HyeonSeok Choi
해커에게 전해들은 머신러닝 #1
해커에게 전해들은 머신러닝 #1
Haesun Park
Python Machine Learning - ML03 Support Vector Machine(서포트 벡터 머신)
Python Machine Learning - ML03 Support Vector Machine(서포트 벡터 머신)
건환 손
머신 러닝을 해보자 2장 (2022년 스터디)
머신 러닝을 해보자 2장 (2022년 스터디)
ssusercdf17c
Deep Learning from scratch 5장 : backpropagation
Deep Learning from scratch 5장 : backpropagation
JinSooKim80
Coursera Machine Learning (by Andrew Ng)_강의정리
Coursera Machine Learning (by Andrew Ng)_강의정리
SANG WON PARK
More Related Content
What's hot
Chapter 15 Representation learning - 1
Chapter 15 Representation learning - 1
KyeongUkJang
HI-ARC PS 102 Brute Force
HI-ARC PS 102 Brute Force
Jae-yeol Lee
HI-ARC Number Theory
HI-ARC Number Theory
Jae-yeol Lee
Backtracking [ICPC Sinchon]
Backtracking [ICPC Sinchon]
Jae-yeol Lee
Auto-Encoders and Variational Auto-Encoders
Auto-Encoders and Variational Auto-Encoders
Jinho Lee
2021 2학기 정기 세미나 4주차
2021 2학기 정기 세미나 4주차
Moonki Choi
2021 2학기 정기 세미나 5주차
2021 2학기 정기 세미나 5주차
Moonki Choi
머신 러닝을 해보자 1장 (2022년 스터디)
머신 러닝을 해보자 1장 (2022년 스터디)
ssusercdf17c
머신 러닝을 해보자 3장 (2022년 스터디)
머신 러닝을 해보자 3장 (2022년 스터디)
ssusercdf17c
[신경망기초] 퍼셉트론구현
[신경망기초] 퍼셉트론구현
jaypi Ko
밑바닥부터시작하는딥러닝 Ch05
밑바닥부터시작하는딥러닝 Ch05
HyeonSeok Choi
Variational AutoEncoder(VAE)
Variational AutoEncoder(VAE)
강민국 강민국
Public key
Public key
NewHeart
딥러닝 제대로시작하기 Ch04
딥러닝 제대로시작하기 Ch04
HyeonSeok Choi
[D2 CAMPUS] 2016 한양대학교 프로그래밍 경시대회 문제풀이
[D2 CAMPUS] 2016 한양대학교 프로그래밍 경시대회 문제풀이
NAVER D2
딥러닝과 강화 학습으로 나보다 잘하는 쿠키런 AI 구현하기 DEVIEW 2016
딥러닝과 강화 학습으로 나보다 잘하는 쿠키런 AI 구현하기 DEVIEW 2016
Taehoon Kim
밑바닥부터시작하는딥러닝 Ch05
밑바닥부터시작하는딥러닝 Ch05
HyeonSeok Choi
해커에게 전해들은 머신러닝 #1
해커에게 전해들은 머신러닝 #1
Haesun Park
Python Machine Learning - ML03 Support Vector Machine(서포트 벡터 머신)
Python Machine Learning - ML03 Support Vector Machine(서포트 벡터 머신)
건환 손
머신 러닝을 해보자 2장 (2022년 스터디)
머신 러닝을 해보자 2장 (2022년 스터디)
ssusercdf17c
What's hot
(20)
Chapter 15 Representation learning - 1
Chapter 15 Representation learning - 1
HI-ARC PS 102 Brute Force
HI-ARC PS 102 Brute Force
HI-ARC Number Theory
HI-ARC Number Theory
Backtracking [ICPC Sinchon]
Backtracking [ICPC Sinchon]
Auto-Encoders and Variational Auto-Encoders
Auto-Encoders and Variational Auto-Encoders
2021 2학기 정기 세미나 4주차
2021 2학기 정기 세미나 4주차
2021 2학기 정기 세미나 5주차
2021 2학기 정기 세미나 5주차
머신 러닝을 해보자 1장 (2022년 스터디)
머신 러닝을 해보자 1장 (2022년 스터디)
머신 러닝을 해보자 3장 (2022년 스터디)
머신 러닝을 해보자 3장 (2022년 스터디)
[신경망기초] 퍼셉트론구현
[신경망기초] 퍼셉트론구현
밑바닥부터시작하는딥러닝 Ch05
밑바닥부터시작하는딥러닝 Ch05
Variational AutoEncoder(VAE)
Variational AutoEncoder(VAE)
Public key
Public key
딥러닝 제대로시작하기 Ch04
딥러닝 제대로시작하기 Ch04
[D2 CAMPUS] 2016 한양대학교 프로그래밍 경시대회 문제풀이
[D2 CAMPUS] 2016 한양대학교 프로그래밍 경시대회 문제풀이
딥러닝과 강화 학습으로 나보다 잘하는 쿠키런 AI 구현하기 DEVIEW 2016
딥러닝과 강화 학습으로 나보다 잘하는 쿠키런 AI 구현하기 DEVIEW 2016
밑바닥부터시작하는딥러닝 Ch05
밑바닥부터시작하는딥러닝 Ch05
해커에게 전해들은 머신러닝 #1
해커에게 전해들은 머신러닝 #1
Python Machine Learning - ML03 Support Vector Machine(서포트 벡터 머신)
Python Machine Learning - ML03 Support Vector Machine(서포트 벡터 머신)
머신 러닝을 해보자 2장 (2022년 스터디)
머신 러닝을 해보자 2장 (2022년 스터디)
Similar to [신경망기초] 소프트맥스회귀분석
Deep Learning from scratch 5장 : backpropagation
Deep Learning from scratch 5장 : backpropagation
JinSooKim80
Coursera Machine Learning (by Andrew Ng)_강의정리
Coursera Machine Learning (by Andrew Ng)_강의정리
SANG WON PARK
[홍대 머신러닝 스터디 - 핸즈온 머신러닝] 4장. 모델 훈련
[홍대 머신러닝 스터디 - 핸즈온 머신러닝] 4장. 모델 훈련
Haesun Park
3.neural networks
3.neural networks
Haesun Park
Digit recognizer
Digit recognizer
Chul Ju Hong
Neural network (perceptron)
Neural network (perceptron)
Jeonghun Yoon
Gan
Gan
Lee Gyeong Hoon
Deep Learning from scratch 3장 : neural network
Deep Learning from scratch 3장 : neural network
JinSooKim80
스칼라와 스파크 영혼의 듀오
스칼라와 스파크 영혼의 듀오
Taeoh Kim
자바로 Mnist 구현하고_스프링웹서버붙이기
자바로 Mnist 구현하고_스프링웹서버붙이기
라한사 아
2.supervised learning(epoch#2)-3
2.supervised learning(epoch#2)-3
Haesun Park
04. logistic regression ( 로지스틱 회귀 )
04. logistic regression ( 로지스틱 회귀 )
Jeonghun Yoon
Computational Complexity
Computational Complexity
skku_npc
파이썬 기본 문법
파이썬 기본 문법
SeongHyun Ahn
KOOC Ch8. k-means & GMM
KOOC Ch8. k-means & GMM
suman_lim
개발자를 위한 공감세미나 tensor-flow
개발자를 위한 공감세미나 tensor-flow
양 한빛
ESM Mid term Review
ESM Mid term Review
Mario Cho
하스켈 성능 튜닝 2
하스켈 성능 튜닝 2
민석 이
[컴퓨터비전과 인공지능] 6. 역전파 2
[컴퓨터비전과 인공지능] 6. 역전파 2
jdo
코드와 실습으로 이해하는 인공지능
코드와 실습으로 이해하는 인공지능
도형 임
Similar to [신경망기초] 소프트맥스회귀분석
(20)
Deep Learning from scratch 5장 : backpropagation
Deep Learning from scratch 5장 : backpropagation
Coursera Machine Learning (by Andrew Ng)_강의정리
Coursera Machine Learning (by Andrew Ng)_강의정리
[홍대 머신러닝 스터디 - 핸즈온 머신러닝] 4장. 모델 훈련
[홍대 머신러닝 스터디 - 핸즈온 머신러닝] 4장. 모델 훈련
3.neural networks
3.neural networks
Digit recognizer
Digit recognizer
Neural network (perceptron)
Neural network (perceptron)
Gan
Gan
Deep Learning from scratch 3장 : neural network
Deep Learning from scratch 3장 : neural network
스칼라와 스파크 영혼의 듀오
스칼라와 스파크 영혼의 듀오
자바로 Mnist 구현하고_스프링웹서버붙이기
자바로 Mnist 구현하고_스프링웹서버붙이기
2.supervised learning(epoch#2)-3
2.supervised learning(epoch#2)-3
04. logistic regression ( 로지스틱 회귀 )
04. logistic regression ( 로지스틱 회귀 )
Computational Complexity
Computational Complexity
파이썬 기본 문법
파이썬 기본 문법
KOOC Ch8. k-means & GMM
KOOC Ch8. k-means & GMM
개발자를 위한 공감세미나 tensor-flow
개발자를 위한 공감세미나 tensor-flow
ESM Mid term Review
ESM Mid term Review
하스켈 성능 튜닝 2
하스켈 성능 튜닝 2
[컴퓨터비전과 인공지능] 6. 역전파 2
[컴퓨터비전과 인공지능] 6. 역전파 2
코드와 실습으로 이해하는 인공지능
코드와 실습으로 이해하는 인공지능
More from jaypi Ko
CVPR 2022 Tutorial에 대한 쉽고 상세한 Diffusion Probabilistic Model
CVPR 2022 Tutorial에 대한 쉽고 상세한 Diffusion Probabilistic Model
jaypi Ko
개념 이해가 쉬운 Variational Autoencoder (VAE)
개념 이해가 쉬운 Variational Autoencoder (VAE)
jaypi Ko
[신경망기초]오류역전파알고리즘구현
[신경망기초]오류역전파알고리즘구현
jaypi Ko
파이썬설치
파이썬설치
jaypi Ko
객체지향 단어가 의미하는 것
객체지향 단어가 의미하는 것
jaypi Ko
C언어 들어가기
C언어 들어가기
jaypi Ko
C언어 연산자에 대해 간과한 것
C언어 연산자에 대해 간과한 것
jaypi Ko
[확률통계]04모수추정
[확률통계]04모수추정
jaypi Ko
MFC 프로젝트 시작하기
MFC 프로젝트 시작하기
jaypi Ko
01 윈도우프로그램 들어가기
01 윈도우프로그램 들어가기
jaypi Ko
13 사용자 메세지 처리
13 사용자 메세지 처리
jaypi Ko
12 컨트롤에서의 메세지 처리
12 컨트롤에서의 메세지 처리
jaypi Ko
11 노티피케이션코드
11 노티피케이션코드
jaypi Ko
10 컨트롤윈도우
10 컨트롤윈도우
jaypi Ko
09 윈도우스타일
09 윈도우스타일
jaypi Ko
08 부모윈도우 자식윈도우
08 부모윈도우 자식윈도우
jaypi Ko
07 윈도우 핸들
07 윈도우 핸들
jaypi Ko
06 일반적 유형의 프로그램
06 일반적 유형의 프로그램
jaypi Ko
05 윈도우 프로그램 유형
05 윈도우 프로그램 유형
jaypi Ko
04 이벤트처리
04 이벤트처리
jaypi Ko
More from jaypi Ko
(20)
CVPR 2022 Tutorial에 대한 쉽고 상세한 Diffusion Probabilistic Model
CVPR 2022 Tutorial에 대한 쉽고 상세한 Diffusion Probabilistic Model
개념 이해가 쉬운 Variational Autoencoder (VAE)
개념 이해가 쉬운 Variational Autoencoder (VAE)
[신경망기초]오류역전파알고리즘구현
[신경망기초]오류역전파알고리즘구현
파이썬설치
파이썬설치
객체지향 단어가 의미하는 것
객체지향 단어가 의미하는 것
C언어 들어가기
C언어 들어가기
C언어 연산자에 대해 간과한 것
C언어 연산자에 대해 간과한 것
[확률통계]04모수추정
[확률통계]04모수추정
MFC 프로젝트 시작하기
MFC 프로젝트 시작하기
01 윈도우프로그램 들어가기
01 윈도우프로그램 들어가기
13 사용자 메세지 처리
13 사용자 메세지 처리
12 컨트롤에서의 메세지 처리
12 컨트롤에서의 메세지 처리
11 노티피케이션코드
11 노티피케이션코드
10 컨트롤윈도우
10 컨트롤윈도우
09 윈도우스타일
09 윈도우스타일
08 부모윈도우 자식윈도우
08 부모윈도우 자식윈도우
07 윈도우 핸들
07 윈도우 핸들
06 일반적 유형의 프로그램
06 일반적 유형의 프로그램
05 윈도우 프로그램 유형
05 윈도우 프로그램 유형
04 이벤트처리
04 이벤트처리
[신경망기초] 소프트맥스회귀분석
1.
소프트맥스 회귀분석 딥러닝을 위한
신경망 기초 nonezerok@gmail.com 다층 퍼셉트론과 같이 시그모이드 함수를 도입한 정합 방법입니다. 분류 문제를 위해 신경망의 출력단으로 사용되므로 사용빈도가 매우 높습니다.
2.
2 2클래스 분류 /
다중 클래스 분류를 위한 로지스틱 / 소프트맥스 회귀분석
3.
Odds Ratio 3 신경망 출력을
0~1 사이로 만들 수 있으면, 왠지 멋진 Cross-Entropy를 손실함수로 사용할 수 있다. 아주 특별한 비율;식 이라 이름도 있다.
4.
Logit function 4 입력 출력 0 ~
1 +∞ −∞ 여기에 로그를 취하면 더욱 특별한 식이 된다. 당연히 이름이 있다. 입력이 0~1사이이고, 출력은 무한대
5.
Logit의 출력을 선형회귀의
출력으로 간주 5 입력 출력 +∞ −∞ 선형회귀가 찾은 함수 ※log-linear model 확률에 로그를 취했는데, 이 확률과 관련된 변수가 선형식으로 표현되는 모델
6.
6 입력과 출력을 바꾸면…
7.
7 선형회귀의 출력을 확률로
간주할 수 있다! + +∞−∞
8.
Sigmoid function 8 positive class negative
class 0.5 Odd Ratio에 관한, Log-linear 모델을 p에 대해 정리한 것 0.5를 기준으로 2가지 구분
9.
+
= 1 1 + 9 절편 b를 변화시키면, 위치 이동
10.
+
= 1 1 + 10 가중치 w를 변화시키면, 경사 조정
11.
11 0 클래스 샘플들 1
클래스 샘플들 빨간 함수로 두 클래스 샘플들을 잘 정합할 수 있음
12.
Logistic Regression for
2-class Classification 12 1 로짓 함수에서 유래된 시그모이드 함수를 사용하여, 2가지를 구분/분류; 실제로는 정합하도록 학습하는 방법 (이진 분류 문제에 적용)
13.
13 Loss function:
= − ∑ + 1 − 1 − Activation () = ∈ 0, 1 1 Cross-Entropy를 Loss 함수로 사용
14.
Softmax Regression for
Multi-class Classification 14 1 ⋮ + + ⋯ + + + ⋯ + + + ⋯ + 시그모이드 함수 결과를 정규화해서 K개를 분류 (다중 클래스 분류 문제에 적용)
15.
15 Loss function:
= − ∑ ∑ () = ∑ = 0 0 1 0 0 0 0 0 0 0 1 ⋮ + + ⋯ + + + ⋯ + + + ⋯ + Softmax Function one-hot encoding
16.
16 =
+ ∆ ∆ = − = 1 − − , 학습 Squared-Loss와 동일한 식으로 유도
Download now