Each month, join us as we highlight and discuss hot topics ranging from the future of higher education to wearable technology, best productivity hacks and secrets to hiring top talent. Upload your SlideShares, and share your expertise with the world!
Not sure what to share on SlideShare?
SlideShares that inform, inspire and educate attract the most views. Beyond that, ideas for what you can upload are limitless. We’ve selected a few popular examples to get your creative juices flowing.
SlideShare is a global platform for sharing presentations, infographics, videos and documents. It has over 18 million pieces of professional content uploaded by experts like Eric Schmidt and Guy Kawasaki. The document provides tips for setting up an account on SlideShare, uploading content, optimizing it for searchability, and sharing it on social media to build an audience and reputation as a subject matter expert.
형태소분석기에 왜 CRF가 쓰이는지 이해하기 위해 정리한 슬라이드입니다. Graphical Models의 필요성부터 시작해 방향성(Bayesian Networks), 비방향성(Markov Random Fields) Graphical Models의 정의와 조건부독립 성질을 살펴보고, Generative와 Discriminative 모델의 차이점을 정리한 뒤 Discriminative + Undirected 모델로서 Conditional Random Fields를 소개합니다. 끝으로 형태소분석에 CRF를 사용하는 테크닉을 간단히 소개합니다.
Each month, join us as we highlight and discuss hot topics ranging from the future of higher education to wearable technology, best productivity hacks and secrets to hiring top talent. Upload your SlideShares, and share your expertise with the world!
Not sure what to share on SlideShare?
SlideShares that inform, inspire and educate attract the most views. Beyond that, ideas for what you can upload are limitless. We’ve selected a few popular examples to get your creative juices flowing.
SlideShare is a global platform for sharing presentations, infographics, videos and documents. It has over 18 million pieces of professional content uploaded by experts like Eric Schmidt and Guy Kawasaki. The document provides tips for setting up an account on SlideShare, uploading content, optimizing it for searchability, and sharing it on social media to build an audience and reputation as a subject matter expert.
형태소분석기에 왜 CRF가 쓰이는지 이해하기 위해 정리한 슬라이드입니다. Graphical Models의 필요성부터 시작해 방향성(Bayesian Networks), 비방향성(Markov Random Fields) Graphical Models의 정의와 조건부독립 성질을 살펴보고, Generative와 Discriminative 모델의 차이점을 정리한 뒤 Discriminative + Undirected 모델로서 Conditional Random Fields를 소개합니다. 끝으로 형태소분석에 CRF를 사용하는 테크닉을 간단히 소개합니다.
Variational Auto Encoder, Generative Adversarial ModelSEMINARGROOT
Generative Model(Variational Auto Encoder, Generative Adversarial Model)
References:
오토인코더의 모든 것 by 이활석 (NAVER)
Youtube: https://youtu.be/rNh2CrTFpm4, Slideshare: https://www.slideshare.net/NaverEngineering/ss-96581209
1시간만에 GAN(Generative Adversarial Network) 완전 정복하기 by 최윤제 (NAVER)
Youtube: https://youtu.be/odpjk7tGY0, Slideshare: https://www.slideshare.net/NaverEngineering/1-gangenerative-adversarial-network
Theory and Application of Generative Adversarial Networks by Ming-Yu Liu, Julie Bernauer, Jan Kautz (NVIDIA)
Youtube: https://youtu.be/KudkR-fFu_8, Slideshare: https://www.slideshare.net/mlreview/tutorial-on-theory-and-application-of-generative-adversarial-networks
Tutorial on Variational Autoencoders by Carl Doersch (Carnegie Mellon / UC Berkeley)
Arxiv: https://arxiv.org/pdf/1606.05908.pdf
Generative Adversarial Nets (2014) NIPS by Goodfellow et al
https://papers.nips.cc/paper/5423-generative-adversarial-nets.pdf
Deep learning study 1. this slide includes basic mathematical theorems for deep learning, such as Bayes's theorem, Bayesian inference, information theorem.
Generative model is nowadays a very good tool for Anomaly Detection. Thus I bring a interesting generative model 'Diffusion' for solving the anomaly detection task. Presentation consists of the concept of diffusion and method to use diffusion for anomaly detection.
2. 용어
• 확률 실험(Random Experiment)
– 모집단으로부터 표본을 임의로 추출하는 과정
– 대문자 X, Y, Z 등으로 표기
– Ex) 아파트 단지내의 1000세대의 각 가정에 있는 TV
수를 조사하기 위해 가정 한곳을 임의로 선정
• 확률 변수(Random Variable)
– 확률 실험의 결과
– 이 결과는 실험에 따라 다르게 나타난다.
– Ex) 앞선 조사를 X라 하면 X는 0, 1, 2, 3의 값중에 하
나를 갖게 된다.
한림대학교 이윤환(http://fb.com/yoonani72)
3. 예제 - 두 개의 공정한 동전을 던지는 시행
• 앞면이 나오는 횟수를 X, 즉 확률변수
– 표본공간 : S = {HH, HT, TH, TT}
– 확률 변수 X의 출현 가능한 값
• X(HH) = 2
• X(HT) = X(TH) = 1
• X(TT) = 0
• 𝑃𝑥 0 = 𝑃 𝑋=0 = 𝑃 𝑇𝑇 =
– X의 출현 가능한 값들이 나타날 확률
1
4
• 𝑃𝑥 1 = 𝑃 𝑋=1 = 𝑃 𝐻𝐻 , 𝑇𝐻 =
1
2
• 𝑃𝑥 2 = 𝑃 𝑋=2 = 𝑃 𝐻𝐻 =
1
4
한림대학교 이윤환(http://fb.com/yoonani72)
5. 이산확률 분포
• 확률변수를 통한 출현 가능한 값이 셀 수 있는 값
을 취한다.
• 이산확률변수의 확률 분포
– 확률변수가 취할 수 있는 모든 가능한 값과 그 값들의
확률들을 표현한 것
• 이산확률 분포의 성질(조건)
0 ≤ 𝑃 𝑋= 𝑥 ≤1
– 확률변수 X의 각 값에 대한 확률 P(X=x)는
� 𝑝 𝑥 =1
– 모든 확률값의 합은 1
한림대학교 이윤환(http://fb.com/yoonani72)
6. 예제
• 표 5.3 각 가정의 TV 수와 확률분포
보유 TV의 수 (X) P(X=x)
0 0.010
1 0.840
2 0.145
3 0.005
합계 1.000
한림대학교 이윤환(http://fb.com/yoonani72)
7. 이산확률변수의 평균
• 평균은 확률변수에서 기대값(Expected Value)
이라고 한다.
• 이산확률변수 X의 평균은 어떤 실험을 수많이 실
을 의미하며 𝜇 𝑋 또는 𝐸 𝑋 로 표기한다.
행할 때 평균적으로 관찰될 것으로 기대되는 값
• 출현가능한 값과 출현 가능할 확률을 곱한 것을
모두 더한다.
– 확률에 평균의 개념이 들어가 있으므로 나누는 과정이
– 𝐸 𝑋 = ∑ 𝑥𝑥(𝑥)
필요없다.
한림대학교 이윤환(http://fb.com/yoonani72)
8. 이산확률변수의 분산
로 얼마나 퍼져있는 지를 나타내는 것(𝜎 2 )
• 확률변수들의 출현가능한 값들이 평균을 중심으
• 계산방법은 앞선 편차 제곱으로 부터 차용 가능
– 편차 제곱 : (𝑥 𝑖 − 𝐸(𝑋))2
하다.
이들에 개별 확률값을 곱한다 : 𝑥 𝑖 − 𝐸(𝑋) 2 𝑝(𝑥)
– 이 편차 제곱들이 각각 확률적으로 나타나는 것이므로
– 위의 값을 모두 더한다 : ∑ 𝑖=1 𝑥 𝑖 − 𝐸(𝑋) 2 𝑝(𝑥)
𝑛
• 간편 계산식 : ∑ 𝑖=1 𝑥 𝑖 2 𝑝 𝑥 𝑖 − 𝐸(𝑋)2
𝑛
한림대학교 이윤환(http://fb.com/yoonani72)
10. 팩토리얼과 조합
• 교재 p.118 ~ p.120 까지 반드시 읽어볼 것!!!
한림대학교 이윤환(http://fb.com/yoonani72)
11. 이항분포(Binomial Dist.)
• 베르누이 시행
성공의 확률 𝑝 (0 < 𝑝 < 1)
– 어떤 시행의 결과 성공과 실패로 나타난다.
–
– 확률 변수 X의 실현값은 성공이면 1, 실패면 0
• Bernoulli(p=0.5) = 𝑝 𝑥 (1 − 𝑝)1−𝑥 =0.5 𝑥 (1 − 0.5)1−𝑥
– Ex) 공정한 동전을 던져 앞면이 나오면 성공
• iid(Independent & Identically)
– 모수(Parameter) : 분포함수의 특징을 결정 짓는 값.
• 앞선 베르누이 시행에서는 확률값 p
– 동일한 모수를 갖는 확률변수의 실험을 독립적으로 실
행하는 것
한림대학교 이윤환(http://fb.com/yoonani72)
12. 이항분포(Binomial Dist.)
• 앞선 베르누이 시행을 n번 iid로 반복한다고 하자.
• 이 시행의 결과는 각 베르누이 시행의 성공의 개수를
구하는 것이 된다.
• 즉, n번 수행하여 x번 성공하는 실험의 확률분포함
수를 이항분포라고 한다.
• Ex) 공정한 동전을 두번 던져 앞면이 나오는 횟수
(앞면이 나오면 성공)
𝑛
– n번 던져 x번 성공하는 경우의 수 ( )
– n : 2, p = ½
𝑥
– 성공과 실패의 확률(iid) : 0.5 𝑥 (1 − 0.5) 𝑛−𝑥
한림대학교 이윤환(http://fb.com/yoonani72)
13. 이항분포(Binomial Dist.)
• 확률 밀도 함수 (Probability Mass Function)
– 이항분포를 따르는(시행의 횟수 n, 성공확률 p) 확률
𝑛 𝑥
– 𝐵 𝑛, 𝑝 = 𝑝 1 − 𝑝 𝑛−𝑥 , x는 성공의 횟수
변수 X는 다음의 확률밀도함수를 갖는다.
𝑥
– 일반적으로 말하는 분포함수는 𝑃(𝑋 ≤ 𝑥) 로 나타낸다.
• (누적)분포함수 (Probability Function)
– 즉, 확률변수의 실현값 x 이하의 확률들을 모두 더한
값이다.
– 분포함수는 고유하게 정해져 있다.
한림대학교 이윤환(http://fb.com/yoonani72)
14. R에서의분포함수(p.136)
• 이항분포 함수 : xbinom(x, size=n, prob=p)
• R분포함수의 첫글자(x)와 기능
첫 글자 기능
d 확률변수의 출현값에 대한 개별 확률(Density)
p Probability function, 즉 (누적)분포함수
q Quantile(백분위수)
r Random number(난수 발생)
한림대학교 이윤환(http://fb.com/yoonani72)
15. 예제(p. 137)
• 성공의 확률이 0.6인 어떤 실험을 3번 시행한다
고 하자. 즉, B(3, 0.6)
• 이 경우 성공의 횟수 x=0, 1, 2, 3
• 성공의 횟수별 확률 구하기
> x = c(0, 1, 2, 3)
> p.x = dbinom(x, size=3, prob=0.6)
> p.x
[1] 0.064 0.288 0.432 0.216
한림대학교 이윤환(http://fb.com/yoonani72)