Language Model (언어 모델)에 대한 기본 설명과 현재 NLP 분야의 많은 모델이 기반으로 하는 분산 표현에 대한 동기 설명 Basic description of the Language Model and a motivational description of the distributed representation that is based on many models in the current NLP field

1. Yonghee Cheon
Language Models and
Motivations for Distributed Representation

2. 언어를 모델링하는 방법
LanguageModel
Q.다음빈칸에알맞은말을고르시오.
나는 오늘 학교에 _____
전체 단어중에, 다음 단어로 나올 확률을 구할 수 있다면,
이 확률 분포를 만들 수 있지 않을까?

3. 언어를 모델링하는 방법
LanguageModel
Q.다음빈칸에알맞은말을고르시오.
나는 오늘 학교에 _____
나는 오늘 ______________
나는 ____________________
___________________________
다음 단어 확률분포를 확장하면,
문장 전체에 대한 확률도 만들 수 있지 않을까?

4. Definition
LanguageModel
A statistical language model is a probability distribution over sequences of words.
Given such a sequence, say of length m, it assigns a probability to the
whole sequence.

5. 다음 단어 예측하기
LanguageModel
P(간다 | 나는 오늘 학교에)
ㅋ
Q.다음빈칸에알맞은말을고르시오.
나는 오늘 학교에 _____
P(w | h)
Count(나는 오늘 학교에 간다)
Count(나는 오늘 학교에)

6. 결합 확률로서 시퀀스 표현
LanguageModel
P(나는, 오늘, 학교에, 간다)
= P(나는) * P(오늘|나는) * P(학교에|나는 오늘) * P(간다|나는 오늘 학교에)
문제점:같은history가항상존재하지않는다

7. Bigram model
LanguageModel
ㅇ 마르코프 가정
- Xi+1이, 직전 Xi에 만 영향을 받고, 그이전 X1,X2,...,Xi-1과는 통계적 독립
ㅇ 어떤 상태로 들어갈 확률이 들어가기 직전 상태에만 의존하는 확률과정
- 다음에 나올 상태에 대한 확률 값이 직전 과거에만 종속됨
- 그 이전 과거의 역사와는 무관
마르코프가정

8. 문제점
컴퓨터에게 언어를 인풋으로 넣는 방법은 단어를 one-hot vector 형태로 만드는 것one-hotencoding
차원의저주 단어의 갯수가 많아질수록 모델링하기 힘들 정도로 파라미터가 많아짐
직교성 벡터가 모두 직교하여 사실은 잠재된 의미를 지니고 있는 단어들 사이 관계가 없어짐
LanguageModel

9. 단어의의미적관계를나타내면서도,
차원의저주를피할수있게
Dense한벡터Representation을만들어보자

10. 단어의 벡터 표현
목표:벡터형태로단어의의미표현하기
LanguageModel

11. To be Continued in Word2Vec...