Bengio의 Neural Probabilistic Language Model로부터 내려온 Word2Vec의 기본 사고방식과 NPLM의 computational cost적 한계, 그리고 Word2Vec의 Intuition 설명 Explanation of Word2Vec's basic thinking, NPLM's computational cost limitations, and Word2Vec's Intuition from Bengio's Neural Probabilistic Language Model

1. Yonghee Cheon
Neural Probabilistic Language Model
and Word2Vec

2. 1
2
NPLM(NNLM)

3. Architecture
ANeuralProbablisticLanguageModel
Bengioetal.,2003

4. 문제점:TooMuchComputation

5. Architecture
ANeuralProbablisticLanguageModel
Q = N X D + N X D X H + H X V
N = 윈도우 크기
D = 임베딩 차원 크기
H = 히든 레이어 크기
V = 단어 갯수

6. Computational Cost
ANeuralProbablisticLanguageModel
C
V
D
0
0
1
0
V
1Look up
C(Wt-n)
D
1
Q = N X D + N X D X H + H X V

7. Computational Cost
ANeuralProbablisticLanguageModel
C
V
D
0
0
1
0
V
1Look up
C(Wt-n)
D
Input
D
N
1
Concatenated
I
N
P
U
T
Serialized
N X D
Q = N X D + N X D X H + H X V

8. Computational Cost
ANeuralProbablisticLanguageModel
C
V
D
0
0
1
0
V
1Look up
C(Wt-n)
D
Input
D
N
1
Concatenated
I
N
P
U
T
Serialized
Weight
(Hidden)
H
N X D
N X D
Q = N X D + N X D X H + H X V

9. Computational Cost
ANeuralProbablisticLanguageModel
C
V
D
0
0
1
0
V
1Look up
C(Wt-n)
D
Input
D
N
1
Concatenated
I
N
P
U
T
Serialized
Weight
(Hidden)
H
N X D
N X D
H
I
D
D
E
N
HHidden
H
V
Q = N X D + N X D X H + H X V
O
U
T
P
U
T
V

10. Computational Cost
ANeuralProbablisticLanguageModel
C
V
D
0
0
1
0
V
1Look up
C(Wt-n)
D
Input
D
N
1
Concatenated
I
N
P
U
T
Serialized
Weight
(Hidden)
H
N X D
N X D
H
I
D
D
E
N
HHidden
H
V
Q = N X D + N X D X H + H X V
O
U
T
P
U
T
V
-> 히든 레이어 없애자

11. 2
11
WordVec제안

12. CBOW and Skip-gram
Word2Vec
Hidden layer로 인한 cost 낮아짐
Q = N X D + D X log(V)

13. 13
word2vec
word2vec 학습 (Skip-gram)

14. 14
word2vec
word2vec 학습 (CBOW)

15. - Distributional Hypothesis : 비슷한 맥락에 등장하는 단어들은 유사한 의미를
지니는 경향이 있다.
- Latent Relation Hypothesis : 비슷한 패턴으로 동시에 등장하는 단어쌍은 유사한
의미적 관계를 지니는 경향이 있다.
기본가정
word2vec 기본 가정
Word2Vec

16. 16
word2vec
word2vec 결과

17. 17
word2vec
word2vec 결과
벡터의거리가새로운의미를지님

18. 18
문서 안의 단어들을 모두 word2vec 공간 상 벡터로 변환문서인덱싱(임베딩)
word2vec
word2vec으로 문서 임베딩
거리가 의미가 있는 공간이므로 단어들의 axis-wise average 값은 해당 벡터공간 내에
서 단어들의 의미를 함축한 대표값으로 여길 수 있음
문서대표벡터
쿼리도 문서와 유사한 방식으로 임베딩쿼리임베딩
벡터의 코사인 유사도 활용알고리즘