موضوع ارائه: مقدمه‌ای بر Word Embeddings (ارائه شده در اولین مدرسه تابستانی هوش مصنوعی و فناوری‌های نوین) ارائه کننده: آقای دکتر فیضی درخشی

1. Introduction to Word Embeddings
‫درخشی‬ ‫فیضی‬ ‫رضا‬ ‫محمد‬ ‫دکتر‬

2. ‫مطالب‬ ‫فهرست‬
.
One-hot encoding &
Index number
02
‫کاربردهای‬
Word Embedding
04
‫مقدمه‬01
‫انواع‬
Word Embedding03

3. ‫مقدمه‬

4. /38
‫مقدمه‬
•‫طبیعی‬ ‫زبان‬ ‫پردازش‬(NLP)‫باشد‬ ‫می‬ ‫ماشین‬ ‫یادگیری‬ ‫های‬ ‫شاخه‬ ‫زیر‬ ‫از‬ ‫یکی‬.
•‫که‬ ‫مواردی‬ ‫از‬ ‫یکی‬NLP‫باشد‬ ‫می‬ ‫متن‬ ‫پردازش‬ ‫دارد‬ ‫کار‬ ‫سرو‬ ‫آن‬ ‫با‬.
•‫است‬ ‫شده‬ ‫تشکیل‬ ‫کاراکتر‬ ‫و‬ ‫کلمه‬ ‫مانند‬ ‫کوچکتری‬ ‫واحدهای‬ ‫از‬ ‫متن‬.
4
Word Embedings
Dr.Mohamad-Reza Feizi-Derakhshi

5. /38
‫کلمات‬ ‫رشته‬(Word String)
•‫گ‬ ‫نظر‬ ‫در‬ ‫واحد‬ ‫یک‬ ‫عنوان‬ ‫به‬ ‫کدام‬ ‫هر‬ ‫که‬ ‫باشد‬ ‫می‬ ‫کاراکترها‬ ‫از‬ ‫ای‬ ‫دنباله‬ ‫رشته‬ ‫یک‬‫رفته‬
‫شوند‬ ‫می‬.
•‫باشد‬ ‫دیگر‬ ‫مختلف‬ ‫کاراکترهای‬ ‫و‬ ‫اعداد‬ ،‫حروف‬ ‫شامل‬ ‫تواند‬ ‫می‬ ‫رشته‬ ‫یک‬.
‫مثال‬ ‫عنوان‬ ‫به‬“Hello World!”
•‫داد‬ ‫نمایش‬ ‫آرایه‬ ‫یک‬ ‫شکل‬ ‫به‬ ‫توان‬ ‫می‬ ‫را‬ ‫کلمه‬ ‫رشته‬ ‫هر‬.
•‫کنند‬ ‫نمی‬ ‫درک‬ ‫ها‬ ‫انسان‬ ‫همانند‬ ‫را‬ ‫کلمات‬ ‫ها‬ ‫ماشین‬.
•‫پ‬ ‫را‬ ‫داده‬ ‫بتوانند‬ ‫ها‬ ‫ماشین‬ ‫تا‬ ‫شوند‬ ‫تبدیل‬ ‫عددی‬ ‫مقادیر‬ ‫به‬ ‫کلمات‬ ‫باید‬ ‫بنابراین‬‫کنند‬ ‫ردازش‬.
5
Word Embedings
Dr.Mohamad-Reza Feizi-Derakhshi

6. One-hot encoding
&
Index number

7. /38
‫شماره‬ ‫با‬ ‫کلمات‬ ‫نمایش‬Index
•‫از‬ ‫استفاده‬ ‫کلمات‬ ‫نمایش‬ ‫برای‬ ‫ساده‬ ‫روش‬ ‫یک‬‫شماره‬Index‫باشد‬ ‫می‬ ‫کلمات‬.
the cat sat on the mat [5,1,4,3,5,2]
7
word index
Cat 1
Mat 2
On 3
…. …
Introduction to Word Embeddings
Dr.Mohammad-Reza Feizi-Derakhshi

8. /38
‫شماره‬ ‫با‬ ‫کلمات‬ ‫نمایش‬Index
•‫عمیق‬ ‫بردارهای‬ ‫ایجاد‬ ‫باعث‬ ‫روش‬ ‫این‬(Dense Vector)‫شود‬ ‫می‬:
•‫کوتاه‬ ‫طول‬
•‫عمیق‬(‫باشد‬ ‫می‬ ‫صفر‬ ‫غیر‬ ‫مقادیر‬ ‫بیشتر‬)
•‫روش‬ ‫این‬ ‫معایب‬:
‫هستند‬ ‫تصادفی‬ ‫صورت‬ ‫به‬ ‫مقادیر‬ ‫ندارد‬ ‫وجود‬ ‫اعداد‬ ‫بین‬ ‫ارتباطی‬ ‫هیچ‬.
‫کند‬ ‫می‬ ‫برانگیز‬ ‫چالش‬ ‫را‬ ‫مدل‬ ‫یک‬ ‫تفسیر‬ ‫عمل‬.
8
Word Embedings
Dr.Mohamad-Reza Feizi-Derakhshi
01
02

9. /38
‫روش‬One-hot encoding
•‫برا‬ ‫کلمه‬ ‫به‬ ‫مربوط‬ ‫جایگاه‬ ‫که‬ ‫شود‬ ‫می‬ ‫ایجاد‬ ‫نامه‬ ‫لغت‬ ‫طول‬ ‫به‬ ‫برداری‬ ‫روش‬ ‫این‬ ‫در‬‫بر‬1
‫باشد‬ ‫می‬ ‫صفر‬ ‫برابر‬ ‫مقادیر‬ ‫بقیه‬ ‫و‬.
9
Dic Index
The 1
On 2
Cat 3
Sat 4
… ….
1 0 0 0 …
0 0 1 0 …
0 0 0 1 …
0 1 0 0 …
The
Cat
Sat
On
… …
Word Embedings
Dr.Mohamad-Reza Feizi-Derakhshi

10. /38
‫معایب‬One-hot encoding
•‫باال‬ ‫بعد‬
10
Corpus Number of words
Shakespeare 31 thousand
Brown corpus 38 thousand
Switchboard telephone conversations 20 thousand
COCA 2 million
Google N-grams 13 million
Word Embedings
Dr.Mohamad-Reza Feizi-Derakhshi

11. /38
‫معایب‬One-hot encoding
•‫خلوت‬ ‫ماتریس‬(sparse matrix)
•‫دارد‬ ‫صفر‬ ‫غیر‬ ‫مقدار‬ ‫یک‬ ‫فقط‬.
•‫می‬ ‫فضایی‬ ‫و‬ ‫زمانی‬ ‫پیچیدگی‬ ‫ایجاد‬ ‫باعث‬
‫شود‬.
•‫سطحی‬ ‫نمایش‬
•‫نیست‬ ‫مشخص‬ ‫کلمات‬ ‫بین‬ ‫ارتباط‬.
•‫هستند‬ ‫هم‬ ‫بر‬ ‫عمود‬ ‫بردارهای‬ ‫صورت‬ ‫به‬.
11
Word Embedings
Dr.Mohamad-Reza Feizi-Derakhshi

12. ‫انواع‬
Word Embedding

13. /38
Word Embedding‫چیست؟‬
•‫کلماتی‬ ‫آن‬ ‫در‬ ‫که‬ ‫باشد‬ ‫می‬ ‫برداری‬ ‫صورت‬ ‫به‬ ‫متن‬ ‫نمایش‬ ‫برای‬ ‫شده‬ ‫یادگیری‬ ‫روش‬‫که‬
‫دارند‬ ‫مشابهی‬ ‫بردارهای‬ ‫دارند‬ ‫مشابهی‬ ‫معانی‬.
•‫هستند‬ ‫ثابت‬ ‫بعد‬ ‫داری‬ ‫بردارها‬ ‫این‬(‫معموال‬300.)
•‫گیر‬ ‫می‬ ‫انجام‬ ‫بزرگ‬ ‫پیکره‬ ‫از‬ ‫استفاده‬ ‫وبا‬ ‫است‬ ‫شده‬ ‫نظارت‬ ‫غیر‬ ‫یادگیری‬ ‫روش‬‫د‬.
13
Word Embedings
Dr.Mohamad-Reza Feizi-Derakhshi

14. /38
‫روش‬ ‫انواع‬Word Embedding:
14
Word Embedings
Dr.Mohamad-Reza Feizi-Derakhshi
2018
2018
2015
2014
2013
Word2Vec FastText BERT
GLoVe ELMo

15. /38
Word2Vec
•‫توسط‬Tomas Mikolov ,et al‫یافت‬ ‫توسعه‬ ‫گوگل‬ ‫شرکت‬ ‫در‬.
•‫عنوان‬ ‫به‬ ‫را‬ ‫کلمه‬ ‫هر‬ ‫بردار‬ ‫و‬ ‫گیرد‬ ‫می‬ ‫ورودی‬ ‫عنوان‬ ‫به‬ ‫را‬ ‫متن‬ ‫پیکره‬ ‫روش‬ ‫این‬
‫دهد‬ ‫می‬ ‫خروجی‬.
15
Word Embedings
Dr.Mohamad-Reza Feizi-Derakhshi

16. /38
Word2vec
•‫است‬ ‫شده‬ ‫مطرح‬ ‫یادگیری‬ ‫مدل‬ ‫دو‬ ‫روش‬ ‫این‬ ‫برای‬:
.1Continuous Bag-of-Words (CBOW)
.2Skip-gramContinuous
16
Word Embedings
Dr.Mohamad-Reza Feizi-Derakhshi

17. /38
CBOW
The cat sat on the mat
17
Word Embedings
Dr.Mohamad-Reza Feizi-Derakhshi

18. /38
CBOW
18
0
1
0
0
0
0
0
0
…
0
0
0
0
1
0
0
0
0
…
0
cat
on
0
0
0
0
0
0
0
1
…
0
Input layer
Hidden layer
sat
Output layer
𝑊𝑉×𝑁
𝑊𝑉×𝑁
V-dim
V-dim
N-dim
𝑊′ 𝑁×𝑉
V-dim
N will be the size of word vector
We must learn W and W’
Word Embedings
Dr.Mohamad-Reza Feizi-Derakhshi

19. /38
CBOW
19
0
1
0
0
0
0
0
0
…
0
0
0
0
1
0
0
0
0
…
0
xcat
xon
0
0
0
0
0
0
0
1
…
0
Input layer
Hidden layer
sat
Output layer
V-dim
V-dim
N-dim
V-dim
+ 𝑣 =
𝑣 𝑐𝑎𝑡 + 𝑣𝑜𝑛
2
0.1 2.4 1.6 1.8 0.5 0.9 … … … 3.2
0.5 2.6 1.4 2.9 1.5 3.6 … … … 6.1
… … … … … … … … … …
… … … … … … … … … …
0.6 1.8 2.7 1.9 2.4 2.0 … … … 1.2
×
0
1
0
0
0
0
0
0
…
0
𝑊𝑉×𝑁
𝑇
× 𝑥 𝑐𝑎𝑡 = 𝑣 𝑐𝑎𝑡
2.4
2.6
…
…
1.8
=
Word Embedings
Dr.Mohamad-Reza Feizi-Derakhshi

20. /38
CBOW
20
0
1
0
0
0
0
0
0
…
0
0
0
0
1
0
0
0
0
…
0
cat
on
0
0
0
0
0
0
0
1
…
0
Input layer
Hidden layer
𝑦sat
Output layer
𝑊𝑉×𝑁
𝑊𝑉×𝑁
V-dim
V-dim
N-dim
𝑊𝑉×𝑁
′
× 𝑣 = 𝑧
V-dim
N will be the size of word vector
𝑣
𝑦 = 𝑠𝑜𝑓𝑡𝑚𝑎𝑥(𝑧)
Word Embedings
Dr.Mohamad-Reza Feizi-Derakhshi

21. /38
CBOW
21
0
1
0
0
0
0
0
0
…
0
0
0
0
1
0
0
0
0
…
0
cat
on
0
0
0
0
0
0
0
1
…
0
Input layer
Hidden layer
𝑦sat
Output layer
𝑊𝑉×𝑁
𝑊𝑉×𝑁
V-dim
V-dim
N-dim
𝑊𝑉×𝑁
′
× 𝑣 = 𝑧
𝑦 = 𝑠𝑜𝑓𝑡𝑚𝑎𝑥(𝑧)
V-dim
N will be the size of word vector
𝑣
0.01
0.02
0.00
0.02
0.01
0.02
0.01
0.7
…
0.00
𝑦
We would prefer 𝑦 close to 𝑦𝑠𝑎𝑡
Word Embedings
Dr.Mohamad-Reza Feizi-Derakhshi

22. /38
Skip-gram
•‫تا‬‫حدودی‬‫همانند‬CBOW‫است‬‫فقط‬‫یک‬‫کلمه‬
‫که‬‫همان‬Target word‫است‬‫را‬‫به‬‫عنوان‬
‫ورودی‬‫می‬‫گیرد‬‫و‬C‫توزیع‬‫احتمالی‬‫را‬‫در‬
‫خروجی‬‫می‬‫دهد‬.
22
Word Embedings
Dr.Mohamad-Reza Feizi-Derakhshi

23. /38
Skip-gram vs CBOW
‫دارد‬ ‫را‬ ‫خود‬ ‫معایب‬ ‫و‬ ‫مزایا‬ ‫روش‬ ‫هر‬:
23
Word Embedings
Dr.Mohamad-Reza Feizi-Derakhshi
Skip-gram
‫و‬ ‫کند‬ ‫می‬ ‫کار‬ ‫بهتر‬ ‫کوچکتر‬ ‫های‬ ‫داده‬ ‫با‬
‫دهد‬ ‫می‬ ‫نمایش‬ ‫خوبی‬ ‫به‬ ‫را‬ ‫نادر‬ ‫کلمات‬.
CBOW
‫به‬ ‫را‬ ‫پرتکرار‬ ‫کلمات‬ ‫و‬ ‫است‬ ‫تر‬ ‫سریع‬‫تر‬
‫دهد‬ ‫می‬ ‫نمایش‬.

24. /38
‫متن‬ ‫پنجره‬
•‫ب‬ ‫نظر‬ ‫مورد‬ ‫کلمه‬ ‫از‬ ‫بعد‬ ‫و‬ ‫قبل‬ ‫کلمه‬ ‫تعداد‬ ‫چه‬ ‫که‬ ‫کند‬ ‫می‬ ‫مشخص‬ ‫متن‬ ‫پنجره‬ ‫اندازه‬‫در‬ ‫اید‬
‫شود‬ ‫گرفته‬ ‫نظر‬.
•‫معموال‬10‫در‬skip-gram
•‫و‬5‫در‬CBOW
‫پنجره‬ ‫اندازه‬ ‫برای‬ ‫مثال‬2
24
Word Embedings
Dr.Mohamad-Reza Feizi-Derakhshi

25. /38
‫کلمات‬ ‫بردار‬ ‫خصوصیات‬
vector[Queen] ≈ vector[King] - vector[Man] + vector[Woman]
25
Word Embedings
Dr.Mohamad-Reza Feizi-Derakhshi

26. /38
Glove
•‫با‬‫شمارش‬‫محتوا‬‫یک‬‫ماتریس‬‫هم‬‫رخدادی‬‫ایجاد‬‫می‬‫کند‬‫و‬‫بردار‬‫کلمات‬‫را‬‫برای‬‫پیش‬
‫بینی‬‫نسبت‬‫هم‬‫رخدادی‬‫بر‬‫اساس‬،‫تفاوتشان‬‫آموزش‬‫می‬‫دهد‬.
•‫از‬‫محتوا‬‫دانش‬‫محلی‬(local context)‫برای‬‫محاسبه‬‫ماتریس‬‫هم‬‫رخدادی‬‫استفاده‬‫می‬
‫کند‬.
•‫برای‬‫این‬‫کار‬‫از‬‫پنجره‬‫ثابت‬‫استفاده‬‫می‬‫کند‬.
•‫سپس‬GLoVe‫بر‬‫اساس‬‫بردار‬،‫کلمات‬‫نسبت‬‫هم‬‫رخدادی‬‫را‬‫پیش‬‫بینی‬‫می‬‫کند‬.
26
Word Embedings
Dr.Mohamad-Reza Feizi-Derakhshi

27. /38
GLoVe vs Word2Vec
•GlLoVe‫ممکن‬‫است‬‫نسبت‬‫به‬Word2Vec‫بهتر‬‫و‬‫سریعتر‬‫باشد‬.
•‫زیرا‬‫از‬‫دو‬‫دانش‬‫زیر‬‫استفاده‬‫می‬‫کند‬:
•Global co-occurrence statistics
•Local context
27
Word Embedings
Dr.Mohamad-Reza Feizi-Derakhshi

28. /38
FastText
•‫از‬ ‫استفاده‬ ‫با‬N-gram‫کند‬ ‫می‬ ‫تقسیم‬ ‫کوچکتر‬ ‫های‬ ‫بخش‬ ‫به‬ ‫را‬ ‫کلمات‬.
•‫مدل‬ ‫پایه‬ ‫بر‬Skip-gram‫است‬.
•‫های‬ ‫ویژگی‬ ‫از‬ ‫ای‬ ‫کیسه‬ ‫با‬ ‫کلمه‬ ‫هر‬ ،‫مجزا‬ ‫بردار‬ ‫جای‬ ‫به‬ ‫روش‬ ‫این‬ ‫در‬N-gram‫نمایش‬
‫شود‬ ‫می‬ ‫داده‬.
•‫شوند‬ ‫می‬ ‫داده‬ ‫نمایش‬ ‫مقادیر‬ ‫این‬ ‫جمع‬ ‫با‬ ‫کلمات‬.
28
Word Embedings
Dr.Mohamad-Reza Feizi-Derakhshi

29. /38
FastText vs GloVe & Word2vec
•‫است‬ ‫قبلی‬ ‫های‬ ‫روش‬ ‫از‬ ‫بهتر‬ ‫روش‬ ‫این‬ ‫دلیل‬ ‫دو‬ ‫به‬:
.1‫نامه‬ ‫لغت‬ ‫از‬ ‫خارج‬ ‫کلمات‬ ‫تفسیر‬ ‫در‬ ‫توانایی‬
‫مثال‬ ‫عنوان‬ ‫به‬England‫به‬ ‫مرتبط‬Netherlands‫چون‬ ‫هست‬Land‫شکل‬ ‫به‬ ‫دو‬ ‫هر‬ ‫در‬“lan”‫و‬”and”‫آمده‬
‫است‬.
.2‫تایپی‬ ‫و‬ ‫امالیی‬ ‫اشتباهات‬ ‫در‬ ‫قدرت‬
29
Word Embedings
Dr.Mohamad-Reza Feizi-Derakhshi

30. /38
BERT
Bidirectional Encoder Representations from Transformers
•‫که‬ ‫کند‬ ‫می‬ ‫تقسیم‬ ‫کوچکتر‬ ‫واحدهای‬ ‫به‬ ‫را‬ ‫کلمات‬ ‫روش‬ ‫این‬‫لغت‬ ‫اندازه‬ ‫کاهش‬ ‫باعث‬‫نامه‬
‫شود‬ ‫می‬.
Writing Write + ing
•BERT‫گرفته‬ ‫شکل‬ ‫زیر‬ ‫هوشمندانه‬ ‫های‬ ‫ایده‬ ‫برپایه‬:
•Semi-supervised Sequence Learning
•ELMo
•ULMFiT
•OpenAI transformer
•The Transformer
30
Word Embedings
Dr.Mohamad-Reza Feizi-Derakhshi

31. /38
‫جمله‬ ‫بندی‬ ‫کالس‬ ‫نمونه‬
31
Word Embedings
Dr.Mohamad-Reza Feizi-Derakhshi

32. ‫کاربردهای‬
Word Embedding

33. /38
‫کاربردهای‬word Embedding
1.‫کلمات‬ ‫شباهت‬
‫کالسیک‬ ‫های‬ ‫روش‬:Edit Distance, WordNet, Porter’s Stemmer, Lemmatization using dictionaries
33
Word Embedings
Dr.Mohamad-Reza Feizi-Derakhshi
•‫یابی‬ ‫ریشه‬
(thought -> think)
•‫فعل‬ ‫صرف‬
Think, thought, ponder, pondering,
Plane, Aircraft, Flight

34. /38
‫کاربردهای‬word Embedding
2.‫ماشین‬ ‫ترجمه‬
‫کالسیک‬ ‫های‬ ‫روش‬:Rule-based machine translation, morphological transformation
34
Word Embedings
Dr.Mohamad-Reza Feizi-Derakhshi

35. /38
‫کاربردهای‬word Embedding
•‫دقت‬ ‫با‬ ‫اسپانیایی‬ ‫به‬ ‫انگلیسی‬ ‫ترجمه‬ ‫نمونه‬90%(Mikolov et al. 2013c)
35
Word Embedings
Dr.Mohamad-Reza Feizi-Derakhshi

36. /38
‫کاربردهای‬word Embedding
3.‫کلمه‬ ‫نقش‬ ‫و‬ ‫دار‬ ‫نام‬ ‫های‬ ‫موجودیت‬ ‫شناسایی‬(Part-of-speech)
‫کالسیک‬ ‫های‬ ‫روش‬:Sequential Models (MEMM , Conditional Random Fields), Logistic Regression
36
Word Embedings
Dr.Mohamad-Reza Feizi-Derakhshi

37. /38
‫کاربردهای‬word Embedding
4.‫احساس‬ ‫تحلیل‬
‫کالسیک‬ ‫های‬ ‫روش‬:Naive Bayes, Random Forests/SVM
37
Word Embedings
Dr.Mohamad-Reza Feizi-Derakhshi

38. ‫تشکر‬ ‫با‬Introduction to Word Embeddings