Ứng dụng NLP vào việc xác định ý muốn người dùng (Intent Detection)...

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

1
Báo cáo nghiên cứu Q3
Ứng dụng NLP vào việc xác định ý muốn người dùng (Intent
Detection) và sửa lỗi chính tả trong tiến...

Nội dung trình bày
• Giới thiệu về NLP, ứng dụng của NLP
• Lý do chọn đề tài
• Các vấn đề cần giải quyết
• Bài toán xác đị...

NLP là gì
• Natural Language Processing
• Là một nhánh của trí tuệ nhân tạo tập trung vào các ứng dụng
trên ngôn ngữ của c...

NLP có còn đang sôi động ?
4
Các giải pháp phần mềm ứng dụng NLP sẽ giúp thị trường tăng trưởng từ $300 million (2018) đến...

Ứng dụng của NLP
5
#1. Sentiment Analysis

Ứng dụng của NLP
6
#2. Chatbots
• Trò chuyện -> Biết được sở thích, tính cách của người dùng
• Trợ lý ảo
• Giải đáp thắc m...

Ứng dụng của NLP
7
#3. Customer Service

Ứng dụng của NLP
8
#4. Managing the Advertisement Funnel
• Sử dụng NLP để phân tích lịch sử truy cập website, thông tin cá...

Ứng dụng của NLP
9
#5. Market Intelligence
Thị trường kinh doanh luôn biến động, và bị ảnh hưởng bởi kiến thức thị trường,...

Lý do chọn đề tài
10
Mục tiêu là xây dựng hệ thống chatbot, AI Assistant, smart home.
Cùng với sự phát triển của NLP, các ...

Các vấn đề cần giải quyết
1. Bài toán xác định ý định người dùng (Intent detection)
2. Bài toán nhận dạng thực thể (Named-...

Các vấn đề cần giải quyết
1. Bài toán xác định ý định người dùng (Intent detection)
2. Bài toán nhận dạng thực thể (Named-...

Xác định ý định người dùng (Intent detection)
• Ý định(Intent) là gì ?
Điều mà người dùng mong muốn chatbot,
smart home, a...

Vấn đề gặp phải là gì ? (Intent detection)
Ví dụ người dùng muốn hỏi thời tiết hôm nay:
• Thời tiết hôm nay thế nào ?
• Hô...

Vấn đề gặp phải là gì ? (Intent detection)
• Xử lý vấn đề sai chính tả
• Sai dấu, x,s,l,n...
• Các từ viết tắt, teencode
15

Cách giải quyết bài toán xác định Intent
• Xác định số lượng intent (hữu hạn hay vô hạn)
– Closed domain→ số lượng intent ...

Cách giải quyết bài toán xác định Intent
17
Mô hình hệ thống phân lớp intent

Chuẩn bị dữ liệu huấn luyện
• Mỗi intent chuẩn bị từ 2-5 mẫu câu
18
intent Câu ví dụ
hoi_thoi_tiet Mai mưa không em ?
hoi_...

Tiền xử lý
Tách từ (Word segmentation)
• Mục đích để tạo vector ngữ nghĩa của câu.
Khác với tiếng anh mỗi từ có nghĩa cách...

Tiền xử lý
20
Xử lý sai chính tả (Spell Correction)
Sai chính tả thì chính con người còn khó hiểu huống chi là máy
Rất tiế...

Tiền xử lý
• Xử lý các từ viết tắt
user: Good night
machine: Good night! I love u
user: G9
machine:%#$&%#$%@
21

Trích xuất đặc trưng
22

Trích xuất đặc trưng(Feature Extraction)
• Biểu diễn ngôn ngữ loài người dưới dạng số sao cho có nghĩa
và machine có thể h...

Trích xuất đặc trưng(Feature Extraction)
• Bag of Words hoạt động như thế nào ?
• Ví dụ:
– The quick brown fox jumps over ...

Trích xuất đặc trưng(Feature Extraction)
• Tuy nhiên thực tế nhận thấy trong 1 câu tiếng Việt, 1 từ được
lặp lại nhiều lần...

Trích xuất đặc trưng(Feature Extraction)
• TF-IDF
– TF =
26
• f(t,d) - số lần xuất hiện từ t trong 1 câu (d)
• mẫu số: tổn...

Trích xuất đặc trưng(Feature Extraction)
27
The quick brown fox jumps over the lazy dog
and(*)
Never jump over the lazy do...

Huấn luyện mô hình (Train Model)
28
Đưa về bài toán Text Classification
intent Câu ví dụ
hoi_thoi_tiet Mai mưa không em ?
...

Huấn luyện mô hình (Train Model)
• Lựa chọn mô hình
• Naive Bayes
• SVM (more data)
• SGDClassifier(more data)
• RF...
29

Kết quả bài toán Intent Detection
30
Feature(RAW) Target
Hôm nay trời đẹp không ? hoi_thoi_tiet
Hôm nay thời tiết thế nào ...

Kết quả bài toán Intent Detection
• Với những câu không có trong training data vẫn có thể xác
định chính xác.
• Nóng quá, ...

Nhưng ....
32

Tiền xử lý
33
Xử lý sai chính tả (Spell Correction)
Sai chính tả thì chính con người còn khó hiểu huống chi là máy
Rất tiế...

Giải quyết như thế nào ?
34

Bài toán sửa lỗi chính tả (Spell Correction)
• Phương pháp giải quyết đơn giản nhất
35
http://norvig.com/spell-correct.html

Bài toán sửa lỗi chính tả (Spell Correction)
36
Ưu điểm Hạn chế
Dễ dàng cài đặt Cần bộ từ điển tiếng Việt hoàn chỉnh(Để là...

Bài toán sửa lỗi chính tả (Spell Correction)
• Ứng dụng Deep Learning vào giải quyết bài toán
• Kỹ thuật sử dụng seq2seq (...

RNN là gì ?
• RNN = Recurrent neural network = Mạng nơ-ron hồi quy
• Là một thuật toán được chú ý rất nhiều bởi kết quả tố...

Ý tưởng của RNN
• Trong các mạng nơ-ron truyền thống tất cả các đầu vào và cả
đầu ra là độc lập với nhau.
• Nếu coi bài to...

RNN là gì ?
• Với những hạn chế của mạng nơ-ron truyền thống, RNN đã ra
đời.
40
Mạng nơ-ron hồi quy A(hidden layer)
Đầu ra...

RNN là gì ?
41
h(t) = f(U*x(t) + W*h(t-1) + b)
h1 = f(U*x1 + W*(h0) + b)
h0 = f(U*x0 + b)
h2 = f(U*x2 + W*(h1) + b))
f chí...

Ưu điểm của RNN
• Điểm nổi bật của RNN chính là ý tưởng kết nối thông tin phía trước để dự
đoán kết quả hiện tại.
• Ví dụ:...

Hạn chế của RNN
Ví dụ: Tôi sinh ra ở Đức nên tôi nói tiếng ...
43
Về mặt lý thuyết thì RNN có khả năng xử lý long-term dep...

Sự ra đời của LSTM(Long Short Term Memory)
• Được giới thiệu bởi Hochreiter & Schmidhuber (1997)
• Giải quyết được vấn đề ...

Sự ra đời của LSTM(Long Short Term Memory)
• Được giới thiệu bởi Hochreiter & Schmidhuber (1997)
• Giải quyết được vấn đề ...

LSTM là gì
• LSTM đưa vào mạng nơ-ron trạng thái nơ-ron (cell state ) để
lưu trữ và lan truyền các thông tin có ích (Giống...

LSTM là gì
47
LSTM có khả năng bỏ đi hoặc thêm vào các thông tin cần thiết cho trạng thái nơ-ron bởi các gate
Forget Gate ...

LSTM là gì
• B2: Bước này quyết định xem thông tin mới nào sẽ được lưu.
• Gồm 2 phần: input gate layer để quyết định giá t...

LSTM là gì
• B3:Cập nhật trạng thái nơ-ron cũ (old cell state)
49

LSTM là gì
• B4: Cuối cùng tính output. Chính là cell state nhưng vẫn có
sàng lọc.
• Xác định phần nào của cell state nên ...

Chốt lại LSTM là gì
• Về cơ bản LSTM không khác RNN nhiều
• Nhưng nhiều hidden layer hơn
• Mấu chốt ở bộ nhớ LSTM được gọi...

Tuy nhiên....
52

Kỹ thuật Bidirectional LSTM (BiLSTM)
• Liệu rằng từ hiện tại chỉ liên quan đến từ phía trước.
Ví dụ: Tối qua di chơi ở Hạ ...

Kỹ thuật Bidirectional LSTM (BiLSTM)
54
h(t) = h(t) + h(t)

Tuy nhiên LSTM thôi chưa đủ để giải quyết bài toán sửa lỗi
chính tả ....
55

Bản chất của LSTM
• Mặc dù input của LSTM, RNN có thể là sequence nhưng output
bản chất không phải là sequence
• Chính xác...

Sự ra đời của sequence-to-sequence
• RNN Encoder – Decoder/ LSTM Encoder – Decoder
57
Sequence to Sequence
Pha 1: Encoder ...

Sự ra đời của sequence-to-sequence
58
Sequence to Sequence
Pha 2: Decoder sẽ sinh lần lượt từng từ cho chuỗi đầu vào theo ...

Tuy nhiên nhược điểm của sequence to sequence là ...
59

Nhược điểm của seq2seq
61
• Seq2Seq yêu cầu LSTM decoder sử dụng toàn bộ thông tin encoder.
• Và đương nhiên là encoder cũ...

Xuất hiện của Decoder + Attention
62
hdec(t) = f(hdec(t-1), y(t-1), c(t) )
Attention đánh lại trọng số cho từng phần tử tr...

Tiến hành áp dụng thực tế
1. Chuẩn bị data
2. Tiền xử lý
3. Tạo data noise
4. Code model
5. Tiến hành training
6. Xem kết ...

Tiến hành áp dụng thực tế
• Data: http://viet.jnlp.org/download-du-lieu-tu-vung-corpus
~50MB
• Sử dụng tensorflow GPU
• Py...

Kết quả thực nghiệm
65

Kết quả thực nghiệm
66

Kết quả thực nghiệm
67

Kết quả thực nghiệm
68

Kết quả thực nghiệm
69

Kết quả thực nghiệm
70

Kết quả thực nghiệm
71

Kết quả thực nghiệm
72
Với những từ mới lại detect thành từ sai chính tả.

Kết quả thực nghiệm
73

Một số vấn đề gặp phải khi nghiên cứu
• Thời gian làm sạch data, tạo noise data mất nhiều thời gian.
• Thời gian nghiên cứ...

Phương hướng phát triển
• Nâng cao độ chính xác Model hiện tại
• Có thể thay đổi BagofWord bằng Word2Vec…
• Giải quyết bài...

Phần hỏi đáp
76

Share Slideshare

LinkedIn
Facebook
Twitter

Embed

Size (px)

Show related Slideshows at end

WordPress Shortcode

Link

Share
Email

2024 Trend Updates: What Really Wor... by Search Engine Jou... 1052471 views
Storytelling For The Web: Integrate... by Chiara Aliotta 967761 views
Artificial Intelligence, Data and C... by OECD Directorate ... 900577 views
How to Leverage AI to Boost Employe... by SocialHRCamp 380598 views
2024 State of Marketing Report – by... by Marius Sescu 215763 views
Everything You Need To Know About C... by Expeed Software 233752 views

View on Slideshare

1 of 77 Ad

View on Slideshare

1 of 77 Ad