Natural Language Processing

1. 1
NLP (Natural Language Processing)
Diskusi Pertemuan 2
Nama : Hendro Gunawan
NIM : 200401072103
Kelas : IT701
Intusis NLP
Gambar 1. Natural Language Processing
Sumber: https://www.analyticsvidhya.com/blog/2021/07/understanding-natural-language-processing-a-
beginners-guide/
2.1 Intuisi
Selamat datang di pembelajaran NLP, kita akan memulai melakukan pemanasan dengan sebagian besar
tentang instuisi yang harus Anda pahami tentang cara kerja pemrosesan bahasa alami, apa itu processing
dan bagaimana melakukan proses data kita, kemudian kita akan melihat intuisi tentang bagaimana
beberapa arsitektur bekerja di belakang layar, dan banyak lagi.
2.2 Kotak Hitam

2. 2
Gambar 2.2.1. Chat GPT
Sumber: Natural Language Processing Sesi 2-Intuisi NLP Syahid Abdullah, S.i, M.Kom
• Pemrosesan bahasa alami adalah konsep memahami “bahasa alami” (yang pada dasarnya berarti
“bahasa manusia”) dan memastikan mesin dapat memahami “bahasa alami” itu. Tapi bagaimana bisa
mesin memahami bahasa manusia, apalagi menjawabnya seperti Chat GPT seperti pada gambar 2.1.1.
Gambar 2.2.2 The Mistery of NLP
2.3 Mesin Hanya Mengerti Angka
▪ Kami telah mempelajari pembelajaran mesin sejauh ini, dan apa salah satu penyederhanaan yang
paling berlebihan tetapi agak benar tentang pembelajaran mesin?
▪ Dalam hal menyimpulkan, pada dasarnya hanya kalkulator raksasa yang terus melakukan perkalian
matriks, aktivasi, dll
▪ Jadi ketika kita menghadap komputer kita untuk belajar tentang bahsa, kita perlu menug=bahnya
menjadi angkaterlebih dahulu.
▪ Untuk itu nanti kita akan belajar tentang:
1. Preprocesing
2. Tokenisasi
3. Penyematan Kata
Gambar 2.3.1 The Mistery of NLP
• Proses keajaiban (yang tentu saja akan kita pelajari lebih lanjut nanti), kita perlu mengubah proses
keluaran kembali ke Bahasa manusia ini sebagian besar menggunakan lapisan yang terhubung
sepenuhnya, hal-hal yang telah kita pelajari berulang kali, tidak terlalu rumit bukan?
2.4 Proses Menjawab
The Mistery of NLP
Ask
(1)
Magic
(2)
Answer
(3)
The Mistery of NLP
Ask
(1)
Converting
question to
number
(2)
Magic
(3)
Converting
answer to
human
language
(4)
Answer
(5)

3. 3
• Sekarang kita telah menemukan lebih banyak “keajaiban”. Secara umum keajaiban itu sendiri dapat
dibagi menjadi dua kategori:
1. Encoder (Bagian dimana model mencoba memahami pertanyaan)
2. Decoder (Bagian dimana model menemukan jawaban dan mengubah jawaban yang sebelumnya
hanya dapat dipahami oleh model kita kembali ke kata-kata manusia).
Gambar 2.4.1 The Mistery of NLP
Sumber: Natural Language Processing Sesi 2-Intuisi NLP Syahid Abdullah, S.i, M.Kom
2.5 Encoder
• Posisi Encoder dalam NLP adalah untuk “menyandikan konteks dari input manusia”, yang
diterjemahkan menjadi “membuat bahasa manusia agar dapat diterjemahkan oleh model”. Jadi untuk
banyak arsitektur meskipun arsitektur modern yang tidak memiliki lapisan encoder-encoder adalah
bagian dari “mengubah” input ke vector, array angka yang dapat diproses lebih lanjut setelah itu.
• Jadi sebuah kalimat dapat diringkas menjadi erray angka yang nantinya dapat diproses lebih lanjut
bahkan setiap kata dapat diringkas menjadi erray angka, yang disebut “Word Embeding” yang akan
kita pelajari setelah ini.
• Sebuah kalimat memiliki banyak kata, setiap kata memiliki susunan angka sendiri yang dapat
dipahami oleh mesin, encoder adalah cara untuk meringkas kata-kata itu menjadi susunan angka lain
yang merangkum seluruh makna kalimat.
2.6 Model NLP == Kalkulator Kompleks
• Jika Anda menjalankan kode di atas, Anda akan melihat bahwa kalimat di atas diterjemahkan ke
dalam angka yang nantinya dapat diproses lebih lanjut ke dalam model. Jadi dengan melihat susunan
matriks di atas semoga Anda dapat lebih mamahami bahwa dasar NLP pada dasarnya adalah banyak
dan banyak operasi matriks: ini pada dasarnya adalah kalkulator yang sangat kompleks.
2.7 Penyematan Kata – Dimana Setiap Kata Mengandung Banyak Konteks
• Setiap kata dalam NLP mengacu penyematan kata, penyematan kata pada dasarnya merupakan
susunan angka yang mewakili konteks kata, bahwa pada setiap penyematan kata dapat berisi ratusan
atau ribuan dimensi yang mengandung “konteks” yang berbeda.

4. 4
• Jadi kata seperti “kuda” misalnya, memiliki kata yang menyematkan yang merujuk pada kata yang
tepat yang kurang lebih terlihat seperti: “[0, 3213, 732 ..,943]”.
2.8 Penyematan Kata
• Untuk tidak berada di depan diri kita sendir, pertimbangkan ketika kita ingin menyelesaikan kalimat
di bawah ini:
“Andi berjalan ke ______-nya sendiri”
Tabel 1. Penyematan Kata
Sumber: Natural Language Processing Sesi 2-Intuisi NLP Syahid Abdullah, S.i, M.Kom
• Ketika kita melihat kalimat di atas, kita mungkin berbicara lebih banyak tentang
1. Tempat
2. Kendaraan
• Jadi kita akan menemukan dalam kata-kata yang mengandung nilai tinggi dalam dimensi yang
mengacu pada itu. Kita mungkin menemukan bahwa kata buku, kaca, mikrofon, telinga, dan mata
benar-benar tidak mungkin menjadi jawaban dari kalimat di atas, karena tidak terkait dengan tempat,
atau kendaraan, sehingga skornya harus sangat rendah atau bahkan anegatif.
• Tetapi untuk kata-kata seperti taman, mobil, dan rumah akan lebih mungkin untuk menyelesaikan
kalimat di atas, sehingga skornya akan lebih tinggi.
2.9 Word Embeding
• Jadi dalam NLP, multidimensionalitas mengacu pada setiap kata memiliki “kartu skor” mereka
sendiri yang berperilaku seperti sistem penilaian bagaimana dimensi mencerminkan konteks tertentu
sehingga ketika kita membutuhkan jawaban kita bisa “menemukannya dalam konteks yang dirujuk”.
• Tentu saja ini adalah intuisi tingkat tinggi yang akan kita pelajari lebih lanjut ketika kita menyentuh
penyematan kata.
• Perhatian: Pada kenyataannya penyematan kata mungkin tidak hanya berupa satu kata yang memiliki
penyematan tunggal, tetapi dapat dibagi lebih banyak menjadi “sub-kata”, yaitu “bagian kata”, sebuah
kata yang dibagi menjadi beberapa bagian seperti “hiking” dapat dibagi menjadi “mendaki”.
2.10 Satu kata pada satu waktu
10 0
0 10
0 0
Place Vehicle
House
Car
Eyes

5. 5
• Ketika kita berbicara tentang tanya jawab seperti model GPT, kita dapat melihat bahwa masukan kta
dijawab satu per satu.
• Ini hanya karena decoder kebanyakan bekerja pada satu kata pada satu waktu. Jadi setelah mereka
mendapatkan input yang dikodekan, itu akan memproses output apa yang menurutnya terbaik, satu
kata pada satu waktu.
• Setelah satu kata selesai, model akan memeriksa apakah itu kata terakhir atau tidak, jika tidak, maka
proses decoder selanjutnya dilanjutkan.
Gambar 2.10.1 The Mistery of NLP
2.11 Intuisi Proses End-to-end
Gambar 2.11.1 The Mistery of NLP
Sumber: Natural Language Processing Sesi 2-Intuisi NLP Syahid Abdullah, S.i, M.Kom
• Jadi diagram di atas adalah gambaran yang sangat rtinggi tentang intuisi NLP. Perjalanan kami dalam
mempelajari NLP, sebagian besar dapat dikategorikan ke dalam salah satu langkah di atas.
• Ingat bahwa beberapa arsitektur NLP hanya menggunakan kategorisasi di atas sampai “Memahami
pertanyaan”.
Founding the
answer
(1)
Converting from numbers to
human langauage, singgle
word of answer at a time
(2)
Finish answering
(3)
Is the answer finished
Decoder
The Mistery of NLP

6. 6
• Dalam arsitektur yang lebih klasik, konsep encoder tidak benar-benar ada, jadi konsep “Memahami
pertanyaan” tidak akan mengunakan encoder.
• Dalam arsitektur modern ada konsep yang disebut “Self-Attention” yang bahkan dapat melewati
seluruh konsep “Encoder” dan langsung ke “Decoder”.
Terima kasih
Referensi
Syahid Abdullah, S. M. (2023, Oktober 29). Natural Language Processing. Diambil kembali dari Edlink
Universitas Siber Asia: https://edlink.id/panel/classes/563118
Website