3. APA ITUNEURAL
NETWORKS
Neural Networks memiliki
kemampuan untuk
memodelkan dan memahami
pola-pola kompleks dalam data.
•Neural Networks adalah
konsep utama dalam
kecerdasan buatan yang
terinspirasi oleh struktur
dan fungsi jaringan saraf
manusia.
•Model Neural Networks
terdiri dari neuron buatan
yang tersusun dalam
lapisan-lapisan.
Penerimaan
Pengiriman
•Dapat mengekstraksi
fitur-fitur berguna dari
data mentah dan
digunakan dalam
berbagai tugas seperti
klasifikasi gambar,
pengenalan suara,
dan prediksi.
•Proses pelatihan
Neural Networks
melibatkan
Forwardpropagation
untuk menghasilkan
output dan
Backpropagation
untuk mengoreksi
bobot-bobot agar
prediksi lebih akurat.
4. Forward
Propagation
Step 1
TAHAP PERTAMA DALAM MENGOPERASIKAN JARINGAN SARAF
TIRUAN
Step 2
DATA INPUT DIBERIKAN KE JARINGAN, DAN INFORMASI
MENGALIR MAJU MELALUI BERBAGAI LAPISAN NEURON
Step 3
MENGHITUNG KOMBINASI BOBOT DAN INPUT
Step 4
MENGIRIMKAN HASILNYA KE NEURON BERIKUTNYA
6. Contoh
Forward
Propagation
Forward propagation adalah proses perhitungan secara “maju” dari input
(disimbolkan x) hingga diperoleh output model (disimbolkan y). Misal pada
ilustrasi di bawah, adalah proses forward propagation dari input x menuju y.
Untuk perhitungannya, nilai y1 diperoleh dengan menghitung nilai z1 terlebih dahulu
(perhitungan linier).
Setelah diperoleh z1 , output prediksi y11 diperoleh dengan menerapkan fungsi aktivasi
terhadap z1
Perhitungan untuk semua y secara umum bisa menggunakan rumus:
7. Contoh
Forward
Propagation
Misalkan kita memiliki sebuah input X=[1,2,0.5] dengan nilai bobot dan bias
di awal adalah sebagai berikut (nilai awal bobot dan bias adalah nilai random,
saya susun seperti matrix agar mudah):
Langka pertama forward propagation adalah menghitung nilai z. Pada contoh ini
dapat kita hitung nilai z1 adalah:
Lalu setelah itu kita hitung nilai y1:
8. Contoh
Forward
Propagation
Dengan cara perhitungan yang sama dengan di atas dapat diperoleh juga nilai y2 adalah 0.645.
Sampai sini, mungkin sebelum lanjut coba berhenti sebentar dan dipahami lagi prosesnya
bagaimana bisa mendapatkan semua nilai y.
Dari perhitungan sebelumnya diperoleh nilai sebagai berikut:
misalnya untuk data X di atas kita ingin model kita seharusnya bernilai berikut (variabel t adalah
nilai target label kelas yang sebenarnya):
Kita bisa menghitung seberapa melenceng prediksi kita menggunakan rumus untuk menghitung
error. Salah satunya adalah dengan rumus Mean Square Error (MSE):
Sehingga untuk perhitungan kita di atas, dapat dihitung error E yang dihasilkan adalah sebesar:
9. Backward
Propagataion
Algoritma yang digunakan
untuk menghitung gradien
(perubahan) dari fungsi
kesalahan dalam jaringan
saraf. Ini memungkinkan
jaringan untuk "belajar"
dari data pelatihan dengan
menyesuaikan bobot dan
bias.
10. Contoh
Backward
Rumus utama untuk memperbaiki suatu bobot w berdasarkan error E adalah:
Rumus ini juga berlaku untuk memperbaiki nilai bias:
Simbol α pada rumus di atas adalah learning rate, sebuah konstanta (biasanya antara 0-1) yang
menentukan seberapa cepat proses pembelajaran model dilakukan. Di artikel ini kita akan
menggunakan nilai α=0.5=0.5. Sedangkan simbol ∂E∂w∂∂ atau dibaca “turunan
parsial E terhadap w” adalah proses mencari nilai turunan E terhadap variabel yang akan
diperbarui, dalam contoh ini w. Proses mencari turunan inilah yang lebih tepat disebut
backpropagation.
11. Contoh
Backward
(Konsep
Chaining)
Untuk menghitung ∂E∂w∂∂, pertama-tama kita coba berjalan mundur dulu.
Nilai E diperoleh dari rumus Mean Square Error:
dari rumus di atas tidak ada variabel w11 tetapi kita bisa coba “jalan mundur” lagi. Kita
ingat-ingat lagi dari mana nilai setiap variabel y berasal.
12. Contoh
Backward
(Konsep
Chaining)
Variabel y diperoleh dari menerapkan sebuah fungsi aktivasi terhadap variabel z.
Sedangkan, variabel z sendiri dihitung dengan:
dari sini terlihat variabel w11 ada di perhitungan z1 yang secara tidak langsung
berpengaruh ke nilai E. Hal ini yang disebut dengan chaining atau rantaian.
13. Contoh
Backward
(Dasar
Turunan)
DASAR TURUNAN
Setelah kita memahami hubungan E dan w11 langkah selanjutnya adalah kita pahami
bagaimana dasar menghitung turunannya. Disini kita menggunakan turunan parsial yang
bedanya dengan turunan biasa adalah fungsi bisa mengandung lebih dari satu variabel.
Contoh:
15. Gradient Descent adalah metode optimisasi yang umum digunakan
dalam machine learning dan deep learning
metode umum dalam machine
learning dan deep learning
untuk mengoptimalkan
parameter model secara iteratif,
mencapai nilai
minimum/maksimum fungsi
kesalahan dengan mengikuti
gradien.
MACHINELEARNING
Gradient Descent digunakan
untuk mengatur parameter
seperti bobot dan bias,
memungkinkan jaringan saraf
untuk belajar dari data pelatihan
dan meningkatkan kinerjanya
dengan mengikuti gradien yang
menurunkan kesalahan secara
berulang.
PELATIHANMODEL
GRADIENT
DESCENT
16. KORELASI GRADIENTDAN
BACKPROPAGATIONT
Korelasi Gradient adalah informasi penting yang digunakan oleh algoritma
backropagationt dalam pelatihan jaringan saraf
Dalam "backpropagation,"
jaringan saraf menghitung
gradient kesalahan terhadap
parameter.
Gradientdalam
Backpropagation
Dalam "backpropagation,"
gradient digunakan untuk
mengatur parameter jaringan
dengan mengikuti gradien
kesalahan. Ini memungkinkan
jaringan untuk belajar dari data
pelatihan dan meningkatkan
kinerjanya seiring berjalannya
waktu.
PEMBELAJARAN
17. TRAININGPROCESS
ForwardPropagation
o Data inputdisebarkan dari layer
inputkelayeroutput
o Setiapneuronmenghitung hasil
aktivasi berdasarkan bobot dan
biasnya
o Informasumengalirmaju melalui
setiap layer
o Menghasilkan output prediksi
berdasarkan parametersaat ini
Backpropagation
o Mengukur kesalahanprediksi
dibandingkan dengannilaiyang
seharusnya
o Menghitunggradien kesalahan
terhadapparameterjaringan (bobot
danbias)
o Meningkatkan kinerjajaringan
seiringberjalannyawaktu