ANN untuk Klasifikasi Gambar

www.its.ac.id INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia
Artificial Neural
Networks

Capaian Pembelajan
Mahasiswa mampu menjelaskan konsep klasifier dengan fungsi diskriminan linear
maupun non-linear.

Facial recognition Real-time translation Fashion recommendation

Artificial Neural Network

Deep Learning
Machine Learning

Σ f()
Neuron
inputs
w1
w2
w3
w4
w5
w6
Activation function
Summing function
Output
Input weights
Jaringan saraf biologis Jaringan saraf tiruan
Soma Neuron
Dendrite Input
Axon Output
Synapse Weight

Output

Neurons

Input Layer

Output Layer

Hidden Layer

28 piksel
28 piksel

28 piksel
28 piksel
28 × 28 = 784 pixels

𝑥1
𝑥2
𝑥3
𝑥4
𝑥784
𝑥783
𝑥782
𝑥781
28 × 28 = 784 pixels
Channel
0.6
0.1
0.3
0.4
0.2
0.9
0.8
0.5
0.7
𝑥1 ∗ 0.6 + 𝑥3 + 0.8
𝐵1
𝐵2
𝐵3
𝐵4
𝐵5
𝐵6
𝐵7
+𝐵1 Activation function
0.6
0.4
0.9
0.2
0.3
0.1
0.7
0.9
0.7
0.8
0.2
0.5
0.7
0.6
0.2
Forward propagation
Actual
output
Error
0
1
0
-0.4
+0.7
-0.2
Back propagation

Neuron
• Unit pemrosesan informasi dasar dari Neural Network
• Satu set link, menjelaskan input neuron, dengan bobot 𝑤1, 𝑤2, … , 𝑤𝑚
• Fungsi penambah, adder function, (penggabung linier) untuk menghitung
jumlah bobot input:
𝑓 =
𝑖=1
𝑖=𝑚
𝑤𝑖𝑥𝑖
• Activation function 𝑎(∙)
𝑦 = 𝑎(𝑓)

Neuron
Apa yang bisa dilakukan neuron

Neuron
• A hard limiter
• A binary threshold unit
• Hyperspace separation
x1
x2
1
0
x1 x2

b
y
w1 w2
𝑓 𝜇𝑖 = 𝑤1𝑥1 + 𝑤2𝑥2 − 𝑏
𝑦 =
1 𝑓(𝜇1) ≥ 0
0 𝑜𝑡ℎ𝑒𝑟𝑤𝑖𝑠𝑒

Activation Function
Membuat neural network menjadi non-linear

Linear vs. Non-linear
Linear Linear Non-linear

Permasalahan Non-linear
L1
L2
L3

Activation Function
• Linear function
𝑎 𝑓 = 𝑓
• Step function


 

otherwise
0
if
1
)
(
t
f
f
a

Activation Function
• Sigmoid function
)
exp(
1
1
)
(
f
f
a
















 


2
2
1
exp
2
1
)
(




f
f
a
• Gaussian function

Activation Function
• Tanh • ReLU
tanh 𝑥 = 2𝜎 2𝑥 − 1 𝑓 𝑥 = max(0, 𝑥)

Algoritma Single Layer Perceptron vs. Multi Layer Perceptron
. . .
. . .
. . .
. . .
x1 x2 xm
y1 y2 yn
Hidden Layer
Input Layer
Output Layer
. . .
x1 x2 xm
y
Input Layer
Output Layer
Single Layer Perceptron Multi Layer Perceptron

Algoritma untuk Pelatihan ANN
• Inisialisasi bobot (w0, w1, …, wk)
• Sesuaikan bobot sedemikian rupa sehingga keluaran ANN konsisten
dengan label kelas dari contoh pelatihan
Fungsi objektif
y – keluaran yang diamati
t – keluaran target
Temukan bobot wi yang meminimalkan fungsi objektif di atas
2
1
)
)
(
)
(
(
2
1
)
( 



K
k
k
k x
t
x
y
x
E




Algoritma backpropagation untuk Single-Layer Perceptron
• Langkah 0 – Inisialisasi weights (w0, w1, …, wn), m = 0, learning rate , dan threshold t
• Langkah 1 – Lakukan m = m + 1
• Langkah 2 – Pilih pola Xm
• Langkah 3 – Hitung keluaran
• Langkah 4 – Hitung error atau delta  = d – o, di mana
• Langkah 5 – Perbarui nilai tiap bobot
• Langkah 6 – Ulangi sampai w konvergen
• Langkah 7 – Kembalikan nilai w
t
X
w
X
w
f
i
i
i
i
i 
 
)
,
(
)
( f
a
o 


 i
i
old
new X
w
w 

)
(
)
(

Algoritma backpropagation untuk Multi-Layer Perceptron
• Langkah 0 – Inisialisasi weights (w0, w1, …, wn), m = 0, learning rate , threshold t, dan
variabel sigmoid 
• Langkah 1 – Lakukan m = m + 1
• Langkah 2 – Pilih pola Xm
• Langkah 3 – Hitung keluaran oj and ok
• Langkah 4 – Hitung error atau delta k and j
• Langkah 5 – Perbarui nilai tiap bobot dan
• Langkah 6 – Ulangi sampai w konvergen
• Langkah 7 – Kembalikan nilai w
)
( f
a
o 


 i
j
old
ij
new
ij X
w
w 

)
(
)
(


 j
k
old
kj
new
kj o
w
w 

)
(
)
(

Desain ANN
Jumlah layer
Jumlah neuron di hidden layer
Jumlah neuron di output layer

Desain ANN
Jumlah layer
Lebih sedikit jumlah layer, lebih cepat dalam eksekusi dan pelatihan

Desain ANN
Hidden node yang lebih banyak memungkinkan untuk mempelajari pola yang
lebih rumit
Untuk menghindari overtraining, lebih baik menggunakan hidden node dengan
jumlah yang rendah dan kemudian meningkatkan jumlahnya

Pelatihan ANN
Overtraining
Training set
Test set
Performance
Training time

Desain ANN
 Antara ukuran input layer dan ukuran output layer
 2/3 dari ukuran input layer, ditambah ukuran output layer
 Kurang dari dua kali ukuran input layer

Desain ANN
Jumlah neuron di output layer
Regresi
Satu neuron
Klasifikasi
Binary class: satu neuron
Multi class: lebih dari satu neuron

Pelatihan ANN
Dataset
Training set Test set

Pelatihan ANN
1. Apakah akan berhenti?
2. Ke arah mana untuk melanjutkan?
3. Berapa lama langkah yang harus diambil?
Apakah kriterianya memuaskan?
Contoh dengan gradient descent.
: learning rate

Rangkuman
• Konsep ANN
• Single-layer perceptron
• Multi-layer perceptron
• Algoritma packpropagation
• Penerapan ANN

- TERIMA KASIH -

Contoh Soal dan Penyelesaiannya

Contoh #1 - Forward Propagation
0
1
2
3
4
-4.8
-5.2
4.6
5.1
5.9
5.2 -2.7
-2.6
-3.2
B i a s
Input (0, 0)
• Activation pada node 2
𝜎(-4.8  0 + 4.6  0 - 2.6) = 0.0691
𝜎(5.1  0 – 5.2  0 – 3.2) = 0.0392
𝜎(5.9  0.0691 + 5.2  0.0392 – 2.7) = 0.110227

Contoh #2 – Forward dan Back Propagation (1/17)
i1
i2
h1
h2
o1
o2
0.15 w1
0.20 w2
0.25 w3
0.30 w4
0.40 w5
0.45 w6
0.50 w7
0.55 w8
b1 b2
0.35 0.60
0.01
0.99
• i1 = 0.05, i2 = 0.10
• w1 = 0.15, w2 = 0.20
• w3 = 0.25, w4 = 0.30
• b1 = 0.3
• w5 = 0.4, w6 = 0.45
• w7 = 0.5, w8 = 0.55
• b2 = 0.6
• o1 = 0.01, o2 = 0.99

𝑛𝑒𝑡ℎ1
= 𝑤1 × 𝑖1 + 𝑤2 × 𝑖2 + 𝑏1 × 1
= 0.15 × 0.05 + 0.2 × 0.1 + 0.35 × 1
= 0.3775
Gunakan fungsi logistik untuk mendapatkan output
𝑜𝑢𝑡ℎ1
=
1
1 + 𝑒−𝑛𝑒𝑡ℎ1
=
1
1 + 𝑒−0.3775
= 0.5933
dan melakukan proses yang sama untuk ℎ2, kita mendapatkan
𝑜𝑢𝑡ℎ2
= 0.5969

𝑛𝑒𝑡𝑜1
= 𝑤5 × 𝑜𝑢𝑡ℎ1
+ 𝑤6 × 𝑜𝑢𝑡ℎ2
+ 𝑏2 × 1
= 0.40 × 0.5933 + 0.45 × 0.5969 + 0.6 × 1
= 1.1059
Gunakan fungsi logistik untuk mendapatkan output
𝑜𝑢𝑡𝑜1
=
1
1 + 𝑒−𝑛𝑒𝑡𝑜1
=
1
1 + 𝑒−1.1059
= 0.7514
dan melakukan proses yang sama untuk 𝑜2, kita mendapatkan
𝑜𝑢𝑡𝑜2
= 0.7729

Perhitungan total error
𝐸𝑡𝑜𝑡𝑎𝑙 =
1
2
𝑡𝑎𝑟𝑔𝑒𝑡 − 𝑜𝑢𝑡𝑝𝑢𝑡 2
𝐸𝑜1
=
1
2
𝑡𝑎𝑟𝑔𝑒𝑡 − 𝑜𝑢𝑡𝑝𝑢𝑡 2
=
1
2
0.01 − 0.7514 2
= 0.2748
𝐸𝑜2
= 0.0236
𝐸𝑡𝑜𝑡𝑎𝑙 = 𝐸𝑜1
+ 𝐸𝑜2
= 0.2748 + 0.0236 = 0.2984

Output layer
Mempertimbangkan 𝑤5
𝜕𝐸𝑡𝑜𝑡𝑎𝑙
𝜕𝑤5
𝜕𝑤5
=
𝛿𝐸𝑡𝑜𝑡𝑎𝑙
𝛿𝑜𝑢𝑡𝑜1
×
𝛿𝑛𝑒𝑡𝑜1
×
𝛿𝑤5
Turunan parsial 𝐸𝑡𝑜𝑡𝑎𝑙 terhadap 𝑤5
+ 𝐸𝑜2
𝐸𝑜1
=
1
2
𝑡𝑎𝑟𝑔𝑒𝑡𝑜1
− 𝑜𝑢𝑡𝑜1
2
𝑜𝑢𝑡𝑜1
=
1
𝑛𝑒𝑡𝑜1
+ 𝑏2 × 1

𝜕𝑤5
=
×
×
𝛿𝑤5
+ 𝐸𝑜2
=
1
2
2
+
1
2
2
= 2 ×
1
2
2−1
× −1 + 0
= − 𝑡𝑎𝑟𝑔𝑒𝑡𝑜1
= − 0.01 − 0.7514
= 0.7414

𝜕𝑤5
=
×
×
𝛿𝑤5
𝑜𝑢𝑡𝑜1
=
1
= 𝑜𝑢𝑡𝑜1
(1 − 𝑜𝑢𝑡𝑜1
)
= 0.7514(1 − 0.7514)
= 0.1868
𝑑
𝑑𝑥
𝑓 𝑥 =
𝑒𝑥 1 + 𝑒𝑥 − 𝑒𝑥𝑒𝑥
(1 + 𝑒𝑥)2
=
𝑒𝑥
(1 + 𝑒𝑥)2
= 𝑓(𝑥)(1 − 𝑓 𝑥 )
𝑓 𝑥 =
1
1 + 𝑒−𝑥
=
𝑒𝑥
1 + 𝑒𝑥

𝜕𝑤5
=
×
×
𝛿𝑤5
𝑛𝑒𝑡𝑜1
+ 𝑏2 × 1
𝛿𝑤5
= 1 × 𝑜𝑢𝑡ℎ1
× 𝑤5
(1−1)
+ 0 + 0
= 𝑜𝑢𝑡ℎ1
= 0.5933

𝜕𝑤5
=
×
×
𝛿𝑤5
= 0.7414 × 0.1868 × 0.5933
= 0.0821

• Perbarui bobot
• Untuk mengurangi error, kurangi nilai berikut dari bobot saat ini
𝑤5
+
= 𝑤5 − 𝜂 ×
𝜕𝑤5
= 0.4 − 0.5 × 0.0821 = 0.3589
𝑤6
+
= 0.4087
𝑤7
+
= 0.5113
𝑤8
+
= 0.5614

Hidden layer
Dengan mempertimbangkan 𝑤1
𝜕𝑤1
=
𝛿𝑜𝑢𝑡ℎ1
×
𝛿𝑛𝑒𝑡ℎ1
×
𝛿𝑤1
𝜕𝑜𝑢𝑡ℎ1
=
𝛿𝐸𝑜1
+
𝛿𝐸𝑜2
𝛿𝐸𝑜1
=
𝛿𝐸𝑜1
×
×
+ 𝐸𝑜2
𝐸𝑜1
=
1
2
2
𝑜𝑢𝑡𝑜1
=
1
𝑛𝑒𝑡𝑜1
+ 𝑏2 × 1

𝜕𝑤1
=
×
×
𝛿𝑤1
=
𝛿𝐸𝑜1
+
𝛿𝐸𝑜2
𝛿𝐸𝑜1
=
𝛿𝐸𝑜1
×
×
=
𝛿𝐸𝑜1
×
= 0.1385 × 0.40 = 0.0554
𝛿𝐸𝑜2
= −0.01905
=
𝛿𝐸𝑜1
+
𝛿𝐸𝑜2
= 0.05540 + −0.01905 = 0.03635

𝜕𝑤1
=
×
×
𝛿𝑤1
𝑜𝑢𝑡ℎ1
=
1
1 + 𝑒−𝑛𝑒𝑡ℎ1
= 𝑜𝑢𝑡ℎ1
(1 − 𝑜𝑢𝑡ℎ1
)
= 0.5933(1 − 0.5933)
= 0.24130

𝜕𝑤1
=
×
×
𝛿𝑤1
𝑛𝑒𝑡ℎ1
= 𝑤1 × 𝑖1 + 𝑤2 × 𝑖2 + 𝑏1 × 1
𝛿𝑤1
= 𝑖1
= 0.05

𝜕𝑤1
=
×
×
𝛿𝑤1
= 0.03635 × 0.24130 × 0.05
= 0.00044

Sekarang kita dapat melakukan update pada 𝑤1
𝑤1
+
= 𝑤1 − 𝜂 ×
𝜕𝑤1
= 0.15 − 0.5 × 0.00044 = 0.14978
𝑤2
+
= 0.19956
𝑤3
+
= 0.24975
𝑤4
+
= 0.29950

• Akhirnya, kita telah memperbarui semua bobot!
• Ketika kita memasukkan input 0,05 dan 0,1 melalui forward
propagation, kesalahan adalah 0,2984
• Setelah putaran pertama melalui back propagasi mundur, total
kesalahan turun menjadi 0,2910
• Ini mungkin tidak terlihat banyak, tetapi setelah mengulangi proses
ini sebanyak 10.000 kali, misalnya, kesalahannya merosot menjadi
0,0000351085

ANN untuk Klasifikasi Gambar

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to ANN untuk Klasifikasi Gambar

Similar to ANN untuk Klasifikasi Gambar (16)

More from Eri Zuliarso

More from Eri Zuliarso (7)

ANN untuk Klasifikasi Gambar

Editor's Notes