Multi-Layer Perceptron (Artificial Neural Network) Intelligent Systems

1. Multi-Layer Perceptron
y
p
(Artificial Neural Network)
Intelligent Systems

2. Pembahasan
• Adaline-Madaline
• Multi-Layer Perceptron (Backpropagation)

3. Adaline-Madaline
Adaline Madaline

4. Model ADALINE
• ADALINE = Adaptive Linear Neuron
• Diperkenalkan oleh Widrow dan Hoff (1960)
• Arsitektur menyerupai perceptron
– Neuron masukan dihubungkan langsung dengan sebuah
keluaran
• Terdapat pengembangan pada modifikasi bobot
– Bobot dimodifikasi dengan aturan delta (least mean square)

5. Arsitektur Jaringan ADALINE
g
•
•
Jaringan satu layer
– Beberapa neuron masukan
dihubungkan langsung dengan
sebuah neuron keluaran
– Ditambah satu buah bias
Fungsi aktivasi selama tahap pelatihan
menggunakan fungsi identitas :
net = ∑ xi wi + b
x1
x2
x3
y = f (net ) = net = ∑ xi wi + b
xn
Fungsi aktivasi dalam tahap pengenalan
pola :
1
i
•
i
⎧ 1, net ≥ 0
y = f (net ) = ⎨
⎩− 1, net < 0
w1
w2
w3
wn
b
y

6. Modifikasi Bobot
•
•
Bobot dimodifikasi sedemikian hingga error yang terjadi minimum
Error adalah kuadrat selisih antara target t dan keluaran jaringan y = f(net) :
Error = E = (t − f (net ))
2
⎛ ⎛
⎞⎞
⎜ t − ⎜ ∑ xi wi + b ⎟ ⎟
=⎜
⎟
⎠⎠
⎝ ⎝ i
2
– Error merupakan fungsi dari bobot wi
•
Kecepatan penurunan Error :
⎛ ⎛
∂E
⎞⎞
= −2⎜ t − ⎜ ∑ xi wi + b ⎟ ⎟ xi = −2(t − y )xi
⎟
⎜
∂wi
⎠⎠
⎝ ⎝ i
•
Maka per bahan bobot :
perubahan
Δwi = α (t − y )xi
– α adalah bil
d l h bilangan positif b il i k il ( umumnya = 0 1)
itif bernilai kecil (α
0,1)

7. Tahap Pelatihan
p
Algoritma pelatihan ADALINE
– Inisialisasi bobot, bias, learning rate dan toleransi kesalahan
wi = 0 (i=1, …, n), b=0, α umumnya bernilai kecil (= 0,1)
– Selama
maks Δwi > batas toleransi, lakukan
i
• Set aktivasi unit masukan : xi = si (i=1, …, n)
• Hitung respon unit keluaran : net dan y = f(net) = net
• Bila keluaran tidak sama dengan target (y ≠ t), perbaiki bobot dan
bias menurut persamaan :
wi(baru)=wi(lama) + Δwi
dimana Δwi = α (t-y) xi
b(baru) = b(lama) + α (t y)
(t-y)
(i=1, …, n),

8. Tahap Pengenalan Pola
p
g
•
Setelah proses pelatihan selesai, ADALINE dapat digunakan untuk
pengenalan pola
l
l
•
Fungsi aktivasi yang digunakan umumnya bipolar
– Berbeda dengan proses pelatihan yang menggunakan fungsi aktivasi identitas
•
Proses pengenalan pola menggunakan ADALINE :
– Inisialisasi bobot dan bias sesuai hasil pelatihan
– Untuk setiap masukan x, lakukan :
• Set aktivasi unit masukan : xi = si (i=1, …, n)
• Hitung respon unit keluaran :
net = ∑ xi wi + b
i
•
Kenakan fungsi aktivasi y :
⎧ 1, net ≥ 0
y = f (net ) = ⎨
⎩− 1, net < 0

9. Contoh Kasus 1 : F
C t hK
Fungsi L ik
i Logika
• Kasus :
– Gunakan model ADALINE untuk mengenali pola fungsi logika
AND
• Inisialisasi :
–
–
–
–
–
Representasi masukan dan keluaran bipolar
Bobot sinapsis dan bobot bias awal wi = 0, b = 0
Batas toleransi kesalahan = 0,05
Learning rate α = 0,1
Threshold θ = 0

10. Representasi Kasus
Tabel masukan - target fungsi logika AND :
Masukan
Target
x1
x2
bias
t
1
1
1
1
1
-1
1
-1
-1
1
1
-1
-1
-1
1
-1
Parameter pelatihan :
P
l ih
Learning rate α = 0,1
Batas toleransi = 0,05
Arsitektur jaringan ADALINE :
X1
X2
1
w1
w2
b
Y

11. Tahap Pelatihan (Epoch Pertama)
Masukan
x1
x2
Target
bias
Keluaran
t
net
Perubahan Bobot
y
ty
t-y
dw1
dw2
db
Bobot Baru
w1
w2
b
0
0
0
1
1
1
1
0
0
1
0,1
0,1
0,1
0,1
0,1
0,1
1
-1
1
1
-1
1
0,1
01
0,1
01
-1,1
11
-0,11
0 11
0,11
0 11
-0,11
0 11
-0,01
0 01
0,21
0 21
-0,01
0 01
-1
1
1
-1
0,21
0,21
-1,21
0,12
-0,12
-0,12
0,11
0,09
-0,13
-1
-1
1
-1
-0,33
-0,33
-0,67
0,07
0,07
-0,07
0,18
0,16
-0,2
2
•
Epoch pertama terdiri dari empat iterasi
i =1
•
Pada akhir epoch pertama, nilai maksimum
Δwi = 0,07 > toleransi
net = ∑ xi wi + b
y = f(net) = net
Δwi = α.(t-y).xi
wi(baru)=wi(lama)+ Δwi
b(baru) = b(lama) + α.t
– iterasi dilanjutkan pada epoch kedua

12. Tahap Pelatihan (Epoch Kedua)
Masukan
x1
x2
Target
bias
Keluaran
t
1
1
1
1
-1
1
1
-1
1
-1
1
1
-1
-1
-1
1
0,14
-1
y
ty
t-y
w1
w2
b
0,16
-0,2
0,26
0,24
-0,11
- 0 09 - 0 09 - 0 01 - 0 09
0,09
0,09
0,01
0,09
0,09
0 09
- 0 09
0,09
0,17
0 17
0,33
0 33
-0,2
02
- 0,04 - 0,04 - 0,96
0,1
-0,1
-0,1
0,27
0,24
-0,3
0,02
0,02
-0,02
0,29
0,26
-0,32
2
net = ∑ xi wi + b
•
i =1
Δwi = α.(t-y).xi
b(baru) = b(lama) + α.t
Pada akhir epoch kedua, nilai maksimum
Δwi = 0,02 < toleransi
– iterasi dihentikan dengan bobot terakhir
w1=0,29, w2=0,26 dan b= -0,32
y = f(net) = net
wi(baru)=wi(lama)+ Δwi
-0,2
0,09
db
0,09
-0,8
0,86
dw2
0,09
-0,8
0,14
dw1
Bobot Baru
0,18
1
net
Perubahan Bobot
•
Selanjutnya dilakukan tahap pengenalan
pola menggunakan bobot hasil pelatihan

13. Tahap Pengenalan Pola
Tabel masukan - keluaran fungsi logika AND :
Arsitektur jaringan ADALINE
Untuk masukan dan target bipolar :
Masukan
M
k
Keluaran
K l
x1
x2
1
x1
w2=0,26
y
b= -0,32
Fungsi aktivasi untuk θ = 0 :
net = ∑ xi wi + b
i
⎧ 1, net ≥ 0
y = f (net ) = ⎨
⎩− 1, net < 0
bias
net
y
1
w1=0,29
x2
1
1
0,23
1
1
-1
1
-0,29
-1
-1
1
1
-0,35
-1
1
-1
1
-1
1
0 87
-0,87
1
-1
Keluaran jaringan sama dengan
target yang ditetapkan
Pola telah dapat dikenali dengan
baik menggunakan bobot dari
tahap pelatihan

14. Pengaruh Perubahan α
•
Contoh kasus pengenalan pola fungsi logika AND diulangi dengan
mengubah learning rate α
– Learning rate α diperbesar dari 0,1 menjadi 0,2
Masukan
x1
x2
bias
Target
t
Keluaran
net
y
Perubahan Bobot
t-y
dw1
dw2
db
Bobot Baru
w1
w2
b
0
0
0
1
1
1
1
0
0
1
0,2
0,2
0,2
0,2
0,2
0,2
1
-1
1
1
-1
1
0,2
02
0,2
02
-1,2
12
-0,24
0 24
0,24
0 24
-0,24
0 24
-0,04
0 04
0,44
0 44
-0,04
0 04
-1
1
1
-1
0,44
0,44
-1,44
0,29
-0,29
-0,29
0,25
0,15
-0,33
-1
-1
1
-1
-0,73
-0,73
-0,27
0,05
0,05
-0,05
0,3
0,21
-0,38
Pada akhir epoch pertama, nilai maksimum Δwi = 0,05 = toleransi
iterasi dihentikan
Penggunaan α yang lebih besar dapat mempercepat iterasi
ggu aa
ya g b b a dapa
p
pa
a
Tetapi bila α terlalu besar dapat menyebabkan iterasi melompat
terlalu jauh sehingga melewati bobot optimalnya

15. MADALINE
•
•
MADALINE (many ADALINE)
adalah gabungan beberapa
ADALINE.
Hasilnya membentuk suatu
jaringan baru dengan sebuah
layer tersembunyi
1
1
b1
x1
w11
z1
w12
x2
z2
b2
1
v1
y
w21
w22
b3
v2

16. Multi-Layer Perceptron
(Backpropagation)

17. Pengantar
•
•
•
•
Jaringan syaraf tiruan (JST) adalah salah satu metoda
penyelesaian masalah dalam kecerdasan tiruan yang memiliki
karakteristik menyerupai jaringan syaraf biologis.
Seperti halnya pada jaringan syaraf biologis, JST tersusun dari
sejumlah sel syaraf (neuron) yang saling dihubungkan dengan
jalur koneksi (sinapsis).
JST menjanjikan dapat digunakan pada banyak aplikasi,
terutama untuk menyelesaikan masalah rumit yang sangat tidak
linier.
Umumnya, JST digunakan untuk pengenalan pola, pengolahan
sinyal dan peramalan

18. Arsitektur Jaringan Syaraf
•
•
Terdapat berbagai jenis jaringan syaraf tiruan yang masingmasing memiliki arsitektur, fungsi aktivasi dan perhitungan
proses yang berbeda, seperti jaringan Hebbian, Perceptron,
Adaline, Boltzman, Hopfield, Kohonen, Multi-layer Perceptron
(MLP), Learning Vector Quatization (LVQ), dan lainnya.
Dari seluruh jenis JST, metoda Multi-layer Perceptron (MLP)
atau yang juga disebut Backpropagation (BPN), merupakan
metoda yang paling populer digunakan karena terbukti mampu
untuk menyelesaikan berbagai macam masalah.

19. Multi-Layer Perceptron
•
Multi-layer perceptron atau backpropagation memiliki beberapa
y p
p
p p g
p
layer neuron. Selain input layer dan output layer, terdapat layer
lain yang disebut hidden layer.

20. Multi-Layer Perceptron
•
Tidak ada batasan banyaknya hidden layer dan jumlah neuron pada
setiap layernya. Setiap neuron pada input layer terhubung dengan
setiap neuron pada hidden layer Demikian juga setiap neuron pada
layer.
juga,
hidden layer terhubung ke setiap neuron pada output layer. Setiap
neuron, kecuali pada layer input, memiliki input tambahan yang disebut
bias. Bilangan yang diperlihatkan pada gambar di atas digunakan untuk
mengidentifikasi setiap node pada masing-masing layer.

21. Multi-Layer
Multi Layer Perceptron
•
Menghitung nilai-nilai keluaran suatu jaringan dimulai dengan
menyediakan beberapa masukan pada setiap neuron input. Kemudian,
masukan-masukan ini diberi bobot dan diteruskan ke neuron pada
p
hidden layer. Proses ini diulangi kembali, mulai dari hidden layer ke
output layer, dimana keluaran dari neuron hidden-layer merupakan
masukan ke layer output. Proses pergerakan dari input layer ke hidden
layer hingga ke output layer disebut proses propagasi maju (feed
(feedforward).

22. Multi-Layer Perceptron
•
Kemudian, jaringan dilatih agar keluaran jaringan sesuai dengan pola
pasangan masukan-target yang telah ditentukan. Proses pelatihan
adalah proses iteratif untuk mementukan bobot-bobot koneksi antara
neuron yang paling optimal. Kata backpropagation merujuk pada cara
bagaimana gradien perubahan bobot dihitung. Jaringan MLP yang
sudah dilatih dengan baik akan memberikan keluaran yang masuk akal
jika diberi masukan yang serupa (tidak harus sama) dengan pola yang
dipakai dalam pelatihan.

23. Penyelesaian Masalah dengan JST
Penyelesaian masalah menggunakan jaringan syaraf tiruan dilakukan
dengan tahap-tahap sebagai berikut :
•
Identifikasi masalah
–
•
Menyiapkan training data set
–
•
Tahap ini merupakan identifikasi masalah yang hendak diselesaikan dengan jaringan
syaraf tiruan, meliputi identifikasi jenis dan jumlah masukan serta keluaran pada
jaringan.
Training data set merupakan kumpulan pasangan data masukan-keluaran berdasarkan
pengetahuan yang telah dikumpulkan sebelumnya. Banyaknya data set harus
mencukupi dan dapat mewakili setiap kondisi y g hendak diselesaikan. Terbatasnya
p
p
p
yang
y
data set akan menyebabkan akurasi jaringan menjadi rendah.
Pemilihan metoda/algoritma jaringan syaraf tiruan
–
Pada tahap ini dilakukan pemilihan metoda yang paling cocok untuk menyelesaikan
masalah,
masalah seperti metoda Perceptron Adaline Backpropagation atau metoda lainnya
Perceptron, Adaline,
lainnya.

24. Penyelesaian Masalah dengan JST
•
Inisialisasi dan pembentukan jaringan
–
•
Tahap inisialisasi meliputi penentuan topologi, pemilihan fungsi aktivasi, dan pemilihan
fungsi pelatihan jaringan. Penentuan topologi adalah penentuan banyaknya hidden
layer dan penentuan jumlah neuron pada input layer, hidden layer dan output layer.
Fungsi aktivasi yang dapat digunakan diantaranya fungsi step (hardlim) sigmoid
(hardlim),
bipolar (logsig), sigmoid biner (tansig) atau fungsi identitas (purelin). Fungsi pelatihan
jaringan yang terdapat pada matlab diantaranya adalah traingdx (fungsi default pada
matlab), traingd, traingdm, traingda, trainrp, traincgf, traincgp, traincgb. Setiap fungsi
pelatihan jaringan memiliki metoda tersendiri dengan kecepatan pelatihan berbedabeda. Setelah inisialisasi dil k k
b d S t l h i i i li
i dilakukan, k
kemudian j i
di jaringan dib t k
dibentuk.
Simulasi jaringan
–
Simulasi jaringan dilakukan untuk melihat keluaran jaringan berdasarkan masukan,
bobot neuron dan fungsi aktivasinya.

25. Penyelesaian Masalah dengan JST
•
Pelatihan / training jaringan
–
•
Sebelum melakukan pelatihan, dilakukan penentuan parameter training terlebih
dahulu, seperti penentuan jumlah iterasi, learning rate, error yang diijinkan. Setelah itu
dilakukan pelatihan yang merupakan proses iteratif untuk menentukan bobot koneksi
antar neuron
neuron.
Menggunakan jaringan untuk pengenalan pola
–
Setelah pelatihan dilakukan, jaringan siap untuk digunakan untuk pengenalan pola.
Kemampuan jaringan dalam mengenal pola sangat bergantung dari bagaimana
jaringan t
j i
tersebut dil tih
b t dilatih.

26. Penutup
Pen t p
•
•
•
Jaringan syaraf tiruan cocok digunakan untuk menyelesaikan masalah
yang tidak linier, yang tidak dapat dimodelkan secara matematis.
Jaringan cukup belajar dari pasangan data masukan dan target yang
diinginkan, setelah itu jaringan dapat mengenali pola yang mirip
dengan masukan k tik dil k k pelatihan. K
d
k ketika dilakukan l tih
Karena it ki j
itu, kinerja
jaringan pun ditentukan oleh banyaknya pasangan data set selama
training.
Bila data training cukup banyak dan konsisten akurasi jaringan akan
konsisten,
tinggi, sebaliknya bila data training tidak memadai, akurasi jaringan
rendah. Selain data training, akurasi jaringan juga ditentukan oleh
pemilihan topologi yang tepat.
Proses pembentukan jaringan sangat melelahkan, dilakukan secara
terus menerus hingga diperoleh jaringan yang paling baik. Tetapi
setelah jaringan yang optimal ditemukan, proses pengenalan pola
dapat dilakukan secara cepat lebih cepat bila dibandingkan metoda
cepat,
lainnya.