Dokumen tersebut membahas pengantar mengenai deep learning, mulai dari pengertian artificial intelligence, machine learning, dan deep learning. Kemudian dibahas perbedaan pendekatan klasifikasi secara konvensional dan berbasis deep learning beserta contoh aplikasinya. Selanjutnya dibahas arsitektur deep learning seperti convolutional neural network (CNN) dan strategi pelatihannya.

1. DEPARTEMEN
TEKNIK INFORMATIKA

2. www.its.ac.id/informatika INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia
PENGANTAR
DEEP LEARNING
Kecerdasan
Komputasional
Chastine Fatichah

3. www.its.ac.id/informatika INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia
Artificial Intelligence
Machine Learning
Deep Learning

4. www.its.ac.id/informatika INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia
…
…
…
Input
Ekstraksi Fitur
Klasifikasi
Machine Learning (Konvensional)
Apel
Jeruk
Output
…
…
…
…
…
Ekstraksi Fitur + Klasifikasi
Deep Learning
Apel
Jeruk
Output
Input

5. Klasifikasi Secara Konvensional
www.its.ac.id/informatika INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia
• Pendekatan klasifikasi secara konvensional umumnya melakukan
ektraksi fitur secara terpisah kemudian dilanjutkan proses
pembelajaran menggunakan metode klasifikasi konvensional seperti DT,
SVM, atau ANN.
• Salah satu contoh permasalahan klasifikasi adalah pengenalan obyek
Praproses
Ekstraksi
Fitur
Klasifikasi Apel

6. Klasifikasi Secara Konvensional
www.its.ac.id/informatika INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia
o Warna
o Bentuk
o Tekstur
Ekstraksi Fitur
…
Apel
Jeruk
No Warna Bentuk Tekstur Kelas
1 Merah Bulat Halus Apel
2 Hijau Bulat Halus Apel
3 Kuning Lonjong Kasar Jeruk
…
N Hijau Lonjong Kasar Jeruk
Klasifikasi
Kelemahan
• Memerlukan waktu dan
pengetahuan lebih untuk
ekstraksi fitur
• Sangat tergantung pada satu
domain permasalahan saja
sehingga tidak berlaku
general
o Warna
o Bentuk
o Tekstur
o Ukuran
No Warna Bentuk Tekstur Ukuran Kelas
1 Merah Bulat Halus Besar Apel
2 Hijau Bulat Halus Sedang Apel
3 Kuning Lonjong Kasar Besar Jeruk
…
N-1 Hjiau Lonjong Kasar Sedang Jeruk
N Hijau Bulat Halus Kecil Jeruk

7. Berbasis Deep Learning
www.its.ac.id/informatika INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia
• Pengenalan obyek berbasis Deep learning mempelajari representasi hirarki (pola
fitur) secara otomatis melalui beberapa tahapan proses feature learning
…
…
…
…
…
Ekstraksi Fitur + Klasifikasi
Apel
Jeruk
Output
Input
Low-level
feature
Mid-level
feature
High-level
feature
Feature learning

8. Representasi Hirarki Fitur
www.its.ac.id/informatika INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia
• Hirarki pada representasi fitur menunjukkan kenaikan level dari abstraksi.
• Setiap tahapan merupakan proses feature learning pada transformasi fitur
Low-level feature Mid-level feature High-level feature
Kenaikan level abstraksi

9. www.its.ac.id/informatika INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia
Deep Neural Network
Output
Layer
Hidden Layers
Input
Layer
Input Output
Layer 1
……
N
x
……
Layer 2
……
Layer L
……
…….
…….
….…
……
y1
y2
yM
Layer 3
……
Layer 4
……
1
x
2
x
Deep artinya banyak hidden layer

10. www.its.ac.id/informatika INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia
Deep vs Shallow
Layer × Size
Word Error
Rate (%)
Layer × Size
Word Error
Rate (%)
1 × 2k 24.2
2 × 2k 20.4
3 × 2k 18.4
4 × 2k 17.8
5 × 2k 17.2 1 × 3772 22.5
7 × 2k 17.1 1 × 4634 22.6
1 × 16k 22.1
Seide, Frank, Gang Li, and Dong Yu. "Conversational Speech Transcription Using
Context-Dependent Deep Neural Networks." Interspeech. 2011.
Manakah yang lebih
baik?

11. www.its.ac.id/informatika INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia
Mengapa
Deep
Learning?

12. www.its.ac.id/informatika INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia
Arsitektur Deep Learning
• Convolutional Neural Network (CNN)
• Sequence Modelling
• Recurrent Neural Networks (RNN)
• Generative Modelling
• Generative Adversarial Network (GAN)
• Deep Reinforcement Learning

13. www.its.ac.id/informatika INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia
Aplikasi Convolutional Neural
Network
Deteksi Obyek
Segmentasi citra
Transfer style

14. www.its.ac.id/informatika INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia
Aplikasi Sequence Modelling

15. www.its.ac.id/informatika INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia
Aplikasi Generative Modelling

16. www.its.ac.id/informatika INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia
Aplikasi Deep Reinforcement
Learning

17. Convolutional Neural Network (CNN)
www.its.ac.id/informatika INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia
• CNN merupakan salah satu varian Neural Network dengan beberapa layer
konvolusi dan layer lainnya.
• Layer konvolusi mempunyai sejumlah filter yang mengaplikasikan operasi
konvolusi.
Input
Filter
Feature Map
Proses Konvolusi

18. Arsitektur
CNN
www.its.ac.id/informatika INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia
Convolution
Convolution
Flatten
Fully connected layer
mobil
motor
Bisa
dilakukan
berulang
kali
Max Pooling
Max Pooling

19. Layer
Konvolus
i
www.its.ac.id/informatika INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia
1 0 0 0 0 1
0 1 0 0 1 0
0 0 1 1 0 0
1 0 0 0 1 0
0 1 0 0 1 0
0 0 1 0 1 0
I
1 -1 -1
-1 1 -1
-1 -1 1
K
Proses Konvolusi
𝐼 ∗ 𝐾 𝑖, 𝑗 ==
𝑚 𝑛
𝐼 𝑚, 𝑛 𝐾(𝑖 + 𝑚, 𝑗 + 𝑛)
*

20. Proses
Konvolus
i
www.its.ac.id/informatika INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia
30 30 30 0 0 0
30 30 30 0 0 0
30 30 30 0 0 0
30 30 30 0 0 0
30 30 30 0 0 0
30 30 30 0 0 0
1 0 -1
1 0 -1
1 0 -1
0 30 30 0
0 30 30 0
0 30 30 0
0 30 30 0
* =
Citra
Filter
Convoluted
Feature

21. Proses
Konvolus
i
www.its.ac.id/informatika INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia
Ukuran Convoluted Feature (Feature Map)
Ukuran output gambar hasil proses konvolusi dapat
dihitung dengan rumus sebagai berikut:
Contoh:
((N - F)/s) + 1 stride =1  ((5-3)/1) + 1 = 3
N: input size stride= 2  ((5-3)/2) + 1 = 2
F: filter size
s: stride
Stride adalah besarnya step yang digunakan ketika melakukan sliding
filter

22. Layer
Konvolus
i
www.its.ac.id/informatika INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia
1 0 0 0 0 1
0 1 0 0 1 0
0 0 1 1 0 0
1 0 0 0 1 0
0 1 0 0 1 0
0 0 1 0 1 0
Citra 6 x 6
1 -1 -1
-1 1 -1
-1 -1 1
Filter 1
-1 1 -1
-1 1 -1
-1 1 -1
Filter 2
…
…
Tiap filter menangkap
sebuah pola (3 x 3)
Proses Konvolusi

23. Layer
Konvolus
i
www.its.ac.id/informatika INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia
Proses Konvolusi
1 0 0 0 0 1
0 1 0 0 1 0
0 0 1 1 0 0
1 0 0 0 1 0
0 1 0 0 1 0
0 0 1 0 1 0
Citra 6 x 6
1 -1 -1
-1 1 -1
-1 -1 1
Filter 1
3 -1 -3 -1
-3 1 0 -3
-3 -3 0 1
3 -2 -2 -1
stride=1

24. Layer
Konvolusi
www.its.ac.id/informatika INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia
Proses Konvolusi
1 0 0 0 0 1
0 1 0 0 1 0
0 0 1 1 0 0
1 0 0 0 1 0
0 1 0 0 1 0
0 0 1 0 1 0
Citra 6 x 6
3 -1 -3 -1
-3 1 0 -3
-3 -3 0 1
3 -2 -2 -1
-1 1 -1
-1 1 -1
-1 1 -1
Filter 2
-1 -1 -1 -1
-1 -1 -2 1
-1 -1 -2 1
-1 0 -4 3
stride=1
Dua citra 4 x 4
Membentuk 2 feature map
Feature
Map

25. Layer
Convolus
i
www.its.ac.id/informatika INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia
Padding
• Layer tambahan untuk menangani tepi dari citra untuk
menghindari hilangnya informasi pada corner sebuah
citra
• Zero Padding

26. Aktivasi
ReLU
www.its.ac.id/informatika INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia
•Rectified Linear Unit (ReLU)
•Komputasi cepat
•Infinite sigmoid
•Menangani vanishing gradient
𝑥
𝑎
𝑎 = 𝑥
𝑎 = 0
f 𝑥 = max(0, 𝑥)

27. Pooling
www.its.ac.id/informatika INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia
• Pooling layer digunakan untuk mengurangi ukuran
gambar menjadi lebih kecil (downsample) dan
mengekstrak salient features
• Ada dua tipe pooling yaitu Maximum pooling dan
Average pooling
Pooling with 2x2 filters and stride 2

28. Layer
Max
Pooling
www.its.ac.id/informatika INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia
Max Pooling
3 -1 -3 -1
-3 1 0 -3
-3 -3 0 1
3 -2 -2 -1
-1 -1 -1 -1
-1 -1 -2 1
-1 -1 -2 1
-1 0 -4 3
Feature Map

29. Full
Connected
Network
Layer
www.its.ac.id/informatika INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia
F
l
a
t
t
e
n
Fully Connected Network Output

30. Strategi Proses Pelatihan (Training)
www.its.ac.id INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia
overfitting
Mencegah
overfitting
Modifikasi Network
Memilih metode
optimasi
http://www.gizmodo.com.au/2015/04/the-basic-
recipe-for-machine-learning-explained-in-a-single-
powerpoint-slide/

31. Strategi Proses Pelatihan (Training)
www.its.ac.id INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia
Modifikasi Network
• Merubah arsitektur
• Merubah fungsi aktivasi
Memilih Metode Optimasi
• Adaptive learning rate
Mencegah Overfitting
• Dropout
• Augmentasi data

32. ADAPTIVE
LEARNING RATE
www.its.ac.id INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia
•Adagrad [John Duchi, JMLR’11]
•RMSprop
• https://www.youtube.com/watch?v=O3s
xAc4hxZU
•Adadelta [Matthew D. Zeiler, arXiv’12]
•Adam [Diederik P. Kingma, ICLR’15]
•AdaSecant [Caglar Gulcehre, arXiv’14]
Sumber: Hung-yi Lee, Deep Learning Tutorial

33. ADAPTIVE
LEARNING
RATE
www.its.ac.id INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia
parameter learning rate
𝑤𝑡+1 ← 𝑤𝑡 − ߟ𝑤𝑔𝑡
konstanta
𝜽𝒕
← 𝜽𝒕−𝟏
− 𝜼𝜵𝑪 𝜽𝒕−𝟏
Original Gradient Descent
Setiap parameter w
𝑔𝑡 =
𝜕𝐶 𝜃𝑡
𝜕𝑤
ߟ𝑤 =
𝜂
𝑖=0
𝑡
𝑔𝑖 2 Penjumlahan dari derivative
sebelumnya
ADAGRAD
Sumber: Hung-yi Lee, Deep Learning Tutorial

34. Dropout
www.its.ac.id/informatika INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia
• Dropout adalah cara untuk meregulasi parameter untuk
menghindari over-fitting sehingga model lebih general.
• Umumnya dilakukan pada fully connected layer
• Selama proses training, setiap iterasi sebelum menghitung
gradient
• Setiap neuron diset prosentase dropout p%
Struktur network berubah lebih ringan

35. Aplikasi CNN pada
Pengenalan Angka
www.its.ac.id/informatika INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia
● MNIST dataset dibagi menjadi 3 bagian:
○ 55,000 training data
○ 10,000 test data
○ 5,000 validation data
● Setiap gambar berukuran 28 × 28 pixels
● Label kelas berupa one hot encoded
MNIST Handwritten Digits
0 [1 0 0 0 0 0 0 0 0 0]
1 [0 1 0 0 0 0 0 0 0 0]
2 [0 0 1 0 0 0 0 0 0 0]
3 [0 0 0 1 0 0 0 0 0 0]
4 [0 0 0 0 1 0 0 0 0 0]
5 [0 0 0 0 0 1 0 0 0 0]
6 [0 0 0 0 0 0 1 0 0 0]
7 [0 0 0 0 0 0 0 1 0 0]
8 [0 0 0 0 0 0 0 0 1 0]
9 [0 0 0 0 0 0 0 0 0 1]

36. Aplikasi CNN pada
Pengenalan Angka
www.its.ac.id/informatika INSTITUT TEKNOLOGI SEPULUH NOPEMBER, Surabaya - Indonesia
MNIST Handwritten Digits
L1
(3x3)
filters
L2
(3x3)
filters
28x28 14x14 14x14 7x7xL2
28x28x1
1st Conv
Layer (16)
2nd Conv
Layer (32)
Max
Pooling
Layer
(2x2)
Max
Pooling
Layer
(2x2)
Dense
Layer (64)
Output
Layer (softmax)
6
Y1 Y2 Y3
X,y

37. Aplikasi CNN
pada
Pengenalan
Angka
www.its.ac.id/informatika
CNN dengan Keras
model = Sequential()
model.add(Conv2D(16,(3,3),activation='relu',input_shape=(28,28,1),padding='s
ame'))
model.add(MaxPooling2D(2,2))
model.add(Conv2D(32,(3,3),activation='relu',padding='same'))
model.add(MaxPooling2D(2,2))
model.add(Flatten())
model.add(Dense(64,activation='relu'))
model.add(Dense(10,activation='softmax'))

38. Aplikasi CNN
pada
Pengenalan
Angka
www.its.ac.id/informatika
CNN dengan Keras
model.compile(optimizer='adam',loss='categorical_crossentropy',metrics=['acc’])
history =
model.fit(X_train,y_train,epochs=10,batch_size=100,validation_data=(X_test,y_test))
model.evaluate(X_test,y_test)
acc = history.history['acc']
val_acc = history.history['val_acc']
epochs = range(10)
import matplotlib.pyplot as plt
plt.plot(epochs,acc,'r',label='training')
plt.plot(epochs,val_acc,'b',label='testing')
plt.legend()
pred = model.predict(X_test)
print('label actual:',np.argmax(y_test[0]))
print('label prediction:',np.argmax(pred[0]))

39. - TERIMA KASIH -