Implementation of deep learning in urban form context

1. CRITICAL REVIEW
PL6265 URBAN ANALITICS

2. TRANSFER LEARNING IN URBAN FORM
https://www.sciencedirect.com/science/article/pii/S131915782100210X

3. Pendekatan klasifikasi secara
konvensional umumnya melakukan
ektraksi fitur secara terpisah kemudian
dilanjutkan proses pembelajaran
menggunakan metode klasifikasi
konvensional
Pendekatan klasifikasi berbasis Deep
Learning mempelajari representasi
hirarki (pola fitur) secara otomatis
melalui beberapa tahapan proses
feature learning
Kelemahan pendekatan konvensional:
• Memerlukan waktu dan pengetahuan lebih untuk ekstraksi fitur
• Sangat tergantung pada satu domain permasalahan saja sehingga
tidak berlaku general
CLASSICAL ML VS DEEP LEARNING

4. ❑ Deep learning adalah bagian dari algoritma
machine learning yang menggunakan layer
bertingkat (multiple layer) untuk
mengekstraksi fitur-fitur skala tinggi dari
data masukan [Deng & Yu, 2014].
❑ Sederhananya, deep learning adalah segala
hal yang menggunakan jaringan syaraf
dengan lebih banyak neuron, layer dan
interkoneksi.
❑ DL masih jauh dari kemampuan otak
manusia, namun DL sudah lebih mengarah
ke sana.
DEEP LEARNING

5. AI VS ML VS DL

6. 0
20
40
60
80
100
Month 2013-04 2015-10 2018-04 2020-10 2023-04
Source: Google Trends, Search term “Deep Learning”
Search for Deep Learning from 2010 to 2023
DEEP LEARNING MEREVOLUSI MACHINE LEARNING
DEEP LEARNING PERFORMANCE

7. T R A N S F E R L E A R N I N G
Pembelajaran transfer menawarkan sejumlah keuntungan:
• yang paling penting adalah pengurangan waktu pelatihan
• membutuhkan kumpulan data yang lebih kecil untuk pelatihan
• peningkatan kinerja jaringan saraf (di sebagian besar situasi)
• mempercepat pelatihan model dengan menggunakan beban yang
telah dilatih sebelumnya
• model dapat disesuaikan dengan kebutuhan spesifik,
memungkinkan kemampuan beradaptasi terhadap masalah baru.
• Transfer learning (TL) adalah teknik yang memanfaatkan model
yang sudah ditraining sebelumnya (pretrained model) untuk
digunakan mengklasifikasikan dataset yang baru sehingga tidak
perlu untuk melakukan training data dari awal.
• Umumnya pretrained model yang digunakan adalah model CNN
untuk klasifikasi gambar.

8. • Penelitian ini menggunakan teknik deep learning dengan pendekatan transfer
learning untuk mendeteksi dan memetakan permukiman kumuh di daerah
perkotaan dengan menggunakan citra satelit beresolusi tinggi (VHR) dan
menengah (MR).
• Para peneliti membuat dataset pelatihan dan melatih model untuk mendeteksi 4
kelas perkotaan di kota mumbai, yaitu:
1. Pemukiman kumuh
2. Area terbangun (selain pemukiman kumuh)
3. Area hijau
4. Badan air
• Kinerja klasifikasi model tersebut dievaluasi, dan penelitian ini menyediakan
teknik yang komprehensif untuk mendeteksi permukiman informal yang dapat
disesuaikan dan dapat diterapkan di kota manapun untuk mendeteksi berbagai
bentuk lahan.
S T U D I K A S U S : A B S T R A K

9. • Daerah kumuh menyediakan tenaga kerja yang lebih murah yang berkontribusi besar terhadap PDB.
• Permasalahn daerah kumuh biasanya memiliki kepadatan penduduk yang tinggi, perumahan di
bawah standar dan kurangnya fasilitas layanan utama.
• Pembangunan sosio-fisik permukiman seperti itu sering kali diabaikan karena lemahnya hukum dan
ketentuan dalam manajemen dan kebijakan perkotaan.
• Salah satu alasan utama pengabaian tersebut adalah tidak tersedianya peta permukiman kumuh
untuk mempelajari perubahan permukiman kumuh dan untuk secara aktif mengelola dan
menanggulangi pemukiman kumuh.
Isu Masalah
Tujuan dari penelitian ini adalah untuk menyelidiki kemampuan model CNN yang telah dilatih
sebelumnya dalam memetakan permukiman kumuh di seluruh wilayah kota pada citra VHR dan MR.
Penelitian ini menggunakan sampel pelatihan yang dikumpulkan secara manual dengan bantuan platform
Google Earth Pro dan membuat pendekatan klasifikasi citra secara bertahap yang mengarah pada
penggambaran batas permukiman kumuh. Hasil yang diperoleh dari proses pemetaan selanjutnya divalidasi
dengan batas-batas permukiman kumuh asli di kota tersebut.
Tujuan Penelitian
S T U D I K A S U S : I S U M A S A L A H D A N T U J U A N

10. A. Tipologi lahan yang umum terdapat
di kota Mumbai
B. Contoh-contoh dari sampel pelatihan
untuk set data VHR (Pleiades) dan MR
(Sentinel 2B)
S T U D I K A S U S : D ATA
1. Citra resolusi sangat tinggi
(VHR) Pleaiades-1A. Resolusi
spasial 0,5 meter.
2. Citra resolusi menengah
(MR) Sentinel-2B.Resolusi
spasial 10m-60m.
3. Peta permukiman kumuh
yang disediakan oleh
Pemerintah Daerah
pembangunan kota
setempat sebagai validasi

11. Fig 1. Convolutional Neural Network Architecture repurposed for Transfer Learning
A. Input
Susunan pixel n-Demensi
dalam bentuk gambar
(biasanya gambar 3-D RGB)
B. Convolutional Layer
Filter dalam bentuk matrik
dengan ukuran yng di tentukan
pengguna menangkap dan
mengektraksi fitur-fitur gambar
dan menyimpannya sebagai
tumpukan peta aktivasi.
C. Feature Learning From
Activation Map
Peta-peta ini terhubung dengan
lapisan max-pooling yang
membuat blok peta aktivasi
secara spasial menjadi lebih
kecil dengan meningkatkan
kedalamannya.
E. Classifikation Layer
Model yang sudah terlatih memanfaatkan
bobot yang tersimpan untuk mengevaluasi
serangkaian gambar baru. Set data baru baru
dilewatkan melalui semua lapisan dalam model
dan tepat sebelum lapisan klasifikasi actual.
D. Transfer Values
Nilai yang diperoleh mewakili fitur
gambar yang dipelajari oleh model
dari gambar input. Output dari
lapisan pra-klasifikasi juga disebut
sebagai nilai transfer
G. Modified Image Classification
Sebuah representasi baru dari data input dan
dapat dilatih dengan bantuan jaringan saraf
standar dengan label yang sesuai
S T U D I K A S U S : M A C H I N E L E A R N I N G A P P R O A C H

12. Fig. 4. Methodology of data
collection and the execution of
results
S T U D I K A S U S : M E T O D O L O G I

13. Sebaran titik sampel
Dataset pelatihan yang mencakup empat kelas
perkotaan:
1. Permukiman kumuh
2. Bangunan (tidak termasuk permukiman kumuh)
3. Hijau
4. Air
Sampel terdiri dari 1836 titik yang sudah diberi label untuk
mewakili empat kelas.
Tiap kelas terdiri dari sekitar 600 sampel.
S T U D I K A S U S : T R A I N I N G D ATA S E T C R E AT I O N

14. Hasil transfer value menggunakan t-SNE dan PCA.
Gambar A dan B hasil t-SNE dan PCA pada citra MR.
Gambar C dan D hasil t-SNE dan PCA pada citra VHR.
S T U D I K A S U S : T R A I N I N G , T E S T I N G A N D M O D E L P R E D I C T I O N S
Training
Tools: Python Keras dan Tensorflow dengan algoritma CNN
Tujuan: membuat model pretrained (dilatih dengan dataset)
Testing
Tools: Python library GDAL dan QGIS dengan bantuan Teknik
pengelompokan PCA dan t-SNE
Tujuan: mengelompokkan gambar dalam 4 kelas berdasarkan transfer
value
Model prediction
Tools: QGIS dengan algoritma ANN
Tujuan : menghitung akurasi dari model yang dihasilkan berupa VHR
(97,67%) dan MR (95,65%) dengan 2000 iterasi pelatihan.

15. • Gambar menunjukkan deteksi
permukiman kumuh pada citra satelit
MR dan VHR.
• Model ini secara akurat mendeteksi
klaster permukiman kumuh.
• Batas-batas yang terdeteksi pada
citra VHR menghasilkan garis-garis
yang jelas di sekitar permukiman
kumuh yang terdeteksi, sedangkan
citra MR menunjukkan hasil yang
lebih bergerigi.
• Efek tepi cukup lazim pada peta karena
dataset pelatihan tidak
mempertimbangkan sampel yang cukup
dari tepi batas fisik kelas yang berbeda.
S T U D I K A S U S : H A S I L
The reference slum map
from local government
Slum predictions
from VHR imagery
Slum predictions
from MR imagery

16. Peta prediksi pemukiman kumuh dengan VHR (kiri) dan MR (kanan).
S T U D I K A S U S : H A S I L ( 2 )

17. Discussion and Conclusions
• Penelitian ini melakukan investigasi kemampuan model transfer learning dalam
mendeteksi permukiman kumuh pada citra VHR dan MR.
• Nilai kappa yang diperoleh pada citra VHR 0,70
Nilai kappa yang diperoleh pada citra MR 0,55
• Kinerja citra MR dalam mendeteksi permukiman kumuh cukup memuaskan namun
ketepatan pengklasifikasi dalam mengidentifikasi batas-batasnya tidak sempurna.
• Peningkatan kualitas citra satelit dan pendekatan metode ensemble dalam pembelajaran
mesin dapat meningkatkan akurasi klasifikasi.
S T U D I K A S U S : D I S C U S S I O N A N D C O N C L U S I O N S