Undergraduate Thesis Presentation

GiaMuhammad | Jakarta, 8th October 2012
Department of Computer Science, Faculty of Science and Technology - State Islamic University (UIN) Syarif Hidayatullah Jakarta
Thegood researcheris not “one who knows the right answers”
But
“one who is struggling to find out what the right questions mightbe”
(Phillips and Pugh, 2005)
“research is what i'm doing when i don't knowwhat i'mdoing” (wernhervon braun)

SIDANG HASIL PENELITIAN
Tracking QR Code Augmented Reality dengan Penggabungan
MarkerTradisional berbasis Backpropagation Neural Network
QR CODE AUGMENTED REALITY TRACKING WITH MERGING ON TRADITIONAL MARKER BASED
BACKPROPAGATION NEURAL NETWORK
OLEH
GIA MUHAMAD AGUSTA
109091000144

LatarBelakang
Objek Penelitian
Mengapa QR Code Augmented Reality?
QR Code Augmented Reality (QRAR) adalah Augmented Reality (AR) yang
menerapkanQR Code sebagai marker-based untuk melakukan tracking.
DenganQRCode...
o tidak memerlukan proses pre-registration
o memiliki jumlah kombinasi ID-encodedsebesar 107089
o dapat digunakan pada aplikasi AR yang publik
(Kan,Teng, &Chou, 2009)

LatarBelakang
Objek Penelitian
Mengapa Tracking?
o Sebuah marker memerlukan ukuran yang tidak kecil agar mudah melakukan
tracking;
o marker-basedtrackingmemiliki komputasi yang rendah dan;
(Siltanen,2012)
o memerlukan 6 Degree of Freedom (6DOF) pose tracking secara real-time dan
akurat
(Wagner&Schmalstieg, 2007)

LatarBelakang
Kelebihan dan KelemahanPada Metode yangada
Deteksi QRFP dengan mekanisme perhitungan yang sederhana (Kan,
Teng,&Chou, 2009)
o memiliki kecepatan trackingyang cukuprendah
o memiliki keterbatasan 6DOF Posetracking;
o border pada QRFP yang sangat tipis untuk mendeteksi ketiga QRFP secara
bersamaan pada kondisi perspektif dan;
o Titik temu antara dua garis persamaan yang keluar dari QRFP juga memiliki
ketidak-stabilan dikarenakan terlalu kecilnya QRFP dibandingkan ukuran
markerpada biasanya

LatarBelakang
Contour Filtering (Wang,Shyi, Hou,&Fong,2010)
o Deteksi dengan memiliki langkah yang sederhana
o Memiliki keterbatasan 6DOF
o Menghabiskan waktu komputasi yang cukuplama.

LatarBelakang
Binary Histogram dengan OpticalFlow (Park,Lee,&Woo,2011)
o Pendeteksian QRFP dengan binary histogram memiliki kecepatan tracking
yang rendah
o kestabilan tracking
o Tetapi harus melakukan assist terhadap planar target, atau disebut hybrid
trackingmethod(markerlessdan marker-based).

LatarBelakang
Masalah pada metode yangada
Dengan Penggabungan Marker Tradisional dengan QR Code dapat menerapkan
kelebihan/keunggulan tracking seperti pada ARToolKit
Karena pendeteksian marker ARToolKit dapat terus melakukan tracking selama
markermasih terdeteksi.
Namun pada kondisi perspective distortion QRFP akan mengalami noise atau
kerusakan citra, sehingga diperlukan ekstraksi fitur

LatarBelakang
Solusi perbaikan metode
Backpropagation Neural Network (BPNN) atau disebut Jaringan Syaraf Tiruan (JST)
Propagasi balik merupakan JST Multilayer Perceptronyang dapat menyelesaikan
fungsi yang kompleks atau nonlinier, mudah digunakan dengan pembelajaran
terawasi, sifatnya faulttolerance dan dapat mengenali pola

RumusanMasalah
o Seberapa tinggi akurasi 6DOF Pose Tracking setelah menggabungkan marker
tradisional dengan memakai BPNN untuk deteksi QRFPpada QRCode?
o Apakah dengan penggabungan QR Code dengan marker tradisional, titik temu
antara dua garis persamaan pada QR Code mendekati kestabilan marker
tradisional?
o Bagaimana tingkat kecepatan deteksi frame per second atau tracking setelah
menerapkanBPNN?

BatasanMasalah
o Windows Platform.
o Pengukuran
o 6 DOFPoseTracking–Pitching, Yawing& Surging
o KestabilanMarker
o FramePerSecond(fps)–WaktuKomputasi
o Fokus pada pendeteksian QRFP, tidak melakukan Decode QR
o Tidak melakukan modelling 3D dan Kalibrasi Kamera

TujuanPenelitian
Menerapkan metode BPNN pada QR Code yang digabungkan dengan marker
tradisional sehingga tracking QRAR dapat meningkat dan memenuhi karakteristik
marker-basedtracking.

MetodologiPenelitian
Metode Pengumpulan Data
o Menemukan Ide dan masalah secara umum (Tracking QRAR) dan mencari informasi ilmu
yangberkaitan(CV, IP, AR,ML dll)
o Melakukanpercobaanpadapenelitian“Applying QRCodein AugmentedRealityApplication”
Metode Kuantitatif
1. PengumpulanData
a. Penggabungan Marker
b. Digitalisasi &Deteksi Marker
c. Proyeksi Perspektif
d. Ektraksi Fitur
2. Analisis DatadenganBPNN
3. Pengukuran(6DOF,Kestabilan,fps)
4. Hasil

AlurPemikiranPenelitian
Metode Kuantitatif
Pengukuran Data
Metode Pengumpulan Data
Pengambilan Data Training Set dan Test Set Analisis Data dengan BPNN
Penggabungan
Marker
Digitalisasi
Deteksi Marker
Proyeksi
Perspektif
Training
Testing
Ekstraksi Fitur
6 DOF
FPS
Morfologi
Grayscaling
Segmentasi
Studi Kepustakaan
Studi Literatur
Kestabilan
HASIL
Start End

PengumpulanData
• Desain Pengumpulan Data – Non Probability
o Tidakdapat memprediksikan Populasi Data
o Peluang besar data anggota populasi sebagai sampel tidak
diketahui
• TeknikPengambilan Data
o Judgment untuk TrainingSet
o Convienence untukTest Set
Quantitative Method

PengumpulanData
• Instrumen (Metode)
o Penggabungan Marker Tradisional
o Digitalisasi& Marker Detection
o Perspective Projection
o Feature Extraction
• Instrumen (Fisik)
o Logitech C270h HD720p
Quantitative Method

PenggabunganMarker
• Standar ukuran
Pengumpulan Data -Quantitative Method
3
4 𝑄𝑅𝐹𝑃
1
3 𝑄𝑅𝐹𝑃
𝑄𝑅𝐹𝑃

PenggabunganMarker
• Algoritma/langkah penggabungan marker

Digitalisasi
• Resolusi 640x480

MarkerDetection
Kecepatan rata-rata 0,64318ms

PerspectiveProjection
• Proyeksi dan Resize ke 200x200 px
Pitching 37.69° & Yawing 15.97o
Pitching 75.30o & Yawing 52.2o
noise

FeatureExtraction
• Morfologi
o Dilasi
o Erosi
• Grayscaling
• Segmentation
o Thresholding
o ROI
o Contouring

FeatureExtraction
• Pemilihan Fitur
1. PersentaseWarnaPutih
2. PersentaseWarnaHitam
3. JumlahKontur
4. Graylevel daridaerahkontur
5. KoordinatxletakGraylevel
6. KoordinatyletakGraylevel

HasilPengumpulan
100
Sampel
100
Sampel
QR Code NonQR Code (Microsoft
Tag)
5Kondisi perspektif x4orientasi x5 data sampel
6 variabel prediktor x 4orientasi (perkalian digunakan untukmentolelir
klasifikasi) = 24input
Variabel target 1 &0 untukQR Code
Variabel target 0& 1untuknon QR Code

HasilPengumpulan
0
50
100
150
1 21 41 61 81
QR 1 QR 2 QR 3 QR 4
Non QR 1 Non QR 2 Non QR 3 Non QR 4
1 2 3 4 5
0
50
100
150
1 21 41 61 81
QR 1 QR 2 QR 3 QR 4
1 2 3 4 5
0
0.5
1
1.5
2
2.5
3
3.5
1 21 41 61 81
QR 1 QR 2 QR 3
QR 4 Non QR 1 Non QR 2
Non QR 3 Non QR 4
1 2 3 4 5
0
100
200
300
1 21 41 61 81
QR 1 QR 2 QR 3 QR 4
1 2 3 4 5
0
50
100
150
200
1 21 41 61 81
QR 1 QR 2 QR 3 QR 4
1 2 3 4 5
0
50
100
150
200
1 21 41 61 81
QR 1 QR 2 QR 3 QR 4
1 2 3 4 5
0
50
100
150
200
250
300
1
6
11
16
21
26
31
36
41
46
51
56
61
66
71
76
81
86
91
96
NilaiEkstraksiFitur/TargetInputBPNN
Data Sampel
QR Code dengan Penggabungan Marker
Tradisional
X1 X2 X3 X4 X5 X6
X7 X8 X9 X10 X11 X12
X13 X14 X15 X16 X17 X18
X19 X20 X21 X22 X23 X24
0
50
100
150
200
250
300
1
6
11
16
21
26
31
36
41
46
51
56
61
66
71
76
81
86
91
96
NilaiEkstraksiFitur/TargetInputBPNN
Data Sampel
Microsoft Tag sebagai Target non QR
X1 X2 X3 X4 X5 X6
X7 X8 X9 X10 X11 X12
X13 X14 X15 X16 X17 X18
X19 X20 X21 X22 X23 X24

BackPropagation
• Arsitektur
o 3 Layer (Input, Hidden dan Output)
o 24 Neuron Input
o 105 Neuron Hidden
o 2 Neuron Output
o Sigmoid Activation
o Nguyen Widrow Weight
Initialitation
• Parameter
o MSETarget5x10-5
o 5000 Epoch
o Learning Rate (α) =0.06
Analisis Data -Quantitative Method

TrainingBPNN
Percobaan Waktu (ms) MSE Konvergen? Stop Epoch
Mencapai Target
Error?
1 21978.12 0.000126 Ya 5000 Tidak
2 22878.43 0.000218 Ya 5000 Tidak
3 22983.43 0.000168 Ya 5000 Tidak
4 23272.54 0.000405 Ya 5000 Tidak
5 22142.00 0.000073 Ya 5000 Tidak
6 23352.80 0.000083 Ya 5000 Tidak
7 21619.62 0.000173 Ya 5000 Tidak
8 22583.91 0.000083 Ya 5000 Tidak
9 7691.683 0.000050 Ya 1802 Ya
10 21639.55 0.000181 Ya 5000 Tidak

TrainingBPNN
• MSEPada percobaan 9
0
0.05
0.1
0.15
0.2
0.25
0.3
0.35
0.4
0.45
1
38
75
112
149
186
223
260
297
334
371
408
445
482
519
556
593
630
667
704
741
778
815
852
889
926
963
1000
1037
1074
1111
1148
1185
1222
1259
1296
1333
1370
1407
1444
1481
1518
1555
1592
1629
1666
1703
1740
1777
MSE
Epoch

TestingBPNN
Marker Banyak Data pada test set MSE
QR Encode Length 78 105 0.003715
Microsoft Tag 85 0.155362
Tradisional Marker 85 0.000149
ARToolKitPlus Marker 60 0.000069
ARTag Marker 60 0.000050

6DOF
Pengukuran- Quantitative Method
(Castro & Figueroa, 2007)
Pitching
Yawing
Surging
𝑓 𝑦1, 𝑦2 =
𝑦1, 0.9 ≤ 𝑦1 ≤ 1.1
𝑦2, 0.1 ≥ 𝑦2 ≥ −0.1

6DOF
Maksimum
PenelitianSebelumnya (Kan,
Teng,&Chou, 2009)
DenganPenggabunganMarker
Tradisional
pitching ±43°
±10.65°
yawing ±58°
±15.03°
surging ±374 ±408.07

KestabilanMarker
𝑃𝑇 𝑁 =
𝐽𝑚𝑙 𝑃𝑒𝑟𝑢𝑏𝑎ℎ𝑎𝑛 𝑇𝑖𝑡𝑖𝑘 𝑋 𝑁 − 1 + 𝐽𝑚𝑙 𝑃𝑒𝑟𝑢𝑏𝑎ℎ𝑎𝑛 𝑇𝑖𝑡𝑖𝑘 𝑌𝑁 − 1
(𝐽𝑚𝑙 𝐹𝑟𝑎𝑚𝑒 ∗ 2)
𝑃𝐾 =
𝑁=1
4
𝑃𝑇 𝑁
4
PenelitianSebelumnya
(Kan,Teng,& Chou, 2009)
Dengan PenggabunganMarker
Tradisional
PerubahanKesuluruhan(𝑷𝑲) 0.08357 0.02375
Persentase (𝑷) 91.625% 97.625%
𝑃 = 100% − (𝑃𝐾 ∗ 100%)

KecepatanTracking
0
10
20
30
40
50
60
1 151 301 451 601 751 901
WaktuProses(ms)
Jumlah Frame
Penelitian Sebelumnya(Kan,Teng & Chou,2009) Dengan Penggabungan Marker Tradisional

KecepatanTracking
(Kan,Teng,& Chou, 2009)
Dengan PenggabunganMarker
Tradisional
KecepatanRata-Rata (ms) 10.10 28.41
FPS 99.01 35.41
𝐹𝑃𝑆 =
1000𝑚𝑠
𝑋

KesimpulanPenelitian
Hasil - Quantitative Method
• Akurasi6DOF mengalami kenaikandibandingkandenganpenelitian sebelumnya
• Trackingdapatlebih mudahdikelompokantanpaharusmelalui mekanismeyangrumitpada
penelitian sebelumnyadanmenjadi lebih stabil
• Kecepatanmenurun
• Panjangencode16sering terjadilost tracking
• KeluaranoutputJST terkadangtidaksesuaidengan target

SaranPenelitian
• Integrasi KalmanFilterpadabagiandecodeQRCode
• MenggunakanPCA
• Pemilihan fituryanglebih akuratdanmenggunakanSVM ataumetodemachinelearning lainnya.

TERIMAKASIH

This reseach has been submitted in:
o Seminar Nasional Ilmu Komputer 2012 (SNIK 2012)
Faculty of Science and Mathematic, Diponegoro University
o Seminar Nasional ASTECHNOVA 2012
Phsyic Engineering, Faculty of Engineering, Gadjah Mada University
o International Conference on Computer Science (ICCSE 2012)
Faculty of Mathematic and Natural Science, Gadjah Mada University
o International Conference on Advance Computer Science and Information System
(ICACSIS 2012)
Faculty of Computer Science, University of Indonesia
o Research Funding Support LG Innotek
PT. LG Innotek
And accepted in:
o Seminar Nasional Ilmu Komputer 2012 (SNIK 2012)
Faculty of Science and Mathematic, Diponegoro University
o Seminar Nasional ASTECHNOVA 2012
Phsyic Engineering, Faculty of Engineering, Gadjah Mada University

AugmentedReality
• Reality& Virtuality(RealitasTertambah)
• Marker-Based&Markerless
• Marer-Based-> Template& 2DBarcode
• ARToolKit(Kato& Billinghurst,1999)
Template
• ARTag& Webtag(Fiala, 2004)
4x1012 id-basedmarkers
• ARToolKitPlus(Wagner& Schmalstieg,2007)
4096id-basedmarkers+ Mobile Applied

(Kan, Teng,&Chou, 2009)
Deteksi QRFPdengan mekanisme perhitungan yang sederhana
o memiliki kecepatantrackingyangcukuprendah
o memiliki keterbatasan6DOFPosetracking;
o border pada QRFP yang sangat tipis untuk mendeteksi ketiga QRFP secara bersamaan pada
kondisiperspektif dan;
o Titik temu antara dua garis persamaan yang keluar dari QRFP juga memiliki ketidak-stabilan
dikarenakanterlalu kecilnya QRFPdibandingkanukuranmarkerpadabiasanya

Undergraduate Thesis Presentation

Recommended

Recommended

More Related Content

Similar to Undergraduate Thesis Presentation

Similar to Undergraduate Thesis Presentation (20)

More from giamuhammad

More from giamuhammad (11)

Recently uploaded

Recently uploaded (20)

Undergraduate Thesis Presentation