Project ini adalah skripsi saya untuk mengentaskan program studi Sarjana Program Studi Elektronika dan Instrumentasi Fakultas Matematika dan Ilmu Pengetahuan Alam. Peralatan yang dibutuhkan dalam project ini diantaranya: - Kinect versi 1 - Parrot AR.Drone 2.0 - Visual Studio minimum versi 2010 - Kinect SDK versi 1.8 - PC atau Laptop Windows OS Untuk pertanyaan mengenai project secara mendalam silahkan hubungi saya di dimyferdi@gmail.com atau WhatsApp +62-822-4241-9901. Credit for: Controlling library by Ruslan Balanukhin and GUI by Sebastian Brandes

1. SISTEM KENDALI
QUADROTOR
BERBASIS KINECT
OLEH
DIMY FERDIANA
11/319916/PA/14303
ELEKTRONIKA DAN INSTRUMENTASI

2. Interaksi berbasis gestur
dapat mempermudah kendali
dibanding keyboard, dsb.
-- C. Hu, et al., 2003 --
FAAST berfungsi sebagai
middleware sensor Kinect
yang mampu mengenali
gestur tubuh.
-- Suma, et al., 2011 --

3. RUMUSAN MASALAH
Bagaimana piranti bergerak
quadrotor dapat dikendalikan
sistem kendali berbasis Kinect?
TUJUAN PENELITIAN
Implementasi FAAST pada sistem
kendali quadrotor berbasis Kinect.

4. Batasan Masalah
Sebanyak satu quadrotor
Parrot Ar Drone 2.0

5. Perangkat motion capture
Sensor Kinect Xbox 360
Hover, Flat trim, Maju-
mundur, naik-turun, putar-
kiri atau kanan, take off-
landing.
Anggota tubuh yang diteliti
adalah tangan kiri kanan
Tinggi user 160 cm - 175cm
Dilakukan sebanyak 6x
Satu orang user
Di dalam ruangan

6. 2011 Suma, et al.
Implementasi FAAST memfasilitasi kendali dari seluruh
bagian tubuh manusia pada aplikasi virtual reality dan
video games dengan depth sensor OpenNI-Compliant.
2012 Sanna, et al.
Meneliti mengenai kontrol quadrotor dengan Natural-
User Interface (NUI) dan teknik komputasi visual di luar
jangkuan GPS atau dalam ruangan.
2013
Sinha dan
Chakarvarty
Identifikasi kemampuan Microsoft Kinect terhadap
pengenalan orang secara otomatis menggunakan non-
intrusive biometric modality yang diujicobakan pada 20
orang yang sedang berjalan.
2014 Ogioni, et al.
Menyajikan cara intuitif kendali quadrotor melalui
Human-Machine Interaction (HMI), berdasarkan sensor
gerak pada gerakan tubuh sebagai perintah mobile
platform (AR. Drone 2.0).
Penelitian Sebelumnya

7. BAB III
Dasar Teori
Sensor Kinect Xbox 360
Sensor kombinasi dari kamera RGB
dan kamera Infra-red (IR), mengenali
gestur manusia pada video games
Xbox sebagai instruksi.

8. Natural User Interface (NUI)
Postur tubuh dapat dikenali oleh
wearable sensor serta teknik visi.
Gestur memberikan komunikasi
ekspresif, alami, dan intuitif bagi
manusia.
The Flexible Action and Articulated
Skeleton Toolkit (FAAST)
Middleware sensor Kinect untuk
mendeteksi rangka tubuh manusia.
Quadrotor & AR Drone platform
Jenis UAV tipe quadrotor 4 baling-
baling buatan prancis, dikendalikan
melalui aplikasi AR FreeFlight di
smartphone.

9. Alat dan Bahan

10. Rancangan Sistem Kendali

11. Rancangan Arsitektur NUI
Graphic User Interface (Windows Form Application - C#)
DLL Drone
(C++)
Indoor Tracking
System
FAAST
PrimeSense NITE PrimeSense NITE
Windows Operating System Kinect Driver
Hardware

12. Rancangan Alur Perpindahan Data
DLL Drone
Control Data
OS Wi-Fi
Video & Navigation Data
GUI
FAAST
PrimeSense
OS
Human Movement
OpenNI
Kinect
Driver
USB

13. Rancangan Gestures & Actions

14. Rencana Pengujian
Motion Capture
User berada di area tracking akan diuji cobakan
sebuah instruksi enam kali, maka akan diketahui
persentasi keberhasilan instruksi yang berhasil
dieksekusi menggerakkan quadrotor.
Area Tracking
User diposisikan berada pada wilayah yang baik
untuk dilakukan motion capture, sehingga dari
pengujian ini akan diketahui tingkat keberhasilan
sistem mampu mengenali instruksi user.

15. Implementasi Kinect
Instalasi SDK Kinect ver. 1.8 Interkoneksi Kinect dengan PC

16. Implementasi Perangkat Lunak
Windows Presentation Foundation (WPF Format)

17. Proses Training Gestur
Training Menggunakan Kinect Explorer dan Skeleton Stream

18. Hasil Proses Training Gestur
Gestur
Koordinat XYZ (meter)
Left Shoulder Right Shoulder Left Hand Right Hand
Take off -0,1487; 0,3568; 3,1770 x -0,2192; 0,8327; 3,0659 x
Landing -0,0995; 0,3933; 3,1699 x -0,1730; -0,1894; 3,0413 x
Turn left -0,1209; 0,4013; 3,1765 x -0,6251; 0,4068; 3,0413 x
Turn right -0,1101; 0,3922; 3,1590 x 0,0659; 0,2636; 2,9372 x
Hovering -0,1017; 0,3774; 3,1550 x -0,1570; 0,4632; 2,6112 x
Flat trim -0,1301; 0,3719; 3,1804 x -0,3444; 0,5312; 3,1182 x
Roll left x 0,1988; 0,3954; 3,1406 x 0,0272; 0,2274; 2,8934
Roll right x 0,1509; 0,3841; 3,2235 x 0,6750; 0,3407; 3,1171
Up x 0,1706; 0,4512; 3,1892 x 0,3013; 1,0220; 3,1122
Down x 0.1679, 0.3550, 3.1847 x 0.3024, -0.1519, 3.0180
Forward x 0,1679; 0,3538; 3,0656 x 0.2183, 0.4861, 2.5282
Backward x 0.1443, 0.3647, 3.1606 x 0.2250, 0.5759, 3.1120

19. Visualisasi Skeleton Terdeteksi
Frame berukuran 640x480 px Indikator Posisi Ideal

20. Data Stream AR.Drone
Data Stream AR.Drone yang telah diekstrak ke Excel

21. Pengujian Jarak Ideal User-Kinect
Jarak ideal antara 250 cm (kiri) s.d. 300 cm (kanan)

22. Pengujian Tinggi Ideal Kinect
Perbedaan hasil dengan tinggi 50 cm (kiri) dengan 100 cm (kanan)

23. Hasil Pengujian Tinggi Ideal Kinect 100 cm
Gestur
Status
Right Hand Right Shoulder Left Hand Left Shoulder
Take off OK OK OK OK
Landing OK OK OK OK
Turn left OK OK INFERRED OK
Turn right OK OK OK OK
Hovering OK OK OK OK
Flat trim OK OK OK OK
Up OK OK OK OK
Down OK OK OK OK
Roll left INFERRED OK OK OK
Roll right OK OK OK OK
Forward OK OK OK OK
Backward OK OK OK OK

24. Pengujian Respon AR.Drone
Gestur
Pengujian ke-
1 2 3 4 5 6
Take off X √ √ √ √ √
Landing √ X √ X √ √
Turn left √ √ √ √ √ √
Turn right √ X X √ √ X
Hovering √ √ √ √ √ √
Flat trim √ √ √ √ √ √
Up √ √ √ √ √ √
Down √ √ √ √ √ √
Roll left X √ X √ √ X
Roll right √ √ √ √ X √
Forward √ √ √ √ √ √
Backward √ √ √ √ √ √

25. Kesimpulan
1. Kinerja Kinect akan bekerja paling baik apabila diletakkan pada
ketinggian 100 cm
2. Rentang jarak Kinect terhadap user sehingga dapat melakukan misi
yakni 250 cm s.d. 300 cm
3. Pendeteksian posisi tangan denga nmenggunakan library FAAST
mampu mendeteksi posisi tangan yang berbeda-beda
4. Kinect akan bekerja dengan baik apabila suatu bentuk gestur tidak
ada sendi yang terhalangi oleh sendi lain
5. AR.Drone berhasil melakukan misi take off, landing, flat trim, hover,
turn left, turn right, naik, turun, roll left, roll right, maju, dan mundur

26. Demonstrasi Sistem

28. Terima Kasih

29. Lampiran

30. Lampiran: Implementasi Quadrotor
Konfigurasi hostname AR.Drone

31. Lampiran: Implementasi Library FAAST
Import Library FAAST ke Sistem

32. Lampiran: Hasil Proses Training Gestur #1
Gestur
Koordinat XYZ (meter)
Left Shoulder Left Hand
Take off -0,1487; 0,3568; 3,1770 -0,2192; 0,8327; 3,0659
Landing -0,0995; 0,3933; 3,1699 -0,1730; -0,1894; 3,0413
Turn left -0,1209; 0,4013; 3,1765 -0,6251; 0,4068; 3,0413
Turn right -0,1101; 0,3922; 3,1590 0,0659; 0,2636; 2,9372
Hovering -0,1017; 0,3774; 3,1550 -0,1570; 0,4632; 2,6112
Flat trim -0,1301; 0,3719; 3,1804 -0,3444; 0,5312; 3,1182

33. Lampiran: Hasil Proses Training Gestur #2
Gestur
Koordinat XYZ (meter)
Right Shoulder Right Hand
Roll left 0,1988; 0,3954; 3,1406 0,0272; 0,2274; 2,8934
Roll right 0,1509; 0,3841; 3,2235 0,6750; 0,3407; 3,1171
Up 0,1706; 0,4512; 3,1892 0,3013; 1,0220; 3,1122
Down 0.1679, 0.3550, 3.1847 0.3024, -0.1519, 3.0180
Forward 0,1679; 0,3538; 3,0656 0.2183, 0.4861, 2.5282
Backward 0.1443, 0.3647, 3.1606 0.2250, 0.5759, 3.1120

34. Lampiran: Training Gestur
Potongan program algoritma penentu posisi tangan

35. Lampiran: Instruksi dari Gestur
Potongan program algoritma penentu posisi tangan

36. Lampiran :Visualisasi Skeleton Terdeteksi
Potongan program visualisasi skeleton dan sendi

37. Lampiran :Pembatasan Jumlah User
Potongan program visualisasi skeleton dan sendi

38. Lampiran :Program Data Stream AR.Drone
Data stream diterima dari droneClient 15 data per sekon

39. Lampiran: Hasil Pengujian Tinggi Ideal Kinect
Gestur
Status
Right Hand Right
Shoulder
Left Hand Left Shoulder
Take off OK OK OK OK
Landing OK OK OK OK
Turn left OK OK INFERRED OK
Turn right OK OK OK OK
Hovering OK OK OK OK
Flat trim OK OK OK OK

40. Lampiran: Hasil Pengujian Respon AR.Drone
Gestur
Pengujian ke-
1 2 3 4 5 6
Take off X √ √ √ √ √
Landing √ √ √ √ √ √
Turn left √ √ √ √ √ √
Turn right √ √ √ √ √ √
Hovering √ √ √ √ √ √
Flat trim √ √ √ √ √ √

41. Plot Pergerakan Take off AR.Drone
Data stream diterima dari droneClient 15 data per sekon

42. Plot Pergerakan Landing AR.Drone
Data stream diterima dari droneClient 15 data per sekon

43. Plot Pergerakan Hover AR.Drone
Data stream diterima dari droneClient 15 data per sekon

44. Plot Pergerakan Turn left AR.Drone
Data stream diterima dari droneClient 15 data per sekon

45. Plot Pergerakan Turn right AR.Drone
Data stream diterima dari droneClient 15 data per sekon

46. Plot Pergerakan Up AR.Drone
Data stream diterima dari droneClient 15 data per sekon

47. Plot Pergerakan Down AR.Drone
Data stream diterima dari droneClient 15 data per sekon

48. Plot Pergerakan Roll left AR.Drone
Data stream diterima dari droneClient 15 data per sekon

49. Plot Pergerakan Roll right AR.Drone
Data stream diterima dari droneClient 15 data per sekon

50. Plot Pergerakan Maju AR.Drone
Data stream diterima dari droneClient 15 data per sekon

51. Plot Pergerakan Mundur AR.Drone
Data stream diterima dari droneClient 15 data per sekon