Support Vector Machine

1,346
-1

Published on

Introduction to Support Vector Machine.

Published in: Technology, Education
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
1,346
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
121
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Support Vector Machine

  1. 1. Support Vector MachineRandy C. WihandikaTeknik InformatikaInstitut Teknologi Sepuluh NopemberSurabaya
  2. 2. Support Vector Machine● Dikembangkan oleh B. E. Boser, I. M. Guyon, dan V. N. Vapnik pada 1992 dan dipresentasikan di Fifth Annual Workshop of Computational Learning Theory● Digunakan untuk pengenalan tulisan tangan
  3. 3. Decision Boundary● Pemisah antara dua kelas● Banyak decision boundary yang dapat dibuat antara dua kelas● Dapat dicari menggunakan algoritma perceptron, e.g. neural network● SVM Mencari hyperplane yang paling optimal
  4. 4. Support Vector Machine● Decision boundary harus sejauh mungkin dari kedua kelas● Harus memaksimalkan margin
  5. 5. Support Vector MachineData:Optimasi:(constrained optimization problem)
  6. 6. Constrained OptimizationMisal: minimalkan f(x) dengan constrain g(x) = 0 α: Lagrange multiplierUntuk banyak constrain: Lagrangian
  7. 7. Support Vector MachineOptimasi:Minimalkan w dan b, maksimalkan α (Lagrangian):
  8. 8. Support Vector MachineDiferensialkan:Maksimalkan:
  9. 9. Support Vector MachineDapatkan b:
  10. 10. Soft-margin SVM● Memperbolehkan "error" pada klasifikasi● Menggunakan variabel slack ξ
  11. 11. Soft-margin SVMMinimalkan: C: tradeoff antara error dan marginMinimalkan w, b, dan ξ, maksimalkan α:
  12. 12. Soft-margin SVMDiferensialkan:Selanjutnya sama dengan proses hard-margin SVM
  13. 13. Non-linear SVM● Memisahkan dua kelas secara non-linier● Ide: ○ Petakan data ke ruang yang berdimensi lebih tinggi ○ Klasifikasi secara linier● Fungsi yang memetakan: kernel function Ф ○ Input space: ruang asal data ○ Feature space: ruang data setelah transformasi● Contoh: Input Space Feature Space (1D) (2D) xi Ф Ф(xi2)
  14. 14. Non-linear SVM
  15. 15. Kernel Functions● Polynomial● Radial basis function (RBF)● Sigmoidal
  16. 16. Overfitting● Terjadi jika data dipetakan ke dimensi yang sangat tinggi
  17. 17. Support Vector Machine● Kelebihan: ○ Tidak terjebak pada local optima ○ Dapat mengklasifikasi data berdimensi tinggi● Kekurangan: ○ Harus memilih kernel function yang cocok
  18. 18. Conclusion● SVM adalah alternatif yang baik dari neural network● Konsep penting dalam SVM: ○ Memaksimalkan margin ○ Penggunaan kernel function
  19. 19. Selesai.

×