Support Vector MachineRandy C. WihandikaTeknik InformatikaInstitut Teknologi Sepuluh NopemberSurabaya
Support Vector Machine● Dikembangkan oleh B. E. Boser, I. M. Guyon, dan V. N. Vapnik  pada 1992 dan dipresentasikan di Fif...
Decision Boundary● Pemisah antara dua kelas● Banyak decision boundary  yang dapat dibuat antara  dua kelas● Dapat dicari m...
Support Vector Machine● Decision boundary harus  sejauh mungkin dari kedua  kelas● Harus memaksimalkan  margin
Support Vector MachineData:Optimasi:(constrained optimization problem)
Constrained OptimizationMisal: minimalkan f(x) dengan constrain g(x) = 0                                α: Lagrange multip...
Support Vector MachineOptimasi:Minimalkan w dan b, maksimalkan α (Lagrangian):
Support Vector MachineDiferensialkan:Maksimalkan:
Support Vector MachineDapatkan b:
Soft-margin SVM● Memperbolehkan "error" pada klasifikasi● Menggunakan variabel slack ξ
Soft-margin SVMMinimalkan:                                         C: tradeoff antara error                               ...
Soft-margin SVMDiferensialkan:Selanjutnya sama dengan proses hard-margin SVM
Non-linear SVM● Memisahkan dua kelas secara non-linier● Ide:   ○ Petakan data ke ruang yang berdimensi lebih tinggi   ○ Kl...
Non-linear SVM
Kernel Functions● Polynomial● Radial basis function (RBF)● Sigmoidal
Overfitting● Terjadi jika data dipetakan ke dimensi yang sangat tinggi
Support Vector Machine● Kelebihan:  ○ Tidak terjebak pada local optima  ○ Dapat mengklasifikasi data berdimensi tinggi● Ke...
Conclusion● SVM adalah alternatif yang baik dari neural network● Konsep penting dalam SVM:  ○ Memaksimalkan margin  ○ Peng...
Selesai.
Upcoming SlideShare
Loading in...5
×

Support Vector Machine

1,153

Published on

Introduction to Support Vector Machine.

Published in: Technology, Education
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
1,153
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
112
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Support Vector Machine

  1. 1. Support Vector MachineRandy C. WihandikaTeknik InformatikaInstitut Teknologi Sepuluh NopemberSurabaya
  2. 2. Support Vector Machine● Dikembangkan oleh B. E. Boser, I. M. Guyon, dan V. N. Vapnik pada 1992 dan dipresentasikan di Fifth Annual Workshop of Computational Learning Theory● Digunakan untuk pengenalan tulisan tangan
  3. 3. Decision Boundary● Pemisah antara dua kelas● Banyak decision boundary yang dapat dibuat antara dua kelas● Dapat dicari menggunakan algoritma perceptron, e.g. neural network● SVM Mencari hyperplane yang paling optimal
  4. 4. Support Vector Machine● Decision boundary harus sejauh mungkin dari kedua kelas● Harus memaksimalkan margin
  5. 5. Support Vector MachineData:Optimasi:(constrained optimization problem)
  6. 6. Constrained OptimizationMisal: minimalkan f(x) dengan constrain g(x) = 0 α: Lagrange multiplierUntuk banyak constrain: Lagrangian
  7. 7. Support Vector MachineOptimasi:Minimalkan w dan b, maksimalkan α (Lagrangian):
  8. 8. Support Vector MachineDiferensialkan:Maksimalkan:
  9. 9. Support Vector MachineDapatkan b:
  10. 10. Soft-margin SVM● Memperbolehkan "error" pada klasifikasi● Menggunakan variabel slack ξ
  11. 11. Soft-margin SVMMinimalkan: C: tradeoff antara error dan marginMinimalkan w, b, dan ξ, maksimalkan α:
  12. 12. Soft-margin SVMDiferensialkan:Selanjutnya sama dengan proses hard-margin SVM
  13. 13. Non-linear SVM● Memisahkan dua kelas secara non-linier● Ide: ○ Petakan data ke ruang yang berdimensi lebih tinggi ○ Klasifikasi secara linier● Fungsi yang memetakan: kernel function Ф ○ Input space: ruang asal data ○ Feature space: ruang data setelah transformasi● Contoh: Input Space Feature Space (1D) (2D) xi Ф Ф(xi2)
  14. 14. Non-linear SVM
  15. 15. Kernel Functions● Polynomial● Radial basis function (RBF)● Sigmoidal
  16. 16. Overfitting● Terjadi jika data dipetakan ke dimensi yang sangat tinggi
  17. 17. Support Vector Machine● Kelebihan: ○ Tidak terjebak pada local optima ○ Dapat mengklasifikasi data berdimensi tinggi● Kekurangan: ○ Harus memilih kernel function yang cocok
  18. 18. Conclusion● SVM adalah alternatif yang baik dari neural network● Konsep penting dalam SVM: ○ Memaksimalkan margin ○ Penggunaan kernel function
  19. 19. Selesai.
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×