Algoritma K-nearest neighbor (KNN) adalah metode supervised learning dimana kelas suatu data baru ditentukan berdasarkan kelas mayoritas dari K tetangga terdekatnya. KNN mengklasifikasikan data baru berdasarkan atribut dan data pelatihan dengan menghitung jarak antara data baru dengan data pelatihan lalu menentukan K tetangga terdekat. Kelas prediksi data baru ditentukan dari kelas mayoritas K tetangga terdekat tersebut.

1. K-nearest neighbor
KNN

2. K-nearest neighbor (KNN)
 Algoritma K-nearest neighbor (KNN) merupakan
algoritma supervised learning di mana hasil
klasifikasi data baru berdasar kepada kategori
mayoritas tetangga terdekat ke-K.
 Tujuan dari algoritma ini adalah
mengklasifikasikan objek baru berdasarkan
atribut dan data training.
 Algoritma KNN menggunakan kalsifikasi
ketetenggaan sebagai prediksi terhadap data
baru

3. Cara Kerja Algoritma KNN
 Algoritma KNN sangat sederhana.
 Algoritma ini bekerja berdasarkan jarak
minimum dari data baru terhadap K tetangga
terdekat yang telah ditetapkan.
 Setelah diperoleh K tetangga terdekat, prediksi
kelas dari data baru akan ditentukan berdasarkan
mayoritas K tetangga terdekat.

4.  Data untuk KNN terdiri dari beberapa atribut
multivariat Xi yang akan digunakan untuk
mengklasifikasikan Y.
 Data untuk KNN dapat berupa data ordinal,
nominal sampai dengan skala kuantitatif
namun yang akan dibahas hanya skala kuantitatif
Xi dan biner (nominal) Y.

5. Algoritma KNN
Here is step by step on how to compute K-nearest
neighbors KNN algorithm:
1. Determine parameter K = number of nearest
neighbors
2. Calculate the distance between the query-
instance and all the training samples
3. Sort the distance and determine nearest
neighbors based on the K-th minimum distance
4. Gather the category of the nearest neighbors
5. Use simple majority of the category of nearest
neighbors as the prediction value of the query
instance

6. Algoritama KNN (2)
1. Tentukan parameter K = jumlah tetangga
terdekat
2. Hitung jarak antara data baru dengan semua
data training
3. Urutkan jarak tersebut dan tetapkan tetangga
terdekat berdasarkan jarak minimum ke-K
4. Periksa kelas dari tetangga terdekat
5. Gunakan mayoritas sederhana dari kelas
tetangga terdekat sebagai nilai prediksi data
baru

7. Contoh
Diberikan data training berikut, terdiri dari 2 atribut
dengan skala kuantitatif yaitu X1 dan X2 serta 2
kelas yaitu baik dan buruk.
Jika terdapat data baru dengan nilai X1=3 dan
X2=7, tentukan kelasnya!

8. Contoh (2)
Tabel Data Training
Data Baru
X1=3 dan X2=7
Kelas (Y) ??
X1 X2 Y
7 7 Buruk
7 4 Buruk
3 4 Baik
1 4 Baik

9. Langkah Klasifikasi
1. Tentukan parameter K = jumlah tetangga
terdekat
Misalkan ditetapkan K = 3

10. Langkah Klasifikasi (2)
2. hitung jarak antara data baru dengan semua
data training
X1 X2 Euclediean Distence
Data baru (3,7)
7 7
7 4
3 4
1 4

11. Langkah Klasifikasi (3)
3. urutkan jarak tersebut dan tetapkan tetangga
terdekat berdasarkan jarak minimum ke-K
X1 X2 Euclediean Distence
Data baru (3,7)
Peringkat
Berdasarkan
jarak
minimum
Termasuk 3
tetangga
terdekat
7 7 Sqrt((7-3)2+(7-7)2)=4 3 Ya
7 4 Sqrt((7-3)2+(4-7)2 )=5 4 Tidak
3 4 Sqrt((3-3)2+(4-7)2 )=3 1 Ya
1 4 Sqrt((1-3)2+(4-7)2
)=3.6
2 Ya

12. Langkah Klasifikasi (4)
4. periksa kelas dari tetangga terdekat
X1 X2 Euclediean
Distence
Data baru (3,7)
Peringkat
Berdasarkan
jarak
minimum
Termasuk
3 tetangga
terdekat
Y
7 7 Sqrt((7-3)2+(7-7)2 )=
4
3 Ya Buruk
7 4 Sqrt((7-3)2+(4-7)2 )=
5
4 Tidak -
3 4 Sqrt((3-3)2+(4-7)2 )=
3
1 Ya Baik
1 4 Sqrt((1-3)2+(4-7)2
)=3,6
2 Ya Baik

13. Langkah Klasifikasi (5)
5. gunakan mayoritas sederhana dari kelas
tetangga terdekat sebagai nilai prediksi data
baru
Hasil pada no 4 menunjukkan bahwa dari 3
tetangga terdekat, terdapat 2 kelas Baik dan 1
kelas Buruk, maka disimpulkan bahwa data
baru termasuk ke dalam kelas Baik.

14. Kelebihan Algoritma KNN
Beberapa kelebihan algoritma KNN antara lain
adalah:
1. Robust terhadap data training yang memiliki
noise (terutama jika digunakan invers kuadrat
jarak terboboti sebagai “jarak”)
2. Efektif jika data training berukuran besar

15. Kelemahan Algoritma KNN
Beberapa kelemahan dari KNN antara lain:
1. Perlu menentukan parameter K
2. Jarak sebagai basis pembelajaran tidak jelas, tipe jarak apa
yang harus digunakan dan atribut mana saja yang harus
digunakan untuk mendapatkan hasil yang optimal. Apakah
semua atribut harus digunakan atau hanya atribut tertentu
saja?
3. Computation cost sangat tinggi karena harus menghitung jarak
antara data baru dengan semua data training. Beberapa
metode pengindeksan (misal, . K-D tree) mungkin dapat
mengurangi computational cost.

16. Daftar Pustaka
1. http://paul.luminos.nl/documents/ndex.php
2. Teknomo, Kardi. K-Nearest Neighbors Tutorial.
http://people.revoledu.com/kardi/tutorial/KNN/
3. Aziz Kustiyo, Kuliah Metode Kuantitatif
Departemen Ilmu Komputer FMIPA IPB