Supervised Learning: Naive Bayes

1. 1
Machine Learning
Latihan Pertemuan 5
Supervised Learning: Naїve Bayes
Klasifikasi
Merupakan proses pembelajaran suatu fungsi tujuan yang memetakkan tiap himpunan
atribut X ke satu dari label kelas Y yang didefinisikan sebelumnya.
Model Klasifikasi
• Pemodelan deskriptif:
Model klasifikasi yang dapat berfungsi sebagai alat penjelasan untuk membedakan
objek-objek dalam kelas-kelas yang berbeda.
• Pemodelan Preditif
Model klasifikasi yang dapat digunakan untuk memprediksi label kelas yang tidak
diketahui pada suatu objek/record.
Klasifikasi Memerlukan Training Set
• Klasifikasi adalah proses pembelajaran secara terbimbing (supervised learning)
• Untuk melakukan klasifikasi, dibutuhkan training set sebagai data pembelajaran
• Setiap sampel dari training set memiliki atribut dan class label
Dua Tahapan Klasifikasi
1. Learning (training):
Pembelajaran menggunakan data training(unruk Naїve Bayessian Classifier, nilai
probabilitas dihitung dalam proses pembelajaran)
2. Testing:
Menguji model menggunakan data testing
Akurasi
• Akurasi =
Jumlah Prediksi Yang Benar
Jumlah Prediksi Keseluruhan
• Error =
Jumlah Prediksi Yang Salah
Jumlah Prediksi Keseluruhan
Teori Bayesian
P(H/X) =
𝑷(𝑿|𝑯) 𝑷(𝑯)
𝑷(𝑿)
Input
X
(Atribute Set)
Output
Y
(Class Label)
Classification
Model
(Fungsi Tujuan)
(1)

2. 2
➢ P(H/X): yaitu peluang hipotesa H berdasarkan kondisi X.
➢ X: data sampel dengan klas (label) yang tidak diketahui.
➢ H: merupakan hipotesa bahwa X adalah data dengan klas (label) C.
➢ P(H): peluang dari hipotesa H.
➢ P(X): adalah peluang dari X yang diamati.
➢ P(X|H): peluang X, berdasarkan kondisi pada hipotesa H
Naїve Bayessian Classifier
▪ Adalah metode classifier yang berdasarkan probabilitas dan Teorema Bayesian dengan
asumsi bahwa setiap variabel X bersifat bebas (independence).
▪ Dengan kata lain, Naїve Bayesian Classifier mengasumsikan bahwa keberadaan
sebuah atribut (variabel) tidak ada kaitannya dengan keberadaan atribut (variabel)
yang lain.
Naїve Bayesian Classifier
▪ Karena asumsi atribut tidak saling terkait (conditionally independent), maka:
P(X|𝑪𝒊) = ∏ 𝑷(𝒙𝒌|𝑪𝒊
𝒏
𝒌=𝟏 )
▪ Bila P(X|𝐶𝑖) dapat diketahui melalui perhitungan di atas, maka klas (label) dari data
sampel X adalah klas (label) yang memiliki P(X|𝐶𝑖) * P(𝐶𝑖) maksimum.
Latihan
Naї𝒗𝒆 𝑩𝒂𝒚𝒆𝒔
• Tentukan class label dari X
• X = (Outlook = Rainy, Temperature = Cool, Humidity = High, Windy = False)
Tabel 1. Dataset
ID OUTLOOK TEMPERATUR HUMIDITY WINDY PLAY
1 Sunny Hot High FALSE NO
2 Sunny Hot High TRUE NO
3 Cloudy Hot High FALSE YES
4 Rainy Mild High FALSE YES
5 Rainy Cool Normal FALSE YES
6 Rainy Cool Normal TRUE YES
7 Cloudy Cool Normal TRUE YES
8 Sunny Mild High FALSE NO
9 Sunny Cool Normal FALSE YES
10 Rainy Mild Normal FALSE YES
11 Sunny Mild Normal TRUE YES
12 Cloudy Mild High TRUE YES
13 Cloudy Hot Normal FALSE YES
14 Rainy Mild High TRUE NO
Clas:
C1: Play: YES
C2: Play: NO
(2)

3. 3
Bila data baru yang belum memiliki class sebagai berikut:
X = (Outlook = Rainy, Temperature = Cool, Humidity = High, Windy = False)
Hitung P(Xk|𝑪𝒊) untuk setiap Class i
Tabel 2. Dataset
ID OUTLOOK TEMPERATUR HUMIDITY WINDY PLAY
1 Rainy Mild High FALSE YES
2 Rainy Cool Normal FALSE YES
3 Rainy Cool Normal TRUE YES
4 Rainy Mild Normal FALSE YES
5 Rainy Mild High TRUE NO
6 Sunny Hot High FALSE NO
7 Sunny Hot High TRUE NO
8 Sunny Mild High FALSE NO
9 Sunny Cool Normal FALSE YES
10 Sunny Mild Normal TRUE YES
11 Cloudy Hot High FALSE YES
12 Cloudy Cool Normal TRUE YES
13 Cloudy Mild High TRUE YES
14 Cloudy Hot Normal FALSE YES
• P (Outlook = Rainy | Play = YES) =>
4
10
= 0,4
• P (Outlook = Rainy | Play = NO ) =>
1
4
= 2,5
Hitung P(Xk|𝑪𝒊) untuk setiap class i
Tabel 3. Dataset
ID OUTLOOK TEMPERATUR HUMIDITY WINDY PLAY
1 Rainy Cool Normal FALSE YES
2 Rainy Cool Normal TRUE YES
3 Cloudy Cool Normal TRUE YES
4 Sunny Cool Normal FALSE YES
5 Rainy Mild High FALSE YES
6 Sunny Mild High FALSE NO
7 Rainy Mild Normal FALSE YES
8 Sunny Mild Normal TRUE YES
9 Cloudy Mild High TRUE YES
10 Rainy Mild High TRUE NO
11 Sunny Hot High FALSE NO
12 Sunny Hot High TRUE NO
13 Cloudy Hot High FALSE YES
14 Cloudy Hot Normal FALSE YES
• P (Temperatur = Cool | Play = YES) =>
4
10
= 0,4

4. 4
• P (Temperatur = Cool | Play = NO ) =>
0
4
= 0
Hitung P(Xk|𝑪𝒊) untuk setiap class i
Tabel 4. Dataset
ID OUTLOOK TEMPERATUR HUMIDITY WINDY PLAY
1 Rainy Cool Normal FALSE YES
2 Rainy Cool Normal TRUE YES
3 Cloudy Cool Normal TRUE YES
4 Sunny Cool Normal FALSE YES
5 Rainy Mild Normal FALSE YES
6 Sunny Mild Normal TRUE YES
7 Cloudy Hot Normal FALSE YES
8 Sunny Hot High FALSE NO
9 Sunny Hot High TRUE NO
10 Cloudy Hot High FALSE YES
11 Rainy Mild High FALSE YES
12 Sunny Mild High FALSE NO
13 Cloudy Mild High TRUE YES
14 Rainy Mild High TRUE NO
• P (Humidity = High | Play = YES) =>
3
10
= 0,3
• P (Humidity = High | Play = NO ) =>
4
4
= 1
Hitung P(Xk|𝑪𝒊) untuk setiap class i
Tabel 5. Dataset
ID OUTLOOK TEMPERATUR HUMIDITY WINDY PLAY
1 Sunny Hot High TRUE NO
2 Rainy Cool Normal TRUE YES
3 Cloudy Cool Normal TRUE YES
4 Sunny Mild Normal TRUE YES
5 Cloudy Mild High TRUE YES
6 Rainy Mild High TRUE NO
7 Sunny Hot High FALSE NO
8 Cloudy Hot High FALSE YES
9 Rainy Mild High FALSE YES
10 Rainy Cool Normal FALSE YES
11 Sunny Mild High FALSE NO
12 Sunny Cool Normal FALSE YES
13 Rainy Mild Normal FALSE YES
14 Cloudy Hot Normal FALSE YES
• P (Windy = False | Play = YES) =>
6
10
= 0,6

5. 5
• P (Windy = False | Play = NO ) =>
2
4
= 0,5
P(X|𝑪𝒊) = ∏ 𝑷(𝒙𝒌|
𝒏
𝒌=𝟏 𝑪𝒊)
Tabel 6. Tabel class
Hitung P(Xk | 𝑪𝒊) untuk setiap class I
P (Outlook = Rainy | Play = YES) =>
4
10
0,4
P (Outlook = Rainy | Play = NO ) =>
1
4
2,5
P (Temperatur = Cool | Play = YES) =>
4
10
0,4
P (Temperatur = Cool | Play = NO ) =>
0
4
0
P (Humidity = High | Play = YES) =>
3
10
0,3
P (Humidity = High | Play = NO ) =>
4
4
1
P (Windy = False | Play = YES) =>
6
10
0,6
P (Windy = False | Play = NO ) =>
2
4
0,5
Hitung P(X|𝐶𝑖) untuk setiap class:
P(X|PLAY =” YES”)
0,4 x 0,4 x 0,3 x 0,6 = 0,029 –
P(X|PLAY =”NO”)
2,5 x 0 x 1 x 0,5 = 0
P(X|𝑪𝒊) * P(𝑪𝒊):
• P(X | PLAY = “YES”) * P( PLAY = “YES”)
0,29 * (
10
14
) = 0,207
• P(X | PLAY = “NO”) * P( PLAY = “NO”)
0 * (
4
14
) = 0
X memiliki class “PLAY = YES”
Karena
P(X|PLAY=”YES”) memiliki nilai maksimum pada perhitungan di atas.

6. 6
Naїve Bayesian: Summary
✓ Kekuatan:
- Mudah diimplementasikan.
- Memberikan hasil yang baik untuk banyak kasus.
✓ Klemehan:
- Harus mengasumsi bahwa antar fitur tidak terkait (independent) dalam realita,
keterkaitan itu ada.
- Keterkaitan tersebut tidak dapat dimodelkan oleh Naїve Bayesian Classifier.
Referenisi
Syahid Abdullah, S. M. (2023). Machine Learning. Dalam S. M. Syahid Abdullah, Supervised
Learning: Naїve Bayes (hal. 1 - 21). Jakarta: Informatika UNSIA.
Website: https://www.slideshare.net/HendroGunawan8/machine-learning-diskusi-4docx