Algoritma ID3 digunakan untuk membangun pohon keputusan dengan memilih atribut yang memiliki informasi gain tertinggi untuk setiap percabangan berdasarkan perhitungan entropi. Prosesnya dimulai dari node akar lalu dibangun secara rekursif hingga mencapai kriteria berhenti yaitu semua contoh masuk kelas yang sama atau tidak ada atribut lain untuk dipartisi.

1. Algoritma ID3 Decision Tree
Ahmad Wahyu Rosyadi

2. Decision tree
• Decision tree adalah salah satu metode klasifikasi yang
mudah untuk diinterpretasi atau dipahami oleh manusia.
• Decision tree menggunakan struktur pohon untuk model
classifiernya.
• Decision tree memiliki kemampuan untuk mem-break
down proses pengambilan keputusan yang kompleks
menjadi lebih simple, sehingga pengambil keputusan akan
lebih menginterpretasikan solusi dari permasalahan.

3. Decision tree (2)
Arsitektur Pohon Keputusan:
• Root node atau node akar merupakan node
yang terletak paling atas dari suatu pohon.
• Internal Node ini merupakan node
percabangan, dimana pada node ini hanya
terdapat satu input dan mempunyai
minimal dua output.
• Leaf Node ini merupakan node akhir, hanya
memiliki satu input, dan tidak memiliki
output. Pada pohon keputusan setiap leaf
node menandai label kelas.
setiap percabangan menyatakan kondisi yang
harus dipenuhi.
Yes
Humidity
Outlook
sunny
overcast
rain
high normal wind
strong weak
Yes
No
Yes
No

4. Deskripsi ID3
• Algoritma ID3 merupakan algoritma yang dipergunakan untuk membangun sebuah
decision tree atau pohon keputusan.
• Proses dari decision tree dimulai dari root node hingga leaf node yang dilakukan
secara rekursif.:
 Setiap percabangan menyatakan suatu kondisi yang harus dipenuhi.
 Setiap ujung pohon menyatakan kelas dari suatu data.
• Proses dalam decision tree yaitu mengubah bentuk:
data (tabel)
model pohon
(tree)
aturan (rule).
• Algoritma ID3 tidak pernah melakukan backtracking untuk merevisi keputusan
pemilihan attribute yang telah dilakukan sebelumnya.

5. Deskripsi ID3 (2)
• ID3 menggunakan information gain untuk
menentukan atribut yang terbaik.
• Yang memiliki information gain tertinggi dipilih
(informasi yang paling berguna untuk klasifikasi).
• Untuk menentukan information gain, pertama-
tama kita menghitung entropi.
• Entropi digunakan untuk mengukur jumlah
informasi dalam suatu atribut.

6. Algoritma ID3
• S = training set
• p(I) = probabilitas S yang termasuk dalam kelas I
Contoh:
• S adalah kumpulan dari 14 contoh dengan 9 YA dan 5 TIDAK

7. Algoritma ID3 (2)
• Jika entropi 0 berarti semua anggota S masuk
dalam kelas yang sama (data diklasifikasikan
dengan sempurna).
• Kisaran entropi adalah:
0 ("diklasifikasikan sempurna") hingga 1
("acak total").

8. Algoritma ID3 (3)
• Gain(S, A) adalah information gain of training
set S di attribute A.
• 𝑆𝑣 = subset dari S dengan attribute A dengan
nilai v

9. Langkah-Langkah Konstruksi Pohon
Keputusan dengan Algoritma ID3
• Langkah 1 : Pohon dimulai dengan sebuah simpul (node) yang mereperesentasikan sampel data
pelatihan yaitu dengan membuat simpul akar.
• Langkah 2 : Jika semua sampel berada dalam kelas yang sama, maka simpul ini menjadi daun (leaf)
dan dilabeli menjadi kelas. Jika tidak, information gain akan digunakan untuk memilih atribut
terbaik dalam memisahkan data sampel menjadi kelas-kelas individu.
• Langkah 3 : Cabang akan dibuat untuk setiap nilai pada atribut dan data sampel akan dipartisi lagi.
• Langkah 4 : Algoritma ini menggunakan proses rekursif untuk membentuk pohon keputusan pada
setiap data partisi. Jika sebuah atribut sudah digunakan disebuah simpul, maka atribut ini tidak
akan digunakan lagi di simpul anak-anaknya.
• Langkah 5 : Proses ini berhenti jika dicapai kondisi seperti berikut :
 – Semua sampel pada simpul berada di dalam satu kelas
 – Tidak ada atribut lainnya yang dapat digunakan untuk mempartisi sampel lebih lanjut.
Dalam hal ini akan diterapkan suara terbanyak. Ini berarti mengubah sebuah simpul menjadi
daun dan melabelinya dengan kelas pada suara terbanyak.

10. Simulasi level 0
+

11. Simulasi level 0 (2)

12. Simulasi level 0 (3)

13. Simulasi level 0 (4)
• Menghitung Gain untuk semua atribut
lain.
• Menjadikan atribut dengan Gain paling
besar sebagai root node (simpul akar).
• Karena Outlook memiliki tiga
kemungkinan nilai, simpul akar memiliki
tiga cabang (sunny, overcast, rain).
• Melanjutkan proses training pada setiap
cabang:
• Setiap cabang akan dikombinasikan
dengan atribut yang tersisa (Humidity,
Temperature, or Wind).
Outlook
sunny
overcast
rain

14. Simulasi level 1
Outlook
sunny
overcast
rain

15. Simulasi level 1 (2)
Humidity
Outlook
sunny
overcast
rain
high normal

16. Simulasi level 1 (3)
• Lanjutkan ke cabang
yang belum ditraining
(overcast dan rain)
• Mari lihat slide
perhitungan gain
outlook
Humidity
Outlook
sunny
overcast
rain
high normal

17. Simulasi level 1 (4)
Yes
• Lanjutkan ke cabang yang
belum ditraining (rain)
• Rain akan dikombinasikan
dengan atribut yang tersisa
(Temperature dan Wind).
Humidity
Outlook
sunny
overcast
rain
high normal

18. Simulasi level 1 (5)
Yes
Humidity
Outlook
sunny
overcast
rain
high normal

19. Simulasi level 1 (6)
Yes
Humidity
Outlook
sunny
overcast
rain
high normal

20. Simulasi level 1 (7)
• Melanjutkan proses
training pada setiap
cabang yang belum selesai
• Mari lihat slide
perhitungan gain humidity
Yes
Humidity
Outlook
sunny
overcast
rain
high normal wind
strong weak

21. Simulasi level 2
Yes
Humidity
Outlook
sunny
overcast
rain
high normal wind
strong weak
Yes
No

22. Simulasi level 2 (2)
• Stop training karena semua
cabang sudah di training dan
tidak bisa dikombinasikan
dengan atribut terkahir:
temperature.
Yes
Humidity
Outlook
sunny
overcast
rain
high normal wind
strong weak
Yes
No
Yes
No

23. Referensi
• https://informatikalogi.com/algoritma-id3/
• https://medium.com/iykra/mengenal-
decision-tree-dan-manfaatnya-b98cf3cf6a8d