Dokumen tersebut merupakan materi perkuliahan Machine Learning pada Program Studi Teknik Informatika di Institut Teknologi Sumatera. Materi yang disajikan pada minggu pertama meliputi kontrak perkuliahan, pendahuluan Machine Learning, tipe Machine Learning, desain sistem pembelajaran, dan isu-isu dalam Machine Learning. Dosen pengampu mata kuliah ini adalah Rahman Indra Kesuma dan Meida Cahyo Untoro.

1. Pendahuluan
Machine Learning
Program Studi Teknik Informatika
Jurusan Teknologi Produksi dan Industri
Institut Teknologi Sumatera
2022
1

2. Pokok Bahasan pada Minggu Pertama
• Kontrak Perkuliahan
• Pendahuluan Machine Learning
• Tipe Machine Learning
• Desain Sistem Pembelajaran
• Isu dalam Machine Learning
2

3. Dosen Pengampu Mata Kuliah
Rahman Indra Kesuma, S.Kom., M.Cs.
rahman.indra@if.itera.ac.id
3
Meida Cahyo Untoro, S.Kom., M.Kom.
cahyo.untoro@if.itera.ac.id

4. Luaran Mata Kuliah
• Mahasiswa mampu memahami konsep dasar matematika yang digunakan dalam algoritma
yang digunakan untuk menyelesaikan persoalan secara praktis.
• Mahasiswa mampu mengidentifikasi masalah dan memilih metode/algoritma yang tepat
serta praktis untuk menyelesaikan masalah.
• Mahasiswa mampu memahami ide dasar, intuisi, konsep, algoritma dan teknik untuk
membuat komputer menjadi lebih cerdas, melalui penekanan pada konsep pembelajaran
secara supervised dan unsupervised.
• Mahasiswa mampu menerapkan beragam teknik/algoritma dan tools untuk membantu
menyelesaikan beberapa permasalahan sederhana dengan pendekatan pembelajaran
mesin.
• Mahasiswa mampu menerapkan dan melakukan inovasi pada pengembangan sebuah
sistem Pembelajaran Mesin pada kasus tertentu.
4

5. Identitas Mata Kuliah
• Bobot Kredit : 3 SKS
• Mata Kuliah Prasyarat:
a. Inteligensi Buatan
• Peraturan perkuliahan daring
ü Perkuliahan : Hari Senin pukul 15.00 – 18.00 WIB (break/istirahat 30 menit);
ü Seluruh peserta perkuliahan Wajib Mengaktifkan Kamera;
ü Seluruh peserta dalam Posisi Duduk dan Berpakaian Rapih;
ü Terdapat Post-Test pada akhir pelaksanaan perkuliahan dan tidak ada pelaksanaan Post-Test
susulan;
ü Terdapat tugas mandiri, tugas kelompok, dan tugas besar mata kuliah;
ü UTS (Minggu 8) dan UAS (Minggu 16)
5

6. Penilaian Mata Kuliah
• Komponen: UAS, UTS, Kuis/Post-Test, Tugas & latihan, Ekplorasi
• Tugas (kelompok/individu)
• Implementasi algoritma (kelompok/individu)
• Eksperimen (kelompok/individu)
• Segala bentuk kecurangan akan mengakibatkan nilai E
• Susulan UTS atau UAS hanya untuk mahasiswa yang dirawat di rumah sakit atau
terkena musibah. Susulan hanya untuk UTS atau UAS (tidak keduanya)
6

7. Pokok Bahasan Perkuliahan
• Pendahuluan Machine Learning
• Well Define Learning System & Pembelajaran Konsep
• Overview Supervised dan Unsupervised Learning
• Deep Neural Network (CNN, RNN - LTSM)
• Support Vector Machine
• Clustering (Partitioning, Density, Hierarchical, Model and Grid Based)
• Isu pada Machine Learning
ü Imbalanced Dataset, Overfitting, Underfitting, dan Ensemble Classifier
• Eksperimen Machine Learning dan Transformasi Data
• Eksplorasi Supervised dan Unsupervised Learning di Python
• Eksplorasi Paper Machine Learning
7

8. Referensi
• Mitchell, T., Machine Learning, 1997, McGraw-Hill;
• Andrew Ng, Machine Learning Yearning, 2018, deeplearning.ai;
• R. Duda, P. Hart, and D. Stork, Pattern Classification, 2nd ed. John
Wiley & Sons, 2001;
• C. Bishop, Pattern Recognition and Machine Learning. Springer, 2006;
• Tim Dosen STEI ITB, Slide Perkuliahan Pembelajaran Mesin Lanjut, 2020;
• Digital library / http://scholar.google.com/;
8

9. Conventional-Based v.s. Machine Learning Based System
MACHINE
Traditional Programming
Input
Program
Output
MACHINE
Artificial Intelligence (Machine Learning)
Input
Program
Output
9

10. Machine Learning ???
Bus
Car
Motorcycle
????????
10

11. Machine Learning ???
Reference :
https://vas3k.com/blog/
machine_learning/
11

12. Machine Learning ???
Reference :
https://www.javatpoint.com/
what-is-machine-learning
12

13. Machine Learning : Why ???
13
Face Recognition
Dalam sistem berbasis
pengetahuan, sebagai teknik
akuisisi pengetahuan otomatis
untuk menangani knowledge
acquisition bottleneck
https://www.igcseict.info/theory/7_2/expert/
Develop software applications that we
can’t program by hand (poorly understood
domains). Humans might not have the
knowledge to develop effective algorithms
Self Driving Car

14. Machine Learning : Why ??
14
Information overload (online data),
manual processing is nearly impossible
https://www.statista.com/chart/25443/estimated-amount-of-data-created-on-the-internet-in-one-minute/
Improve decisions using historical data

15. Machine Learning : Why ???
15
Kapan Machine Learning menjadi pilihan yang tepat untuk digunakan:
• Ketika tidak terdapatnya kepakaran (ex: navigating on Mars)
• Ketika manusia tidak dapat menjelaskan terkait kepakarannya (ex: speech recognition)
• Ketika model harus disesuaikan (ex: personalized medicine)
• Ketika model berdasarkan pada data yang berjumlah banyak (ex: genomics)
Konsep Learning tidaklah selalu berguna pada setiap masalah:
• Terdapat kasus yang tidak membutuhkan "Learning" seperti perhitungan gaji karyawan

16. Machine Learning : Emerging Technology 2021
16

17. Hype Cycle for Artificial Intelligence 2021
17
Reference :
www.gartner.com

18. Main Component of Machine Learning
18
Features
• Also known as parameters
or variables.
Data
• Want to detect spam? Get
samples of spam messages. Want
to forecast stocks? Find the price
history. Want to find out user
preferences? Parse their activities
on Facebook (no, Mark, stop
collecting it, enough!)
Algorithms
• Most obvious part. Any problem
can be solved differently.

19. Machine Learning Applications
Autonomous Car
Technology
19

20. Machine Learning Applications
Object Detection
20

21. Machine Learning Applications
Scene Labeling
21

22. Machine Learning Applications
Speech
Technology
22

23. Machine Learning Applications
Others:
• Retail: Market basket analysis, Customer relationship management (CRM)
• Finance: Credit scoring, fraud detection
• Manufacturing: Control, robotics, troubleshooting
• Medicine: Medical diagnosis
• Telecommunications: Spam filters, intrusion detection
• Bioinformatics: Motifs, alignment
• Web mining: Search engines
23

24. Tipe
Machine Learning
24

25. Type of Machine Learning
25

26. Beberapa Pendekatan Learning
• Supervised (Inductive) Learning
Diberikan : Data Latih & Output yang Diharapkan (label)
• Unsupervised Learning
Diberikan : Data Latih (tanpa label)
• Semi-Supervised Learning
Diberikan : Data Latih & Sedikit Informasi Label
• Reinforcement Learning
Reward/Punishment dari Serangkaian Aksi
26

27. AI – Machine Learning – Deep Learning
27

28. Desain Sistem
Pembelajaran / Learning
28

29. Machine Learning : Definition
• Arthur Samuel (1959): Machine Learning is the field of study that gives the
computer the ability to learn without being explicitly programmed.
• Tom Mitchell (1998): a computer program is said to learn from experience
E with respect to some class of tasks T and performance measure P, if its
performance at tasks in T, as measured by P, improves with experience E.
29

30. Machine Learning : Definition
Learning = Generalization
• H. Simon - "Learning denotes changes in the system that are adaptive in the
sense that they enable the system to do the task or task drawn from the sample
of population more efficiently and more effectively the next time."
The ability to perform a task in a situation which has never been encountered
before.
30

31. Machine Learning : Definition
Dapatkah komputer belajar seperti manusia?
• Kita belum tahu bagaimana membuat komputer belajar seperti manusia
(Mitchell, 1997) → berpikir dan mengerti
• Google’s DeepMind membuat program AI yang mampu belajar layaknya
manusia (The Guardian, 2017)
ü catastrophic forgetting → pekerjaan/aktifitas belajar secara sekuensial
• Bagaimanapun, beberapa algoritma pembelajaran efektif untuk tipe task
tertentu
31

32. Machine Learning : Catastrophic Forgetting Fenomena
32

33. Well Defined Learning
Membutuhkan beberapa hal, seperti
• Informasi pekerjaan yang ditentukan secara baik (T – Task)
• Matrik pengukuran kinerja (P – Performance Measure)
• Sumber untuk memperoleh pengalaman untuk belajar (E – Training
Experience)
33

34. Well Defined Learning – Contoh 1
A checkers learning problem:
• Task T: bermain checkers
• Performance measure P: persentase (seberapa sering) memenangkan
permainan melawan pemain lain
• Training experience E: latihan dengan bermain melawan dirinya sendiri
34

35. Well Defined Learning – Contoh 2
A handwriting recognition learning problem:
• Task T: mengenali dan mengklasifikasikan huruf tulisan tangan dalam gambar
• Performance measure P: persentase (seberapa banyak) kata yang
diklasifikasi dengan benar
• Training experience E: sekumpulan data huruf yang ditulis tangan dengan
informasi label klasifikasinya
35

36. Well Defined Learning – Contoh 3
A Robot driving learning problem:
• Task T: ……?
• Performance measure P: ……?
• Training experience E: ……?
36

37. Desain Sistem Pembelajaran untuk Suatu T
Beberapa hal yang perlu diperhatikan adalah
• Pemilihan training experience E
• Pemilihan secara tepat apa yang ingin dipelajari (fungsi target)
• Pemilihan bagaimana cara merepresentasikan fungsi target
• Pemilihan algoritma pembelajaran untuk menyimpulkan fungsi target dari pengalaman
(experience)
37

38. 1. Pemilihan Training Experience E
• Tipe training experience E yang tersedia berpengaruh signifikan terhadap
sukses atau gagalnya sistem pembelajaran.
• Atribut kunci:
ü Feedback: direct atau indirect. Pembelajaran dengan direct feedback
lebih mudah dilakukan daripada indirect feedback.
ü Tingkat kontrol sekuens dari training examples: teacher (annotator)
ü Tingkat representasi distribusi data saat kinerja sistem final P diukur.
38

39. 1. Pemilihan Training Experience E
• Training Experience: Feedback
39
Direct feedback
Contoh 1 : credit approval
• Credit applications and correct decision
(+ approve or - reject)
• <application data, decision>
Contoh 2: playing checkers
• Individual checkers board states and
correct move for each
• <board state, correct move>*
Indirect feedback
Contoh: playing checkers
Move sequences and final outcomes of
various games played
<move sequences, final outcome>*

40. 1. Pemilihan Training Experience E
• Credit Approval: Direct Feedback
40

41. 1. Pemilihan Training Experience E
• Playing Checkers: Direct Feedback
41
Individual checkers board states and
correct move for each

42. 1. Pemilihan Training Experience E
• Playing Checkers: Indirect Feedback
42
Move sequences and final outcomes of various games played
[Event "Manchester 1841"]
[Date "1841-??-??"]
[Black "Moorhead, W."]
[White "Wyllie, J."]
[Site "Manchester"]
[Result "0-1"]
(1) 11-15 24-20 (2) 8-11 28-24 (3) 9-13 22-18 (4) 15-22 25-18 (5) 4-8
26-22 (6) 10-14 18-9 (7) 5-14 22-18 (8) 1-5 18-9 (9) 5-14 29-25 (10)
11-15 24-19 (11) 15-24 25-22 (12) 24-28 22-18 (13) 6-9 27-24 (14) 8-
11 24-19 (15) 7-10 20-16 (16) 11-20 18-15 (17) 2-6 15-11 (18) 12-16
19-12 (19) 10-15 11-8 (20) 15-18 21-17 (21) 13-22 30-26 (22) 18-27
26-17-10-1 [0-1]

43. 1. Pemilihan Training Experience E
Training Experience: Kontrol Sekuens
43
• Urutan bergantung pada annotator (teacher)
ü Teacher select informative board states and provide the correct move for
each.
• Urutan bergantung pada learner
ü Learner might itself propose board states that it finds particularly confusing
and ask the teacher for the correct move
• Complete control: playing against itself (urutan dan feedback)
ü Urutannya random atau berdasarkan heuristics

44. 1. Pemilihan Training Experience E
44
Training Experience: Representasi Distribusi
• Seberapa baik training data merepresentasikan distribusi data ketika
digunakan kinerja sistem P yang harus diukur
• Pembelajaran ideal dapat terjadi ketika distribusi data antara data
training dan testing data di dunia nyata adalah sama
• Data training merepresentasikan semua kasus yang mungkin: experience
against itself vs testing in world tournament

45. 2. Pemilihan Fungsi Target
45
• Tujuan: menentukan pengetahuan yang akan dipelajari dan bagaimana
digunakan task T ⇒ berupa fungsi target
• Contoh untuk playing checkers:
ü Task T: choose the best move for any given board state
v Input: board ∈ set of legal board states (B)
v Output: move ∈ set of legal moves (M)
ü Fungsi target ChooseMove: B → M (task klasifikasi)
ü Alternatif fungsi target board value V: B → Real (task regresi)
v ChooseMove = max (V(legal_successor_board_state))

46. 3. Pemilihan Representasi Fungsi Target
46
• Alternatif representasi: rules, neural network, fungsi linear atau polinomial
dari fitur board.
xl: the number of white pieces on the board
x2: the number of red pieces on the board
x3: the number of white kings on the board
x4: the number of red kings on the board
x5: the number of white pieces threatened by red (i.e., which can be captured on
red's next turn)
x6: the number of red pieces threatened by white

47. 3. Pemilihan Representasi Fungsi Target
47
Asumsi Fundamental dalam Pembelajaran Induktif
• Training examples of target function:
• Determine: hypothesis h in H such that h(x) = c(x) for all x in D.
• The inductive learning hypothesis
Any hypothesis found to approximate the target function well over a
sufficiently large set of training examples will also approximate the
target function well over other unobserved examples.

48. 4. Pemilihan Algoritma Pembelajaran
48
• The problem of learning a checkers strategy reduces to the
problem of learning values for the coefficients w0 through w6 in
the target function representation (linear function)
• Adjusting the weights: Least Minimum Squares

49. Isu dalam
Machine Learning
49

50. Isu dalam Machine Learning
50
• What algorithms can approximate function well and when?
• How much training data is sufficient?
• How does complexity of hypothesis representation impact accuracy?
• How does noisy data influence accuracy
• What are the theoretical limit of learnability?
• How can prior knowledge of learner can help?
• What clues can we get from biological learning system?

51. TERIMA KASIH
Ada pertanyaan ???
Minggu Depan → Pembelajaran Konsep
51