Bab 3-pros stok

Silabus dan Tujuan Perkuliahan
Ilustrasi
Rantai Markov
Peluang n-langkah
Peluang Transisi Tak Bersyarat
Latihan
Program MATLAB
Jenis Keadaan
Limit Peluang Transisi
LATIHAN
MA4081 PENGANTAR PROSES STOKASTIK
Bab 3 Rantai Markov
Dosen: Khreshna I.A. Syuhada, MSc. PhD.
“Cerdas dan Stokastik”
Dosen: Khreshna I.A. Syuhada, MSc. PhD. MA4081 PENGANTAR PROSES STOKASTIK Bab 3 Rantai Ma

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Silabus
Tujuan
Silabus
Deﬁnisi rantai Markov, sifat Markov, peluang transisi n-langkah,
persamaan Chapman-Kolmogorov, jenis keadaan, recurrent dan
transient, limit peluang transisi (kestasioneran).

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Silabus
Tujuan
Tujuan
1 Mempelajari model rantai Markov
2 Menghitung peluang transisi n-langkah
3 Menerapkan persamaan Chapman-Kolmogorov
4 Menentukan keadaan yang dapat diakses dan berkomunikasi
5 Menentukan keadaan-keadaan recurrent dan transient
6 Menghitung peluang transisi untuk jangka panjang

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi 1
Perilaku bunuh diri kini kian menjadi-jadi. Hesti (nama
sebenarnya) adalah sebuah contoh. Dia pernah melakukan
percobaan bunuh diri, namun gagal. Menurut pakar, kalau pada
suatu waktu seseorang melakukan percobaan bunuh diri maka
besar kemungkinan dia akan melakukannya lagi di masa
mendatang. Jika seseorang belum pernah melakukan percobaan
bunuh diri, di masa mendatang orang tersebut akan mungkin
melakukan percobaan bunuh diri. Deskripsikan fenomena diatas
sebagai model peluang (probability model).

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi 2
“Pada 23 Juni lalu sekitar pukul 21.30 mobil yang dikemudikan
suami saya terperosok masuk lubang di jalan tol lingkar luar
Jakarta, kira-kira 2 kilometer dari Pintu Tol Pondok Ranji arah
Jakarta. Ban dan gadi-gading roda rusak. Esoknya saya
mengajukan klaim asuransi Sinar Mas kepada SiMas Bekasi. Pada
1 Juli saya mendapat jawaban bahwa klaim asuransi ditolak dengan
alasan: bagian yang rusak hanya ban dan gading-gading roda. Tak
mengenai badan mobil.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Padahal, tercantum jelas di dalam pasal-pasal polis asuransi
maupun surat penolakan bahwa ban dan gading-gading roda tidak
dijamin, kecuali disebabkan oleh Pasal 1 angka 1.1. Isi pasal itu,
pertanggungan ini menjamin kerusakan yang secara langsung
disebabkan oleh tabrakan, benturan, terbalik, tergelincir atau
terperosok. Asuransi Sinar Mas berusaha menghindar dari
kewajiban dengan alasan mengada-ada, bahkan mengingkari aturan
yang dibuatnya sendiri” (Surat Pembaca KOMPAS; 03/08/2010).
Andaikan suatu hari saya mengajukan klaim lagi ke Asuransi Sinar
Mas, berapa peluang bahwa klaim saya akan diterima?

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi 3
Permainan. Foto.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi 4
Loyalitas konsumen terhadap suatu merek barang. Wilkie (1994)
mendeﬁnisikan “brand loyalty as a favorable attitude toward and
consistent purchase of a particular brand”. Lyong (1998): “brand
loyalty is a function of a brands’ relative frequency of purchase in
both time-independent and time-dependent situations”. Seorang
konsumen pembeli merek barang A diharapkan akan terus membeli
barang A. Mungkinkah ini terjadi? Apakah model statistika yang
dapat dengan tepat (atau mendekati tepat) merinci peluang
terjadinya hal ini? Apakah model ini membantu dalam strategi
pemasaran suatu barang?

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi 5
Akhir-akhir ini, hujan dan panas (baca: tidak hujan) datang silih
berganti tanpa bisa diduga. Kalau hari ini hujan, besok mungkin
hujan mungkin juga panas. Tentu saja peluang besok hujan akan
lebih besar dibanding peluang besok akan panas. Begitu pula jika
hari ini panas. Besok akan lebih mungkin panas dibandingkan
hujan. Jika hari Senin hujan, berapa peluang bahwa hari Selasa
akan hujan? Berapa peluang bahwa hari Kamis akan hujan?

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi 6
Sebagai calon atlet, setiap pagi Swari meninggalkan rumahnya
untuk berlari pagi. Swari akan pergi lewat pintu depan atau
belakang dengan peluang sama. Ketika meninggalkan rumah,
Swari memakai sepatu olah raga atau bertelanjang kaki jika sepatu
tidak tersedia di depan pintu yang dia lewati. Ketika pulang, Swari
akan masuk lewat pintu depan atau belakang dan meletakkan
sepatunya dengan peluang sama. Diketahui bahwa Swari memiliki
4 pasang sepatu olah raga. Berapa peluang bahwa Swari akan
sering berolah raga dengan bertelanjang kaki?

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi 7
Hutang tak terbayar.
Hutang atau rugi dimasa depan, milik siapa?
Perlukah kita mengetahui (baca: memprediksi) kerugian dimasa
depan?
Bagaimana memodelkan kerugian?
“segmentation algorithm”?
“Markov chain”?
“account’s behavioural score”?

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
P =










0.85 0.09 0.01 0.00 0.01 0.01 0.03
0.05 0.76 0.12 0.04 0.01 0.00 0.02
0.03 0.08 0.70 0.15 0.03 0.00 0.01
0.01 0.04 0.03 0.70 0.12 0.00 0.00
0.00 0.02 0.07 0.03 0.88 0.00 0.00
0.00 0.00 0.00 0.00 0.00 1.00 0.00
0.00 0.00 0.00 0.00 0.00 0.00 1.00











Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Deﬁnisi
Peluang Transisi
Contoh/Latihan
Deﬁnisi
Proses stokastik {Xn} adalah Rantai Markov:
n = 0, 1, 2, . . .
nilai yang mungkin adalah hingga atau terhitung
P Xn+1 = j|Xn = i, Xn−1 = in−1, . . . , X1 = i1, X0 = i0 = Pij (∗)
distribusi bersyarat Xn+1, diberikan keadaan-keadaan lampau
(past states) X0, X1, . . . , Xn−1 dan keadaan sekarang (present
state) Xn, hanya bergantung pada keadaan sekarang (“Sifat
Markov”)
keadaan-keadaan (states): i0, i1, . . . , in−1, i, j

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Deﬁnisi
Peluang Transisi
Contoh/Latihan
Pij peluang bahwa proses akan berada di keadaan j dari keadaan i;
Pij ≥ 0, i, j ≥ 0;
∞
j=0
Pij = 1, i = 0, 1, . . .

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Deﬁnisi
Peluang Transisi
Contoh/Latihan
Matriks peluang transisi Pij adalah
P =








P00 P01 P02 · · ·
P10 P11 P12 · · ·
...
...
...
Pi0 Pi0 Pi0 · · ·
...
...
...









Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Deﬁnisi
Peluang Transisi
Contoh/Latihan
Diagram transisi keadaan

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Deﬁnisi
Peluang Transisi
Contoh/Latihan
Perhatikan (*):
P Xn+1 = j|Xn = i, Xn−1 = in−1, . . . , X1 = i1, X0 = i0
= P Xn+1 = j|Xn = i
= Pij ,
yang disebut sebagai peluang transisi 1-langkah atau one-step
transition probability.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Deﬁnisi
Peluang Transisi
Contoh/Latihan
Peluang bersama
P Xn = i, Xn−1 = in−1, . . . , X1 = i1, X0 = i0
dapat dihitung dengan sifat peluang bersyarat berikut.
P Xn = i, Xn−1 = in−1, . . . , X1 = i1, X0 = i0
= P Xn−1 = in−1, . . . , X1 = i1, X0 = i0
× P Xn = i | Xn−1 = in−1, . . . , X1 = i1, X0 = i0
= P Xn−1 = in−1, . . . , X1 = i1, X0 = i0 × P Xn = i | Xn−1 = in−1
= · · ·
= pi0 · · · Pin−1,in

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Deﬁnisi
Peluang Transisi
Contoh/Latihan
Contoh/Latihan
1. Jika, pada waktu t, Rez mengajukan klaim asuransi, maka
Rez akan mengajukan klaim pada waktu t + 1 dengan peluang
α; jika Rez tidak mengajukan klaim asuransi saat ini maka di
masa depan Rez akan mengajukan klaim asuransi dengan
peluang β. Matriks peluang transisinya adalah...

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Deﬁnisi
Peluang Transisi
Contoh/Latihan
Solusi:
P =
1 − β β
1 − α α
dengan keadaan-keadaan:
’0’ tidak mengajukan klaim
’1’ mengajukan klaim

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Deﬁnisi
Peluang Transisi
Contoh/Latihan
2. Suatu rantai Markov dengan keadaan-keadaan “0, 1, 2”
memiliki matriks peluang transisi:
P =


0.1 0.2 0.7
0.9 0.1 0
0.1 0.8 0.1


dan P(X0 = 0) = 0.3, P(X0 = 1) = 0.4, P(X0 = 2) = 0.3.
Hitung
P(X0 = 0, X1 = 1, X2 = 2)

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Deﬁnisi
Peluang Transisi
Contoh/Latihan
Solusi: 0

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Deﬁnisi
Peluang Transisi
Contoh/Latihan
3. Keadaan hujan pada suatu hari bergantung pada keadaan
hujan dalam dua hari terakhir. Jika dalam dua hari terakhir
hujan maka besok akan hujan dengan peluang 0.7; Jika hari
ini hujan dan kemarin tidak hujan maka besok akan hujan
dengan peluang 0.5; jika hari ini tidak hujan dan kemarin
hujan maka besok akan hujan dengan peluang 0.4; jika dalam
dua hari terakhir tidak hujan maka besok hujan dengan
peluang 0.2. Matriks peluang transisinya adalah...

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Deﬁnisi
Peluang Transisi
Contoh/Latihan
Solusi:
P =




0.7 0 0.3 0
0.5 0 0.5 0
0 0.4 0 0.6
0 0.2 0 0.8




’0’ (00) = hari ini dan kemarin hujan
’1’ (10) = hari ini hujan, kemarin tidak hujan
’2’ (01) = hari ini tidak hujan, kemarin hujan
’3’ (11) = hari ini dan kemarin tidak hujan

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Deﬁnisi
Peluang Transisi
Contoh/Latihan
4. Tiga item produk A dan tiga item produk B didistribusikan
dalam dua buah paket/kotak sedemikian hinga setiap paket
terdiri atas tiga item produk. Dikatakan bahwa sistem berada
dalam keadaan i, i = 0, 1, 2, 3 jika dalam paket pertama
terdapat i produk A. Setiap saat (langkah), kita pindahkan
satu item produk dari setiap paket dan meletakkan item
produk tersebut dari paket 1 ke paket 2 dan sebaliknya.
Misalkan Xn menggambarkan keadaan dari sistem setelah
langkah ke-n. Matriks peluang transisinya adalah...

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Deﬁnisi
Peluang Transisi
Contoh/Latihan
Solusi:
P =




0 1 0 0
1/9 4/9 4/9 0
0 4/9 4/9 1/9
0 0 1 0




’0’ terdapat 0 produk A di paket pertama

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Deﬁnisi
Peluang Transisi
Contoh/Latihan
5. Menurut Kemeny, Snell dan Thompson, Tanah Australia
diberkahi dengan banyak hal kecuali cuaca yang baik. Mereka
tidak pernah memiliki dua hari bercuaca baik secara
berturut-turut. Jika mereka mendapatkan hari bercuaca baik
maka esok hari akan bersalju atau hujan dengan peluang
sama. Jika hari ini mereka mengalami salju atau hujan maka
besok akan bercuaca sama dengan peluang separuhnya. Jika
terdapat perubahan cuaca dari salju atau hujan, hanya
separuh dari waktu besok akan menjadi hari bercuaca baik.
Tentukan matriks peluang transisi dari Rantai Markov yang
dibentuk dari keadaan-keadaan diatas.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Deﬁnisi
Peluang Transisi
Contoh/Latihan
Solusi:
P =


1/2 1/4 1/4
1/2 0 1/2
1/4 1/4 1/2


’0’ cuaca hujan
’1’ cuaca baik
’2’ cuaca salju

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Deﬁnisi
Peluang Transisi
Contoh/Latihan
6. Suatu rantai Markov dengan keadaan-keadaan “0, 1, 2”
memiliki matriks peluang transisi:
P =


0.7 0.2 0.1
0 0.6 0.4
0.5 0 0.5


Hitung
P(X2 = 1, X3 = 1 | X1 = 0)
dan
P(X1 = 1, X2 = 1 | X0 = 0)

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Deﬁnisi
Peluang Transisi
Contoh/Latihan
Solusi: 0.12; 0.12

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Deﬁnisi
Peluang Transisi
Contoh/Latihan
7. Sebagai calon atlet, setiap pagi Swari meninggalkan rumahnya
untuk berlari pagi. Swari akan pergi lewat pintu depan atau
belakang dengan peluang sama. Ketika meninggalkan rumah,
Swari memakai sepatu olah raga atau bertelanjang kaki.
Ketika pulang, Swari akan masuk lewat pintu depan atau
belakang dan meletakkan sepatunya dengan peluang sama.
Diketahui bahwa Swari memiliki 4 pasang sepatu olah raga.
Bentuklah suatu Rantai Markov dari proses diatas.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Deﬁnisi
Peluang Transisi
Contoh/Latihan
Solusi:
P =






3/4 1/4 0 0 0
1/4 1/2 1/4 0 0
0 1/4 1/2 1/4 0
0 0 1/4 1/2 1/4
0 0 0 1/4 3/4






’0’ (4,0) = 4 sepatu didepan, 0 dibelakang

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Persamaan Chapman-Kolmogorov
Contoh/Latihan
Deﬁnisi
Misalkan Pn
ij menyatakan peluang transisi n-langkah suatu proses
di keadaan i akan berada di keadaan j,
Pn
ij = P(Yk+n = j|Yk = i), n ≥ 0, i, j ≥ 0.
Persamaan Chapman-Kolmogorov adalah alat untuk menghitung
peluang transisi n + m-langkah:
Pn+m
ij =
∞
k=0
Pn
ikPm
kj , (Buktikan!)
untuk semua n, m ≥ 0 dan semua i, j. Pn
ikPm
kj menyatakan peluang
suatu proses dalam keadaan i akan berada di keadaan j dalam
n + m transisi, melalui keadaan k dalam n transisi/langkah.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh/Latihan
Contoh/Latihan
1. Jika hari ini hujan maka besok akan hujan dengan peluang
α = 0.7; jika hari ini tidak hujan maka besok akan hujan
dengan peluang β = 0.4. Matriks peluang transisi 4 langkah
adalah...

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh/Latihan
Solusi:
P4 =
0.5749 0.4251
0.5668 0.4332

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh/Latihan
2. Keadaan hujan pada suatu hari bergantung pada keadaan
hujan dalam dua hari terakhir. Jika dalam dua hari terakhir
hujan maka besok akan hujan dengan peluang 0.7; Jika hari
ini hujan dan kemarin tidak hujan maka besok akan hujan
dengan peluang 0.5; jika hari ini tidak hujan dan kemarin
hujan maka besok akan hujan dengan peluang 0.4; jika dalam
dua hari terakhir tidak hujan maka besok hujan dengan
peluang 0.2. Matriks peluang transisinya adalah sbb:
P =




0.7 0 0.3 0
0.5 0 0.5 0
0 0.4 0 0.6
0 0.2 0 0.8




Jika hari Senin dan Selasa hujan, berapa peluang bahwa hari
Kamis akan hujan?

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh/Latihan
Solusi:
P2 =




0.49 0.12 0.21 0.18
0.35 0.2 0.15 0.3
0.2 0.12 0.2 0.4
0.1 0.16 0.1 0.64




Peluang hujan pada hari Kamis adalah
P2
00 + P2
01 = 0.49 + 0.12 = 0.61

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh/Latihan
3. Tunjukkan bahwa matriks peluang transisi n-langkah
memenuhi sifat:
∞
j=0
Pn+m
ij = 1, i = 0, 1, . . .

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh/Latihan
Solusi:

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh/Latihan
4. Laila adalah mahasiswa tingkat akhir di Farmasi UnPadj. Dia
tinggal tidak jauh dari kampus. Cukup berjalan kaki saja dari
tempat kos ke kampus dan sebaliknya. Akhir-akhir ini hujan
datang hampir setiap hari. Mau tidak mau, Laila
menggunakan payung dalam perjalanan kos-kampus atau
kampus-kos. Jika hari hujan dan payung ada ditempat Laila
berada maka Laila akan menggunakan payung tersebut. Jika
hari tidak hujan, Laila selalu lupa untuk membawa payung.
Misalkan θ adalah peluang hujan setiap kali Laila akan
menuju kampus atau kos. Jika Laila memiliki 3 buah payung,
bentuklah suatu rantai Markov dari proses diatas! Berapa
peluang Laila akan basah pada suatu hari? (Kerjakan dahulu
matriks peluang transisi n-langkah)

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh/Latihan
Solusi:
P =




0 0 0 1
0 0 1 − θ θ
0 1 − θ θ 0
1 − θ θ 0 0




’0’, ’1’, ’2’, ’3’ yang menyatakan jumlah payung

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh/Latihan
5. Seorang tenaga penjual atau sales (SPG? SPB?) berjuang
untuk menjual suatu produk sebanyak i = 0, 1, 2 buah. Proses
jumlah produk yang terjual {Xn} membentuk rantai Markov
dengan m.p.t:
P =


0 1/2 1/2
1/2 0 1/2
1/2 1/2 0


Hitung P(Xn = 0| X0 = 0) untuk n = 0, 1, 2.
Hitung P(X3 = 1| X1 = 0).

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh/Latihan
Solusi:
P(Xn = 0| X0 = 0) = P(X0 = 0)
P(X1 = 0| X0 = 0) = 0
P(X2 = 0| X0 = 0) = 1/2
P(X3 = 1| X0 = 0) = 1/4

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Deﬁnisi
Contoh/Latihan
Deﬁnisi
Misalkan
αi = P(X0 = i), i ≥ 0,
dimana ∞
i=0 αi = 1. Peluang tak bersyarat dapat dihitung
dengan mensyaratkan pada keadaan awal,
P(Xn = j) =
∞
i=0
P(Xn = j|X0 = i) P(X0 = i) =
∞
i=0
Pn
ij αi

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Deﬁnisi
Contoh/Latihan
1. Pandang soal yang lalu dengan matriks peluang transisi:
P =
0.7 0.3
0.4 0.6
Jika diketahui α0 = P(X0 = 0) = 0.4 dan
α1 = P(X0 = 1) = 0.6, maka peluang (tak bersyarat) bahwa
hari akan hujan 4 hari lagi adalah...

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Deﬁnisi
Contoh/Latihan
Solusi:
P(X4 = 0) = 0.4 P4
00 + 0.6 P4
10
= (0.4)(0.5749) + (0.6)(0.5668) = 0.57

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Deﬁnisi
Contoh/Latihan
2. Seorang pensiunan H menerima 2 (juta rupiah) setiap awal
bulan. Banyaknya uang yang diperlukan H untuk dibelanjakan
selama sebulan saling bebas dengan banyaknya uang yang dia
punya dan sama dengan i dengan peluang
Pi , i = 1, 2, 3, 4, 4
i=1 Pi = 1. Jika H memiliki uang lebih dari
3 di akhir bulan, dia akan memberikan sejumlah uang lebih
dari 3 itu kepada orang lain. Jika setelah dia menerima uang
diawal bulan H memiliki uang 5, berapa peluang uangnya
akan 1 atau kurang setiap saat selama 4 bulan berikut?

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Deﬁnisi
Contoh/Latihan
Solusi :
Keadaan-keadaannya adalah
‘1’ jumlah uang sebanyak 1 yang H punya di akhir bulan
Matriks peluang transisi
P =


P2 + P3 + P4 P1 0
P3 + P4 P2 P1
P4 P3 P1 + P2



Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Deﬁnisi
Contoh/Latihan
Misalkan Pi = 1/4, i = 1, 2, 3, 4. Maka matriks peluang transisinya
adalah
P =


3/4 1/4 0
1/2 1/4 1/4
1/4 1/4 1/2


Peluang uangnya akan 1 atau kurang setiap saat selama 4 bulan
berikut adalah P4
31 = 201/256.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Latihan
1. Pandang suatu proses {Xn, n = 0, 1, . . .} yang bernilai 0, 1, 2.
Misalkan
P Xn+1 = j|Xn = i, Xn−1 = in−1, . . . , X1 = i1, X0 = i0
=
PI
ij , n genap,
PII
ij , n ganjil,
dimana 2
j=0 PI
ij = 2
j=0 PII
ij = 1, i = 0, 1, 2. Apakah
{Xn, n ≥ 0} suatu rantai Markov?

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Solusi: Bukan.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
2. Pandang 3 paket/kotak barang berwarna MERAH, PUTIH,
BIRU. Paket barang MERAH memuat 1 kaos merah dan 4
kaos biru; paket PUTIH memuat 3 kaos putih, 2 kaos merah
dan 2 kaos biru; paket BIRU memuat 4 kaos putih, 3 kaos
merah dan 3 kaos biru. Pada tahap awal, sebuah kaos diambil
secara acak dari paket MERAH dan dikembalikan (lagi) ke
paket tersebut. Pada setiap tahap berikutnya, sebuah kaos
diambil secara acak dari paket yang berwarna sama dengan
kaos yang terambil sebelumnya dan dikembalikan ke paket
tersebut. Bentuklah matriks peluang transisi yang mungkin.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Solusi:
P =


1/5 0 4/5
2/7 3/7 2/7
3/10 4/10 3/10


’0’ Merah
’1’ Putih
’2’ Biru

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
3. Percobaan-percobaan dilakukan secara berurutan. Jika dalam
dua percobaan terakhir SUKSES maka peluang GAGAL pada
percobaan berikut adalah 0.8. Dalam keadaan YANG LAIN,
peluang GAGAL adalah 0.4. Bentuklah matriks peluang
transisi dan tentukan kelas-kelas keadaan. Bentuk suatu
rantai Markov.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Solusi:
P =




0.2 0.8 0 0
0 0 0.6 0.4
0.6 0.4 0 0
0 0 0.6 0.4




’0’ (SS) = hari ini dan kemarin SUKSES
’1’ (SG) = hari ini GAGAL, kemarin SUKSES
’2’ (GS) = hari ini SUKSES, kemarin GAGAL
’3’ (GG) = hari ini dan kemarin GAGAL

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
4. Dalam Perang Teluk, ada tiga buah tank yang bertahan: A, B
dan C. Tank A dapat menembak sasaran dengan peluang 1/3,
tank B dengan peluang 1/4 dan tank C dengan peluang 1/5.
Dalam sebuah baku tembak, tank-tank akan terus menerus
menembak secara bersamaan hingga hanya ada satu tank
yang bertahan atau tidak ada tank yang bertahan sama sekali.
Asumsikan bahwa sebuah tank secara acak memilih sebuah
tank lain yang masih bertahan sebagai target. Tentukan
matriks peluang transisi dari rantai Markov diatas.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Solusi:
P =











1 0 0 0 0 0 0 0
0 1 0 0 0 0 0 0
0 0 1 0 0 0 0 0
0 0 0 1 0 0 0 0
1/12 1/4 1/6 0 1/2 0 0 0
1/15 4/15 0 2/15 0 8/15 0 0
1/20 0 1/5 3/20 0 0 3/5 0
1/240 1/24 1/24 1/24 11/60 1/8 39/240 24/60












‘0’, ‘A’, ‘B’, ‘C’, ‘AB’, ‘AC’, ‘BC’, ‘ABC’

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
5. Sebuah rantai Markov {Yt, t ≥ 0} dengan keadaan-keadaan
0,1,2 memiliki matriks peluang transisi:
P =


1/2 1/3 1/6
0 1/3 2/3
1/2 0 1/2


Jika P(Y0 = 0) = P(Y0 = 1) = 1/4, hitung E(Y2).

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Solusi:
P2 =


4/12 5/18 14/36
1/3 1/9 5/9
1/2 1/6 4/12



Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
E(Y2)
= 0 P(Y2 = 0) + 1 P(Y2 = 1) + 2 P(Y2 = 2)
= 0 + P(Y2 = 1|Y0 = 0) P(Y0 = 0) + P(Y2 = 1|Y0 = 1) P(Y0 = 1)
+ P(Y2 = 1|Y0 = 2) P(Y0 = 2) + 2 P(Y2 = 2|Y0 = 0) P(Y0 = 0)
+ P(Y2 = 2|Y0 = 1) P(Y0 = 1) + P(Y2 = 2|Y0 = 2) P(Y0 = 2)
= P2
01 0.25 + P2
11 0.25 + P2
21 0.5 + 2 P2
02 0.25 + P2
12 0.25 + P2
22 0.5
= 71/72

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
6. Dua tim futsal wanita di MA-ITB akan memainkan tujuh
rangkaian pertandingan. Hasil setiap pertandingan saling
bebas. Setiap pertandingan akan dimenangkan oleh tim A
dengan peluang α dan oleh tim B dengan peluang 1 − α.
Misalkan keadaan suatu sistem direpresentasikan oleh
pasangan (a, b) dimana a menyatakan banyak pertandingan
yang dimenangkan A dan b banyak pertandingan yang
dimenangkan B. Bentuklah rantai Markov untuk masalah
tersebut.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Catatan: a + b ≤ 7 dan rangkaian pertandingan akan berakhir
apabila a = 4 atau b = 4.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Solusi:
α α α α
1-α 1- α 1- α 1- α
4,1 4,2 4,34,0
1- α 1- α 1- α 1- α
1- α
1- α
1- α
1- α
1- α 1- α
1- α 1- α
0,1 0,2 0,40,30,0
0 0
α α α α
1,1 1,2 1,41,31,0
α α α α
2,1 2,2 2,42,32,0
α α α α
3,1 3,2 3,43,33,0

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh
Kode MATLAB
Contoh
Model penyebaran suatu penyakit adalah sbb: Jumlah populasi
adalah N = 5, sebagian sakit dan sisanya sehat. Dalam setiap
waktu, 2 orang akan dipilih secara acak dari populasi tersebut dan
keduanya berinteraksi. Pemilihan orang-orang tersebut dilakukan
sdh interaksi antara setiap pasangan adalah sama. Jika satu orang
dari suatu pasangan sakit, yang lain sehat, maka penyakit akan
disebarkan ke orang yang sehat dengan peluang 0.1. Diluar kondisi
tersebut, tidak ada penyakit yang disebarkan. Misalkan Xn
menyatakan jumlah orang yang sakit dalam populasi diakhir
periode ke-n. Bentuklah suatu matriks peluang transisi yang
mungkin.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh
Kode MATLAB
Solusi:
Keadaan: 0, 1, 2, 3, 4, 5, yang menyatakan jumlah orang yang
sakit.
P00 = 1, P55 = 1. Cukup jelas. Jika tidak ada/semua orang sakit
maka PASTI keadaan berubah ke tidak ada/semua orang sakit.
Pi,i+1 = 0.1
Ci
1 C5−i
1
C5
2
= 0.01(i)(5 − i),
Pii = 1 − 0.01(i)(5 − i),
untuk i = 1, 2, 3, 4.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh
Kode MATLAB
P =








1 0 0 0 0 0
0 0.96 0.04 0 0 0
0 0 0.94 0.06 0 0
0 0 0 0.94 0.06 0
0 0 0 0 0.96 0.04
0 0 0 0 0 1









Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh
Kode MATLAB
Kode:
function transprob;
% the function calculate transition probability
% for a Markov chain
%
% created by K Syuhada, 12/03/2011
clear
clc
m = input(’m = ’); % number of states

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh
Kode MATLAB
P = zeros(m,m);
for i = 1:m
for j = 1:m
if i == j
P(i,j) = 1 - 0.01*(i-1)*(5-(i-1));
elseif i+1 == j
P(i,j) = 0.01*(i-1)*(5-(i-1));
else
P(i,j) = 0;
end
end
end

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh
Kode MATLAB
display(’matriks peluang transisi:’)
display(P)
% n-step probability
% Chapman-Kolmogorov Equation
n = input(’n = ’); % number of steps
Pn = P^n;
display(’matriks peluang transisi n-langkah:’)
display(Pn)

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh
Kode MATLAB
-----------------------------------------------------------
m = 6
matriks peluang transisi:
P =
1.0000 0 0 0 0
0 0.9600 0.0400 0 0
0 0 0.9400 0.0600 0
0 0 0 0.9400 0.0600
0 0 0 0 0.9600 0.040
0 0 0 0 0 1.000

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh
Kode MATLAB
n = 2
matriks peluang transisi n-langkah:
Pn =
1.0000 0 0 0 0
0 0.9216 0.0760 0.0024 0
0 0 0.8836 0.1128 0.0036
0 0 0 0.8836 0.1140 0.002
0 0 0 0 0.9216 0.078
0 0 0 0 0 1.000

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Keadaan Dapat Diakses dan Berkomunikasi
Contoh/Latihan
Latihan
Keadaan Recurrent dan Transient
Contoh/Latihan
Sifat Dapat Diakses dan Berkomunikasi
Keadaan j dikatakan dapat diakses (accessible) dari keadaan i jika
Pn
ij > 0 untuk suatu n ≥ 0. Akibatnya, keadaan j dapat diakses
dari keadaan i jika dan hanya jika dimulai dari keadaan i proses
akan masuk ke keadaan j. Jika keadaan j tidak dapat diakses dari
keadaan i maka peluang masuk ke keadaan j dari keadaan i adalah
nol.
Catatan:
Dua keadaan i dan j yang saling akses satu sama lain dikatakan
berkomunikasi (communicate). Notasi: i ↔ j.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh/Latihan
Latihan
Contoh/Latihan
1 Keadaan i berkomunikasi dengan keadaan i untuk semua
i ≥ 0
2 Jika keadaan i berkomunikasi dengan keadaan j maka
keadaan j berkomunikasi dengan keadaan i
3 Jika keadaan i berkomunikasi dengan keadaan j dan keadaan
j berkomunikasi dengan keadaan k maka keadaan i
berkomunikasi dengan keadaan k

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh/Latihan
Latihan
Contoh/Latihan
Dua keadaan yang berkomunikasi dikatakan berada dalam kelas
(class) yang sama. Setiap dua kelas dari keadaan-keadaan dapat
‘identik’ (identical) atau ‘saling asing’ (disjoint). Rantai Markov
dikatakan tidak dapat direduksi (irreducible) jika hanya terdapat
sebuah kelas dan semua keadaan berkomunikasi satu sama lain.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh/Latihan
Latihan
Contoh/Latihan
Contoh/Latihan
1. Tentukan kelas keadaan dari rantai Markov dengan peluang
transisi berikut:
(i)
P =




0.7 0 0.3 0
0.5 0 0.5 0
0 0.4 0 0.6
0 0.2 0 0.8





Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh/Latihan
Latihan
Contoh/Latihan
(ii)
P =




0 1 0 0
1/9 4/9 4/9 0
0 4/9 4/9 1/9
0 0 1 0





Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh/Latihan
Latihan
Contoh/Latihan
(iii)
P =


1 0 0
1/2 1/4 1/4
1/4 1/4 1/2



Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh/Latihan
Latihan
Contoh/Latihan
2. Diketahui matrik peluang transisi:
P =


0.5 0.5 0
0.5 0.25 0.25
0 0.33 0.67


Apakah rantai Markov dengan peluang transisi diatas tidak
dapat direduksi (irreducible)?

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh/Latihan
Latihan
Contoh/Latihan
3. Apakah yang dapat anda katakan tentang rantai Markov
dengan matriks peluang transisi berikut:
P =




0.5 0.5 0 0
0.5 0.5 0 0
0.25 0.25 0.25 0.25
0 0 0 1



 ?

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh/Latihan
Latihan
Contoh/Latihan
Empat gadis bermain bola: Tris, Sri, Berlian dan Yani. Jika Tris
memegang bola, dia akan melemparkan bola tersebut ke Sri dan
Yani dengan peluang sama. Jika Sri memegang bola, dia akan
melemparkannya ke Tris dengan peluang 1/3 dan melemparkan ke
Yani dengan peluang 2/3. Jika Berlian memegang bola, dia akan
melemparkan bola ke Sri. Buatlah matriks peluang transisi untuk
kasus:
(i) Jika Yani memegang bola, dia akan melemparkannya ke Tris
dengan peluang 2/3 atau membawa lari bola tersebut dengan
peluang 1/3
(ii) Jika Yani memegang bola pertama kali, dia akan melemparkan
ke Tris; Jika Yani memegang bola yang kedua kali, dia akan lari
membawa bola tersebut.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh/Latihan
Latihan
Contoh/Latihan
Solusi:
P =




0 0.5 0 0.5
1/3 0 0 2/3
0 1 0 0
2/3 0 0 1/3




dengan keadaan ’0’ Tris; ’1’ Sri; ’2’ Berlian; ’3’ Yani.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh/Latihan
Latihan
Contoh/Latihan
Untuk setiap keadaan i, misalkan fi peluang bahwa dimulai dari
keadaan i proses akan pernah kembali ke keadaan i. Keadaan i
dikatakan recurrent jika fi = 1. Dikatakan transient jika fi < 1.
Jika keadaan i recurrent maka proses akan terus kembali ke
keadaan i dengan peluang satu. Dengan deﬁnisi rantai
Markov, proses akan dimulai lagi ketika kembali ke keadaan i,
dan seterusnya, sehingga keadaan i akan dikunjungi lagi. Jika
keadaan i recurrent maka dimulai dari keadaan i maka proses
akan kembali ke keadaan i terus dan terus sebanyak tak
hingga kali.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh/Latihan
Latihan
Contoh/Latihan
Misalkan keadaan i transient. Setiap kali proses kembali ke
keadaan i, terdapat kemungkinan (peluang yang positif)
sebesar 1 − fi bahwa proses tidak pernah kembali ke keadaan
i. Dengan demikian, dimulai dari keadaan i, peluang bahwa
proses berada di i sebanyak tepat n periode/kali adalah
f n−1
i (1 − fi ), n ≥ 1. Jika keadaan i transient maka, dimulai
dari keadaan i, banyak periode/kali bahwa proses akan berada
di keadaan i adalah peubah acak geometrik dengan parameter
1 − fi .

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh/Latihan
Latihan
Contoh/Latihan
“Keadaan i recurrent jika dan hanya jika, dimulai dari keadaan i,
maka banyak periode/kali yang diharapkan (expected number of
time periods) bahwa proses akan berada di keadaan i adalah tak
hingga”

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh/Latihan
Latihan
Contoh/Latihan
Misalkan
In =
1, Yn = i;
0, Yn = i.
Misalkan ∞
n=0 In menyatkan banyak periode/kali bahwa proses
berada dalam keadaan i, dan
E
∞
n=0
In |Y0 = i =
∞
n=0
E(In|Y0 = i)
=
∞
n=0
P(Yn = i|Y0 = i)
=
∞
n=0
Pn
ii

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh/Latihan
Latihan
Contoh/Latihan
Proposisi
Keadaan i adalah
recurrent jika
∞
n=0
Pn
ii = ∞
transient jika
∞
n=0
Pn
ii < ∞

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh/Latihan
Latihan
Contoh/Latihan
Catatan:
Pada rantai Markov dengan keadaan hingga, tidak semua
keadaan bersifat transient (Mengapa?)
“Jika keadaan i recurrent dan keadaan i berkomunikasi
(communicate) dengan keadaan j maka keadaan j recurrent”
(Bagaimana jika keadaan i transient?)
Semua keadaan pada rantai Markov (hingga) yang tidak
dapat direduksi adalah recurrent (PENTING!)

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh/Latihan
Latihan
Contoh/Latihan
Contoh/Latihan
1. Misalkan rantai Markov dengan keadaan 0,1,2,3 memiliki
P =




0 0 0.5 0.5
1 0 0 0
0 1 0 0
0 1 0 0




Tentukan keadaan mana yang recurrent dan keadaan mana
yang transient!

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh/Latihan
Latihan
Contoh/Latihan
Solusi:
Semua keadaan recurrent.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh/Latihan
Latihan
Contoh/Latihan
2. Bagaimana dengan rantai Markov (keadaan: 0,1,2,3,4)
dengan matriks peluang transisi:
P =






0.5 0.5 0 0 0
0.5 0.5 0 0 0
0 0 0.5 0.5 0
0 0 0.5 0.5 0
0.25 0.25 0 0 0.5






?

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh/Latihan
Latihan
Contoh/Latihan
Solusi:
Keadaan 0,1,2,3 recurrent, keadaan 4 transient.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh/Latihan
Latihan
Contoh/Latihan
3. Misalkan rantai Markov dengan keadaan 0,1,2,3 memiliki
P =




0.5 0.5 0 0
0.5 0.5 0 0
0.25 0.25 0.25 0.25
0 0 0 1




Tentukan keadaan mana yang recurrent dan keadaan mana
yang transient!

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh/Latihan
Latihan
Contoh/Latihan
Solusi:
Keadaan 0,1,3 recurrent, keadaan 2 transient.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh/Latihan
Latihan
Contoh/Latihan
4. Model penyebaran penyakit memiliki matriks peluang transisi
(keadaan: 0,1,2,3,4,5) sebagai berikut:
P =








1 0 0 0 0 0
0 0.96 0.04 0 0 0
0 0 0.94 0.06 0 0
0 0 0 0.94 0.06 0
0 0 0 0 0.96 0.04
0 0 0 0 0 1








Tentukan sifat keadaan dari rantai Markov diatas.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Contoh/Latihan
Latihan
Contoh/Latihan
Solusi:
Keadaan 0,5 recurrent, keadaan 1,2,3,4 transient.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi
Deﬁnisi
Contoh/Latihan
Ilustrasi
Dalam suatu kesempatan, sejumlah pemain bola berdoa bersama.
David Beckham bertanya pada Tuhan:“Kapan Inggris menjadi
juara Piala Dunia?”

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi
Deﬁnisi
Contoh/Latihan
Tuhan menjawab: “Tahun 2014”.
Beckham pun menangis.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi
Deﬁnisi
Contoh/Latihan
Giliran Christiano Ronaldo, kapten timnas Portugal, bertanya:
“Tuhan, kapan Portugal merebut Piala Dunia?”

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi
Deﬁnisi
Contoh/Latihan
Tuhan pun langsung menjawab “Tahun 2022”.
Dan Ronaldo pun menangis.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi
Deﬁnisi
Contoh/Latihan
Park-Ji Sung tidak mau ketinggalan. Dia bertanya “kapan Korea
menjadi juara, Tuhan?”

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi
Deﬁnisi
Contoh/Latihan
Tuhan menjawab “ya... 20 tahun lagi”.
Park-Ji Sung menangis.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi
Deﬁnisi
Contoh/Latihan
Akhirnya Bambang Pamungkas pun tak tahan untuk bertanya:
“Kapan Indonesia bisa menjadi juara Piala Dunia, ya Tuhan?”

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi
Deﬁnisi
Contoh/Latihan
Tuhan pun menangis dan berseru “kalau mimpi kira-kira dong”.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi
Deﬁnisi
Contoh/Latihan
Misalkan ‘0’ keadaan belum pernah juara dan ‘1’ keadaan pernah
juara. Matriks peluang transisi yang dapat dibentuk adalah
P =
0.9 0.1
0.3 0.7

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi
Deﬁnisi
Contoh/Latihan
Matriks peluang transisi 8 dan 12 langkahnya:
P8 =
0.7542 0.2458
0.7374 0.2626
dan
P12 =
0.7505 0.2495
0.7484 0.2516
...dst.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi
Deﬁnisi
Contoh/Latihan
Matriks P12 hampir identik dengan P8 (benar-benar identik
dengan P16). Selain itu, setiap baris dari P12 memiliki unsur yang
identik. Nampaknya, Pn
ij konvergen ke suatu nilai, untuk n → ∞,
yang sama untuk semua i. Dengan kata lain, terdapat limit
peluang (limiting probability) bahwa proses akan berada di
keadaan j setelah sekian/banyak langkah/transisi. Nilai limit ini
saling bebas dengan nilai pada keadaan awal.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi
Deﬁnisi
Contoh/Latihan
Deﬁnisi
Perhatikan 2 sifat keadaan berikut:
Keadaan i dikatakan memiliki periode d jika Pn
ii = 0 untuk n yang
tidak dapat dibagi oleh d (d suatu integer). Contoh, suatu proses
dimulai dari keadaan i akan kembali ke i pada waktu 2, 4, 6, 8, . . . ,
maka keadaan i memiliki periode 2. Suatu keadaan yang memiliki
periode 1 disebut aperiodik. Jika keadaan i memiliki periode d dan
keadaan i berkomunikasi dengan keadaan j maka keadaan j juga
memiliki periode d.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi
Deﬁnisi
Contoh/Latihan
Jika keadaan i recurrent, maka keadaan tersebut akan dikatakan
positive recurrent jika, dimulai dari keadaan i, waktu harapan
hingga proses kembali ke i adalah hingga. Pada rantai Markov
yang memiliki keadaan hingga, semua keadaan yang recurrent
adalah positive recurrent. Suatu keadaan yang positive recurrent
dan aperiodik disebut ergodik.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi
Deﬁnisi
Contoh/Latihan
Teorema
Untuk rantai Markov yang ergodik dan tidak dapat direduksi,
lim
n→∞
Pn
ij
ada dan saling bebas dari i. Misalkan
πj = lim
n→∞
Pn
ij , j ≥ 0,
maka πj adalah solusi nonnegatif tunggal dari
πj =
∞
i=0
πi Pn
ij , j ≥ 0,
dengan ∞
j=0 πj = 1.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi
Deﬁnisi
Contoh/Latihan
Catatan:
Perhatikan bahwa
P(Xn+1 = j) =
∞
i=0
P(Xn+1 = j|Xn = i) P(Xn = i)
=
∞
i=0
Pij P(Xn = i)
Limit peluang πj adalah peluang jangka panjang (long-run
proportion of time) bahwa suatu proses akan berada di
keadaan j

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi
Deﬁnisi
Contoh/Latihan
Jika rantai Markov tidak dapat direduksi, maka terdapat
solusi untuk
πj =
i
πi Pij , j ≥ 0,
dengan j πj = 1, JIKA dan HANYA JIKA rantai Markov
bersifat positive recurrent. Jika solusinya ada maka solusi
tersebut tunggal dan πj adalah proporsi jangka panjang bahwa
rantai Markov berada dalam keadaan j. Jika rantai Markov
aperiodik maka πj adalah limit peluang bahwa rantai akan
berada di keadaan j.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi
Deﬁnisi
Contoh/Latihan
Contoh/Latihan
1. Jika hari ini hujan maka besok akan hujan dengan peluang α;
jika hari ini tidak hujan maka besok akan hujan dengan
peluang β. Jika 0 adalah keadaan hujan dan 1 adalah
keadaan tidak hujan maka peluang hujan dan tidak hujan
untuk jangka panjang adalah

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi
Deﬁnisi
Contoh/Latihan
Solusi:
P =
α 1 − α
β 1 − β
,
dan kita punyai persamaan-persamaan:
π0 = α π0 + β π1
π1 = (1 − α) π0 + (1 − β) π1
π0 + π1 = 1

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi
Deﬁnisi
Contoh/Latihan
Kita peroleh peluang hujan dan tidak hujan pada jangka panjang:
π0 =
β
1 + β − α
dan
π1 =
1 − α
1 + β − α

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi
Deﬁnisi
Contoh/Latihan
2. Percobaan-percobaan dilakukan secara berurutan. Jika dalam
dua percobaan terakhir SUKSES maka peluang SUKSES pada
percobaan berikut adalah 0.8. Dalam keadaan YANG LAIN,
peluang SUKSES adalah 0.5. Hitung peluang percobaan
sukses untuk jangka panjang.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi
Deﬁnisi
Contoh/Latihan
Solusi:
P =




0.8 0.2 0 0
0 0 0.5 0.5
0.5 0.5 0 0
0 0 0.5 0.5




’0’ (SS) = hari ini dan kemarin SUKSES
’1’ (SG) = hari ini GAGAL, kemarin SUKSES
’2’ (GS) = hari ini SUKSES, kemarin GAGAL
’3’ (GG) = hari ini dan kemarin GAGAL

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi
Deﬁnisi
Contoh/Latihan
Kita punyai persamaan-persamaan:
π0 =
π1 =
π2 =
π3 =
dan
π0 + π1 + π2 + π3 = 1

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi
Deﬁnisi
Contoh/Latihan
Diperoleh: π0 = 23/50; π1 = π2 = π3 = 9/504.
Jadi, peluang SUKSES jangka panjang adalah
π0 + π1 = 32/50

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi
Deﬁnisi
Contoh/Latihan
3. Pandang pelantunan-pelantunan sebuah koin (dengan peluang
muncul MUKA adalah θ) yang saling bebas. Berapa banyak
lantunan dibutuhkan yang diharapkan (expected number of
tosses needed) agar pola HTHT muncul? (Perhatikan catatan
dibawah)

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Ilustrasi
Deﬁnisi
Contoh/Latihan
Catatan:
Peluang jangka panjang πj , j ≥ 0, disebut juga peluang
stasioner (stationary probability). Jika keadaan awal dipilih
berdasarkan peluang πj , j ≥ 0, maka peluang akan menjadi
keadaan j pada setiap waktu n adalah sama dengan πj .
Untuk keadaan j, deﬁnisikan mjj yaitu banyak transisi yang
diharapkan (expected number of transitions) hingga suatu
rantai Markov, dimulai dari keadaan j akan kembali ke
keadaan tersebut:
πj =
1
mjj

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
1. Seorang dosen KS terus menerus memberikan ujian kepada
mahasiswanya. Dosen KS memberikan 3 tipe/jenis ujian
dengan hasil BAGUS atau JELEK. Misalkan θi adalah peluang
bahwa mahasiswa mengerjakan BAGUS untuk ujian tipe i.
Diketahui θ1 = 0.3, θ2 = 0.6, θ3 = 0.9. Jika mahasiswa
mengerjakan dengan BAGUS pada suatu ujian maka tipe ujian
berikut yang akan dikerjakan memiliki peluang sama. Jika
hasil ujian JELEK maka ujian berikut adalah ujian tipe 1.
Bentuklah rantai Markov untuk cerita diatas.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Solusi:
P =


0.8 0.1 0.1
0.6 0.2 0.2
0.4 0.3 0.3


dengan keadaan ’1’ Ujian 1; ’2’ Ujian 2; ’3’ Ujian 3.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
2. Misalkan koin 1 memiliki peluang muncul MUKA 0.7 ketika
dilantunkan sedangkan peluang muncul MUKA untuk koin 2
adalah 0.6. Jika sebarang koin dilantunkan hari ini dan
muncul MUKA maka besok dilantunkan koin 1. Jika muncul
BELAKANG maka besok akan dilantunkan koin 2. Jika
peluang koin 1 terpilih untuk dilantukan pertama kali adalah
0.5, tentukan peluang bahwa pada hari ketiga akan
dilantunkan koin 1.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Suppose that coin 1 has probability of coming up heads and coin 2
has probability 0.6 of coming up heads. If the coin flipped today
comes up heads, then we select coin 1 to flip tomorrow. If it comes
up tails then we select coin 2 to flip tomorrow. If the coin initially
flipped is equally likely to be coin 1 or coin 2, then what is the
probability that the coin flipped on the third day after the initial
flip is coin 1?

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Solusi:
P =
0.7 0.3
0.6 0.4
dengan keadaan ’1’ Koin 1; ’2’ Koin 2. Diketahui
P(X0 = 1) = P(X0 = 2) = 0.5,
sehingga
P(X3 = 1) = P3
11 P(X0 = 1) + P3
21 P(X0 = 2) = 2/3

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
3. Bentuklah suatu matriks peluang transisi dari rantai Markov
yang memenuhi semua aturan berikut: memiliki tiga keadaan
atau lebih, tidak ada satu pun keadaan yang absorbing, tidak
dapat direduksi, memiliki periode dua, setidaknya satu
keadaan bersifat transient, dan satu unsur dari matriks
bernilai nol.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Solusi:
Tidak ada matriks peluang transisi yang memenuhi semua aturan.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
4. Setiap minggu pagi Vivian meninggalkan rumahnya untuk
berlari pagi. Vivian akan pergi lewat pintu depan dengan
peluang dua kali lebih besar daripada pergi lewat pintu
belakang. Ketika meninggalkan rumah Vivian memakai sepatu
olah raga atau bertelanjang kaki jika sepatu tidak tersedia di
depan pintu yang dia lewati. Ketika pulang, Vivian akan
masuk lewat pintu depan atau belakang, dan meletakkan
sepatunya, dengan peluang sama. Jika dia memiliki 2 pasang
sepatu olah raga, berapa peluang Vivian akan sering berolah
raga dengan memakai sepatu?

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Solusi:
P =


2/3 1/3 0
1/6 3/6 2/6
0 1/6 5/6


dengan keadaan ’0’=(2,0); ’1’=(1,1); ’2’=(0,2). Diperoleh
π0 =; π1 =; π2 =
Jadi, peluang Vivian akan sering berolahraga dengan memakai
sepatu adalah
(2/3)π0 + π1 + (1/3)π2 =

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
5. Seorang sopir taksi melayani penumpang yang bepergian di 2
area dalam suatu kota. Penumpang taksi yang naik di area A
akan turun di area A juga dengan peluang 0.6. Penumpang
yang naik di area B akan turun di area A dengan peluang 0.3.
Keuntungan yang diharapkan (expected proﬁt) sopir taksi
untuk pelayanan selama di area A adalah 6 dan selama di area
B adalah 8. Keuntungan yang diharapkan apabila pelayanan
taksi melintasi 2 area adalah 12. Hitung keuntungan rata-rata
sopir taksi untuk suatu pelayanan.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Solusi:
P =
0.6 0.4
0.3 0.7
dengan keadaan ’0’ Area A; ’1’ Area B. Diperoleh
π0 = 3/7, π1 = 4/7.
Misalkan X keuntungan dalam suatu pelayanan
E(X) = E(X|A) π0 + E(X|B) π1
= [(0.6)(6) + (0.4)(12)](3/7) + [(0.3)(12) + (0.7)(8)](4/7)
= 62/7

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
6. Misalkan P suatu matriks peluang transisi. Tunjukkan bahwa
j
Pn
ij = 1

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
7. Misalkan matriks peluang transisi untuk keadaan 0,1,2:
P =


1 0 0
a b c
0 0 1


dengan syarat a > 0, b > 0, c > 0. Keadaan 0 dan 2 adalah
keadaan yang absorbing.

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Pandang proses yang dimulai dari keadaan 1, maka
1 → 1 → 0
atau
1 → 1 → 2
Pertanyaan: Berapa lama proses akan berada di keadaan 1
sebelum akhirnya ke keadaan 0 atau 2?

Ilustrasi
Rantai Markov
Peluang n-langkah
Latihan
Program MATLAB
Jenis Keadaan
LATIHAN
Dengan kata lain, misalkan
T = min{n : Xn = 0 atau Xn = 2}
maka hitung
E(T | X0 = 1)

Bab 3-pros stok

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Bab 3-pros stok