2. 5.1 Definisi
Misal { }( ), 0,1,2,...X n n = proses stokastik dengan
indeks parameter diskrit dan ruang keadaan
,...2,1,0=i memenuhi
{ }0 1 1( 1) | (0) , (1) ,..., ( 1) , ( )nP X n j X i X i X n i X n i−+ = = = − = =
{ }( 1) | ( ) ijP X n j X n i p= + = = = (5.1)
0 1 1, ,..., , , ,dan ,ni i i i j n−∀ maka proses dinamakan
Rantai Markov parameter diskrit, dan ij
p disebut
peluang transisi. 2Prostok-5-firda
3. 1. Catat bahwa, ( )X n i= menyatakan proses berada
dalam keadaan i (i = 0 ,1, 2,…) pada waktu
n (n = 0,1,2,…).
2. Nama rantai Markov ini diambil dari nama
Andrei Markov (1856-1922) yang pertama meneliti
kelakuan proses stokastik tersebut setelah proses
dalam selang waktu yang panjang.
3Prostok-5-firda
4. 3. Peluang bersyarat pada (5.1) menggambarkan
histori keseluruhan, proses hanya tergantung
pada keadaan sekarang X(n)=i, bebas dari waktu
lampau, 0,1,2,…,n-1.
Artinya, peluang bersyarat dari keadaan
“mendatang” hanya tergantung dari keadaan
“sekarang” dan bebas dari keadaan “yang lalu”.
Sifat ini disebut sifat Markov atau Memory Less.
4Prostok-5-firda
5. 4. Peluang transisi dari keadaan i ke keadaan j
( ) persamaan (5.1) hanya bergantung
pada waktu sekarang, secara umum.
ij
p
Apabila peluang transisi bebas dari waktu n,
maka disebut peluang transisi stasioner, dan
rantai Markov disebut dengan
Rantai Markov dengan peluang transisi stasioner.
Rantai Markov Homogen.
dan disebut juga,
5Prostok-5-firda
6. 5.2 Contoh Rantai Markov
1. Barisan bilangan bulat.
2. Barisan variabel-variabel acak bernilai bilangan
bulat yang saling bebas dan mempunyai distribusi
peluang yang sama.
3. Random Walks yang didefinisikan sebagai
1
( ) , 1,2,...
n
i
i
X n iξ
=
= =
∑
Random Walks adalah proses melangkah dari
suatu objek di garis bilangan dimana objek itu
dapat bergerak ke kiri atau ke kanan.
6Prostok-5-firda
7. Akan ditunjukkan bahwa random walks (contoh 3)
adalah rantai Markov.
Perhatikan random walks yang hanya dapat bergerak
ke kanan;
1
( ) , 1,2,...
n
i
i
X n iξ
=
= =
∑
{ }1 2 1( 1) | (1) , (2) ,..., ( 1) , ( )nP X n j X i X i X n i X n i−+ = = = − = =
1 1 1
1 1 1
1 1 1 1
| ,..., ,
n n n n
k k n k k n
k k k k
P j i i iξ ξ ξ ξ ξ ξ
+ − −
−
= = = =
= = = = = + =
∑ ∑ ∑ ∑
1 1
1 1 1
|
n n n
k k k n
k k k
P j iξ ξ ξ ξ
+ −
= = =
= = = + =
∑ ∑ ∑
Sifat di atas berlaku untuk semua n dan kombinasi
Jadi, adalah rantai Markov.
1
( ) , 1,2,...
n
i
i
X n iξ
=
= =
∑
7
1 2, ,...,i i
1 , .n ni i−
Prostok-5-firda
8. 5.3 Matriks peluang transisi
Misalkan adalah rantai Markov
Homogen dengan ruang keadaan tak hingga,
{ }( ), 0,1,2,...X n n =
0,1,2,...i = maka
{ }( 1) | ( )ijp P X n j X n i= + = =
menyatakan peluang transisi satu langkah dari
keadaan i ke keadaan j .
8
(5.2)
Prostok-5-firda
9. Matriks peluang transisi satu langkah dari
( )
0
dengan 0 dan 1 , 0,1,2,...ij ij
j
p p i j
∞
=
≥ = =∑
00 01 02
10 11 12
20 21 22
...
...
...
ij
p p p
p p p
p
p p p
= =
P
M M M
{ }( ), 0,1,2,...X n n = didefinisikan sebagai
9Prostok-5-firda
10. Dalam kasus ruang keadaan i berhingga, i=0,1,…,m
( )
0
dengan 0 dan 1 , 0,1,2,...,ij ij
j
p p i j m
∞
=
≥ = =∑
00 01 02 0
10 11 12 1
20 21 22 2
0 1 2
...
...
...
...
m
m
ij m
m m m mm
p p p p
p p p p
p p p p p
p p p p
= =
P
M M M M M
Maka P berukuran ;m m×
10Prostok-5-firda
11. Contoh:
00 01
10 11
0 1
1 0
p p
p p
= =
P
1. Matriks peluang transisi untuk rantai markov
dua keadaan :
2. Matriks peluang transisi untuk rantai markov
dua keadaan secara umum :
11
00 01
10 11
1
1
p p a a
p p b b
−
= = −
P
Prostok-5-firda
13. 5.4 Diagram Transisi
Rantai Markov dapat direpresentasikan sebagai
suatu graf dengan himpunan verteksnya ruang
keadaan dan peluang-peluang transisi digambarkan
sebagai himpunan sisi yang berarah dengan bobot
sisi menyatakan peluanngya.
Graf yang merepresentasikan rantai Markov
tersebut dinamakan diagram transisi dari rantai
Markov tersebut.
13Prostok-5-firda
14. 1. Diagram transisi dari contoh 1, dengan
matriks peluang transisi
0 1
1
1
Catatan: lingkaran menyatakan state (keadaan),
arah panah menyatakan peluang transisi dari
keadaan i ke keadaan j.
0 1
1 0
=
P
Contoh :
14Prostok-5-firda
15. 2. Diagram transisi dari contoh 2, dengan
matriks peluang transisi
0 1
a
b
1
1
a a
b b
−
= −
P
15
1-a 1-b
dimana 0 1,0 1,|1 | 1.a b a b≤ ≤ ≤ ≤ − − <
Prostok-5-firda
16. 3. Misal di suatu daerah beredar dua sampo,
yakni sampo A dan B. Suatu lembaga
mengadakan survey penggunaan sampo,
survey pertama mengatakan 40% orang
daerah itu menggunakan sampo A dan 60 %
menggunakan sampo B.
Survey kedua mengatakan setiap minggunya,
15 % pengguna sampo A beralih ke B dan
5 % pengguna sampo B beralih ke A.
Asumsikan jumlah pengguna sampo di
daerah itu tetap.
Buat mariks peluang transisi dan diagram
transisi dari masalah tersebut.
16Prostok-5-firda
17. Misal ( )X n menyatakan sampo yang digunakan
setiap minggu ke-n. Maka rantai Markov{ }( )X n
dengan ruang parameter {1,2,…,n,…} dan ruang
keadaan }.,{ BA
Matriks peluang transisinya:
0.85 0.15
0.05 0.95
AA AB
BA BB
p p
p p
= =
P
Jawab:
17Prostok-5-firda
19. Latihan:
1. Seorang pemandu wisata yang berkantor di
Jakarta bertugas mengantar wisatawan ke
Bandung setiap minggunya. Jika diamati posisi
pemandu wisata tersebut dalam 10 minggu seperti
tabel berikut;
Mgg 0 1 2 3 4 5 6 7 8 9 10
Kota J B B J B B J J B B J
19Prostok-5-firda
20. a. Tentukan matriks peluang transisi dari posisi
si pemandu wisata
b. Gambarkan diagram transisinya
c. Tentukan peluang transisi pemandu wisata dari
Jakarta ke Bandung!
2. Gambarkan diagram transisi untuk rantai Markov
dengan matriks peluang transisi berikut
=
2/12/10
03/23/1
001
2
1
0
P
20Prostok-5-firda
21. 3. Ada dua kotak A dan B. Kotak A berisi 2 bola
putih dan kotak B berisi 2 bola hitam.
Dilakukan percobaan mengambil 1 bola secara
acak dari masing-masing kotak, kemudian
dipertukarkan ke kotak lainnya. Percobaan ini
dilakukan berulang kali. Asumsikan state ke
i (i = 0, 1, 2) menyatakan jumlah bola hitam di
kotak A.
a. Tentukan matriks peluang transisinya.
b. Gambarkan diagram transisinya.
21Prostok-5-firda
23. 5. Seorang Dokter praktek di tiga klinik berbeda
(“A”,”B”,”C”), dengan jadual praktek selama 15
hari ke depan seperti tabel berikut :
Hari 0 1 2 3 4 5 6 7
Klinik A B B C A C B A
23
Hari 8 9 10 11 12 13 14 15
Klinik A C B B C A B C
Prostok-5-firda
24. a. Tentukan matriks peluang transisi dari tempat
praktek dokter tersebut.
b. Gambarkan diagram transisinya.
c. Tentukan peluang bahwa dokter tersebut
tetap berpraktek di klinik “B”.
24Prostok-5-firda
25. 25
5.5 Persamaan Chapman-Kolmogorov
Sebelumnya telah didefinisikan peluang transisi
satu langkah pada persamaan (5.2),
{ }( 1) | ( )ijp P X n j X n i= + = =
Selanjutnya akan ditentukan peluang proses yang
berada pada keadaan i akan berada pada keadaan
j setelah n transisi (peluang transisi langkah ke-n),
kita nyatakan dengan .n
ijp
{ }( ) | ( ) 0, , 0.n
ijp P X m n j X m i m i j= + = = ≥ ≥
Prostok-5-firda
26. 26
dimana adalah peluang awal.
{ }( ), 0,1,2,...X n n =
secara lengkap digambarkan dengan peluang
inisial (awal) dan peluang transisi sebagai berikut:
{ }0 1(0) , (1) ,..., ( ) nP X i X i X n i= = =
{ }0 1 1( ) | (0) , (1) ,..., ( 1)n nP X n i X i X i X n i −= = = = − =
{ }0 1 1. (0) , (1) ,..., ( 1) nP X i X i X n i −= = − =
{ }1 0 1 1. (0) , (1) ,..., ( 1)n ni i np P X i X i X n i− −= = = − =
...=
1 2 1 0 1 0... { (0) }n n n ni i i i i ip p p P X i− − −
= =
Sifat peluang rantai Markov
{ }0(0)P X i=
(5.3)
Prostok-5-firda
27. 27
( )0πMisalkan menyatakan distribusi awal,
[ ]0 1(0) (0), (0),... ,π π π=
dengan { }(0) (0) 0, 0,1,2,...j P X j jπ = = ≥ =
merupakan peluang awal, sehingga
0
(0) 1.j
j
π
∞
=
=∑
Prostok-5-firda
28. 28
Selanjutnya akan dihitung
n
ijp melalui peluang
transisi ijp dengan 0 0
0, dan 1.ij iip i j p= ≠ =
Peluang transisi n langkah
n
ijp dapat dihitung
dengan menjumlahkan semua peluang perpindahan
dari keadaan i ke keadaan k dalam r langkah
( )nr ≤≤0 dan perpindahan dari keadaan k
ke keadaan k pada sisa waktu n-r.
Prostok-5-firda
29. 29
{ }( ) | (0)np P X n j X iij = = =
{ } { }( ) | (0) ( ) | ( )
0
P X r k X i P X n j X r k
k
∞
= = = = =∑
=
1
r n r
ik kj
i
np p pij
∞
−
=
= ∑
Persamaan ini disebut persamaan
Chapman-Kolmogorov.
Dalam bentuk matriks ditulis,
( ) ( ) ( )
.n r n r−
=P P P
Prostok-5-firda
31. 31
Catat bahwa,
(1)
ijp = = P P
Secara rekursif kita punya matriks peluang transisi
n-langkah:
( ) (1) ( 1) ( 1)
2 ( 2)
. .
.
...
n n n
n
n
− −
−
= =
=
=
=
P P P P P
P P
P
Artinya, matriks peluang transisi langkah ke-n
diperoleh dari matriks dipangkatkan n.P
Sehingga kita punyai, .n r n r−
=P P P
Prostok-5-firda
32. 32
Seperti persamaan 1 2 1 0 1 0... { (0) },n n n ni i i i i ip p p P X i− − −
=
maka peluang gabungan dapat dihitung melalui
peluang awal (seperti distribusi awal ) dan
peluang transisi (matriks P).
0π
Misal, { }( ) ( )j n P X n jπ = =
( ) ( ){ } ( ){ }∑
∞
=
====
0
00
i
iXPiXjnXP
( )
0
0 , 0,1,2,...n
i ij
i
p jπ
∞
=
= =∑
merupakan peluang proses keadaan j pada waktu
ke n. Prostok-5-firda
33. 33
Misal ( ) ( ) ( )[ ],..., 10 nnn πππ = merupakan distribusi
n langkah, sehingga berlaku
0
( ) 1j
j
nπ
∞
=
=∑
maka
( ) (0) .n
nπ π= P
Prostok-5-firda
34. 34
Dari contoh 3 subbab 5.4, tentukan distribusi
pengguna sampo di daerah yang diteliti, lima
minggu setelah survey berlangsung.
Jawab :
Contoh:
Tentukan distribusi awal;
Dari survey pertama diperoleh ,
(0) [0.4 ,0.6]π =
Prostok-5-firda
