Proses Markov adalah proses stokastik dimana kemungkinan terjadinya suatu kejadian di masa depan hanya dipengaruhi oleh keadaan saat ini, bukan oleh keadaan di masa lalu. Rantai Markov adalah proses Markov diskrit dengan nilai-nilai diskrit, yang perilakunya dideskripsikan oleh matriks peluang transisi. Jika matriks ini regular, maka akan terbentuk distribusi peluang limit.

2. 

3. 

Contoh
Perhatikan banyaknya kelahiran di suatu
tempat pada suatu hari. Bila Xt adalah
banyaknya kelahiran pada (0,t) dengan t
[0,1440], maka kumpulan dari Xt adalah
proses stokastik.

4. Definisi
 Proses Markov adalah proses stokastik yang
mempunyai sifat bahwa jika nilai Xt telah
diketahui, maka Xs di mana s > t tidak
dipengaruhi oleh Xu di mana u < t.
 Definisi tersebut memiliki arti bahwa fenomena
masa datang hanya dipengaruhi oleh fenomena
masa sekarang dan tidak dipengaruhi oleh masa
lalu.
 Rantai Markov dengan waktu diskret (Diskret
Time Markov Chain) adalah suatu proses markov
dengan waktu diskret dan Xt memiliki nilai
diskret.

5. Secara matematis Proses Markov dapat
dinyatakan sebagai berikut:
P(Xn+1=j| X1 = i1, X2=i2, …, Xn=in) = P(Xn+1 =j|Xn = in)
Xn = j artinya rantai markov pada waktu n
berada pada state j.
Peluang Xn+1 berada pada state j jika Xn berada
pada state i dilambangkan dengan Pijn,n 1

6. Peluang ini juga dinamakan peluang transisi
satu langkah (one-step transition probability)
dan secara matematis dapat dinyatakan
sebagai berikut
 P(Xn+1=j|Xn=i).
Bila peluang transisi satu langkah bebas
terhadap peubah waktu n, maka rantai markov
mempunyai peluang transisi yang stasioner
atau Pijn,n 1= Pij

7. Secara umum, peluang transisi diatur dalam
suatu matriks yang dinamakan matriks peluang
transisi.
P
P
P
P 
00
02
P10
P11
P12
P13 
P20

P21

P22

P23 

Pi 0
Pi1
Pi 2
Pi 3


P
01
03



.
Baris ke – i+1 dari P adalah sebaran peluang
dari nilai Xn+1 dibawah kondisi Xn= i.
Jika banyaknya state terhingga maka P adalah
matriks kuadrat terhingga

8. Nilai Pij memenuhi kondisi
Pij 0 untuk semua i dan j
dan Pij 1
j
untuk i = 0, 1, 2, …

9. Jika matriks peluang transisi P dan sebaran
peluang X0 diketahui, maka perilaku dari rantai
markov dapat diketahui.
Pernyataan ini akan ditunjukkan dalam penjelasan
berikut:
Misalkan diketahui matriks peluang transisi dan
P(X0=i) = pi, maka kita dapat mencari P(X0=i0,
X1=i1, X2 = i2, …, Xn=in)
Berdasar definisi peluang bersyarat kita dapatkan
P(X0=i0, X1=i1, X2 = i2, …, Xn=in)
=P(Xn=in| X0=i0, X1=i1, X2 = i2, …, Xn-1=in-1)
P(X0=i0, X1=i1, X2 = i2, …, Xn-1=in-1)

10. Berdasar definisi rantai markov kita dapatkan
P(X0=i0, X1=i1, X2 = i2, …, Xn=in)
= P(Xn=in| Xn-1=in-1) P(X0=i0, X1=i1, X2 = i2,
…, Xn-1=in-1)
= P(X0=i0, X1=i1, X2 = i2, …, Xn-1=in-1)
Melalui induksi akan kita dapatkan
i
i
i
P(X0=i0, X1=i1, X2 = i2, …, Xn=in) = pi P i P i P
0
01
n 2, n 1
n 1 , in

11. Analisis dari rantai markov berpusat pada
perhitungan peluang kemungkinan realisasi
proses yang mungkin.
Perhitungan ini berpusat pada matriks peluang
transisi n langkah P(n) = Pij(n ) .
Pij(n ) melambangkan peluang proses pindah dari
state i ke state j dalam n langkah.
Secara formal dapat dinyatakan sebagai
Pij(n )=P(X
m+n=j|Xm=i).

12. Sifat Markov memungkinkan kita menyatakan dalam
theorema berikut
Theorema
Peluang transisi n langkah dari rantai markov
memenuhi
Pij( n )
(
Pik Pkjn
1)
k 0
Di mana
Pij( 0)
1, i
j
0, i
j
Dari teori matriks, maka persamaan dalam teorema ini
adalah rumus untuk perkalian matriks, sehingga
P(n) = P P(n-1). Dengan mengiterasikan rumus ini kita
dapatkan P ( n) P P  P P n
 


nfaktor
Dengan kata lain, peluang transisi n langkah adalah isi
matriks Pn.

13. Matriks Peluang Transisi Reguler
Misalkan P (matriks peluang transisi)
mempunyai sifat jika dipangkatkan k, Pk
mempunyai elemen yang semuanya positif,
maka P dikatakan reguler
Rantai Markov yang reguler memiliki limiting
probability distribution = ( 0, 1, …, N); di
mana j>0 dan j j =1 dan sebaran ini bebas
dari state awal

14. Untuk matriks peluang transisi yang regular
lim Pij( n )
0,
j = 0, 1, …, N
j
n
Contoh Rantai Markov regular dengan matriks
peluang transisi
1 a
a
P
b 1 b
Mempunyai limiting probability distribution
0
a
lim P
n
n
1
b
0 a b
1 a
a b
a b
b
a b

15. Contoh numerik dapat ditunjukkan, misalkan
rantai markov memiliki matriks peluang transisi
P
0.33 0.67
0.75 0.25
Beberapa pangkat pertama dari P adalah
P
2
0.6114 0.3886
P
5
0.4350 0.5650
0.5220 0.4780
0.5350 0.4560
3
0.4932 0.5068
6
0.5673 0.4327
0.5307 0.4693
P
P
0.5253 0.4747
P4
P7
0.5328 0.4572
0.5117 0.4883
0.5271 0.4729
0.5294 0.4706
Limiting distribution-nya adalah b/(a+b) = 0.5282
dan a/(a+b) = 0.4718.

16. Untuk semua matriks peluang transisi dengan
state 0, 1, 2, …,N yang memenuhi dua kondisi
berikut adalah regular
 Untuk setiap pasang state i,j, terdapat path
(jalur) k1, k2, …, kr di mana Pik1Pk1k2 ... Pkrj>0
 Terdapat minimal satu state di mana Pii>0

17. Theorema
Misalkan P adalah matriks peluang transisi
suatu rantai markov regular dengan state 0, 1,
2, …, N, maka limiting probability distribution
=( 0, 1, 2, …, N) adalah solusi unik dari
sistem persamaan berikut
= P dan i i 1

18. Bila diketahui rantai markov dengan matriks
peluang transisi
0 1
2
0 0.4
P
0.5
0.1
1 0.05
0.7
0.25
2 0.05 0.50 0.45
Carilah limiting probability distributionnya!

19. = P
0
0.4
1
2
0
1
0.1
0.05
2
0.5
0.7
0.25
0.05 0.50 0.45
0
1
0.4
2
0
0.05
1
0.05
0.5
2
0
0.7
1
0.5
2
0.1
0
0.25
1
0.45
2
Sehingga kita memiliki persamaan, yaitu
0
0.4
1
0.5
2
0.1
0
1
0.05
1
0.05
0
0.7
1
0.5
0
0.25
0
2
1
1
0.45
2
2
2
Solusi dari sistem persamaan di
samping adalah
0 = 0.077, 1 = 0.625, 2 = 0.298

20. Sehingga limiting probability distribution-nya
adalah
0
1
2
0 0.077 0.625 0.298
lim P n
n
1 0.077 0.625 0.298
2 0.077 0.625 0.298