Markov 過程

1. Markov 過程
1
授業振替
(休講⽇日)７⽉月１９⽇日(⽕火) ２限 (11:10-‐‑‒12:40)
(振替⽇日)７⽉月１２⽇日(⽕火)５限 (16:40-‐‑‒18:10)
http://www.slideshare.net/ShinjiNakaoka
授業レクチャーノート
授業１つ前に事前公開予定、授業後、追加スライド挿⼊入、誤植など
訂正分を再アップロード

2. 復復習：Markov
過程
2
状態 i=0,1,2,… となる確率率率過程 において、
もし全ての 0≤t1<t2<…<tn に対して
ならば、この確率率率過程は連続時間 Markov 過程と呼ばれる。
任意の 0≤t, 0≤s に対して
は推移確率率率 (transition probability) とよばれる。ここで Pij(t) は時刻 s と
独⽴立立、すなわち定常であると仮定する。
参考：確率率率モデル⼊入⾨門 尾崎俊治著 朝倉書店 P.101-‐‑‒102

3. 復復習：Markov
過程
3参考：確率率率モデル⼊入⾨門 尾崎俊治著 朝倉書店 P.101-‐‑‒102
定常推移確率率率をもつ連続時間 Markov 過程について考察する。
定常推移確率率率 Pij(t) は、離離散時間 Markov 連鎖と同様の⽅方法を適⽤用すると
上式は Chapman Kolmogorov ⽅方程式と呼ばれる。ただし、Markov 過程に
おいて Chapman Kolmogorov ⽅方程式から Pij(t) を計算することはできない。
それぞれの仮定を⽤用いて微分⽅方程式を導出することで、はじめて Pij(t) を計
算することができる。

4. 純出⽣生過程
4
計数過程 :定常遷移確率率率をもつ Markov 過程
(i)
(ii)
(iii)
以下の３つの条件を満たすとき、この過程は
の純出⽣生過程と呼ばれる。パラメーター
(pure birth process)
注意) Poisson 過程の定義参照
参考：確率率率モデル⼊入⾨門 尾崎俊治著 朝倉書店 P.102-‐‑‒104

5. 純出⽣生過程
5
の純出⽣生過程パラメーター
到達時間 は独⽴立立で、それぞれ平均 1/ 𝛌k の
指数分布にしたがう。
定理理 (到達時間)
定常確率率率
に Chapman-‐‑‒Kolmogorov の定理理を適⽤用することにより
Kolmogorov の前進⽅方程式
参考：確率率率モデル⼊入⾨門 尾崎俊治著 朝倉書店 P.102-‐‑‒104

6. 純出⽣生過程
6
(続き) 初期条件
を⽤用いて逐次解くことで、解
が得られる。
例例) パラメーター の純出⽣生過程を考える。
参考：確率率率モデル⼊入⾨門 尾崎俊治著 朝倉書店 P.102-‐‑‒104

7. 純出⽣生過程
7
(続き)
・・・
平均および分散は
この過程は Yule 過程と呼ばれる。Preferential Attachment との関係は
改めて別の講義で紹介する。
参考：確率率率モデル⼊入⾨門 尾崎俊治著 朝倉書店 P.102-‐‑‒104

8. 純死亡過程
8
計数過程 : Markov 過程
(i)
(ii)
(iii)
以下の３つの条件を満たすとき、この過程は
の純死亡過程と呼ばれる。パラメーター
(pure death process)
注意) Poisson 過程の定義参照
参考：確率率率モデル⼊入⾨門 尾崎俊治著 朝倉書店 P.105-‐‑‒106

9. 純死亡過程
9
純死亡過程 の定常推移確率率率
初期条件
がしたがう微分⽅方程式 (Kolmogorov の前進⽅方程式)
参考：確率率率モデル⼊入⾨門 尾崎俊治著 朝倉書店 P.105-‐‑‒106

10. 純死亡過程
10
例例) 𝞵k= 𝞵 (k=1,2,…,n) のとき
となる (Poisson 過程参照)。したがって
(Gamma 分布)
𝞵k= 𝞵 (k=1,2,…,n) となるから、P0(t) はパラメーター 𝞵 の指数分布に
したがう n 個の独⽴立立な確率率率変数の和であり、このことから Gamma 分
布に従うことがわかる。
参考：確率率率モデル⼊入⾨門 尾崎俊治著 朝倉書店 P.105-‐‑‒106

11. 出⽣生死亡過程
11
純死亡と純出⽣生過程を同時に考える。
かつ
が成⽴立立する。純出⽣生(死亡)過程の定義 (ii) より、微⼩小時間 h の間に
状態 k において出⽣生、死亡が起こる確率率率はそれぞれ 𝛌k , 𝞵k である。
純出⽣生(死亡)過程の定義 (i) より
定義 (iii) より微⼩小時間 h の間に２回以上の出⽣生・死亡が⽣生じる確率率率
は無視できる。また、微⼩小時間 h の間に出⽣生も死亡も⽣生じない確率率率は
となる。 (k=1,2,…)
参考：確率率率モデル⼊入⾨門 尾崎俊治著 朝倉書店 P.107-‐‑‒108

12. 出⽣生死亡過程
12
(続き) 定常推移確率率率を
とする。すなわち、時刻０で状態 i にいるという条件の下で、時刻 t
で状態 j にいる確率率率である。
が得られる。
これまでの議論論を拡張することで、確率率率がしたがう微分⽅方程式
(j=1,2,…)
参考：確率率率モデル⼊入⾨門 尾崎俊治著 朝倉書店 P.107-‐‑‒108

13. 極限推移確率率率
13
極限確率率率を求める:
ここで、pj は初期状態と独⽴立立である。パラメーターが正という条件
𝛌k>0, 𝞵k+1>0 を仮定すれば、極限推移確率率率が存在するということは
となり、Pij(t) は pj に収束する。
Kolmogorov の前進⽅方程式は
(確率率率の和は１)
参考：確率率率モデル⼊入⾨門 尾崎俊治著 朝倉書店 P.111-‐‑‒113

14. 極限推移確率率率
14
(続き) Kolmogorov ⽅方前進⽅方程式の極限式を書きなおせば
となるから、両辺それぞれの和をとれば
を得る。したがって
参考：確率率率モデル⼊入⾨門 尾崎俊治著 朝倉書店 P.111-‐‑‒113

15. 極限推移確率率率
15
(続き) 確率率率の和が１である条件を⽤用いると
極限確率率率 pj>0 (j=0,1,2,…) が存在するためには、必要条件
を得る。ただし、j=0 に対して と定義する。
証明は省省略略するが、上記の必要条件は、極限確率率率が存在するための必要
⼗十分条件であることも知られている。まとめると、次項の定理理を得る。
参考：確率率率モデル⼊入⾨門 尾崎俊治著 朝倉書店 P.111-‐‑‒113

16. 極限推移確率率率
16
の出⽣生死亡過程において、全てのパラメーターが正、すなわち
パラメーター
𝛌k>0, 𝞵k+1>0 ならば、極限推移確率率率
が初期状態 i と独⽴立立に存在するための必要⼗十分条件は
である。ただし、j=0 に対して と定義する。具体型は
および
参考：確率率率モデル⼊入⾨門 尾崎俊治著 朝倉書店 P.111-‐‑‒113

17. 具体例例 I
17
例例)
のとき、極限推移確率率率が存在するための必要⼗十分条件は
の収束と同値 ( 𝞀<1) である (参考：Neumann 級数)。
となり、パラメーター 1-‐‑‒ 𝞀 の幾何分布にしたがう。
このとき極限推移確率率率は
参考：確率率率モデル⼊入⾨門 尾崎俊治著 朝倉書店 P.114-‐‑‒116

18. 有限状態過程
18
有限状態 i=0,1,…,N よりなる出⽣生死亡過程について考える。
Kolmogorov の前進⽅方程式は
⼀一般の N に対する上記微分⽅方程式系の解を求めるのは⼤大変なので、
以下では N=2 の場合について、解の具体型と極限推移確率率率の
計算を実施する。
参考：確率率率モデル⼊入⾨門 尾崎俊治著 朝倉書店 P.114-‐‑‒116

19. 有限状態過程
19
２状態 Markov 過程の Kolmogorov 前進⽅方程式は
以下では簡単のため、 𝞴0= 𝞴、 𝞵1= 𝞵 とする。極限推移確率率率は
連⽴立立⽅方程式 の解
で与えられる。
参考：確率率率モデル⼊入⾨門 尾崎俊治著 朝倉書店 P.114-‐‑‒116

20. 有限状態過程
20
初期条件 に対する微分⽅方程式の解は
初期条件 に対する微分⽅方程式の解は
参考：確率率率モデル⼊入⾨門 尾崎俊治著 朝倉書店 P.114-‐‑‒116

21. 有限状態過程
21
いずれの場合も極限推移確率率率
初期分布
に収束する。以下、時刻 t における状態分布について考える。
のとき
となる。⾏行行列列表⽰示すると
初期分布として極限分布をとると、あらゆる時刻 t において極限分布に
なることを⽰示している。
参考：確率率率モデル⼊入⾨門 尾崎俊治著 朝倉書店 P.114-‐‑‒116

22. 22

23. Memo
23