发布时间 : 星期六 文章1140503102450451连续时间马尔可夫链更新完毕开始阅读c1712c38aef8941ea66e053d
5 连续时间马尔可夫链
5.1引言
本章中我们考虑与离散时间马尔可夫链类似的连续时间马尔可夫链。如离散情形一样，它们由马尔可夫性刻画，即已知现在的状态时将来与过去独立。
在5.2节中。我们定义连续时间马尔可夫链且把它们与第四章的离散时间马尔可夫链相联系。在5.3节中，我们引入一类重要的连续时间马尔可夫链，即所谓生灭过程。这些过程可用作在任何时刻其总量的变化仅为一个单位的群体的模型。在5.4节中，我们导出两组描述系统的概率规律的微分方程——向前与向后方程。5.5节的内容是确定连续时间马尔可夫链的有关的极限（或长时间后的）概率。在5.6节中，我们考虑时间可逆的问题。其中，我们证明一切生灭过程是时间可逆的，而后阐明这事实对于排队系统的重要性。在这一节中也提供了时间可逆性对随机群体模型的应用。在5.7节中，我们阐明逆向链的重要性，即使过程不是时间可逆的。利用它我们研究排队网络模型。导出爱尔朗消失公式，分析共用加工系统。5.8节中我们表面如何“一致化”马尔可夫链——对于数值计算有用的一种技巧。
5.2连续时间马尔可夫链
考虑取非负整数值的连续时间随机过程{X(t),t30}，与第四章中给出的离散时间马尔可夫链的定义类似，过程{X(t),t30}称为连续时间马尔可夫链，如
u果对一切s,t30及非负整数i,j，x(u)，0＃s，有
+)s=|jX( P{X(t)s=,Xi()u=()x,u0?} us =P{X(t+)s=|j(X)s=} i换言之，连续时间马尔可夫链是具有马尔可夫性的随机过程，即已知现在s时是
状态及一切过去的状态的套件下在将来时刻t+s的状态的条件分布只依赖现在的状态而与过去独立。若又有P{X(t+s)=j|X(s)=i}与s无关则称连续时间马尔可夫链具有平稳的或其次的转移概率。将假定我们所考虑的马尔可夫链都有平稳转移概率。
假设在某时刻，比如说时刻0，马尔可夫链进入状态i，而且假设在接下来的s个单位时间中过程未离开状态i（即未发生转移）。在随后的t个单位时间中过程仍不离开状态i的概率是多少呢？为了回答这个问题。注意到因为在时间s过程处于状态i，从马尔可夫性得在区间[s,s+t]中它仍然处于状态i的概率正是他处于状态i至少t个单位时间的（无条件）概率。也即若以ti记过程在转移到另一状态之前停留在状态i的时间，则对一切s,t30有
P{ti>s+t|ti>}s={Pti}> t因此，随机变量ti是无记忆的必有指数分布。
事实上，上面的讨论给了我们构造连续时间马尔可夫链的一个方法。也即它是一个具有如下性质的随机过程，每当它进入状态i：
(i)在转移到另一状态之前处于状态i的时间服从指数分布，参数为vi (ii)当过程离开状态i时，接着以某个概率。譬如Pij，进入状态就j， ?Pij=1。
j1ivi=?的状态i称为瞬时状态。因为一旦进入此状态立即就离开。尽管这种
状态在理论上是可能的，我们将始终假设对一切i，0?vi?。（如果vi=0，
则称状态i为吸收的，因为一旦进入这一状态就永不再离开了。）因此，实际上一个连续时间马尔可夫链是一个这样的随机过程，它按照一个（离散时间）的马尔可夫链从一个状态转移到另一个状态，但在转移到下一状态之前，他在各个状态停留的时间服从指数分布。此外在状态i过程停留的时间与下一个到达的状态必须是独立的随机变量。因为若下一个到达的状态依赖于ti，那么过程处于状态
i已有多久的信息与下一个状态的预报有关——这就与马尔可夫假定矛盾了。
一个连续时间马尔可夫链称为规则的，若以概率1在任意有限时间内的转移次数是有限的。一个非规则的马尔可夫链的例子是
Pi,i+1=1 vi=i2
能够证明这个马尔可夫链总是从状态i到i+1，停留在状态i的时间服从均值为
1/i2的指数分布，它将以正的概率在任意长为t，（t>0）的时间区间内作无限
多次转移。然而我们从现在起将假设所考虑的全部马尔可夫链是规则的（在习题中将给出规则性的某些充分条件）。
对一切i1j，qij定义为
qij=viP i因为vi是过程离开状态i的速率而Pij是它转移到j的概率，所以qij是过程从状态
i转移到状态j的速率；事实上我们就称qij是从i到j的转移速率。
以Pij(t)记马尔可夫链现在处于状态i，再经过一段时间t后处于状态j的概率，即
Pij(t)=P{X(t+s)=j|X(s)=i}
5.3生灭过程
鬃?的连续时间马尔可夫链称为生灭过程，具有状态0,1，若i-j>1时qij=0。
?，它从状态i只于是一个生灭过程是一个连续时间马尔可夫链，具有状态0,1,鬃能转移到状态i-1或i+1。过程的状态通常看作为某个群体的总量，当状态增长1时，我们就说生了一个；而当它减少1时，我们就说死了一个。设li与mi为
li=qi,i+1 mi=qi,i-1
值{li,i30}与{m}分别称为生长率与死亡率。因为?qij=vi，可见 i,i31j1i vi=li+m i Pi,+i1=li=1-Pli+mii-,i1
因此，我们可以这样设想生灭过程，每当系统中有i个人时，直到下一次出生的时间服从参数为li的指数分布，且独立于直到下一次死亡的时间，它服从参数为
mi的指数分布。
例5.3（a） 两个生灭过程
（i）M/M/s排队系统。假设顾客按照参数为l的泊松过程来到一个有s个服务员的服务站，即相继来到之间的时间是均值为1l的独立指数随机变量，每个顾客一来到，如果有服务员空闲，则直接进入服务，否则此顾客要加入排队行列（即他在队列中等待）。当一个服务员结束对一位顾客的服务时，顾客便离开服务系统，排队中的下一位顾客（若有顾客在等待）进入服务。假定相继的服务时间是独立的指数随机变量，均值为1m。如果我们可以以X(t)记时刻t系统中的人数，则{X(t),t30}是生灭过程，
ìns?nm,1＃ mn=í
sm,n>s?? ln=l,n?0
（ii）有迁入的线性增长模型
,n?1 mn=nm ln=nl+q,n?0
的模型称为有迁入的线性增长模型。这种过程自然地产生于生物繁殖与群体增长
的研究中。假定群体中的每个个体以指数率l出生；此外，群体由于从外界迁入
的因素又以指数率q增加，因此在系统中有n人时，整个出生率是nl+q。假定此群体的各个成员以指数率m死亡，从而mn=nm。
若对一切n,mn=0（即若死亡是不可能的），则生灭过程称为纯生过程。最简单的纯生过程的例子是泊松过程，它具有常值出生率ln=l,n?0。
第二个纯生过程的例子是这样的，在一个群体中各个成员独立的活动，且以指数率l生育。若假设没有任何成员死亡，以X(t)记时刻t群体的总量，则
{X(t),t30}是一个纯生过程，其ln=nl,n?0
此纯生过程被称为尤尔过程。
考虑一尤尔过程，在时刻0从一个个体开始，且以Ti(i31)记第i-1个与第i个出生之间的时间。即Ti是群体总量从i变到i+1所花的时间。从尤尔过程的定义容易达到Ti(i31)是独立的，且Ti是具有参数il的指数变量。现在 P{Tt1-i?} P{T1+T2?}t-lie
t01ò{PT+2T?|t1T}l-lxxe dxt-2lt-x =ò01-e()le-lxdx
() =1-e-lt P{T1+T2+T3?t}t0()12
2òP{T+T+T3?t|T1T2=x}dFT1+T2(x)
t-3lt-x =ò01-e()2le-lx1-e-lxdx
()() =1-e-lt一般地可用归纳法证明
? P{T1+鬃()3
tT1--le j?}t()j?Tj?t}P{X(t)?j1|X(0)=1}可见对于一个尤尔过程， 因此，由P{T1+鬃-lt P1j(t)=1-e()j-1-1-e-ltj-1 =e-lt1-e-lt(())j
,j?1
从上可见，从一个个体开始，在时刻t群体的总量有几何分布，其均值为elt。因