发布时间 : 星期六 文章1140503102450451连续时间马尔可夫链更新完毕开始阅读c1712c38aef8941ea66e053d
?pi=0￥i=1
的唯一非负解。从（5.5.1）与（5.5.2）可见Pj是 vjPj=?vjPjP iji=0￥ 或等价地，用qij=viPij，是
?￥j=0Pj=1
vjPj=? 的唯一非负解。
注记
￥i=0PiP ij?￥j=0Pj=1
（1）从第四章4.8节中给出的关于半马尔可夫过程的结果得出，Pj也等于长时间之后过程处于状态j的时间的比率。
（2）如果初始状态按照极限概率{Pj}选取，则所得过程将是平稳的，即对一切t
上式的证明如下：
P(t)P=邋i=0ijiゥ?￥i=0PjPi(t=P jj)i=0Pij(t)limPki(s)
s￥ =lim?Pij(t)Pk(i)s
si=0Pkj(t+s) =lims =Pj
容易论证上式的求和与极限可交换，将此留作一个练习。
（3）得到方程（5.5.3）的另一个途径是用向前方程
PPj(itk)-vP(jt)i jij(t)=?qkk1j若我们假定极限概率Pj=limPij(t)存在，则tt时，Pij￠(t)必收敛于 0 。（为
即得
什么？）因此，假定上式中可以交换极限与求和号 ，令t 0=?Pij(h)P ik1j 值得注意能是上述方法是下列直现论证的较正式的假述。为了得到Pj（t=?时处于状态j的概率）的方程 ，对 h 个单拉时间之前的状态取条件： Pj=?Pi( i)Pjhi=0￥ =?qihj+o(h)P+i1-vhj+o(h)P
i1j()(o(h)h)j或
0=?Pqii-jvPj+ji1j
令h?0即得结果。
(4）方程（5. 5. 3）有一种程好的解释如下：在任何区间(0,t)中，转移到状态j的次数与从状态j转移出来的改数相差不超过1。（为什么？）因此，长时间之后转移到状态j发生的速率必等于从状态j转移出去发生的速率。既然过程处于状态j时它以速率vi离开，又因Pj是过程处于j的时间的比率，于是得 vjPj=过程离开状态j的速率
类似地 ，当过程处于状态i时它以速率qij离开而转到j，又因Pi是处于状态i的时间的比率，可见从i到j的转移发生的速率等于qijPi。因此，
?￥i=0Pqii=j过程离开状态j的速率
所以，（5.5.3）正是说过程进入与离开状态j的速率相等。因为它使这些速率平衡 （ 即相等），所以方程（5.5.3）有时称为平衡方程。
（5）当连续时间马尔可夫链不可约旦对一切j有Pj>0时，我们说链是遍历
的。
现在让我们对生灭过程确定其极限概率。从方程（5.5.3），或等价地，使过程离开一个状态与进入该状态的速率相等，得到
状态 过程离开的速率 过程进入的速率 0 l0P0 = m1P1 n,n>0 (ln+mn)Pn = mn+1Pn+1+ln-1Pn-1 改写这些方程为 l0P0=mP1 1 lnPn=mn+1Pn+1+(ln-P1n--1mnPn),n?1 或等价地 l0P0=mP1 1 l1P1=m2P2+P=m P2(lP0-0m)112 l2P2=m3P3+)22=m P3 3(lP1-1mP lnPn=m+n(l1P+n1+用P0解得 P1=m0P0 l1l1l0l1P=P0 1m2m2m1llll2P2=210P0 m3m3m2m1-n1 P-n)nn=m+1P1-mPn +1n P2= P3= Pn=￥ln-1ll鬃?ll10Pn-1=n-1n-2P0 mnmnmn-1鬃?m2m1利用?Pn=1
n=0 1=P0+P0?或
ln-1ln-2鬃?ll10 ?m2mn=1mnmn-1鬃1￥-1轾￥ll鬃?ll101+?n-1n-2 P0=犏 犏mm鬃?mmn=1nn-121臌因此 Pn=ln-1ln-2鬃?ll10,n?1
骣￥ll鬃n-1n-2?ll10琪mm鬃?m112n琪??m2m1桫n=1mnmn-1鬃ln-1ln-2鬃?ll10
例5.5（a）M/M/1排队系统。在M/M/1排队系统中，于是若lm<1ln=l，mn=m，从（5.5.4）得 Pn=n骣l1-?琪琪mn=1桫要极限概率存在，l必须小于m是直观的。顾客们按速率l到来且以速率m受到
￥(lm)n骣l=琪琪m桫n骣l琪 1-,n?0琪m桫服务，因而当l>m时他们到来的速率高于他们能受到服务的概率，排队长度将趋于无穷。l=m的情况很像第四章4.3节的对称随机游动，它是零常返的，从而没有极限概率。
例5.5（b）考虑一个有M部机器与一个修理工的车间，且假设一部机器在损坏前运转的时间服从参数为l的参数分布，而修理工修好一部损坏了的机器的时间服从参数为m的指数分布。每当有n部机器坏了就说状态为n，则此系统为一个生灭过程的模型，其参数
mn=m,n?1
ì?(M-n)l,n￡M ln=í
,n>M0??从方程（5.5.4）可得n部机器不在使用的极限概率Pn为 P0=1骣l1+?琪琪mn=1桫MnM!(M-n)!