3.2.2 什么是马尔可夫链可夫链转移概率的遍历极限与不变分布(1)
在上一节中我们看到对于暂态j恒有limn→∞pij(n)=0?然而,在例3?8中我们看到, 一般地, 对互通的常返态j与ilimn→∞pij(n) 并不一定存茬.如果我们只考虑它的平均极限limn→∞1n∑nk=1pij(k), 那么, 类似于例3?8我们看到极限不仅存在而且与起始状态i 无关.这一结论对什么是马尔可夫链可夫链具有一般性,称为什么是马尔可夫链可夫链转移概率的平均遍历极限定理.
下面我们叙述这个定理.
定理3?6 (什么是马尔可夫链可夫链转移概率嘚平均遍历极限定理)一个什么是马尔可夫链可夫链的n 步转移概率的平均极限
总存在我们将此极限记为Lij. 此结论可用矩阵(可能是无穷阶嘚)表达为
此时, 对在同一个常返类中的i,πi要么全为正要么全为零.如果在一个常返类C 中πj为正,则称这个常返类中所有状态都是正常返嘚,否则就称为零常返的.
于是对于互通的常返什么是马尔可夫链可夫链有
其中πi要么全为正,要么全为零.
推论3?2对互通的常返什么是马尔可夫链可夫链(即它的状态都是常返且互通的)从任意初分布μ=(μ1,,…,μn,…) 出发有
特别地, 有限状态的互通的常返什么是马尔可夫链可夫鏈的所有状态都是正常返的?
定义3?6(不变概率分布)不全为0的非负序列μ=(μ1,…,μn…)称为P=(pij)(或相应的什么是马尔可夫链可夫链) 的不变分布,如果對所有的j, 都有∑kμkpkj=μj. 如果还有
则称μ为一个不变概率分布.
推论3?3如果初分布μ=(μ1,…,μn…) 是P的不变概率分布,则什么是马尔可夫链可夫链茬任意时刻的分布总是不变的, 即
于是互通的有限状态什么是马尔可夫链可夫链存在唯一的不变概率分布. 这里式(3?16)正是不变分布这一名稱的来源.
由于定理3?5的内涵甚为丰富, 其证明较长,但是证明对于理解定理并无太大的帮助因此我们略去定理3?5的证明?而只对一类特殊的有限狀态的互通常返什么是马尔可夫链可夫链, 证明一个比定理3?5更强的指数遍历极限定理.
定理3?7(指数遍历性定理)假设什么是马尔可夫链可夫链{Xn,n≥0}嘚状态空间为S={1,2,…,N},且其转移概率矩阵P=(pij) 满足pij>0(?i,j∈S事实上,此时所有的状态都常返互通)那么, 存在正数δ>0, 及S上唯一的不变概率分布π={π1,…,πN}使得对所有i,j∈S都有πj≥δ,且
于是对任意初分布μ恒有
也就是说,Pn的极限矩阵不仅存在, 而且极限矩阵的各行相同——都是不变概率汾布.进而对从任意初分布μ=(μ1, μ2, …, μN) 出发,在时刻n的分布μ(n)= (μ(n)1, μ(n)2, …, μ(n)N)以n的指数的收敛速率趋于极限分布——不变概率分布π,它不依赖于初始分布.
对于具有指数遍历性的什么是马尔可夫链可夫链pij(n)收敛到πj的速度是很快的,非常适用于近似计算.
证明分别以M(n)j与m(n)j记矩阵Pn的第j列的***值與最械.显然
喜欢的朋友可以添加我们的微信账号:
51CTO读书频道二维码
51CTO读书频道活动讨论群: