马尔可夫链模型

问题的提出

在经济、社会、生态等许多领域，广泛存在着一类随机动态系统，关于时间、状态都离散且系统未来的状态只与系统现在的状态有关，与以前的状态无关，称为无后效性。对这一类问题的研究，可解决诸如状态转移、基因遗传、仓库管理等问题，实践中有着广泛的应用。

案例1

某商店每月考察一次经营情况,其结果用销路好和销路坏这两种状况中的一种表示，已知如果本月销路好，则下月仍保持这种销路好的概率为0.5；如果本月销路坏，下月转变为销路好的概率为0.4。试分析若开始时商店处于销路好的状况，那么经过若干月后能保持销路好的概率有多大？如果开始商店处于销路环的状况呢？

模型分析与建立

商店经营状况是随机的，因而采用随机变量 表示第n个月的经营状况，如 表示销路好， 表示销路坏，将时间离散为 。

用 表示第n个月处于状态i的概率，i=1,2,…，称为状态概率。 表示从本月状态i转到下一月状态为j的概率，即 ，称为转移概率。这里 只与 有关，与系统以前的状态无关，即为无后效性。易知

利用全概率公式，有

由商店开始时处于销路好的状况，即

依次计算得开始销路好时状态概率变化列表为

n	0	1	2	3	……	∞
a1(n)	1	0.5	0.45	0.445	……	→4/9
a2(n)	0	0.5	0.55	0.555	……	→5/9

同理，开始销路坏时状态概率变化列表为

结论表明，无论开始销路好或坏，当时间足够长 时，状态概率能趋于一个稳定值。

n	0	1	2	3	……	∞
a1(n)	0	0.4	0.44	0.444	……	→4/9
a2(n)	1	0.6	0.56	0.556	……	→5/9

案例2

考察微量元素磷在自然界中的转移情况。假定磷只分布在土壤、草、牛羊等生物体及上述系统之外（如河流）这三种自然环境里。每经过一段时间磷在上述三种环境里的比例会发生变化，变化具有无后效性。假设经过一定时间，土壤中的磷有30%被草吸收，又被牛、羊吃掉，有20%排至系统之外，50%仍在土壤中；生物体中的磷有40%因草枯死、牛羊排泄又回到土壤中，40%移出系统外，20%留在生物体内；而磷一旦移出系统之外，就100%地不再进入系统。假定磷在土壤、生物体、系统之外的初始比例是0.5:0.3:0.2，试研究经过若干段时间后磷在三种环境中的转移情况。

问题分析及模型建立

采用随机变量 表示第n期磷处于土壤、生物体和系统外，将时间离散为 。

用 表示第n期处于状态i的概率，即分布比例，i=1,2,…。 表示从 转到 的概率，即变化比例。状态的转移具有无后效性。易知

利用全概率公式，有

本例中，

经计算可知：

即经过较长时间后，磷最终将全部移出系统之外。

一般模型（马尔可夫链模型）

记 称为状态转移向量， 为转移概率矩阵，其中

则 ，因而可推出

对应于本篇开始的两个案例，马氏链模型又分为两种类型：

1：正则链：一个有k个状态的马氏链如果存在正整数N，使从任意状态i开始经过N次转移都以大于零的概率到达状态j。

数学理论推导，可知正则链的充要条件为：存在正整数N，使 （且每一元素都大于零）。

2：吸收链：转移概率 的状态 称为吸收状态。如果马氏链至少包含一个吸收状态，并且从每一个非吸收状态出发，能以正的概率经有限次转移到达某个吸收状态，这个马氏链称为吸收链。

数学理论推导，吸收链的转移矩阵具有标准形式

而 阶方阵 的特征值 满足 。

记 ， ，则计算 ，其第i个分量是从状态i出发，被某个吸收状态吸收的平均转移次数。

习作题：

如图给出一个迷宫图，这个迷宫有三个分隔间，分别记为1（红），2（蓝），3（白），每个分隔间粉刷为不同颜色。试验者把一只老鼠放在某一个分隔间里，不同的颜色对老鼠有不同的吸引作用。下面的矩阵是历史经验数据得到的转移概率矩阵：

其中，0.1表示在蓝色间（2）转移到红色间（1）的概率为0.1，那么经过一段较长的时间之后，老鼠的运动是否趋于稳定。

3（白）

1（红）

2（蓝）