马尔科夫链定义是在已获取当前知识或信息的前提下，已发生的历史状态与即将发生的状态是无关的[1]. 马尔科夫链，是一种状态离散的随机过程，其每个状态值由“过去”通过“现在”对“将来”起作用。 其中变量的取值范围，被称为“状态空间”,而 Xn表示所处在时间 n 的状态。 如果过去状态的条件概率分布仅仅与Xn相关，则： P（Xn+1=x|X1=x1,X2=x2,…，Xn=xn）=P（Xn+1=x|Xn=xn）。 这里 x 为过程中的某个状态。 1.2转移概率矩阵。 当马尔科夫链的转移概率 P{Xn+1=j|Xn=i}与 转移起始时间 n 无关，只与起始状态 i,终止状态 j 有关，则称时间齐次马尔科夫链，记 P{Xn+1=j|Xn=i};否则就是非时间齐次马尔科夫链。 把 Pij排成一个矩阵的形式 , 令 P =Pij=
，称 P 为转移概率矩阵。 Pij≥0,每一行的和为 1. 1.3 n步转移概率和C-K方程。 Pij（n）=P{Xn+1=j|Xn=i}为马尔科夫链的 n 步转移概率 ,相对应的，P^（n）=（Pij^（n））为 n 步转移概率矩阵，意思是从状态 i 经过 n 步转移到状态 j的概率。 Chapman-Ko-mologov 方程（简称 C-K 方程）给出了Pij（n）与 Pij的关系。 对于一切 n,m>0,i,j∈S,
