马尔可夫链的发展与应用
摘 要
在自然界中，常常用一个或几个随机变量来描述某些随机现象，从而研究它
们的概率规律。从几何上看，就是把某些随机现象作为直线上的随机点或者有限
维空间上的随机点来研究。对于实际问题中的更复杂的随机现象，对于一个不断
随机变化的过程，用这样的研究方法显得不够了,往往需要用一族(无穷多个）随
机变量来刻画这样一些随机现象,或者把它们作为无穷维空间上的随机点（随机
函数）来研究。某些现象，在发生之前只能知道该现象的各种可能性的发生结果，
但是却无法确认具体将发生哪一个结果，这就是随机现象。马尔可夫过程（MarKov
Process)是一个典型的随机过程。设 X（t）是一随机过程,当过程在时刻 t0 所
处的状态为已知时，时刻 t（t〉t0）所处的状态与过程在 t0 时刻之前的状态无
关，这个特性成为无后效性。无后效的随机过程称为马尔可夫过程。马尔可夫过
程中的时同和状态既可以是连续的,又可以是离散的.我们称时间离散、状态离散
的马尔可夫过程为马尔可夫链。马尔可夫链中，各个时刻的状态的转变由一个状
态转移的概率矩阵控制。
关键词 概率论 随机过程 马尔可夫链
资源评论
