-325-
第十七章 马氏链模型
§1 随机过程的概念
一个随机试验的结果有多种可能性，在数学上用一个随机变量（或随机向量）来描
述。在许多情况下，人们不仅需要对随机现象进行一次观测，而且要进行多次，甚至接
连不断地观测它的变化过程。这就要研究无限多个，即一族随机变量。随机过程理论就
是研究随机现象变化过程的概率规律性的。
定义 1 设
},{ Tt
t
∈
ξ
是一族随机变量，
T
是一个实数集合，若对任意实数
t
Tt
ξ
,∈
是一个随机变量，则称 },{ Tt
t
∈
ξ
为随机过程。
T
称为参数集合，参数 t 可以看作时间。
t
ξ
的每一个可能取值称为随机过程的一个
状态。其全体可能取值所构成的集合称为状态空间，记作
E
。当参数集合
T
为非负整
数集时，随机过程又称随机序列。本章要介绍的马尔可夫链就是一类特殊的随机序列。
例 1 在一条自动生产线上检验产品质量，每次取一个，“废品”记为 1，“合格品”
记为 0。以
n
ξ
表示第 n 次检验结果，则
n
ξ
是一个随机变量。不断检验，得到一列随机
变量
L,,
21
ξ
ξ
，记为 },2,1,{ L=n
n
ξ
。它是一个随机序列，其状态空间 }1,0{=E 。
例 2 在
m 个商店联营出租照相机的业务中（顾客从其中一个商店租出，可以到 m
个商店中的任意一个归还），规定一天为一个时间单位，“ j
t
=
ξ
”表示“第 t 天开始营
业时照相机在第
j
个商店”，
mj ,,2,1 L
=
。则 },2,1,{ L
=
n
n
ξ
是一个随机序列，其状
态空间
},,2,1{ mE L= 。
例 3 统计某种商品在
t 时刻的库存量，对于不同的 t ，得到一族随机变量，
)},0[,{ +∞∈t
t
ξ
是一个随机过程，状态空间 ],0[ RE
=
，其中
R
为最大库存量。
我们用一族分布函数来描述随机过程的统计规律。一般地，一个随机过程
},{ Tt
t
∈
ξ
，对于任意正整数
n
及
T
中任意
n
个元素
n
tt ,,
1
L 相应的随机变量
n
tt
ξ
ξ
,,
1
L
的联合分布函数记为
},,{),,(
11
11
nttntt
xxPxxF
nn
≤
≤
=
ξ
ξ
LL
L
（1）
由于
n
及 ),,1( nit
i
L= 的任意性，（1）式给出了一族分布函数。记为
},2,1;,,1,),,,({
1
1
LLL
L
=
=
∈
nniTtxxF
intt
n
称它为随机过程
},{ Tt
t
∈
ξ
的有穷维分布函数族。它完整地描述了这一随机过程的统计
规律性。
§2 马尔可夫链
2.1 马尔可夫链的定义
现实世界中有很多这样的现象：某一系统在已知现在情况的条件下，系统未来时刻
的情况只与现在有关，而与过去的历史无直接关系。比如，研究一个商店的累计销售额，
如果现在时刻的累计销售额已知，则未来某一时刻的累计销售额与现在时刻以前的任一
时刻累计销售额无关。上节中的几个例子也均属此类。描述这类随机现象的数学模型称
为马氏模型。
定义 2 设
},2,1,{ L=n
n
ξ
是一个随机序列，状态空间
E
为有限或可列集，对于任
意的正整数
nm, ，若 )1,,1(,,
−
=
∈ nkEiji
k
L ，有
