数学建模_优化问题_马氏链模型_马氏链模型资源-CSDN文库

版权申诉

文档资料

133 浏览量 2022-06-04 23:21:04 上传评论收藏 153KB PDF 举报

资源推荐

资源详情

资源评论

-325-

第十七章马氏链模型

§1 随机过程的概念

一个随机试验的结果有多种可能性，在数学上用一个随机变量（或随机向量）来描

述。在许多情况下，人们不仅需要对随机现象进行一次观测，而且要进行多次，甚至接

连不断地观测它的变化过程。这就要研究无限多个，即一族随机变量。随机过程理论就

是研究随机现象变化过程的概率规律性的。

定义 1 设

},{ Tt

∈

是一族随机变量，

是一个实数集合，若对任意实数

,∈

是一个随机变量，则称 },{ Tt

∈

为随机过程。

称为参数集合，参数 t 可以看作时间。

的每一个可能取值称为随机过程的一个

状态。其全体可能取值所构成的集合称为状态空间，记作

。当参数集合

为非负整

数集时，随机过程又称随机序列。本章要介绍的马尔可夫链就是一类特殊的随机序列。

例 1 在一条自动生产线上检验产品质量，每次取一个，“废品”记为 1，“合格品”

记为 0。以

表示第 n 次检验结果，则

是一个随机变量。不断检验，得到一列随机

变量

L,,

，记为 },2,1,{ L=n

。它是一个随机序列，其状态空间 }1,0{=E 。

例 2 在

m 个商店联营出租照相机的业务中（顾客从其中一个商店租出，可以到 m

个商店中的任意一个归还），规定一天为一个时间单位，“ j

”表示“第 t 天开始营

业时照相机在第

个商店”，

mj ,,2,1 L

。则 },2,1,{ L

是一个随机序列，其状

态空间

},,2,1{ mE L= 。

例 3 统计某种商品在

t 时刻的库存量，对于不同的 t ，得到一族随机变量，

)},0[,{ +∞∈t

是一个随机过程，状态空间 ],0[ RE

，其中

为最大库存量。

我们用一族分布函数来描述随机过程的统计规律。一般地，一个随机过程

},{ Tt

∈

，对于任意正整数

及

中任意

个元素

tt ,,

L 相应的随机变量

的联合分布函数记为

},,{),,(

nttntt

xxPxxF

≤

（1）

由于

及 ),,1( nit

L= 的任意性，（1）式给出了一族分布函数。记为

},2,1;,,1,),,,({

LLL

∈

nniTtxxF

intt

称它为随机过程

},{ Tt

∈

的有穷维分布函数族。它完整地描述了这一随机过程的统计

规律性。

§2 马尔可夫链

2.1 马尔可夫链的定义

现实世界中有很多这样的现象：某一系统在已知现在情况的条件下，系统未来时刻

的情况只与现在有关，而与过去的历史无直接关系。比如，研究一个商店的累计销售额，

如果现在时刻的累计销售额已知，则未来某一时刻的累计销售额与现在时刻以前的任一

时刻累计销售额无关。上节中的几个例子也均属此类。描述这类随机现象的数学模型称

为马氏模型。

定义 2 设

},2,1,{ L=n

是一个随机序列，状态空间

为有限或可列集，对于任

意的正整数

nm, ，若 )1,,1(,,

−

∈ nkEiji

L ，有

-326-

}|{},,,|{

1111

ijPiiijP

nmnnnnmn

===

+−−+

L （2）

则称

},2,1,{ L=n

为一个马尔可夫链（简称马氏链），（2）式称为马氏性。

事实上，可以证明若等式（2）对于

成立，则它对于任意的正整数

也成立。

因此，只要当

1=m 时（2）式成立，就可以称随机序列 },2,1,{ L

具有马氏性，

即

},2,1,{ L=n

是一个马尔可夫链。

定义 3 设

},2,1,{ L=n

是一个马氏链。如果等式（2）右边的条件概率与 n 无

关，即

)(}|{ mpijP

ijnmn

（3）

则称

},2,1,{ L=n

为时齐的马氏链。称

)(mp

为系统由状态 i 经过 m 个时间间隔（或

m 步）转移到状态

的转移概率。（3）称为时齐性，它的含义是：系统由状态 i 到状态

的转移概率只依赖于时间间隔的长短，与起始的时刻无关。本章介绍的马氏链假定都

是时齐的，因此省略“时齐”二字。

2.2 转移概率矩阵及柯尔莫哥洛夫定理

对于一个马尔可夫链

},2,1,{ L=n

，称以 m 步转移概率

)(mp

为元素的矩阵

))(()( mpmP

= 为马尔可夫链的 m 步转移矩阵。当 1

m 时，记 PP

)1( 称为马尔可

夫链的一步转移矩阵，或简称转移矩阵。它们具有下列三个基本性质：

（i）对一切

i ∈, ， 1)(0

≤

≤ mp

；

（ii）对一切

∈

，

∑

∈

mp 1)( ；

（iii）对一切

i ∈, ，

⎩

⎨

⎧

≠

时当

， ji

ijij

)0(

。

当实际问题可以用马尔可夫链来描述时，首先要确定它的状态空间及参数集合，然

后确定它的一步转移概率。关于这一概率的确定，可以由问题的内在规律得到，也可以

由过去经验给出，还可以根据观测数据来估计。

例 4 某计算机机房的一台计算机经常出故障，研究者每隔 15 分钟观察一次计算

机的运行状态，收集了 24 小时的数据（共作 97 次观察）。用 1 表示正常状态，用 0 表

示不正常状态，所得的数据序列如下：

1110010011111110011110111111001111111110001101101

111011011010111101110111101111110011011111100111

解设

)97,,1( L

为第 n 个时段的计算机状态，可以认为它是一个时齐马氏

链，状态空间

}1,0{=E ，编写如下 Matlab 程序：

a1='1110010011111110011110111111001111111110001101101';

a2='111011011010111101110111101111110011011111100111';

a=[a1 a2];

f00=length(findstr('00',a))

f01=length(findstr('01',a))

f10=length(findstr('10',a))

f11=length(findstr('11',a))

或者把上述数据序列保存到纯文本文件data1.txt中，存放在Matlab下的work

子目录中，编写程序如下：

clc,clear

剩余10页未读，继续阅读

评论收藏

内容反馈

版权申诉

Sherry_shiry

粉丝: 2
资源: 1097

数学建模_优化问题_马氏链模型

数学建模的29个通用模型.rar

数学建模的马氏链模型

数学建模--马氏链模型

马氏链模型 数学建模

数学建模-马氏链模型.zip

数学建模-马氏链模型 (2).zip

数学模型-差分方程概率模型马氏链离散稳定性模型等超全模型培训资料汇总.rar

数学建模,第一章__建立数学模型

matlab经典算法的程序源码 数学建模算法汇总资料.zip

清华大学 数学模型.rar PPT

数学建模马氏链模型PPT课件.pptx

数学建模-数学建模,姜启源第十一章_马氏链模型.zip

数学建模-17第十七章 马氏链模型.zip

数学建模-第17章 马氏链模型.zip

数学模型电子教案--数学建模从这里起步

2022年精选数学建模算法教程文档合集第6期：数学建模32种常规方法.zip

数学建模-算法-汇总

数学建模的29个通用模型及matlab解法.zip

数学建模马氏链模型PPT学习教案.pptx

数学建模-17.第十七章 马氏链模型.zip

第十一章 马氏链模型.ppt数学建模学习资料课件

数学建模常用32种算法.zip

数学建模课件 电子版

数学模型PPT(建立数学模型、初等模型、简单的优化模型、数学规划模型、微分方程模型、稳定性模型、差分方程模型、离散模型、概率模型

30个重要数学模型

最新资源

马氏链模型数学建模

matlab经典算法的程序源码数学建模算法汇总资料.zip

清华大学数学模型.rar PPT

数学建模-17第十七章马氏链模型.zip

数学建模-第17章马氏链模型.zip

数学建模-17.第十七章马氏链模型.zip

第十一章马氏链模型.ppt数学建模学习资料课件

数学建模课件电子版