没有合适的资源?快使用搜索试试~ 我知道了~
Markov过程概念和过程,定义
需积分: 10 14 下载量 56 浏览量
2010-01-19
11:56:29
上传
评论
收藏 399KB PPT 举报
温馨提示
试读
23页
这是一详细介绍Markov过程的课件,对我们学习这方面的理论知识是非常有用的。尤其在写论文的时,这方面的理论知识帮助很大的。
资源推荐
资源详情
资源评论
第三章
第三章
Markov
Markov
过程
过程
第一节
第一节
Markov
Markov
链的定义和例子
链的定义和例子
定义
定义
3.1
3.1
如果对任何一列状态
如果对任何一列状态
及对任何 ,随机过程 满足
及对任何 ,随机过程 满足
Markov
Markov
性质:
性质:
则称 为离散时间
则称 为离散时间
Markov
Markov
链。
链。
jiiii
n
,,,,,
110
0n
0, nX
n
iXjXp
iXiXiXjXp
nn
nnnn
1
11001
,,,
n
X
定义
定义
3.2
3.2
设 为一离散时间
设 为一离散时间
Markov
Markov
链。给
链。给
定 在状态 时 处于 状态的条件概率
定 在状态 时 处于 状态的条件概率
称为
称为
Markov
Markov
链的一步转移概率,记作
链的一步转移概率,记作
。当这一概率与
。当这一概率与
n
n
无关时称该
无关时称该
Markov
Markov
链
链
有平稳转移概率,并记之为 ,对应
有平稳转移概率,并记之为 ,对应
Marko
Marko
v
v
链称为时齐
链称为时齐
Markov
Markov
链。
链。
记
记
n
n
步转移概率为 ,以 为元
步转移概率为 ,以 为元
的矩阵 记作 ,称为
的矩阵 记作 ,称为
Markov
Markov
链的
链的
n
n
步转
步转
移概率矩阵。
移概率矩阵。
n
X
n
X
i
1n
X
j
iXjXp
nn
1
1, nn
ij
P
ij
P
iXjXpP
mnm
n
ij
n
ij
P
ji,
n
ji
P
,
n
P
定理
定理
3.1
3.1
Markov
Markov
链的
链的
n
n
步转移概率矩阵满足
步转移概率矩阵满足
,
,
在上式中我们定 。
在上式中我们定 。
例
例
3.1
3.1
(一维随机游动)设一质点在直线上的点集
(一维随机游动)设一质点在直线上的点集
上作随机游动,每秒钟发生一次游动,游动规则是:如果
上作随机游动,每秒钟发生一次游动,游动规则是:如果
质点处于
质点处于
2
2
,
,
3
3
,
,
4
4
点处,则在下一秒钟,质点均以的概
点处,则在下一秒钟,质点均以的概
率向左,右移动一单位或停留在原处;如果质点处于
率向左,右移动一单位或停留在原处;如果质点处于
1
1
处,
处,
则在下一秒钟以概率
则在下一秒钟以概率
1
1
移动到
移动到
2
2
处;如果质点处于
处;如果质点处于
5
5
处,
处,
则在下一秒钟以概率
则在下一秒钟以概率
1
1
移动到
移动到
4
4
处.因为质点不可越出
处.因为质点不可越出
1
1
,
,
5
5
两点,故称为不可越壁的随机游动.用 表示在时刻
两点,故称为不可越壁的随机游动.用 表示在时刻
n
n
质点的位置,则 是—个齐次马氏链.
质点的位置,则 是—个齐次马氏链.
(1)
(1)
试写出它的一步转移矩阵和二步转移矩阵;
试写出它的一步转移矩阵和二步转移矩阵;
(2)
(2)
若初始分布为 ,试求在时的绝对分布 .
若初始分布为 ,试求在时的绝对分布 .
0
1
k
n
kjik
n
ij
PPP
0,1
00
ijii
PijP 时当
5,4,3,2,1I
nX
0, nX
n
5
1
,
5
1
,
5
1
,
5
1
,
5
1
0P
2P
解:
解:
(1)
(1)
一步转移矩阵
一步转移矩阵
二步转移矩阵
二步转移矩阵
01000
3/13/13/100
03/13/13/10
003/13/13/1
00010
P
01000
3/13/13/100
03/13/13/10
003/13/13/1
00010
P
3/13/13/100
9/19/59/29/10
9/19/23/19/29/1
09/19/29/59/1
003/13/13/1
2
2
PP
剩余22页未读,继续阅读
资源评论
afeng200802011
- 粉丝: 0
- 资源: 5
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功