没有合适的资源?快使用搜索试试~ 我知道了~
马尔可夫链模型.docx
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 58 浏览量
2022-05-29
07:41:25
上传
评论
收藏 476KB DOCX 举报
温馨提示
试读
12页
。。。
资源推荐
资源详情
资源评论
马尔可夫链模型
马尔可夫链模型(Markov Chain Model)
[隐藏]
1 马尔可夫链模型概述
2 马尔可夫链模型的性质
3 离散状态空间中的马尔可夫链
模型
o
o
o
o
6 参考文献
[编辑]
马尔可夫链模型概述
马尔可夫链因安德烈·马尔可夫(Andrey Markov,1856-1922)得名,是数学中具有马尔
可夫性质的离散时间随机过程。该过程中,在给定当前知识或信息的情况下,过去(即当期以前
的历史状态)对于预测将来(即当期以后的未来状态)是无关的。
时间和状态都是离散的马尔可夫过程称为马尔可夫链, 简记为
。
马尔可夫链是随机变量
的一个数列。这些变量的范围,即他们所有可能
取值的集合,被称为“状态空间”,而 Xn 的值则是在时间 n 的状态。如果 Xn + 1 对于过去状态的
条件概率分布仅是 Xn 的一个函数,则
这里 x 为过程中的某个状态。上面这个恒等式可以被看作是马尔可夫性质。
马尔可夫在 1906 年首先做出了这类过程 。而将此一般化到可数无限状态空间是由柯尔莫
果洛夫在 1936 年给出的。
马尔可夫链与布朗运动以及遍历假说这两个二十世纪初期物理学重要课题是相联系的,但马
尔可夫寻求的似乎不仅于数学动机,名义上是对于纵属事件大数法则的扩张。
马尔可夫链是满足下面两个假设的一种随机过程:
1、t+l 时刻系统状态的概率分布只与 t 时刻的状态有关,与 t 时刻以前的状态无关;
2、从 t 时刻到 t+l 时刻的状态转移与 t 的值无关。一个马尔可夫链模型可表示为=(S,P,
Q),其中各元的含义如下:
1)S 是系统所有可能的状态所组成的非空的状态集,有时也称之为系统的状态空间,它可
以是有限的、可列的集合或任意非空集。本文中假定 S 是可数集(即有限或可列)。用小写字母 i,j(或
S,S)等来表示状态。
i
j
2)
是系统的状态转移概率矩阵,其中 P 表示系统在时刻 t 处于状态 i,在
ij
下一时刻 t+l 处于状态 i 的概率,N 是系统所有可能的状态的个数。对于任意 i∈s,有
。
3)
是系统的初始概率分布,q 是系统在初始时刻处于状态 i 的概率,
i
满足
。
[编辑]
马尔可夫链模型的性质
马尔可夫链是由一个条件分布来表示的
P(X | X )
n + 1
n
这被称为是随机过程中的“转移概率”。这有时也被称作是“一步转移概率”。二、三,以及更
多步的转移概率可以导自一步转移概率和马尔可夫性质:
同样:
这些式子可以通过乘以转移概率并求 k−1 次积分来一般化到任意的将来时间 n+k。
边际分布 P(X )是在时间为 n 时的状态的分布。初始分布为P(X )。该过程的变化可以用以下
n
的一个时间步幅来描述:
0
这是 Frobenius-Perron equation 的一个版本。这时可能存在一个或多个状态分布 π 满足:
其中 Y 只是为了便于对变量积分的一个名义。这样的分布 π 被称作是“平稳分布(” Stationary
Distribution)或者“稳态分布”(Steady-state Distribution)。一个平稳分布是一个对应于特征根
为 1 的条件分布函数的特征方程。
平稳分布是否存在,以及如果存在是否唯一,这是由过程的特定性质决定的。“不可约”是指
每一个状态都可来自任意的其它状态。当存在至少一个状态经过一个固定的时间段后连续返回,
则这个过程被称为是“周期的”。
[编辑]
离散状态空间中的马尔可夫链模型
如果状态空间是有限的,则转移概率分布可以表示为一个具有(i,j)元素的矩阵,称之为“转移
矩阵”:
P = P(X = i | X = j)
ij
n + 1
n
对于一个离散状态空间,k 步转移概率的积分即为求和,可以对转移矩阵求 k 次幂来求得。
就是说,如果 是一步转移矩阵, 就是 k 步转移后的转移矩阵。
剩余11页未读,继续阅读
资源评论
春哥111
- 粉丝: 1w+
- 资源: 5万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功