随机过程-第五章-连续时间的马尔可夫链.pdf_连续时间马氏链资源-CSDN文库

版权申诉

97 浏览量 2022-06-20 02:27:15 上传评论收藏 513KB PDF 举报

资源推荐

资源详情

资源评论

-----WORD 格式--可编辑--专业资料-----

第五章连续时间的马尔可夫链

5.1 连续时间的马尔可夫链

考虑取非负整数值的连续时间随机过程

{X (t),t  0}.

定义 5.1 设随机过程

{X (t),t  0}.

,状态空间

I  {i

, n  0}

,若对任意

0  t

 t

 ...  t

n1

及

,...i

n1

 I

,有

P{X (t

n1

)  i

n1

X (t

)  i

, X (t

)  i

,...X (t

)  i

}

P{X (t

n1

)  i

n1

X (t

)  i

}

(5.1)

则称

{X (t),t  0}.

为连续时间马尔可夫链.

由定义知,连续时间马尔可夫链是具有马尔可夫性的随机过程 ,即过程在已知现在时

刻

及一切过去时刻所处状态的条件下 ,将来时刻

n1

的状态只依赖于现在状态而与过

去无关.

记(5.1)式条件概率一般形式为

P{X (s  t)  j X (s)  i}  p

(s,t)

(5.2)

它表示系统在 s 时刻处于状态 i,经过时间 t 后转移到状态 j 的转移概率.

定义 5.2 若(5.2)式的转移概率与 s 无关,则称连续时间马尔可夫链具有平稳的或齐次

的转移概率,此时转移概率简记为

(s,t)  p

(t),

其转移概率矩阵简记为

P(t)  ( p

(t)),(i, j  I,t  0).

以下的讨论均假定我们所考虑的连续时间马尔可夫链都具有齐次转移概率 .简称为齐

次马尔可夫过程.

假设在某时刻,比如说时刻 0,马尔可夫链进入状态 i,而且接下来的 s 个单位时间单位中

过程未离开状态 i,(即未发生转移),问随后的 t 个单位时间中过程仍不离开状态 i 的概率

是多少呢?由马尔可夫我们知道,过程在时刻 s 处于状态 i 条件下,在区间[s,s+t]中仍然处

于 i 的概率正是它处于 i 至少 t 个单位的无条件概率..若记

为记过程在转移到另一个状态之前停留在状态 i 的时间,则对一切 s,t

 0

有

P{h

 s  t h

 s}  P{h

 t},

可见,随机变量

具有无记忆性,因此

服从指数分布.

由此可见,一个连续时间马尔可夫链,每当它进入状态 i,具有如下性质:

(1) 在转移到另一状态之前处于状态 i 的时间服从参数为

的指数分布;

(2) 当过程离开状态 i 时,接着以概率

进行状态 j,



 1

ji

--完整版学习资料分享----

-----WORD 格式--可编辑--专业资料-----

上述性质也是我们构造连续时间马尔可夫链的一种方法.

当

 

时,称状态 i 为瞬时状态,因为过程一旦进入此状态立即就离开.

 0

时,称

状态 i 为吸收状态,因为过程一旦进入状态就永远不再离开了.尽管瞬时状态在理论上是

可能的,但以后假设对一切 i,

0  v

 

.因此,实际上一个连续时间的马尔可夫链是一个

这样的随机过程 ,它按照一个离散时间的马尔可夫链从一个状态转移到另一个状态 ,但

在转移到下一个状态之前,它在各个状态停留的时间服从指数分布.此外在状态 i 过程停

留的时间与下一个到达的状态必须是相互独立的随机变量 .因此下一个到达的状态依赖

于

,那么过程处于状态 i 已有多久的信息与一个状态的预报有关,这与马尔可夫性的假

定相矛盾.

定理 5.1 齐次马尔可夫过程的转移概率具有下列性质:

(1) p

 0;

(2)



jI

 1;

(3)

(t  s) 



(t) p

(s)

kI

其中(3)式即为连续时间齐次马尔可夫链的切普曼—柯尔哥洛夫方程.

证明只证(3).由全概率公式及马尔可夫性可得

(t  s)  P{X (t  s)  j X (0)  i)} 



P{X (t  s)  j, X (t)  k X (0)  i}

kI



P{X (t)  k X (0)  i}P{X (t  s)  j X (t)  k}

kI





(t) p

(s)

kI

对于转移概率

(t)

,一般还假定它满足:

lim

t0



1,i  j

(5.3)

(t) 



0,i  j.



称(5.3)式为正则条件 .正则条件说明 ,过程刚进入某状态不可能立即又跳跃到另一状态 .

这正好说明一个物理系统要在有限时间内发生限多次跳跃 ,从而消耗无穷多的能量这是

不可能的.

定义 5.3 对于任一

t  0

记

(t)  P{X (t)  j},

 p

(0)  P{X (0)  j}, j  I,

分别称

(t), j  I},{p

j  I}

齐次马尔可夫过程的绝对概率分布和初始概率分布.

定理 5.2 齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质:

--完整版学习资料分享----

剩余11页未读，继续阅读

评论收藏

内容反馈

版权申诉

苦茶子12138

粉丝: 1w+
资源: 6万+

随机过程-第五章-连续时间的马尔可夫链.pdf

随机过程讲义.pdf

1-随机过程绪论.pdf随机过程课件

随机过程 第四版

随机过程讲义(中科院－孙应飞).pdf

应用随机过程（林元烈）

随机过程经典书籍S.M.Ross

概率论与随机过程.pdf

随机过程（Sheldon M.Ross 著）

应用随机过程，第三版

随机过程Ch5连续时间马尔可夫链.pdf

随机过程-第五章-连续时间的马尔可夫链.docx

《随机过程》第五章习题.pdf

具有随机切换信号的连续时间随机马尔可夫跳跃系统的稳定性和稳定性

MarkovProcess:马尔可夫连续时间过程的建模

第三章-马尔可夫链..pdf

随机过程报告——马尔可夫链.doc

CMU高级机器学习马尔可夫链.pdf

第六章马尔可夫模型.ppt

折扣连续时间马尔可夫决策过程的第一遍g均值优化

连续时间马尔可夫决策过程的强n折扣和有限水平最优性

车载视频中基于连续时间马尔可夫决策过程的资源分配方案

birth-death-process:连续时间马尔可夫过程，生死过程的特殊情况的Java仿真utils

论文研究 - 连续时间马尔可夫决策过程的方差优化

随机过程及马尔可夫链

陆大 马尔可夫链\随机过程及其应用_习题答案

论文研究-高阶马尔可夫链平稳分布的存在唯一性.pdf

MATLAB算法-马尔可夫链蒙特卡洛算法详解，附代码.pdf

马尔可夫链.zip （B站视频笔记）

论文研究 - 动态平衡连续马尔可夫随机过程在生存分析中的应用

最新资源

随机过程第四版

陆大马尔可夫链\随机过程及其应用_习题答案