车辆边缘网络中基于多参数MDP模型的动态服务迁移策略.docx

版权申诉

网络

文档资料

44 浏览量 2022-05-31 15:32:12 上传评论收藏 599KB DOCX 举报

资源推荐

资源详情

资源评论

1 引言

云计算技术依靠其具有强大计算和存储能力的中心服务器，可以为用户提

供广泛的服务及资源，然而，面对目前 VR、智能电网、智慧城市等新型技术

]

中万物互联的通信场景及低时延、高质量的服务要求，传统云计算技术的部

署架构及应用技术亟需改善。例如，集中、单一式的云计算资源无法满足密集

型任务的计算需求，海量数据传送到远程云中心进行处理的过程极大增加了中

心网络的负担和任务时延，隐私保护、数据安全性及能耗方面有待优化等。

作为传统云计算技术的一种补充与演进，边缘计算（edge computing）

]

技术将云中心服务器的远程集中式部署方式转化为近端离散化部署，通过在网

络边缘部署小型云服务器，实现数据计算、存储、识别、分析等能力的下放，

在极大减少核心网络带宽和数据处理负荷的同时，也为物联网

应用提供了更好

的支持。此外，其对于隐私数据的保护和权限设置更加灵活。基于此，边缘计

算技术广受关注并成为热点研究领域

]

。进一步地，随着移动网络的飞速发展，

思科预测到 2021 年全球移动业务流量月增长速度将达到 7.2 EB

]

，为满足高质

量的移动服务要求，移动边缘计算（ MEC,mobile edge computing ）技术

,10

,11

,12

,13

,14

]

于 2013 年被提出并获得欧洲电信标准协会（ ETSI,European

Telecommunications Standards Institute）的认可

[15

]

。

在车辆边缘网络（vehicular edge network）中，由于车辆高速移动及边缘

服务器（ES,edge server）覆盖范围有限，移动服务的连续性难以得到有效保

障

[16

]

，因此，为降低请求时延与服务中断频率、保障服务连续性，本文为车辆边

缘网络设计了基于多参数马尔可夫决策过程（ MDP,Markov decision

process ）的动态服务迁移算法（ DSMMP,dynamic service migration

algorithm based on multiple param eter）。

本文的创新点如下。

1) 改进了单纯基于跳数距离进行服务迁移方案的不足，DSMMP 构造了基

于网络性能、服务器处理能力及车辆运动的多参数 MDP 收益函数。

2) 摒除了单一迁移目标边缘服务器（D-ES,destination ES）的限制，结合

车辆运动参数及请求对应的时延限制构造候选边缘服务器（ C-ES,candidate

edge server）集合 Set

C-ES

，利用 Bellman 方程构造长期收益表达式，根据长期

收益值进行迁移决策。

3) 弥补了服务迁移方案动态适应性差的缺点，提出了一种基于历史数据的

收益权重因子计算及网络数据定期更新方案，提高了 DSMMP 算法对动态网络

环境的适应能力。

2 相关工作

Taleb 等

[17

]

在 FMC-Follow Me Cloud 架构

[18

]

中引入了一维马尔可夫决策过

程模型

[19

]

，为移动用户寻找最优数据中心（DC,data center）。该方案基于随机

移动模型将 MDP 状态函数定义为用户与最优 DC 之间的跳数，利用用户运动概

率进行状态聚类，加深了对用户行为的了解，并提高了预测准确度。然而，其

计算及设计严格依赖蜂窝网络规则的部署方式，在移动 Wi-Fi 等不规则信号覆盖

场景中的适用性较差。

有研究者将移动云计算（MCC,mobile cloud computing）场景下的服务迁

移问题

[20

]

建模为一维 MDP，并进一步在文献[21

]中用“常数+指数”的函数形式具

体化 MDP 开销函数，并利用平衡方程求封闭解，同时改进策略迭代方式以获得

更精准

的最优策略，该设计的计算复杂度过高，而且在进行 MDP 开销函数定义

时未考虑环境动态性对函数参数的影响。

为规避 MDP 迁移方案中的大量复杂计算和统计过程，IBM 研究人员

[22

]

将

Lyapunov 优化技术

[23

]

扩展到约束的 MDP 中，利用 MDP 的解耦特性将约束

MDP 问题转化为一个简单的确定性优化问题，从而高效地求解。类似地，其设

计忽略了网络参数的动态特性，从而影响了迁移方案的动态适应性及可靠性。

美国罗格斯大学的研究人员结合服务响应时间参数和 MDP 模型设计了一种

主动式的边缘云服务迁移决策系统 SEGUE （quality of service aware edge

cloud service migration）

[24

]

。基于一种混合的 push/probe 技术

[25

]

，SEGUE 可

以实现对网络中各个服务器响应时间变化的监测与收集；使用服务质量

（QoS,quality of service ）预测模块来检测性能冲突并进行迁移决策；利用

MDP 的收益函数测量累计的 QoS 提高程度，并选择一个累计 QoS 收益最高的

ES 作为目标迁移 ES。该方案主动监测 QoS 并进行服务迁移的过程能够在一定

程度上提高服务的可靠性。然而，其监测数据的准确性与及时性缺乏有效保障

机制，响应时间完全反映网络状态的设计思想也有待验证。

文献[26

]提出了基于多属性的边缘计算服务迁移算法，该算法考虑了每个虚

拟机的能量消耗、迁移开销、通信开销、时延以及服务器计算能力等多个属性

因素对于服务迁移决策的影响，并建立相应的决策矩阵，在用户离开最优服务

器的连接范围后，通过决策矩阵来决策此时是否需要进行服务迁移。该算法虽

然在服务迁移过程中充分考虑了能量、时延等开销的影响，但忽略了网络环境

的动态性，缺乏参数的实时更新机制。

已有方案对比如表

所示。通过以上调研发现，大多数的服务迁移方案忽

略了网络及节点动态性对迁移决策的影响，同时，动态决策参数的实时更新也

是保障迁移算法有效性与可靠性的一个重要因素，如果不能根据环境变化对参

数进行学习更新，往往会因参数退化而导致算法性能下降。为此，本文提出了

车辆边缘网络中基于多参数 MDP 模型的动态服务迁移方案 DSMMP。

3 DSMMP 算法设计

3.1 最优迁移状态阈值存在性证明

为保证 DSMMP 算法的科学性，本节将利用一个通用的 MDP 模型来证明

MDP 服务迁移方案中最优迁移阈值的存在。

本文将时间划分为一个个相邻等值的状态检测时隙，在每个状态检测时隙

开始时，ES 基于以下 MDP 模型进行迁移决策。

1) 状态函数 S(t)

从 ES 角度出发，将 S(t)定义为状态检测时隙为 t 时，ES 与对应的车辆节

点之间的链路跳数 hop，有

S(t)={0,

车辆在

服务范围内

hop,

车辆不在

服务范围内

(1)S(t)={0,?车辆在 ES 服务范围内 hop,?车辆不在 ES 服务范围内 (1)

2) 动作函数 a(t)

a(t)表示时隙为 t 时 ES 节点对于某一特定车辆节点请求服务的迁移决策，

有

a(t)={0,

不进行服务迁移

1,

进行服务迁移

(2)a(t)={0,?不进行服务迁移 1,?

进行服务迁移 (2)

3) 概率函数 ps′s(t)ps's(t)

ps′s(t)ps's(t)表示时隙为 t 时，ES 从 s'迁移到状态 s 的概率。

4) 收益函数

需要说明的是，在本节中利用时延开销来定义 MDP 收益函数，则收益函数

值越小对应的策略越优。DSMMP 综合网络性能、ES 处理能力、节点运动的收

益来定义 MDP 收益函数，取收益函数值最大时的策略为最优策略。虽然二者的

定义不同，但其实质意义相同，因此 2 种定义方式具有一致性，并不冲突。

对服务不迁移和迁移这 2 种决策分别产生的网络时延开销进行如下分析。

① 不进行服务迁移。如图

所示，初始 t 时刻车辆 V

处于节点 ES

的覆盖

范围内，则 S(t)=0，此时 V

向 ES

发送了一个分组请求，设请求时延为 t

req

；然

后 ES

开始对该请求进行服务计算，计算时延为 t

com

；在服务计算完成之前的每

个状态检测时隙中，ES

?均采取不迁移的动作，当计算完成后 ES

准备向 V

回

复数据，却发现 V

节点已经离开其信号覆盖范围并其处于 ES

的覆盖范围，则

将结果数据返回给 ES

，此过程的时延为 ES 之间的传输时延 t

data-tra ns

；最后

由节点 ES

将请求应答数据回复给 V

，此时的时延为车辆和 ES 之间的传输时延

rep

。

则不迁移策略的总时延开销为

tnon-mig=trep+tcom+tdata-trans+trep (3)tnon-mig=trep+tcom+tdata-

trans+trep (3)

② 进行服务迁移。如图

所示，t 时刻车辆 V

处于 ES

的覆盖范围内，则

S(t)=0， V

此时向 ES

发送了一个分组请求，请求时延为 t

req

；在计算服务完成

之前的某一个状态检测时隙 t'',ES

发现车辆 V

节点离开其信号覆盖范围，进入

的覆盖范围，当 S(t'')>k（k 为最优阈值）时，ES

选择进行服务迁移，将其

与 V

之间的会话过程、请求内容等具体信息打包发送给 ES

，该过程的时延为

sessio n-trans

；此后，ES

开始对车辆 V

的请求进行服务计算，计算时延为 t

com

；计算

完成后，ES

再将结果数据回复给车辆 V

，产生传输时延 t

rep

（此时也可能出现

离开了 ES

的范围，但此处仅为证明阈值存在，故不考虑这种复杂情况）。

表 1已有方案对比

方案设计优点缺点

文献

[17]方

案

利用基于跳数的 MDP 状态函数对蜂

窝网络中的用户运动进行聚类，迭代

求解

提高了对用户行为预

测的准确度

可扩展性低

剩余28页未读，继续阅读

评论收藏

内容反馈

版权申诉

罗伯特之技术屋

粉丝: 3543
资源: 1万+

车辆边缘网络中基于多参数MDP模型的动态服务迁移策略.docx

Matlab源码 基于马尔可夫决策过程的移动边缘计算中的动态服务迁移.zip

车辆边缘网络中基于多参数MDP模型的动态服务迁移策略

matlab代码移植-service-migration-mdp:论文代码“基于马尔可夫决策过程的移动边缘计算中的动态服务迁移”

基于MDP的病人最优分配策略研究

面向车辆多址接入边缘计算网络的任务协同计算迁移策略.docx

基于分时MDP的出租车载客预测推荐技术研究.docx

基于ICEEMD-ICA与MDP准则的变形监测数据去噪方法.docx

PEGASUS：大型MDP和POMDP的策略搜索方法.pdf

在matlab平台上，针对多周期报童问题，采用值迭代算法、策略迭代算法和强化学习算法求解MDP模型的实例

基于连续时间MDP模型和随机决策的维护周期

mdp-linux-1.8a1.tar.gz_Dissemination_mdp

基于MDP的呼叫接入控制策略优化

论文研究-基于层级MDP的对话管理 .pdf

基于MDP自适应决策的库存控制_刘虹.pdf

基于MDP的半导体制造设备维护调度研究.pdf

几个神经网络算法的例程

大数据处理框架中基于MDP的任务调度算法.pdf

增强学习（三）MDP的动态规划解法

论文研究-基于MDP的泛在网切换策略的研究 .pdf

MDP.zip_mdp_policy iteration_机器学习_策略迭代_策略迭代 matlab

PyPI 官网下载 | MDP-3.4.tar.gz

全国计算机等级考试二级Python真题及解析.docx

1000份ppt模版，PPT模板优秀PPT

matlab批量读取excel表格数据并处理画图

导入证书可以解决”无法建立到信任根颁发机构的证书链"问题。

OpenCv车辆识别训练模型

代码随想录知识星球精华-大厂面试八股文第二版v1.2.pdf

数学建模对乙醇偶合制备C4烯烃的问题研究

Vue-Element UI集成ECharts实现数据统计分析页代码部分(如果帮助到你，感谢关注点赞)

最新资源

Matlab源码基于马尔可夫决策过程的移动边缘计算中的动态服务迁移.zip