下载  >  开发技术  >  C  > 基于微重启和部分客观马尔可夫决策模型的智能水下机器人软件自修复方法

基于微重启和部分客观马尔可夫决策模型的智能水下机器人软件自修复方法 评分:

针对智能水下机器人(AUV)软件故障修复过程中存在的修复代价过高和系统环境只有部分可观察的问题,提出了一种基于微重启技术和部分客观马尔可夫决策(POMDP)模型的AUV软件故障修复方法。该方法结合AUV软件系统分层结构特点,构建了基于微重启的三层重启结构,便于细粒度的自修复微重启策略的实施;并依据部分可观马尔可夫决策过程理论,给出AUV软件自修复POMDP模型,同时采用基于点的值迭代(PBVI)算法求解生成修复策略,以最小化累积修复代价为目标,使系统在部分可观环境下能够以较低的修复代价执行修复动作。仿真实验结果表明,基于微重启技术和POMDP模型的AUV软件故障修复方法能够解决由软件老化及系统
第8期 张汝波等:基于微重启和部分客观马尔可夫决策模型的智能水下机器人钦件自修复方法 2377 输出值确定,具体观测空间定义如下: Va+(6)=min 26(s)R(s, a)+ 其中:除x表示AUⅤ软件处于正常状外,其余观测值分别 y26)(,20(.,)x 表示AUV软件各模块发生故障。 (8) 4)概率分布。 MUⅤ软件整体修复POⅦD模型概率分行包含状转其中Vn(b)表示在信念状态b下策略丌的值函数。式(8)表 示在有限修复步骤内,积累代价值最小的功作为最优决策动 移函数和观测值转移函数两类。 状态转移函数。由于在当前状态下执行指定动作后,作。 下一时刻状态无法完全确定,这种状态转移不确定性可以使 为确保自修复系统稳定性,选择离线规划求解模型策略。 用状态转移函数描述,具体定义为 在离线 POMDP求解算法选取上,考虑到AV自修复问题特点 和代码实硎的复杂性,同时借鉴相关领域学者已有饼究成果选 T(s,5:a)=P(S(t+1)=jS(t)=i,a:∈4), 取值迭代算法的近似解法—基于点的值迭代( Point bascd ys (4) Value iteration,PBⅥ)算法。PBⅥ算法伪码如下所示,其执行 表示在状念s,下执行动作a转移到下时刻状念的概率。过程可简述为:)使用n(POMP)初始化信度状态集合B, b)观测函数。观测值主要通过妝障检测模块获得,同样 值函数集V,其中 POMDP指具体 POMDP模型参数;2)对每个 故障检测模块也可能由于某些因素导致输出错误结果或观测 不完全,因此需要对观测值作概半性定义 信度状态集合B中元素b使用nacp(b,V)进行叫溯操作更 新值函数;3)使用 Expand(B)扩允信度状态集合。 0(z,a1,s)=P(z(t+1)=z|S(t+1)=5,n1∈A) PBⅥI算法伪代码如下 s,;∈S,Vz∈Z PRⅥI( POMDP, TERATIONS 表示在t时间步执行动作u2转移到状态获得观测值z的概 率 B,V←lnit( POMDP) 5)修复代价。 在AUⅤ软件自修复POⅦDP模型中,修复代价函数主妟 For in ITERATIONS For b in B 由修复功作执行时间T、当前故障单元风险程度K和修复结 x← Backup(b,V) 果奖惩值Q共同决定。风险程度指在若干失效的后概 相差不人且恢复时间相近时,优先选择能够恢复了风 End for 险失效状态的动作从而提高系统可靠性。味奖惩值 End for 指当执行动作达到预期时给予系纩奖励值,否则给予惩罚值, B← Expand(B; 从而确保系统貝冇自学习能力。 POMDP模型就是在整体修 End while 复效果最佳情况下侏证累计修复代价R最低,其体定义为 R(B,(s, a)=lsIn(K+1)+Q 为了确保PBⅥ算法运行,需耍事先求解AUV软件自修 复代价函数R的偏置条件是:假定每次修复动作a都复 POMDP模型的状态转移概卒和观测值转移概。本文主 能正常执行。在实际中若修复动作a未正常执行,可考虑设 要依赖于专家经验和厉史数据构建自修复模型状态转移概 率、观测值转移概率。离线情况下AUV软件自修复问题历史 置重复执行阈值,超出阀值仍术正常执行则进行系统级修复数据结构为(,0,21)四元组组成的历史序外。其中状态 动作,或按任务硬性故障处理。具体的修复代价确定方法可 可通过分析AUⅤ软件代码等方式进行人工标注。当具有 以通过在ⅴ x Worke系统平台上对各任务和模块进行故障注 定数量历史数据时,可利用极大似然估计方法估计AUV自 入,然后逐一对每个任务及模块执行微重启记录有效重启时修复模型参数具体如下: 间们,同时结合具体的故障单元风险程度K和修复结果奖惩 态转移概率T估计。设样本中t时刻处于状态讠 伯Q代入式(6)中求得。 执行动作后t+1时刻转移到状态的频数为An,郑么状态 6)信度。 转移概率T的估计是 根据状态空间划分形式,定义AUⅤ软件自修复模型信度 状态如下 /∑A;i∈S,∈S,a∈A (9 B(s)={b(s),b(81),b(s2),b(s3),…,b(sn),b(s2) 2)观测值概率O的估计。设样本中状念讠执行动作a (7)后观测为z的频数为B,那么观测值概萃O的估计是 其中:b(s)表示在当前环境下AUV软件系统处于s1状态信 度,信度状态是定义在部分可观状态空间S上的概率分在。 On=Bn/∑Ba;t=S,aEA,∈z (10) 3基于 POMDP的AUⅤ软件自修复策略规划4实验及结果分析 基于 POMDP的AUⅴ软件自修复模型选取修复动作的依41自修复效果评价实验 据是最小化代价函数R。通过对 POMDP模型求解丌’,可得 为了验证本文提出的基于三层微重启方案及使用PBⅥI 到使累计代价值最小的最优筼略,即AUⅴ软件自修复决策模算法求解出的修复策路实际执行效果,进行仿真实验。实验 型为 分两个步骤:首先比较基于 POMDP的三层徵重启自修复策 2378 计算机应用 第35卷 略、两层重启修复策畩、最优修复策略三种修复方法实际修复 基于 POMDP的三层微重启修复策略 效果;其次,在同样使用三层微重启修复方案中,比较基丁 a三层微重启修复固定策略 POMDP的自修复方案与其他固定策賂修复方案的实际修复 三层微重启修复定策略二 三层微重启修复固定策略三 效果。 業三层微重启修复定策略四 4.1.1三层微重启方案效果 三层微重启修复固定策略五 实验方案:依据初始信度b通过对AUⅤ软件故障注入 5.5 5.0 方式构建故障样例1000个,使用基于 POMDP的三层微重启 4.5 自修复策咯、两层重启修复策咯、最优修复策略分别对冋样的 .0 1000个故障测试样例进行故障修复,评价修复效果。其屮 型25 两层重启修复策略为只使用模块和系统进行重启的传统修复 過20 菜15 策略,最优修复策略假定系统可以获知当前真实故障状态进 0.5 而可选取最佳修复动作 300 佟2和图3分別展示了针刈于任务规划模块故障样例和 故障次数 紧急情況处理模块故障样刨下三种修复策略累积修复代价。图4任务规划模块故障祥例二层微重启策略修复效果对比 叮以看出,基于OM川的三层微重启策咯累积修复代价均 基于 POMDP的 小于二层微重启策略,基于 POMDP的三层微重启策略累积 层微重启修复策略 修复代价曲线更接近于最优策咯。 三层做启修 复固定策略 4.5 层微重启修 4.0 下5 复固定策略 F 基于 POMDP的 05 层微重启修 2.5 三层微重启修复策略 复固定策略三 2.0 层重启修复策略 100300500700900 故降次数 10 最优修复策略 B(5 K15雀作况处理模扶故庫样例三层徽重启策略修复效果对比 0 100300500 表21000个故障样例累积修复时间 故障次数 图2任务規划模块放障样例三种策略修复效果对比 策略 任务规划模块紧急情况处理模块 故廑修复时间s故障侈复时间/s 4.0 23.5 基于 POMDP三层 3.0 微重启修复策路 3099.5 3116 基于 POMDP的 三层微重启修复策咯 三层微重启修复定策略一4958.5 4431 层重启修复策略 三层微重启修复固定策晔 3917.5 3166 艹最优修复策略 二层微重启修复固定籴略三4186 483 0.5 三层撒重启修复胡定策四5488 100300500700900 三层微重启修复盂定策略五3468 故障次数 图3紧急情况处理糢块故障样例三种策略修复效果对比 4.2自修复稳定性评价实验 4.1.2基于POMD的AUⅤ软件自修复策略效果 实验方案:通过分析4.1节实验数据,以每100次实验为 实验方案:依据初始信度b通过对AUⅴ软件敞瘴注入单位求解累积修复代价均值,比较各种修复策略平均累积修 方式构建故障样例1000个,使用基于PMDP的三层微重启复代价波动情况,以评价哪种修复策略修复效果稳定性更好。 对任务规划模块和紧急情况处浬模块杓建两组故障测试样例 自修复策略基于三层微重启的固定策略(因动作序列组合分别进行上述实验纳合两组实验数据综合评价确保实验结 不同,会有多种黛略形武)分别对同样的100个障测试果准确。 样例进行故障修复,记录每种方案修复1000个障样例的素 从图6和图7中可以看出,对每个故障样例而言,基于 积修复代价然后比较每种修复方案的累计修复代价大小,评 POMDP的三层微重启修复策略修复代价都高于最优修复策 价修复效果。对任务規划模块和紧急情滉处理模块构建两组略而低于所有其他修复策略。考察两幅图中每种修复策略整 敞障测试样例,在两测试样例中分别进行上述实验比较不体曲线变化趋势,在图6中相对于最优修复策略来说,三层 同方案修复效果,结合两组实验数据综合评价确保实验结果重启修复固定略一、三层微重启修复固定策略三层微重启 准确 修复固定策略三、基于 POMDP的三层微重启修复策略线 图4和图5分别展示了针对于任务规划模块故障样例和变化幅度均很大这是由于这几种策略动作序列较长,各动作 紧急情况处理模块故障样例下三层微重启修复策璐累积修复修复代价差删大引起的,在图η中叮以发瑰同样駣象。内幅 代价,修复完1000个故障样例时累积修复代价如表2所示。图中在300次故障修复之前各修复策略累积修复代价均值都 其中三层微重启修复固定策略二和基于POMD的三层做重有较大起伏变化,这主要是于故样例构建时,在300次故 启修复策略由于修复动作序列差异较小累积修复代价较接障样例中没有完仝符合初始信度中各故障概半分在,这样可 近,图5中累积修复曲线趋于重叠。通过该实验可知,基于能存在某个故障样例区间内多次出现系统层或模块层故障, POMDP的三昃微重启策略累积修复代价均小于其他三层微导致修复代价均值出现跳跃。但是在这种不规则分布故章样 重启定策略 例中,木文设计的方案均能在花费相对较小修复代价情况下 第8期 张汝波等:基于微重启和部分客观马尔可夫决策模型的智能水下机器人钦件自修复方法 2379 修复故障问题。因此可以得出结论,在故障状态发生概率基「3] PSAIER H, SKOPIK F, SCHALL D,αα.Behaⅵ lor montorng Ir 木符合初始信度时,基于HOMD的三层微重启修复策略相 self-healing service-oriented systems [C]// Computer Software and 对稳定性较好,平均修复代价相对其他策略最低。 Applications Conference( COMPSAC). Piscataway: IEEE. 2010 基于 POMDP的三层微重启修复策略 三层徼重启修复固定策略 4 ANGELOPOULOS K, SOUZA V ES, PIMENTEL J. Requirement 三层徼重启修复面定策略二 and architectural approachcs to adaptive softwarc syetcms: a compar 层微重启修复固定策略三 ative study [c]// SEAMS 13: Proceedings of the Bth Intemational 〓层徼重启修复定策咯四 三层微重启修复固定策略五 层重启修复策略 ing Systems. Piscataway: IEEE, 2013: 23-32 最优修复策咯 [5] WANG Y. System fault quick recovery design based on VxWork 6.0 LJ]. Application of Electronic Technique, 2008, 34(6 32-34 (干洋.基丁Ⅴ x Works的系统故障快速恢复设计[.电子技术 应用,2008,34(6):32-34.) 怎45 6] HU Y, NAN Q, GAO A. Design and implementation of the check pointing and task recovery mechanism based on Vx Works J]. Jour 3.5 。0 nel of Air Forcc Enginccring Ur Edition 2013,14(5):48-52.(胡延苏,南秦博,髙昂.Ⅴ xWorks中仃务 2.5 恢复机制的设计与实现[J.空军工程大学学报:自然私学版 3}00 700 o00 2013,14(51:48-52.) 故障次数 7] YU K. Dynamic loading mechanism of spacebome computer technol 图6任务规划模块故障样例各策略修复累积代价均值变化 ogy research based on Reliability[ D]. Changsha: National Universi- 基于 POMDP的三层微重启修复策略 ty of Defense Technology.2009:1-54.(于東.基于动态加载机 层微重启修复固定策略 制的星载计算机可靠性增强技术研究[D].长沙:国防科学技术 合-三层微重启修复定策略二 三层微重启修复固定策略三 好!机D,ANC王, Design and implementation of high a- 层重启修复策略 最优傷复策略 Hilable fault-tolerant system based on x Worke [J1. Computer 3.0 Technology and Development,2012,224):123-125.(孙锴,慕 ↑““一 德俊,张慧翔.基于xWσrks的高可用容错系统的没计与实现 J计算机技术与发展,2012,22(4):123-125.) [9 CANDEA G, CUTLER J, FOX A. Improving availability with re- 多 4.0 cursive microreboots: a goft-state system case study [j]. Perform ance Evaluation JournaL, 2001, 56(1/2/3):213-248 [10 LE M, TAMIR Y. Applying microreboot to system software LCl// Procetxlings of the: 20 12 IE EE International Conference on Software Security and Reliability. Piscataway: IEEE, 2012: 1-20 2 500 [11 XU Z, ZHAO F, BHAGALIA R, et al. Generic rebooting scheme 故障次数 d model-based probabilistic pruning algorithm for tree-like stru 图7紧急情况处理模块故障样例各策略修复累积代价均值变化 turc tracking l Cl// Procccdings of thc 2012 th IEEE International 5结语 Symposium on Biomedical Imaging. Piscataway: IEEE, 2012: 796 本文设计并实现了基于 POMDP和三层微重启的ALV软21 ALonso J, MATIAS R, VICENTE E,atat. A comparative evalu- 廾故障自修复方法,通过实骀验证了该方法相比传统修复方 tion of software rejuvenation strategies[ Cl// Proceedings of the 法有较低的修复开销,并且对于不同故障情况下自修复稳定 2011 'Third Intermational Workshop on Software Aging and Rejuve- 性较好,有效地解决了在部分可观环境下AUV软件欤障修复 nation. Piscataway: IEEE, 2011: 26-31 问题。本文使用的PBⅥ算法是在初始信度给定情况下求解[13] WANG Z,GUOC,ImF,etu. Research on the application of 最住修复策略,而真实环境中山于不确定性,各故章发生的初 artificial neural network in the fine-grained software rejuvenation of 始信度会动态变化,需要动态调墼AU软件自修复OMD stem[ J. Chinese Journal of Computers, 2008, 31 模型初始信度,对AUV软件白修复模型的进一步研究需要在 7):12681274,(土淇,郭成昊,刘风土.等.神给网络在计算 PBⅥ算法基础上引入在线的初始信度调节略。 系统软件抗衰重启技术中的应用研究[J.计算机学报2008 参考文献: 31(8):1268-1274.) [1 XU Y, PANG Y, GAN Y, et al. AUv state of the art and prospect 14] YOU J. Research on fine grained software rejuvenation policy and [J]. Transactions on Intelligent Systems, 2006, 1(1):11-14.(ti related technology D]. Nanjing: Nanjing University of Scie 玉如,庞永杰,甘永,等.智能水下机器人技术展望J.智能系统 and Technology,2006:1-88.(游静.细粒度软件抗衰策略及 学报,2006,1(1:11-14.) 相关技术研究L.南京:南京理工大学,2006:1-8.) [2] ALDURGAM MM, DUFFUAA S O. Optimal joint maintenance and [15] SHI C, ZHANG R, ZHA J. Software self-recovery method of operation policies to maximise overall systems effectiveness J]. In AUv based on micro-reboot C]// Proceedings of the 2011 9th ernational Journal of Production Research, 2013, 51(5):1319 World Congress on Intelligent Control and Automation. Piscat- w;IEEE,2011:91-96

...展开详情
2015-08-29 上传 大小:810KB
举报 收藏
分享
基于微重启和部分客观马尔可夫决策模型的智能水下机器人软件自修复方法

针对智能水下机器人(AUV)软件故障修复过程中存在的修复代价过高和系统环境只有部分可观察的问题,提出了一种基于微重启技术和部分客观马尔可夫决策(POMDP)模型的AUV软件故障修复方法。该方法结合AUV软件系统分层结构特点,构建了基于微重启的三层重启结构,便于细粒度的自修复微重启策略的实施;并依据部分可观马尔可夫决策过程理论,给出AUV软件自修复POMDP模型,同时采用基于点的值迭代(PBVI)算法求解生成修复策略,以最小化累积修复代价为目标,使系统在部分可观环境下能够以较低的修复代价执行修复动作。仿真实验结果表明,基于微重启技术和POMDP模型的AUV软件故障修复方法能够解决由软件老化及系统

立即下载
基于delphi的计算机的注销重启关机程序

这是一个基于delphi的计算机的注销重启关机程序

立即下载
基于Qt的自动关机自动待机自动重启

Qt的自动关机自动待机自动重启的小软件,静态编译,可以直接运行

立即下载
android重启和关机

android重启和关机android重启和关机

立即下载
基于ik动态词库分词实现--无需重启服务

基于ik动态词库分词实现--无需重启服务

立即下载
windows重启 windows重启

windows重启windows重启windows重启windows重启windows重启windows重启windows重启windows重启windows重启windows重启windows重启windows重启windows重启windows重启windows重启windows重启windows重启

立即下载
系统自动关机重启系统自动关机重启系统自动关机重启系统自动关机重启系统自动关机重启系统自动关机重启系统自动关机重启

系统自动关机重启系统自动关机重启系统自动关机重启系统自动关机重启系统自动关机重启系统自动关机重启系统自动关机重启

立即下载
iis重启脚本 iis桌面快捷重启 iis重启工具

iis重启脚本 iis桌面快捷重启 iis重启工具, 放到桌面 直接双击 就可以重启iis 快捷方便 不用再打开iis界面了

立即下载
VB中注销, 重启和关闭计算机

VB中注销, 重启和关闭计算机 VB中注销, 重启和关闭计算机VB中注销, 重启和关闭计算机VB中注销, 重启和关闭计算机VB中注销, 重启和关闭计算机

立即下载
快速关机和重启

支持快速关机,支持XP WIN7 WIN8

立即下载
网众H61随机重启和蓝屏补丁

网众无盘H61主板出现随机重启和蓝屏补丁

立即下载
电脑重启故障电脑重启故障

电脑重启故障电脑重启故障电脑重启故障电脑重启故障很好的东东啊

立即下载
自动重启和锁定计算机V1.0 绿色版 重启后自动进入系统后锁定计算机

重启后自动进入系统后锁定计算机 服务器托管在机房里,处于安全考虑,每次重启后都希望能自动登陆后自动锁定,windows系统运行久了会产生垃圾变慢,也希望服务器能定期自动重启一下。本软件即可很好地自动完成这些工作,相对于常见的用于家用电脑上的各类重启关机软件,本软件更加简洁稳定高效,更适合专业的托管服务器环境,纯绿色没有多余的功能,可以设定每周某天某时定时重启,也可设定间隔一定时间重启,可设定重启后立即锁定服务器或者延时一段时间再锁定。也可取消定时重启功能,只使用自动登陆和自动锁定功能,当服务器死机后,由机房管理员帮助重启之后可以立即锁定到安全状态。当然,本软件也可以用于家用电脑可以很好保障你计

立即下载
快速重启快速重启,一个很小巧玲珑的快速重启软件

快速重启,一个很小巧玲珑的快速重启软件快速重启,一个很小巧玲珑的快速重启软件快速重启,一个很小巧玲珑的快速重启软件快速重启,一个很小巧玲珑的快速重启软件快速重启,一个很小巧玲珑的快速重启软件快速重启,一个很小巧玲珑的快速重启软件

立即下载
关机重启

关机重启手机系统文件

立即下载
tomcat重启

重启Tomcat的bat文件,Tomcat重启主要应用的是cmd命令关闭Tomcat服务,等待60秒后启动Tomcat。这个主要依托于Tomcat服务,如果没有Tomcat服务则不能重启

立即下载
重启pcanywhere

执行此批处理有效重启pcanywhere

立即下载
windows重启

使用ExitWindowsEx函数实现重启、关机、注销等:

立即下载
重启WINDOWS

DELPHI开发的自动定时重启、关闭、注销 WINDOWS

立即下载
重启DataStage

重启DataStage时的注意事项,详细说明了操作过程

立即下载