第 ５４ 卷 第 ５ 期
２ ０ ２ ２ 年 ５ 月
哈 尔 滨 工 业 大 学 学 报
ＪＯＵＲＮＡＬ ＯＦ ＨＡＲＢＩＮ ＩＮＳＴＩＴＵＴＥ ＯＦ ＴＥＣＨＮＯＬＯＧＹ
Ｖｏｌ. ５４ Ｎｏ. ５
Ｍａｙ ２０２２
ＤＯＩ：１０．１１９１８ ／ ２０２０１００８２
融合有效方差置信上界的 Ｑ 学习智能干扰决策算法
饶 宁，许 华，宋佰霖
（空军工程大学 信息与导航学院，西安 ７１００７７）
摘 要： 为进一步提升基于值函数强化学习的智能干扰决策算法的收敛速度，增强战场决策的有效性，设计了一种融合有效
方差置信上界思想的改进 Ｑ 学习智能通信干扰决策算法。 该算法在 Ｑ 学习算法的框架基础上，利用有效干扰动作的价值方
差设置置信区间，从干扰动作空间中剔除置信度较低的干扰动作，减少干扰方在未知环境中不必要的探索成本，加快其在干
扰动作空间的搜索速度，并同步更新所有干扰动作的价值，进而加速学习最优干扰策略。 通过将干扰决策场景建模为马尔科
夫决策过程进行仿真实验，所构造的干扰实验结果表明：当通信方使用干扰方未知的干扰躲避策略变更通信波道时，与现有
基于强化学习的干扰决策算法相比，该算法在无通信方的先验信息条件下，收敛速度更快，可达到更高的干扰成功率，获得更
大的干扰总收益。 此外，该算法还适用于“多对多”协同对抗环境，可利用动作剔除方法降低联合干扰动作的空间维度，相同
实验条件下，其干扰成功率比传统 Ｑ 学习决策算法高 ５０％以上。
关键词： 干扰决策；强化学习；有效方差置信上界；Ｑ 学习；干扰动作剔除；马尔科夫决策过程
中图分类号： ＴＮ９７５ 文献标志码： Ａ 文章编号： ０３６７
－
６２３４（２０２２）０５
－
０１６２
－
０９
Ｑ⁃ｌｅａｒｎｉｎｇ ｉｎｔｅｌｌｉｇｅｎｔ ｊａｍｍｉｎｇ ｄｅｃｉｓｉｏｎ ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ ｏｎ
ｅｆｆｉｃｉｅｎｔ ｕｐｐｅｒ ｃｏｎｆｉｄｅｎｃｅ ｂｏｕｎｄ ｖａｒｉａｎｃｅ
ＲＡＯ Ｎｉｎｇ， ＸＵ Ｈｕａ， ＳＯＮＧ Ｂａｉｌｉｎ
（Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｎａｖｉｇａｔｉｏｎ Ｃｏｌｌｅｇｅ， Ａｉｒ Ｆｏｒｃｅ Ｅｎｇｉｎｅｅｒｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ， Ｘｉ’ａｎ ７１００７７， Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ： Ｔｏ ｆｕｒｔｈｅｒ ｉｍｐｒｏｖｅ ｔｈｅ ｃｏｎｖｅｒｇｅｎｃｅ ｓｐｅｅｄ ｏｆ ｔｈｅ ｉｎｔｅｌｌｉｇｅｎｔ ｊａｍｍｉｎｇ ｄｅｃｉｓｉｏｎ⁃ｍａｋｉｎｇ ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ ｏｎ
ｖａｌｕｅ ｆｕｎｃｔｉｏｎ ｉｎ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ ａｎｄ ｅｎｈａｎｃｅ ｉｔｓ ｅｆｆｅｃｔｉｖｅｎｅｓｓ， ａｎ ｉｍｐｒｏｖｅｄ Ｑ⁃ｌｅａｒｎｉｎｇ ｉｎｔｅｌｌｉｇｅｎｔ
ｃｏｍｍｕｎｉｃａｔｉｏｎ ｊａｍｍｉｎｇ ｄｅｃｉｓｉｏｎ ａｌｇｏｒｉｔｈｍ ｗａｓ ｄｅｓｉｇｎｅｄ ｉｎｔｅｇｒａｔｉｎｇ ｔｈｅ ｅｆｆｉｃｉｅｎｔ ｕｐｐｅｒ ｃｏｎｆｉｄｅｎｃｅ ｂｏｕｎｄ ｖａｒｉａｎｃｅ．
Ｂａｓｅｄ ｏｎ ｔｈｅ ｆｒａｍｅｗｏｒｋ ｏｆ Ｑ⁃ｌｅａｒｎｉｎｇ ａｌｇｏｒｉｔｈｍ， ｔｈｅ ｐｒｏｐｏｓｅｄ ａｌｇｏｒｉｔｈｍ ｕｔｉｌｉｚｅｓ ｔｈｅ ｖａｌｕｅ ｖａｒｉａｎｃｅ ｏｆ ｅｆｆｅｃｔｉｖｅ
ｊａｍｍｉｎｇ ａｃｔｉｏｎ ｔｏ ｓｅｔ ｔｈｅ ｃｏｎｆｉｄｅｎｃｅ ｉｎｔｅｒｖａｌ． Ｉｔ ｃａｎ ｅｌｉｍｉｎａｔｅ ｔｈｅ ｊａｍｍｉｎｇ ａｃｔｉｏｎ ｗｉｔｈ ｌｏｗ ｃｏｎｆｉｄｅｎｃｅ ｆｒｏｍ ｔｈｅ
ｊａｍｍｉｎｇ ａｃｔｉｏｎ ｓｐａｃｅ， ｒｅｄｕｃｅ ｔｈｅ ｕｎｎｅｃｅｓｓａｒｙ ｅｘｐｌｏｒａｔｉｏｎ ｃｏｓｔ ｉｎ ｔｈｅ ｕｎｋｎｏｗｎ ｅｎｖｉｒｏｎｍｅｎｔ， ｓｐｅｅｄ ｕｐ ｉｔｓ ｓｅａｒｃｈｉｎｇ
ｓｐｅｅｄ ｉｎ ｔｈｅ ｉｎｔｅｒｆｅｒｅｎｃｅ ａｃｔｉｏｎ ｓｐａｃｅ， ａｎｄ ｓｙｎｃｈｒｏｎｏｕｓｌｙ ｕｐｄａｔｅ ｔｈｅ ｖａｌｕｅ ｏｆ ａｌｌ ａｃｔｉｏｎｓ， ｔｈｕｓ ａｃｃｅｌｅｒａｔｉｎｇ ｔｈｅ
ｏｐｔｉｍａｌ ｓｔｒａｔｅｇｙ ｌｅａｒｎｉｎｇ ｐｒｏｃｅｓｓ． Ｔｈｅ ｊａｍｍｉｎｇ ｄｅｃｉｓｉｏｎ⁃ｍａｋｉｎｇ ｓｃｅｎａｒｉｏ ｗａｓ ｍｏｄｅｌｅｄ ａｓ ｔｈｅ Ｍａｒｋｏｖ ｄｅｃｉｓｉｏｎ
ｐｒｏｃｅｓｓ ｆｏｒ ｓｉｍｕｌａｔｉｏｎ． Ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｗｈｅｎ ｔｈｅ ｃｏｒｒｅｓｐｏｎｄｅｎｔ ｕｓｅｄ ｉｎｔｅｒｆｅｒｅｎｃｅ ａｖｏｉｄａｎｃｅ ｓｔｒａｔｅｇｙ ａｇａｉｎｓｔ ｔｈｅ
ｊａｍｍｅｒ ｔｏ ｃｈａｎｇｅ ｔｈｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｃｈａｎｎｅｌ， ｔｈｅ ｐｒｏｐｏｓｅｄ ａｌｇｏｒｉｔｈｍ ｃｏｕｌｄ ａｃｈｉｅｖｅ ｆａｓｔｅｒ ｃｏｎｖｅｒｇｅｎｃｅ ｓｐｅｅｄ，
ｈｉｇｈｅｒ ｊａｍｍｉｎｇ ｓｕｃｃｅｓｓ ｒａｔｅ， ａｎｄ ｇｒｅａｔｅｒ ｔｏｔａｌ ｊａｍｍｉｎｇ ｒｅｗａｒｄｓ， ｕｎｄｅｒ ｔｈｅ ｃｏｎｄｉｔｉｏｎ ｏｆ ｎｏ ｐｒｉｏｒ ｉｎｆｏｒｍａｔｉｏｎ，
ｃｏｍｐａｒｅｄ ｗｉｔｈ ｔｈｅ ｅｘｉｓｔｉｎｇ ｄｅｃｉｓｉｏｎ⁃ｍａｋｉｎｇ ａｌｇｏｒｉｔｈｍｓ ｂａｓｅｄ ｏｎ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ． Ｂｅｓｉｄｅｓ， ｔｈｅ ａｌｇｏｒｉｔｈｍ
ｃｏｕｌｄ ｂｅ ａｐｐｌｉｅｄ ｔｏ ｔｈｅ “ｍａｎｙ⁃ｔｏ⁃ｍａｎｙ” ｃｏｏｐｅｒａｔｉｖｅ ｃｏｕｎｔｅｒｍｅａｓｕｒｅ ｅｎｖｉｒｏｎｍｅｎｔ． Ｔｈｅ ａｃｔｉｏｎ ｅｌｉｍｉｎａｔｉｏｎ ｍｅｔｈｏｄ
ｗａｓ ｕｓｅｄ ｔｏ ｒｅｄｕｃｅ ｔｈｅ ｄｉｍｅｎｓｉｏｎ ｏｆ ｊｏｉｎｔ ｊａｍｍｉｎｇ ａｃｔｉｏｎ， ａｎｄ ｔｈｅ ｊａｍｍｉｎｇ ｓｕｃｃｅｓｓ ｒａｔｅ ｏｆ ｔｈｅ ｐｒｏｐｏｓｅｄ ａｌｇｏｒｉｔｈｍ
ｗａｓ ５０％ ｈｉｇｈｅｒ ｔｈａｎ ｔｈｏｓｅ ｏｆ ｔｈｅ ｔｒａｄｉｔｉｏｎａｌ Ｑ⁃ｌｅａｒｎｉｎｇ ｄｅｃｉｓｉｏｎ ａｌｇｏｒｉｔｈｍｓ ｕｎｄｅｒ ｔｈｅ ｓａｍｅ ｃｏｎｄｉｔｉｏｎｓ．
Ｋｅｙｗｏｒｄｓ： ｊａｍｍｉｎｇ ｄｅｃｉｓｉｏｎ⁃ｍａｋｉｎｇ； ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ； ｅｆｆｉｃｉｅｎｔ ｕｐｐｅｒ ｃｏｎｆｉｄｅｎｃｅ ｂｏｕｎｄ ｖａｒｉａｎｃｅ；
Ｑ⁃ｌｅａｒｎｉｎｇ； ｊａｍｍｉｎｇ ａｃｔｉｏｎ ｅｌｉｍｉｎａｔｉｏｎ； Ｍａｒｋｏｖ ｄｅｃｉｓｉｏｎ ｐｒｏｃｅｓｓ
收稿日期： ２０２０
－
１０
－
２６
作者简介： 饶 宁（１９９７—），男，硕士研究生；
许 华（１９７６—），男，教授，博士生导师
通信作者： 许 华，１３７２０７２００１０＠ １３９．ｃｏｍ
干扰决策是电子战中进行有效对抗的重要环
节，而人工决策由于实时性与科学性较差，很难满足
战场瞬息万变的态势要求。 随着认知无线电
［１］
等
技术的发展，干扰方要达到较好的干扰效果变得更
加困难，但无线通信媒介自身的开放性给干扰攻击
的实现保留了可行性。 近年来，智能干扰已经成为
认知电子战的一个重要研究领域，涌现出了利用遗
传算法、粒子群算法等
［２
－
３］
实现干扰参数寻优的理
论，但这些方法都需要通信方的先验通信参数。 强
化学习作为不需要先验信息的方法，能在未知环境
中通过不断与环境交互来学习最优行为策略，目前
在通 信 干 扰 与 抗 干 扰 领 域 已 有 初 步 应 用， 如 文
资源评论
