强化学习无人机通信系统中的信息年龄优化.docx

"强化学习无人机通信系统中的信息年龄优化" 本文旨在解决强化学习无人机通信系统中的信息年龄优化问题，以满足未来 6G 移动通信系统的广覆盖、低时延、大连接和智能化部署需求。通过对无人机通信系统的研究， 本文首先基于信息年龄建模单无人机通信系统的信息新鲜度，并形成能耗约束下的最小化信息年龄的优化问题。然后，提出基于强化学习的无人机轨迹优化方法，该方法将构建与信息年龄相关的奖励函数以实现智能化无人机轨迹决策。 在强化学习无人机通信系统中，信息年龄优化是关键技术之一。文献[14]首先引入信息年龄概念，定义为数据包从源节点生成，并到达目的节点所经历的时间。文献[15]在局域网络中基于不同调度策略验证了信息年龄表征的信息新鲜度性能。文献[16]在信息年龄约束下优化传感器的动作，从而最小化传感器网络发射功率。文献[17]在单用户衰落信道中，考虑 AoI 需求提出了基于动态规划的功率优化策略。 然而，上述信息年龄优化方法不适用于能耗约束下的无人机通信系统中的信息年龄优化研究。本文针对无人机通信系统中信息新鲜度的性能需求，提出基于强化学习的无人机轨迹优化方法，以实现智能化无人机轨迹决策。 系统模型和问题形成 本文考虑单个无人机基站和 N 个地面用户组成的通信系统，该系统由单天线的无人机和 N 个单天线用户组成，其中无人机服务半径为 Rs，飞行高度为 H，用户与无人机采用时分复用通信。无人机在 t 时刻的三维坐标为 b(t)=(x(t),y(t),H)，第 n 个用户的三维坐标为 qn=(xn,yn,0)，第 n 个用户与无人机的三维距离dn(t)=(xn−x(t))2+(yn−y(t))2+H2−−−−−−−−−−−−−−−−−−−−−−−−−√。 无人机能耗建模 为更加准确地刻画无人机通信链路信道信息，本文采用概率信道模型[19]。为方便描述，第 n 个用户和无人机之间直视径(line of sight, LoS)通信链路的概率定义为：ηLoSn(θtn)=11+Fexp(−G[θtn−F])，式中，G 和 F 为信道参数，值取决于信道环境；θtnθnt 为第 n 个用户在 t 时刻的仰角。用户与无人机之间的传输方式为非直视径(non-line of sight, NLoS)的概率ηNLoSn(θtn)=1−ηLoSn(θtn)。因此，第 n 个用户与无人机之间平均信道功率增益表示为：htn=ηLoSn(θtn)PLLoSn+ηNLoSn(θtn)PLNLoSnhnt=ηnLoS(θnt)PLnLoS+ηnNLoS(θnt)PLnNLoS，式中，PLLoSnPLnLoS 和 PLNLoSnPLnNLoS 分别表示第 n 个用户与无人机通信时 LoS链路和 NLoS 链路的路径损耗。 强化学习无人机轨迹优化 基于强化学习的无人机轨迹优化方法，首先构建与信息年龄相关的奖励函数，以实现智能化无人机轨迹决策。该方法将通过强化学习算法来优化无人机轨迹，以最小化信息年龄和能耗的约束下。 本文提出基于强化学习的无人机轨迹优化方法，以解决强化学习无人机通信系统中的信息年龄优化问题，为未来 6G 移动通信系统提供重要的技术支持。