车载网络在智能交通系统中扮演着日益重要的角色，它的服务质量（Quality of Service, QoS）对用户体验有着直接影响。随着移动边缘计算（Mobile Edge Computing, MEC）技术的兴起，为车载网络提供了新的改进途径。本篇研究论文题为《车载网络中基于深度强化学习的动态服务迁移》，主要探讨了如何在高移动性的车载网络中，利用深度强化学习（Deep Reinforcement Learning）技术，实现服务的动态迁移，从而在保障QoS的同时，减少迁移成本。
车载网络的主要服务质量指标包括往返时间（Round Trip Time, RTT）和传输控制协议（Transmission Control Protocol, TCP）吞吐量。然而，车辆的高速移动性要求在移动边缘计算服务器之间频繁进行服务迁移以保持服务质量。频繁的服务迁移会产生较高的迁移成本，从而对整体的服务性能造成负面影响。
为了解决这一矛盾，该论文提出了一种新颖的动态服务迁移方案，考虑车辆速度对QoS和服务迁移成本的影响。这一方案的核心思想是，将QoS和服务迁移成本建模为速度的函数，并将它们共同纳入经济考量中。系统根据车辆的QoS捕获收入，成本包括迁移成本和服务成本，用于计算使用计算、通信和存储资源的服务成本。系统效用被定义为收入和成本之间的差异。为了最大化系统效用，采用了一种新颖的深度强化学习算法，即深度Q学习算法，来设计动态服务迁移方案。
仿真结果表明，与现有的迁移方案相比，所提出的动态迁移方案能够在不同速度下增加系统效用。系统效用随着速度的增加而增加，当速度大于30米/秒时，系统效用增益达到大约2倍。此外，它还提高了高移动性车辆的服务质量，其中RTT可减少2倍，TCP吞吐量可提高1倍。
该论文的介绍部分指出，智能车载物联网是代表性的场景之一。由于车辆的高移动性，传统的数据中心模式无法有效地提供实时的服务质量保障，因此需要在边缘侧部署计算资源，即移动边缘计算的概念。MEC通过将计算资源靠近网络边缘，能够对车载网络中的数据进行快速处理，从而降低延迟，提高吞吐量。而这种技术的核心挑战在于如何有效地在边缘服务器之间迁移服务，以适应动态变化的网络环境。
研究使用深度Q学习算法是考虑到其在处理高维度状态空间和实现策略优化方面的优势。深度Q学习通过神经网络近似价值函数，使得算法可以处理更复杂的状态，并在非线性决策中表现出色。此外，深度强化学习还可以学习到不同速度条件下的最优迁移策略，这是传统强化学习难以实现的。
本研究的动态服务迁移方案设计，需要实时监控网络状态和车辆速度等参数，以智能地决策何时进行服务迁移，以及迁移到哪个边缘服务器。这涉及到算法的快速响应能力和预测准确性，是提高车载网络整体性能的关键。
这篇论文提出的基于深度强化学习的动态服务迁移方案，不仅为车载网络的服务优化提供了一种新的解决思路，也为其他领域的实时动态迁移问题提供了参考。通过合理的模型建立和服务迁移算法的设计，能够在保证服务质量的同时，最小化迁移成本，对于推动未来智能交通系统的发展具有重要的理论和实际意义。
