设备间通信中的延迟最优动态模式选择和资源分配-第一部分：最优策略

本文主要探讨了在设备到设备（Device-to-Device，简称D2D）通信环境中，如何通过动态模式选择和资源分配以达到延迟最优。文章分为两部分，第一部分着重于提出最优策略，而第二部分则关注于更实用的算法。 文章研究了在正交频分复用多址接入（Orthogonal Frequency Division Multiple Access，简称OFDMA）蜂窝网络中，为了最小化平均端到端延迟性能，在丢包率约束条件下，如何进行动态模式选择和子信道分配。研究者们将最优资源控制问题形式化为无限时域平均奖励约束马尔可夫决策过程（CMDP），并利用基于简化的状态等效贝尔曼方程的穷举离线值迭代算法，得出了最优控制策略。然而，该策略面临著名的维度灾难问题，导致其在具有多个D2D用户和蜂窝用户的实际场景中应用受限。 在文章的第二部分，作者采用了线性价值逼近技术以进一步减少状态空间。此外，文章还应用了具有两个时间尺度的在线随机学习算法，根据信道状态信息（CSI）和队列状态信息（QSI）的实时观测来更新价值函数和拉格朗日乘数（LMs）。这种组合在线随机学习解决方案在某些现实条件下几乎可以肯定地收敛到全局最优解。仿真结果表明，所提出的在线随机学习方法几乎达到了与离线值迭代算法相同的结果，并且在不稳定性方面优于传统的仅基于CSI的方案和吞吐量最优方案。 文章中涉及的关键知识点如下： 1. 设备到设备（D2D）通信：D2D通信是一种无线通信技术，它允许移动设备在没有基站作为中介的情况下直接进行通信。该技术能够提高频谱效率，减少能量消耗，并提升通信延迟性能。 2. 正交频分复用多址接入（OFDMA）：OFDMA是一种无线通信技术，它允许用户共享频谱资源。在OFDMA系统中，总带宽被划分为多个子信道，不同的用户可以同时在不同的子信道上发送数据。 3. 平均端到端延迟：延迟是指数据从发送端传输到接收端所需的时间。端到端延迟是指从源点到目的地的整个通信路径上的平均延迟时间。在实时通信系统中，低延迟是关键性能指标。 4. 动态模式选择：在D2D通信中，动态模式选择是根据网络状况和设备能力，动态调整通信模式的过程。例如，根据信号强度和网络拥堵情况，选择直接通信或者通过基站中继。 5. 资源分配：资源分配是无线通信网络中的一项关键任务，涉及如何有效分配有限的频谱资源和其他网络资源以优化网络性能。本研究中特别关注如何分配子信道资源以最小化延迟。 6. 马尔可夫决策过程（MDP）：MDP是一种数学模型，用于在给定决策者当前状态和可能采取行动的情况下，建模随时间变化的决策问题。它广泛应用于优化控制系统中。 7. 价值迭代：价值迭代是解决MDP问题的一种方法，它通过迭代地估计状态的最优值来计算最优策略。 8. 随机学习算法：随机学习算法是一种不依赖于完整系统信息的学习方法，它通过利用系统中的随机性质来估计最优策略或参数。 9. 拉格朗日乘数（Lagrangian Multipliers）：在优化问题中，拉格朗日乘数用于将有约束的问题转化为无约束的问题，它将约束条件嵌入到目标函数中。 10. 信道状态信息（CSI）和队列状态信息（QSI）：CSI是关于无线信道特性的信息，如信号强度、信道质量和干扰水平等。QSI提供了关于通信队列中等待传输的数据包数量和队列长度的信息。 11. 在线和离线算法：在线算法是指在接收数据的同时进行处理的算法，而离线算法是指在所有数据收集完毕后再进行处理的算法。在线学习算法适用于实时系统，可以更好地适应动态变化的环境。 文章通过探讨D2D通信中的延迟最优动态模式选择和资源分配问题，提出了有效的理论和算法框架，以应对实际应用中的挑战。通过采用在线随机学习方法，作者能够解决高维状态空间问题，并提升系统稳定性与延迟性能。