基于强化学习的LTE与WiFi异构网络共存机制.docx

在现代无线通信环境中，随着4.5G、5G以及WiFi等技术的快速发展，高带宽、低延迟的新型业务需求日益增长。然而，现有的频谱资源已经难以满足这些需求，特别是仅依靠授权频段。为了解决这个问题，LTE-Advanced引入了载波聚合（carrier aggregation, CA）技术，它允许将多个连续或非连续的载波聚合，以提供更大的带宽。例如，在R10标准中，CA可实现高达100 MHz的带宽，支持下行1 Gbit/s和上行500 Mbit/s的速率。 随着技术进步，LTE-U（unlicensed）应运而生，它将LTE部署到非授权频段，如2.4 GHz和5.8 GHz，这些频段已经拥挤，包括WiFi、蓝牙和雷达等无线通信系统。因此，如何在非授权频段中实现LTE与WiFi的和谐共存和有效干扰管理成为一个关键问题。 目前，有两种主要技术用于解决共存干扰问题：基于listen-before-talk (LBT)和不基于LBT (non-LBT)。LBT类似于WiFi的CSMA/CA协议，要求在发送数据前先检测信道是否空闲。这种方法可以减少冲突，但可能导致频谱利用率下降，因为所有系统都需要进行检测。另一方面，non-LBT技术让LTE-U周期性地进入静默期，以增加WiFi发送数据的机会。 文献中提出了多种解决共存问题的方案，包括使用LBT和non-LBT策略。例如，基于空白子帧（ABS）的non-LBT方法是常见的，重点在于如何确定空白子帧的比例以确保公平性和系统性能。一些研究通过频谱侦听估算WiFi接入点的数量，或者基于排队论模型分析数据包时延，但没有提供具体的共存机制。还有研究关注如何调整ABS比例以实现公平性，但并未考虑网络的业务量负载或多元业务场景。 本文提出了一种基于强化学习的智能共存机制，特别是在使用ABS的LTE-U小基站和WiFi接入点的场景中。该算法称为QL-ABS，借鉴强化学习的经验，能更好地利用历史学习结果，以优化配置决策，改善系统的时延性能和用户满意度。与传统的动态配置ABS方法相比，QL-ABS能提供更好的在线性能，因为它在后续决策中利用了过去的学习经验，从而做出更合理的配置，适应变化的业务量负载。 系统模型包括一个宏基站、一个LTE-U小基站和一个WiFi接入点，以及Nl个SBS用户设备和Nw个WiFi终端。基站和接入点可能协同工作，以优化整个网络的性能。通过使用强化学习，该模型能够动态调整资源分配，以满足不同用户的实时需求，同时减少不同网络间的干扰，从而提高整体系统效率和用户体验。