没有合适的资源?快使用搜索试试~ 我知道了~
基于强化学习的802.11ax上行链路调度算法.docx
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 175 浏览量
2023-02-23
20:02:43
上传
评论
收藏 607KB DOCX 举报
温馨提示
试读
15页
基于强化学习的802.11ax上行链路调度算法.docx
资源推荐
资源详情
资源评论
1. 引言
如今,无线局域网(Wireless Local Area Network, WLAN)的用户数正不断增长。除此之
外,物联网(Internet of Things, IoT)的迅猛发展也带来了大量需要接入无线网络的机器设
备,导致在有限的地理区域内存在许多的接入点(Access Point, AP)和更多的站点(STAtion,
STA)。同时,在物联网场景下,医疗、火警、交通等方面的传输业务相对于普通业务有更
高的服务质量(Quality of Service, QoS)要求,上传数据时需要保证这些业务的优先级和实时
性等。在上述的密集用户环境(dense user environments)中,来自相邻设备的干扰增加以及来
自信道争用的严重冲突导致网络性能下降,无法提供良好的用户体验。因此,IEEE 标准协
会(IEEE Standards Association, IEEE-SA)标准委员会于 2014 年 3 月批准了 802.11ax
[1]
协议以
提高每个用户的平均吞吐量并应对密集接入问题。802.11ax 的上行链路包括两种接入方
式:随机接入(Random Access, RA)和调度接入(Scheduled Access, SA)
[2]
。为了保证物联网设
备上传数据的准确性和传输的低延时,需要减少冲突,使用调度接入是更好的选择。本文
研究的重点是正交频分多址(Orthogonal Frequency Division Multiple Access, OFDMA)技术和
802.11ax 上行链路的调度接入问题。
调度接入算法并非新的研究方向,长期演进(Long Term Evolution, LTE)已经使用了
OFDMA 技术并且对调度问题进行了深入的研究
[3]
,调度算法包括首次最大扩展(First
Maximum Expansion, FME)、递归最大扩展(Recursive Maximum Expansion, RME)等
[4]
。使用
运营商频段的 LTE,可以进行时域和频域两个维度的调度,即可以对每个资源块(Resource
Block, RB)进行单独分配。802.11ax 则不行,因为它还保留了载波侦听多路访问/冲突避免
(Carrier Sense Multiple Access with Collision Avoid, CSMA/CA)技术。该技术已经固定了管
理帧、数据帧和帧间隔的时间长短,所以无法实现时域维度的调度。除此之外,802.11ax
上行链路调度的子信道资源,即资源单元(Resource Unit, RU)
[5]
的大小可变,使得 LTE 的调
度算法难以迁移到 802.11ax 中。
802.11ax 中上行链路的传输效率很大程度上取决于这些 RU 的调度方式。标准中提供
了灵活的框架,却没有定义任何调度算法,这给本文的研究带来了可能性。Bankov 等人
[6]
提出了一种通用的方法,可用于使现有的 LTE 调度器能适应 802.11ax 的特性,并证明
OFDMA 是在密集用户环境中提供高质量服务的关键技术。Wang 等人
[7]
针对实际的上行链
路 RU 调度问题,提出了两种实用算法:贪婪算法和递归算法,仿真结果表明递归调度非
常接近最优调度。
以上的研究均没有关注密集用户环境下的物联网场景,并且泛化能力不足。物联网场
景具有接入量大、实时性要求高、低功耗等特点,不同业务具有不同的 QoS 要求。针对这
个场景,本文提出一种基于强化学习的 802.11ax 上行链路调度算法。首先建立系统模型并
将 RU 调度问题转化为 0-1 背包问题;然后引入指针网络模型并使用演员-评论家(Actor-
Critic)
[8]
强化学习算法进行训练,增强算法的泛化能力;最后使用训练好的模型去调度 RU
资源,并在上行链路中进行仿真。仿真结果表明,在物联网场景下相比于经典的调度算
法,本文算法具有更好的表现,能够保证各个 STA 的 QoS 要求和公平性,并且具有更好
的稳定性和用户体验。
2. IEEE 802.11ax 的上行链路
IEEE 802.11ax 是一项 WLAN 标准,其标准草案由 IEEE 标准协会的 TGax 工作组制
定。802.11ax 制定之初所关注的就是密集用户环境,其设计思想与以往的 802.11 标准存在
差异。由于非授权频段的资源有限,因此为了提高资源利用率从而克服密集接入问题,引
入了 OFDMA,双向多用户多输入多输出(Multi-User Multiple-Input Multiple-Output, MU-
MIMO)等技术,并采取了最高支持 1024-正交振幅调制(Quadrature Amplitude Modulation,
QAM)的调制方式,基本服务集(Basic Service Set, BSS)着色等措施
[9]
。
802.11ax 标准中的信道被划分成若干大小为 78.125 kHz 的子载波(tone)。一定数量的
子载波构成了标准中的 RU。根据子载波数的不同,RU 可以分为 7 种,它们分别为:26
tones,52 tones,106 tones,242 tones,484 tones,996 tones 和 2×996 tones。因此,OFDMA 将现有
的 802.11ax 信道(大小包括 20, 40, 80 和 160 MHz)划分为一个个包含特定数量子载波的
RU。如图 1 所示,20 MHz 信道可以被划为若干大小不同的 RU,不考虑 MU-MIMO 的情
况下最多可容纳 9 个 STA 同时上传数据。如何分配这些 RU 给各个 STA 的方案并未在标
准中定义,这为找到改善频谱效率的优化调度算法提供了可能性。
图 1 使用各种大小的 RU 划分 20 MHz 的信道
下载: 全尺寸图片 幻灯片
如图 2 所示是实际系统中的 802.11ax 上行链路调度接入过程
[10]
。按照时间顺序,AP
总共会向所有 STA 发送 3 个触发帧以获取特定的反馈信息或进行资源调度。首先,AP 会
发送类型为缓存状态报告轮询(Buffer Status Report Poll, BSRP)的触发帧 1,请求各 STA 反
馈缓存状态报告(Buffer Status Reports, BSR)信息,其中包含调度所需的缓存数据量和 QoS
值。然后,AP 会使用调度算法计算每个 STA 应该如何分配 RU。再发送多用户请求发送
(Multi-User Request To Send, MU-RTS)帧,即触发帧 2,来实际分配 RU 资源,从而避免上
行链路冲突的发生,尽可能提高每个用户的吞吐量。各 STA 在接收到该帧后需要反馈准许
发送(Clear To Send, CTS)帧,告知 AP 已知晓并认可当前的资源分配
[11]
。AP 接收到 CTS 后
会接着发送触发帧 3,通知各 STA 开始在对应的 RU 上进行上行链路传输。值得注意的
是,由于 802.11ax 的上行传输是基于帧的,所以当存在不同步的情况时,需要在数据帧最
后添加 PAD。最后,当上行链路的数据传输完成后,AP 会向各 STA 发送多站点块确认
(Multi-Station Block Acknowledgement, MS-BA)帧进行确认。
图 2 基于 OFDMA 的 802.11ax 上行链路调度接入过程
下载: 全尺寸图片 幻灯片
常用的调度算法有轮询算法和比例公平算法。Filoso 等人
[12]
设计了一种基于比例的资
源分配算法(Proportional-based Resource Allocation, PRA),该算法利用各个 STA 上传的
QoS 信息和缓存数据量进行有效的 RU 分配,并同时考虑了优先级和公平性,但其算法结
构固定,无法应对更为复杂的网络环境。而 Bai 等人
[13]
提出了一种自适应 STA 分组算法,
该算法使用基于 BSR 的两阶段机制来克服 IEEE 802.11ax 面对的密集网络挑战。自适应分
组算法虽然能够利用分组来有效避免冲突,减少系统能耗。但是其分组方案较为复杂,且
每个分组会轮流使用信道,这导致它只能较好地保障公平性和组内优先级排布,而缺乏组
与组之间优先级的保障。本文所提调度算法旨在将自适应 RU 调度问题抽象成背包问题,
并使用指针网络模型和强化学习算法予以解决。最终让 AP 合理分配 RU 资源给各个
STA,实现优先级和公平性的双重保障,并具备较强的泛化能力和调节能力。
3. 基于强化学习的上行链路调度算法
剩余14页未读,继续阅读
资源评论
罗伯特之技术屋
- 粉丝: 3542
- 资源: 1万+
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功