在复杂楼层背景下，一种基于深度强化学习的目的楼层预约调度算法的多智能体电梯群控系统的研究.zip

在复杂楼层背景下，一种基于深度强化学习的目的楼层预约调度算法的多智能体电梯群控系统的研究 第一章 绪论 1.1 研究目的及意义 随着经济和科技的飞速发展，电梯工业也取得了很大的进步，先进的派体策略和控制方式都被应用到电梯群控系统中。当前电梯客流信息管理模式绝大多数还是采用传统的派梯方式，即二次输入模式。乘客在候梯大厅外部按键选择上行或者下行方向，进入电梯厢后再选择目的楼层。这种方式，在进入电梯厢之前，乘客的目的楼层不确定，目的楼层的滞后性和不确定性，对乘客的候梯和候梯时间的影响误差较大，导致派梯的效果和性能欠佳。 伴随着传统电梯群控系统结构的改进，出现了一些新型的电梯控制系统，如双层轿厢电梯的群控系统、多轿厢电梯的控制系统和目的楼层预约呼梯群控系统。目的楼层预约呼梯群控系统将上行/下行按钮和选层按键合二为一，将候梯大厅的上下行按钮省去，取而代之的是可以选择具体楼层的全数字键盘。乘客只需在数字键盘中选择要前往的目的楼层，电梯系统在接收到乘客的请求之后，通过系统的派梯调度算法计算出最优的派梯策略，在候梯大厅的数字键盘显示系统给出的派梯信号，通知乘客到指定电梯处等待，引导乘客合理乘梯。 目前，国内外对目的楼层预约调度算法的研究还处于起步阶段。本文提出了一种基于深度强化学习的目的楼层预约调度算法，为让电梯调度算法在调度时间最短和算法适应性方面具备更好表现，在目前主流的电梯调度算法 基础之上，提出对调度环境和调度目标2个方面进行统一建模的基于强化学习DQN的电梯智能调度算法。让调度电梯在不断地和环境交互学习过程中逐渐学习得到最优电梯调度策略，与基于具体环境建模的相关电梯调度算法进行对比实验，基于DQN的调度算法具有建模简单规范、适应性强和控制目标多样，效率更高的优势，对比 DQN算法与部分强化学习算法 在电梯调度中的优劣，实验结果表明，DQN算法具备较好的调度性能。 关键词：智能调度；电梯调度算法;强化学习；神经网络;深度强化学习；DQN 1.2本文的主要内容与章节安排 本部分在内容调整完以后最后写出。 .第二章 电梯调度本身要面临的环境 2.1 电梯群控系统概述 1.定义：在建筑设计中，通常将多台电梯以并列或者对列形式配置在一起，构成电梯群，并对其实施群控制，集中为大楼提供服务；也就是将安装在建筑物内的3台或3台以上的一组电梯作为一个有机整体，使用一个自动控制系统调度每一台电梯运行，这就是电梯群控系统(Elevator Group Control System，简称EGCS)。 2.特点：EGCS是一个实时性非常强的系统，需要不断收集电梯群状态信息（当前位置，运行方向，轿厢负荷等）和层站召唤信息，依据一定派梯策略，选择最合适电梯，去应答层站召唤。[19] 3.目的：提高垂直交通系统运行效率，提供较短候梯时间和运行时间为乘客提供服务，提高对乘客服务质量,减少能耗。[19] 4.研究背景：传统群控算法只有一个目标，即最小候梯时间。现代高层建筑一些特定交通模式下，不可能要求每部电梯服务每个楼层，因为这样会使每一部轿厢在其运行过程中停站数量大大增加，使电梯运行周期变长，系统总体性能随之变差。因此电梯群控技术研究具有重要现实意义。[20] 5.电梯服务过程描述：在随机时间和楼层，乘客随机到达电梯前厅，发出上行或下行层站呼叫，直到乘客进入轿厢按下轿厢呼叫按钮之前，其目的层是不确定的，而调度程序必须以一种基于全局系统优化方式,通过选择轿厢运动方向，对所有指派给它当前方向上的层站呼叫提供服务。[17] [21] 6.电梯群调度问题实质：一个在变化环境下的在线调度、资源配置及随机最优控制的组合优化问题，对该问题复杂性研究表明， 电梯群调度问题属于 NP-hard 问题。电梯指派发生时，重要性能指标是乘客平均候梯时间、系统服务时间和系统响应时间。电梯调度目标是对群控系统时间序列性能指标优化。[22] 2.2 电梯群控系统特性 电梯群控系统特性主要表现为不确定性、信息不完备性、扰动性、多目标性几个方面。[23]群控系统归根结底属于若干电梯之间任务分配及调度问题，复杂程度由系统所运行环境与自身特性所决定。 1.电梯运行过程中包含着许多不确定性，体现在以下几个方面：呼梯信号产生时间和发生层数不确定、各层站候梯人数不确定、乘客目的楼层不确定。 电梯交通系统中乘客需求产生具有随机性，这种随机性主要体现在乘客到达层站时间随机、乘客所在起始层随机、乘客目的层随机等，但同时这些随机性也具有一定约束，例如在上行高峰模式下，乘客起始楼层大多数稳定在大厅层站位置；在上班时间范围，选择某一层作为目的层的人数基本稳定。因此电梯交通系统随机性表现为具有一定规律随机性(可以通过随机图形化解决)。 这些不确定因素对群控系统调度派梯、预测时间等造成直接影响，群控算法目标就是使控制系统在不确定性因素存在情况下，给出最优控制效果。 2.群控系统不完备性表现在：不能够准确获取当前轿厢中乘客数量；乘客在进入轿厢之前没有输入目标层信息，做出派梯策略所依赖乘客数据信息不完备。 3.群控系统中扰动可以出现在任意时间，例如：乘客输入错误呼梯请求，需取消错误输入并进行新呼梯请求；乘客在出入轿厢时保持较长时间开门状态，使得该时段内派梯策略不能达到预计服务效果等。 4.群控系统含有若干控制目标，各控制目标之间联系相互交错，所以设计群控系统时需对控制目标进行综合考虑，控制目标表现形式多样化，主要包含以下几个方面： a.平均候梯时间短。候梯时间是指产生乘梯需求开始，至群控系统指派的轿厢到达该乘客所在位置，响应其服务请求时所耗费时间。相关资料证明，乘客在等候电梯到达时心理焦虑指数与等候时间长短成正比，当等候时间超过一分钟，其心理焦虑度会快速增加。候梯时间平均值是衡量整个电梯群控制性能优劣重要指标，体现群控系统作为整体，对召唤请求服务水平。 b.平均乘梯时间短。乘梯时间是指乘客从起始位置进入轿厢开始，至到达终点位置所消耗时间。乘梯时间长短同样会影响乘客舒适度，乘坐过程中轿厢频繁开关门，可能导致乘坐至顶层乘客较为焦虑，因此乘梯时间也应维持在合理范围之内。 c.维持较高乘客输送能力。输送乘客是电梯群控本职任务，需要对各种不同客流交通情况做出细致分析，在任何情况下均能做出合适派梯策略，使乘客运输能力始终保持在较高水平。例如在上行高峰时段电梯上行至最高层之后，无论是否有呼叫请求，均自动返回底部楼层等候，使得下一批乘客到达时不必经历过长等候时间。(次要目标，高级电梯自然是以结果最快为准，插队算法另计) d.保持适中轿厢拥挤度。轿厢内过度拥挤同样影响乘客乘梯满意度，而且会加重轿厢负荷，带来更大机械磨损。(次要目标。高级电梯) e.系统能耗较低。电梯能耗与所采用硬件、机械结�