论文研究-基于时空优化深度神经网络的AQI等级预测.pdf

所需积分/C币:8 2019-09-08 07:54:30 731KB .PDF

针对现有空气质量预测方法精度偏低、对噪声敏感等问题,提出一种基于堆栈降噪自编码(Stacked Denoising Auto-Encoders,SDAE)模型的空气质量等级预测方法。首先以武汉市历史空气质量和气象监测数据为研究对象,建立SDAE模型逐层学习原始数据的特征表达,并将最后一层特征与分类器连接完成预测模型的调优。同时改进多参数网格搜索法,选取了最优的超参数组合。然后在测试集上进行预测,并用预测值与实际值之间的平均绝对误差和均方误差等指标作为预测性能评价标准。通过与其他网络模型的实验对比,证明了SDAE模型对于空气质量等级具有较优的预测性能。最后从时间、空间、时空三个角度对该模型输入进
董婷,赵俭辉,胡勇:基于时空优化深度神经网络的等级预测 结束后,最后一个隐含层输出即为最终代表原始输入的 和 构成了第二个,依次类 特征 推A(表示第个学习到的特征最后一个隐含 基于 的空气质量预测模型 层的输出作为下一步操作的输入。由于全国各地出台 模型应用 的空气污染预警方案大多以等级作为预警级别的 关于预测模型输入,由于某一天的空气质量,除了划分依据,因此本文在堆栈降噪自编码网络的最顶层连 与前一天的空气状况和气象因子有关,与预测当天的气接一个分类预测器,把学习到的最终特征作为监督算法 象条件也有较强的相关性,加之现有气象预报准确率较的输入,以此实现等级预测功能。最常川的多分类 高,可为空气质量预测提供有效参考。本文建立的器是 和多逻辑冋归分类器。本文预测模型中, 模型输入与文献类似,每条数据分为三部分:六个等级之间无重合,所以选用 分类器。用于 第一部分为某天的值空气质量等级各污染物因训练分类器的样本集是堆栈降噪自编码提取到的特征 子大小等当空气质量数据:第一部分是当天气象数集对于代价凸函数通过选代算法得到全金局最优解之 据;第三部分是预报的第二天气象数据:以年月后就可以得到训练好的 分类器 日为例,输入数据格式如表所示。输出数据为预测 模型训练 的第天空气质量等级。预测结果与记录的实测数据 该预测模型的训练过程分为两步 进行对比,可用于分析预测算法的性能。 无监督逐层预训练。每层作为一个模型 表输入数据格式 进行训练,目的是最小化上层输出在该层的重构误差 ()当天空气质量数据 每次训练·层,只有当第i层训练完成后,才可以训练 质量等级 第i+1层。 )有监督微调。当每一层都完成训练后,将最后 ()当天气象数据 最高平均最低最高平均最低最大平均最小最大一个隐含层的输出作为顶层有监督层的输入,有监督的 温度温度温度露点露点露点湿度混度湿度气压 练 分类器,并使用反向传播算法对整个网络 进行微调,使得学习到的特征更优 平均最小最大平均最小最大最小风位降水量 气压气压能见度能见度能见度风速风速方向 预测模型设置 测性能指标 ()预报的第二天气象数据 本实验测试数据中,有接近一半的空气质量为 最高平均最低最高平均最低最大平均最小最大 温度温度温度露点露点露点湿度湿度湿度气压 级,通过对全国各地空气质量等级历史数据的分布统 计,这与现实情况是相符的。对于这样的测试集,即使 平均最小最大平均最小最大最小风位 不训练学习模型而直接把每一天空气质量都预测为 气压气压能见度能见度能见度风速风速方向降水量 级,也能得到的准确率,因此仅用准确率来判断预 测模型的性能好坏显然是不合适的。本文在训练模型 综上所述,木文所建立的等级预测模型结构如时,采川平均绝对误差( 和 图所示,该模型的前半部分由多个堆叠而成。输均方误差( )作为预测精度的 入层和 构成了第一个, 评估标准,其中平均绝对误差的计算公式如下: 62 图 颜测模型 计算机工程与应用 MALE :-C ()图中红点)附近进行更精细的二次搜索,通过一次搜索 可以找到更优的超参数组合(如右图中绿点)。由于参 均方误差的计算公式如下 数组合众多,本方法相当于牺牲了遍历时间,从而换得 MSe=l 了较高的准确率。本文网格参数的选取参考了文献 中列出的部分典型值,详见表。通过二次网格 以两个公式中,n为数据长度,也就是测试集的搜索算法,最终可以确定当隐含层层数为、节点数为 天数,x为第天空气污染指数等级真实值,为第且每层输入川噪率为时, 预测模型的预测性 天空气污染指数等级的预测值。 能最优。 超参数选取 根据表输入数据格式 预测模型输入层神 深度神经网络中,选取合适的超参数是比较困难但经元个数为;最优隐含层层数和隐层神经元个数经 义极其重要的一步这直接影响到神经网终模型的性次同格搜索法确定为和预测输出为空气质量指数 能,但是目前理论十还没有一种科学的和普遍的超参数的个等级,因此输出层神经元个数为。综上,本文建 确定方法以往研究对于深度网络超参数的逃取基立的堆栈降噪自编码预测模型的网络结构为 本都带有经验性、偶然性,对于网络结构的确定通常会 作为一个独立的环节,而未考虑其他超参数的影响。但 堆栈降噪自编码网络对毎层输入数据加入噪声, 是深度神经网络中网络层数隐含层节点数、学习率训编码器通过学习去除噪声可获得输入数据更县鲁棒性 练迭代次数等参数之间其有相关性,且大多时候没有明的特征表达。实验证明预报性能与每一层加入的噪声 显规律。为了迷免参数选择的盲H性和随意性,本文改大小有关,在最优加噪率,使得平均绝对误差和均方 进多参数网格搜索法进行叁数选取。该方法先对每个误差达到最小。用二次网格搜索法确定的网络模型超 参数选取典型区间、典型步长的值,将超参数组合所在参数中,最优噪声为 为了验证该参数选取的准确 的空间维度划分为合适的网格,然后遍历网格中的每 性,在同等条件下选取不同大小的噪声依次进行实验。 个点并比较择优,初步得到若干个较优的网格点。该方结果如图所示,预测误差类似丁一条上开口的抛物 法的第二步是在找到的较优超参数网格点附近,逝行基线,且在和处误差值最小,与加噪率为(不加噪 于更细网格的一次遍历,得到若干更优的参数组合,再 时相比,性能有明显提升 通过比较选取最优的一组。这种参数选取方法在很大 程度上避免了局部最优问题,可以保证选取的参数组合 比较理想,从而避免较大误差 图以二维网格为例演示了二次搜索超参数组合 的过程,多维网络与此相似。本文设计自动测试程序, 按网格搜索方式测试每·组超参数组合并记录 。在一次搜索完成后,在表现良好的超参数(如左 输入加噪率 图加入不同噪声后的预测性能 基于的时空优化策略 考虑到输入数据在时间与空间方面具有关联性, 本文从时间、空间、时空结合的角度提出了四种相应 次搜索 次搜索 的优化策略,为深度神经网络模型的学习提供更多相关 图二维树格二次搜索 信息 表超参数典型值 超参数 描述 典型值 隐含层数量 每个隐含层的神经元数(假设每个隐含层相同 学习率(假设每个隐含层相同 训练次数,个等于使用训练集中的全部样公训练一次 批大小,即每次在训练集中取出的样木个数 加噪率,每次输入训时,随机扔掉的隐含层节点的百分比(假设每个隐含层相同) 董婷,赵俭辉,胡勇:基于时空优化深度神经网络的等级预测 时间优化( ):当前时刻 全局时空优化( 的空气质量会受到过去一段时间的影响,在污染物扩)的文针对时间优化模型确定了基于前 散条件差的情况下,时间影响范围相应变大。从模八天斆据的最佳时间优化粒度;针对空间优化模型,确定 识别角度来讲,增大时间粒度有可能发现和提取出更了基于周边城市数据的最佳空间优化粒度。基于这 多有用的特征。为了确定合适大小的时间粒度在基两种优化策路的启发,从时空结合的角度对模型进行 于前一天数据建立的预测模型基础上,又分别建优化。即预测武汉市第i-1天的空气质量等级时,输 立时间属性为天和天的模型,并为每种模型选取二入数据包括武汉长沙、南昌、合肥四个城市前两天的 次网格搜索结果中预测误差最小的前组进行统计。空气质量和气象因子历史数据,以及预测当天的气象 实验结果如图所示,时间粒度为/天的模型,不论最预报数值。基于这种优化策略,建立 时空 优、还是平均 ,预测误差均比时间优化模型。 粒度为天和天的模型小,因此以天为时间划分基 局部时空优化( 数对模型输入数据进行优化调整,建立 ):针对全局时空优化过程屮可能引入的关联度较 优化模型 低数据,提出一种局部时空优化策略,即选取时间和空 闾上的关键信息,排除关联度低的输入信息对模型造成 的干扰,建立 局部时空优化模型。貝体而 言,输入数据包括武汉市第i-1天的空气质量和气象 因子数据(不包括周边城市第i-1天的信息),武汉、 长沙、南昌、合肥四个城市第天的空气质量和气象因 子数据,以及预测当天的气象预报数据。 天 前天 前天 图展示了 两种时空 时间粒度天 优化模型的输入区别 认为周边城市时间 图不同时间粒度下的时间优化模型性能 较远的数据对于预测武汉市空气质量的影响不大,因此 空间优化( ,):受气象条件不予考虑。 影响,空气污染因子具有扩散性,H标城市的空气质量 会受到周边区域影响。因此基于单个城市的空气质量 第讠-1天! 预测存在一局限性,需要对模型进行空间上的 第i天 优化。以武汉为屮心点,对周边城市按直线距离进行排 第t+1天 序,山近至远依次为南昌、长沙、合肥、郑州等(山于数据 来源限制,本文只考虑省会城市),并针对武汉及周边最 武汉长沙南昌合肥 近的 个城市的数据分别建立不同空间粒度下 图仝局与局部时空优化模型输入数掂区别 的优化模型,为每种模型选取二次网格搜索结果中预测 误差最小的前组进行统计。实验结果如图所示,可 实验与结果分析 以看出,空间粒度为天的模型预測误差各指标均为最 实验数据预处理 小,囚此以周边城市为空间粒度对模型输入数据进行 本文对武汉市年月至年月日均空气 优化调整,建立 空间优化模型,此时模型输入质量相关数据和气象数据即污染物扩散条件信息进行 除了武汉自身数据外,还包括长沙南昌、合肥三个城市收集选择年月至年月的条数据作 的相关数据 为深度神经网络的训练数据,剩余的条数据作为测 试数据。 影响空气质量的因子众多,且每个因子具有各自的 物理性质和量纲,如果直接拿这些数据进行分析,会影 响结果的准确性。为便于网络训练,防止计算过程出现 ¨过拟合”等问题,需先对原始数据进行归一化处理,让 不同影响因子处于同一数量级,以便进行更精确的数据 分析。本文采用 标准化方法,也就是对原始数 空间粒度(周边城市数) 据的各属性进行一种线性变换,经过标准化之后的数据 图不同空间粒度下的空间优化模型性能 处于,之间,标准化函数如下 计算机工程与应用 min 预测误差最小的前组,并与优化之前的相比, max- min 得到如下箱形图。从左至右分别是优化前的 模 其中x是归一化之前的数据,x是归一化之后的数据 型、基于时间优化策略的 模型、基于空间优化 min是x所属影响因子中所有数据的最小值,max是x 策略的 模型、基于全局时空优化策略的 所属影响因子中所有数据的最大值 模型和基于局部时空优化策略的 对训练集做归·化后,相应的也要对测试数据进行一型,五种网络输入层节点分别为 模 同样的标准化,从而保证测试数据与训练集同比例缩 放。但是人多数空气质量和气象数据的值没有确切边基于图和图的实验对比,发现以下结果。 界,对于个别小于训练集最小值或大于最大值的测试数 据,为了其归·化能落在,区间内,在上式基础上增° 加如下限制: r> max 不同网络模型预测性能对比 eat 为了验证基亍堆栈降噪自编码网络模型的颜测效 图四种优化策略平均绝对误差对比 果,将优化前的模型与传统神经网络( )、探度信念网络( )以及堆栈自编码网终( )相比。在对比实验中,对所有网络模型结构超参 数的确定,统·采用上文提出的二次网格搜索法,得到 最优参数组合。为了使对比实验更合理,消除仅对比最 优预测结果可能导致的偶然性,本文对各终模型分别 选取了二次网格搜索结果中预测误差最小的前组, 图四种优化策略均方误差对比 对比其总体性能分布。平均绝对误差和均方误差箱形 图如图、所示,的最优预测性能、平均预测性能 本文提出的四种优化策略中,时间优化、空间优化 和模型稳定性均明显优于其他几种网终。 和局部时空优化这三种模型均比优化前的模型 预测性能更优。其中基于空间优化的模型性能提升最 大,局部时空优化次之,时间优化性能提升较小。分析 原因,由于本文实验数据为H均数据,以天为单位进行 空气质量预測时,在时间上的关联性较差,不如空 间关联性紧密,因此基丁空间优化策略的性能提升更加 明显。 基于全局时空优化的模型性能较差,原因是在输入 数据中引入了关联度较低的数据,对模型提取输入特征 图四种网络模型平均绝对误差对比 造成了千扰,致使预测性能下降。基于局部时空优化的 模型性能好于全局时空优化,但仍低于空间优化,原因 仍在于以天为单位数据的时间关联性较差,从而影响了 局部时空优化的性能 优化模型与其他预测方法的对比 采用基丁空间优化策略的 模型作为预测 模型,在测试数据集上进行验证,并对所有预测值和实 际值的差值进行统计,结果如图所示。在天的浏 图四种网络模型均方误差对比 试数据中,有天的空气质量等级能被准确预测, 不同优化策略下 模型性能对比 天会被错误预测为相邻等级,只有天的预测误差为 针对本文提出的四种空气质量预测时空优化策略,个等级,没有级及以上误差,总体预测性能较优 分别建立对应的预测模型。与之前实验类似,为了实验 文献分别用当前常用的空气预测方法:综合指 结果的可靠性,每种优化模型选取二维网格搜索结果屮标法( )和逐步回归 董婷,赵俭辉,胡勇:基于时空优化深度神经网络的等级预测 变差 ()以拟合率准确率和不同误差级数占比作为预 测性能评价标准,依次与综合指标法和逐步μ归法预测 模型进行对比,证明了本文提出的基丁空间优化的 模型预测性能更好。 逦 系-- 随着今后更多监测数据的积累,可以得到空气质量 各等级更允足的数据,从而使深度神经网络模型学习到 时间天 每个等级更具代表性的特征表达,以此对各级污染天气 图预测值与实际值的误差统计 做出更加精准的预测。此外,如果基于更大量样本的学 法 ,)建立了等习,例如以小时为单位的污染物和气象数据,以及省会 级预报统计模型其中采用了拟合率作为预测性城市之外的更多城市的监测数据将会得到精度更高的 能评价指标即将等级级认定为空气质量好,预测结果,尤其会提升时空模型性能。 级为空气质量差,正确预测到第二天空气状况(好 与差)的天数占总天数的比例。采用了各误差级参考文献: 数占比作为评价指标,即预测级数与真文级数之差的绝 对值分别为(准确率)、、、及以上的天数占总天数 的比例。本文采用完全一样的评价指标,与文献的 () 方法进行对比,结果如表所示。可见本文提出的基于 空间优化的 预测模型的拟合率高于,准 确率高于模型,其余误差级数所占比例整休低于 模型。与优化前的模型相比 的 拟合率和准确率均有较明显的提升,同时误差级数占比 减少,尤其是误差为级的天数从天缩减为天,减少 半 表儿种预测方法的性能对比 模型拟合率准俯误差误差误差 级率级率级率 结论 本文提出一种基于时空优化的堆栈降噪自编码空 气质量预测模型。利用无监督学习算法的优势,自动对 有噪声的输入数据逐层提取特征,通过训练学习建立起 空气质量等级与污染物因子浓度、气象数据之间的关系 模型。采用武汉地区空气质量数据进行实验分析,通过 实验对比,得出以下结论 ()以 作为预测性能评价标准,证明了 基于 的空气质量等级预测模型比 卢辉斌,李丹丹,孙海艳优化神经网络的混沌时 种网络模型的预测性能更优、结果更稳定。 间序列预测计算机工程与应用, ()基于时间、空间、局部时空三种优化策略的 奚雪峰,周国栋面向自然诘言处理的深度学习研究自 预测模型与优化之前相比,性能均有提升,其屮 动化学报, 基于空间优化的模型性能最优。从全局时空优化实殓 吴财贵,唐权华基于深度学习的图片敏感文字检测 结果可以看出,如果输入引入关联度较低的数据,会 计算机工程与应用 对模型的特征提取造成干扰,导致预测效果较优化前 (下转页)

...展开详情
img
  • 至尊王者

    成功上传501个资源即可获取

关注 私信 TA的资源

上传资源赚积分,得勋章
最新资源