论文研究-基于注意力机制的CNN-LSTM模型及其应用.pdf
需积分: 50 108 浏览量
2019-09-06
15:43:30
上传
评论 16
收藏 914KB PDF 举报
计算机工程与应用
www.ceaj.org
Computer Engineering a nd Applications计算机工程与应用
2019，55（13）
1 引言
时间序列一般定义为依据发生时间的前后顺序，排
列相同统计指标的数值所形成的有序集合。时序预测
具有重要的应用价值，是近年来热门研究课题之一
[1]
。
时间序列数据
[2]
具有时序相关性，并且时序特征在时间
维度上具有不同重要程度，某些子序列的特征重要程度
基于注意力机制的 CNN-LSTM模型及其应用
李 梅
1，2
，宁德军
1
，郭佳程
1，2
1.中国科学院 上海高等研究院，上海 200120
2.中国科学院大学，北京 100049
摘 要：时序数据存在时序性，并且其短序列的特征存在重要程度差异性。针对时序数据特征，提出一种基于注意
力机制的卷积神经网络（CNN）联合长短期记忆网络（LSTM）的神经网络预测模型，融合粗细粒度特征实现准确的时
间序列预测。该模型由两部分构成 ：基于注意力机制的 CNN，在标准 CNN网络上增加注意力分支，以抽取重要细粒
度特征；后端为 LSTM，由细粒度特征抽取潜藏时序规律的粗粒度特征。在真实的热电联产供热数据上的实验表明，
该模型比差分整合移动平均自回归、支持向量回归、CNN 以及 LSTM 模型的预测效果更好，对比目前企业将预定量
作为预测量的方法，预测缩放误差平均值（MASE）与均方根误差（RMSE）指标分别提升了 89.64%和 61.73%。
关键词：注意力机制；卷积神经网络（CNN）；长短期记忆网络（LSTM）；时间序列；负荷预测
文献标志码：A 中图分类号：TP 391；TK01 doi：10.3778/j.issn.1002-8331.1901-0246
李梅，宁德军，郭佳程 .基于注意力机制的 CNN-LSTM 模型及其应用 .计算机工程与应用，2019，55（13）：20-27.
LI Mei, NING Dejun, GUO Jia cheng. Attention mechanism-based CNN-LSTM model and its application. Computer
Engineering and Applications, 2019, 55（13）：20-27.
At tention Mechanism-Based CNN- LSTM Model and Its Application
LI Mei
1，2
, NING De jun
1
, GUO Jiacheng
1，2
1.S hanghai Advanc ed Research Institute, Chinese Academy of Sciences, Shanghai 2 00120, China
2.University of Chinese Academy of Sciences, Beijing 100049, China
Ab stract：Time series have temp oral property, an d the characteristics of its short se quences are different in im portance.
Aiming at th e characteristics of time series, a neural network prediction model based on Convolution Neural Network
（CNN）and Long Short-Term Memory（LSTM）is proposed, w hich combines coars e and fine grain features to achieve
accurate tim e series prediction . The model consists of two parts. CNN based on attention mechanism adds attention
bra nch to standard CNN network to ext ract important fine-grained features. The back end is LSTM, which e xtracts the
coarse-grained features of the hidden time serie s from fine-grained features. Experiments on real cogeneration heat load
dataset demonstrate that the model is better than the autoregressive inte grated moving average, support vector regression,
CNN an d LSTM models. Compared with the pre-determine d method currently used by enterprises, the Mean Absolute
Scaled Error（MASE）and Root Mean Squa re E rror（RMSE）have been increased by 89.64% a nd 61.73% respectively.
Key words：attention mechanism ; Convolution Neural Network（CNN）; Long Short-Term Memory Network（LSTM）;
tim e series; load forecasting
基金项目：中国科学院战略性先导科技专项（No.XDA06010 800）。
作者简介：李梅（1993—），女，硕士研究生，研究领域为数据挖掘、智能信息处理，E-mail：limei@sari.ac.cn；宁德军（1972—），男，博
士，正高级工程师，研究领域为数据挖掘、软件工程；郭佳程（1995—），男，硕士研究生，研究领域为数据挖掘、区块链。
收稿日期：2019-01-17 修回日期：2019-03-11 文章编号：1002-8331（2019）13-0020-08
CN KI网络出版：2019-04-18, http://kn s.cnk i.net/kcms/detail/11.2127.tp.20190 416.1717.016.html
20
评论0
最新资源