没有合适的资源?快使用搜索试试~ 我知道了~
基于LSTM循环神经网络的故障时间序列预测_王鑫1
需积分: 0 6 下载量 128 浏览量
2022-08-03
16:03:31
上传
评论
收藏 935KB PDF 举报
温馨提示
试读
13页
摘要:有效地预测使用阶段的故障数据对于合理地制定可靠性计划以及开展可靠性维护活动等具有重要的指导意义。从复杂系统的历史故障数据出发,提出了一种基于长短期记忆(l
资源详情
资源评论
资源推荐
北 京 航 空 航 天 大 学 学 报
Journal of Beijing University of Aeronautics and Astronautics
收稿日期: 2017-05-08; 录用日期: 2017-08-11; 网络出版时间:
网络出版地址:
基金项目: 中国民用航空专项研究项目(MJ-S-2013-10);国防科工局技术基础项目(JSZL2014601B008);国家自然科学基金(NSFC NO.61602237)
*通讯作者: Tel.: 010-82317624 E-mail: wuji@buaa.edu.cn:
http://bhxb.buaa.edu.cn jbuaa@buaa.edu.cn
DOI:10.13700/j.bh.1001-5965.2017.0285
基于 LSTM 循环神经网络的故障时间序列预测
王鑫
1
,吴际
1,*
,刘超
1
,杨海燕
1
,杜艳丽
2
,牛文生
1,3
(1. 北京航空航天大学 计算机学院, 北京 100191;2. 丰台职业教育中心学校, 北京 100076;3. 中航工业西安航空计算技术研究所, 西安
710068)
摘 要:有效地预测使用阶段的故障数据对于合理地制定可靠性计划以及开展可靠性维护活动
等具有重要的指导意义。从复杂系统的历史故障数据出发,提出了一种基于长短期记忆(long short-term
memory, LSTM)循环神经网络的故障时间序列预测方法,包括网络结构设计、网络训练和预测过程实现
算法等,进一步以预测误差最小为目标,提出了一种基于多层网格搜索的 LSTM 预测模型参数优选算法,
通过与多种典型时间序列预测模型的实验对比,验证了所提出的 LSTM 预测模型及其参数优选算法在故
障时间序列分析中具有很强的适用性和更高的准确性。
关 键 词:长短期记忆模型;循环神经网络;故障时间序列预测;多层网格搜索;深度学习
中图分类号:O213.2;V37;TP18
文献标识码:A 文章编号:1001-5965.2017.0285
对于有高可靠性和安全性需要的复杂系统,
有效地预测使用阶段的可靠性指标是十分重要的。
目前,已有众多方法用来解决可靠性预测问题,
这些方法大致可以分为三类
[1]
:(1)基于故障机理
的方法(physics-of-failure, PoF),PoF 是一种根据
故障发生的内在机制和根本原因进行间接预测的
方法;(2)数据驱动的方法(data-driven, DD),DD
是一种应用统计学或者机器学习等技术手段对可
靠性指标进行直接预测的方法;(3)融合的方法,
这种方法是一种 PoF 和 DD 相结合的方法。近年
来,数据驱动的方法由于其便捷性和高效性等特
点,在实际可靠性预测中的应用日渐广泛
[2, 3]
。
故障时间序列,作为一个重要的可靠性指标,
能够展示故障的动态演化过程,并且已经被多种
数据驱动的方法预测,比如自回归移动平均
(autoregressive integrated moving average,
ARIMA)
[4]
、奇异谱分析(singular spectrum analysis,
SSA)
[5]
、支持向量回归(support vector machines
regression, SVR)
[6]
、人工神经网络(artificial neural
network, ANN)
[7]
等。由于可靠性数据通常不易获
取,已有的研究大多是面向组件级故障数据的,
比如文献
[7]
提供的柴油机涡轮增压器和汽车发动
机故障时间序列。这些数据表现为规则性很强的
曲线形态并且能够被单一模型很好地拟合和预测。
然而,对于系统级故障数据,比如文献[3]提供的
民航飞机整机故障时间序列,由于其复杂且不规
则的曲线形态,已有的单一模型很难达到理想的
预测效果
[8]
。为此,文献[8]提出了一种基于 SSA
和 SVR 的混合方法,该方法首先从原始数据中提
取故障特征成分然后分别建模和预测,得到了比
单一模型更好的实验结果。然而,混合方法的构
建过程复杂、人工依赖性强,不利于在实际中推
广和使用。
近年来,随着深度学习技术的不断发展,一
些深度学习模型逐渐被应用到时序数据的研究中。
深度学习模型是一种拥有多个非线性映射层级的
深度神经网络模型,能够对输入信号逐层抽象并
提取特征,挖掘出更深层次的潜在规律
[9]
。在众
多深度学习模型中,循环神经网络(recurrent
neural network, RNN)将时序的概念引入到网络结
构设计中,使其在时序数据分析中表现出更强的
适应性。在众多 RNN 的变体中,长短期记忆(long
short-term memory, LSTM)模型
[10]
弥补了 RNN 的
梯度消失和梯度爆炸、长期记忆能力不足等问题,
2017-10-13 14:05:10
http://kns.cnki.net/kcms/detail/11.2625.V.20171013.1405.003.html
2 北京航空航天大学学报
使得循环神经网络能够真正有效地利用长距离的
时序信息。LSTM 模型在不同领域的时序数据研
究中已有不少成功的应用案例,包括文字语言相
关的语言建模、语音识别、机器翻译
[11]
,多媒体
相关的音频和视频数据分析、图片标题建模
[12, 13]
,
道路运输相关的交通流速预测
[14]
,以及医学相关
的蛋白质二级结构序列预测
[15]
等。然而,在可靠
性领域,LSTM 模型的应用非常有限,特别是对
于故障时间序列预测这一研究问题,目前还未发
现相关研究。
本文针对系统级故障时间序列数据,提出了
一种基于 LSTM 循环神经网络的预测方法,包括
三层(输入层、隐藏层和输出层)网络结构的详细
设计,以及网络训练和网络预测的实现算法等。
在此基础上,以预测误差最小为目标,进一步提
出了一种基于多层网格搜索的 LSTM 模型参数优
选算法。最后,应用文献[3]提供的民航飞机故障
数据展开实验,并与 Holt-Winters、ARIMA 等多
种时间序列预测模型进行实验对比。实验结果展
示了所提出的 LSTM 模型及其参数优选算法在故
障时间序列预测中的优越性能。
本文剩余部分的组织形式为:第一章介绍了
相关理论和技术;第二章介绍了提出的 LSTM 预
测模型及其参数优选算法;第三章给出实验验证;
第四章做出总结并分析未来工作。
1. 相关理论和技术
本章简要介绍 LSTM 模型,包括前向计算方
法,基于时间的反向传播(back propagation
through time, BPTT)算法,Adam 参数优化算法,
以及相关的 RNN、GRU 模型。
RNN
f
h
t-1
x
t
h
t
y
t
RNN
y
t
x
t
图 1 RNN 网络(左)及隐藏层细胞结构(右)
Fig.1 RNN network (left) and cell structure in hidden layer
(right)
对于给定序列x
=(x
,⋯,x
),应用一个标准
的 RNN 模型(如图 1所示)
[16]
,我们可以通过迭
代公式(1)-(2) 计算出一个隐藏层序列
h
=
(h
,⋯,h
)和一个输出序列y
=(y
,⋯,y
),其中,
表示权重系数矩阵(比如
表示输入层到隐
藏层的权重系数矩阵),表示偏置向量(比如
表
示隐藏层的偏置向量),表示激活函数(比如 tanh
函数)。
ℎ
=(
+
ℎ
+
)
(1)
=
ℎ
+
(2)
尽管 RNN 能够有效地处理非线性时间序列,
但是仍然存在以下两个问题
[14]
:(1)由于梯度消失
和梯度爆炸的问题,RNN 不能处理延迟过长的时
间序列;(2)训练 RNN 模型需要预先确定延迟窗
口长度,然而实际应用中很难自动地获取这一参
数的最优值。由此,LSTM 模型应用而生。LSTM
模型是将隐藏层的 RNN 细胞替换为 LSTM 细胞,
使其具有长期记忆能力。经过不断地演化,目前
应用最为广泛的 LSTM 模型细胞结构如图 2 所
示
[16]
,其前向计算方法可以表示为:
=(
+
ℎ
+
+
)
(3)
=(
+
ℎ
+
+
)
(4)
=
+
ℎ(
+
ℎ
+
)
(5)
=(
+
ℎ
+
+
)
(6)
ℎ
=
ℎ(
)
(7)
LSTM
σ
h
t-1
x
t
f
tanh
h
t-1
x
t
z
σ
h
t-1
x
t
i
c
tanh
σ
h
t-1
x
t
o
h
t
y
t
c
t
c
t-1
c
t-1
图 2 LSTM 隐藏层细胞结构
Fig.2 LSTM cell structure in hidden layer
其中,、、、分别代表输入门、遗忘门、
细胞状态、输出门,和分别为对应的权重系
数矩阵和偏置项,和ℎ分别为 sigmoid 和双曲
正切激活函数。LSTM 模型训练过程采用的是与
经典的反向传播算法(back propagation, BP)原理
类似的 BPTT 算法
[17]
,大致可以分为四个步骤:
(1)按照前向计算方法(公式(3)-(7))计算 LSTM 细
王鑫,等:基于 LSTM 循环神经网络的故障时间序列预测 3
胞的输出值;(2)反向计算每个 LSTM 细胞的误差
项,包括按时间和网络层级两个反向传播方向;
(3)根据相应的误差项,计算每个权重的梯度;(4)
应用基于梯度的优化算法更新权重。
基于梯度的优化算法种类众多,比如随机梯
度下降(stochastic gradient descent, SGD)
[18]
,
AdaGrad
[19]
,RMSProp
[20]
等算法。本文选用的是
文献[21]提出的适应性动量估计算法(adaptive
moment estimation, Adam)。Adam 算法是一种有
效的基于梯度的随机优化方法,该算法融合了
AdaGrad 和 RMSProp 算法的优势,能够对不同参
数计算适应性学习率并且占用较少的存储资源。
相比于其他的随机优化方法,Adam 在实际应用
中整体表现更优
[21]
。
此外,LSTM 模型演化出了很多变体,其中
最成功的一种是文献[22]提到的门限循环单元
(gated recurrent unit, GRU)。GRU 模型是 LSTM
模型的简化版本,但是保留了 LSTM 模型的长期
记忆能力,其主要变动是将 LSTM 细胞中的输入
门、遗忘门、输出门替换为更新门和重置门,并
将细胞状态和输出两个向量合二为一。在实际应
用中,GRU 模型与 LSTM 模型具有很强的可比
性
[22]
。
2. 研究方法
根据系统级故障时间序列数据的特点,结合
第 1 章介绍的相关理论和技术,本章给出基于
LSTM 模型的故障时间序列预测方法,以及对应
的基于多层网格搜索的参数优选算法。
2.1. 基于 LSTM 的故障时间序列预测
考虑到单变量故障时间序列有限样本点的数
据特征,以及循环神经网络从简的设计原则,本
文构建 LSTM 预测模型的整体框架如图 3所示,
包括输入层、隐藏层、输出层、网络训练以及网
络预测五个功能模块。输入层负责对原始故障时
间序列进行初步处理以满足网络输入要求,隐藏
层采用图 2 表示的 LSTM 细胞搭建单层循环神
经网络,输出层提供预测结果,网络训练采用第
1 章提到的 Adam 优化方法,网络预测采用迭代
的方法逐点预测。
C
0
H
0
输入层
…
划分训练集、标准化、数据分割
输出层
…
原始的故障时间序列
与测试集对应的故障时间序列
迭代预测、反标准化
隐藏层
LSTM
1
LSTM
2
LSTM
L
…
C
1
H
1
C
2
H
2
C
L-1
H
L-1
X
1
X
2
X
L
P
1
P
2
P
L
网络训练
模型输出
理论输出
损失计算Adam优化
网络预测
图 3 基于 LSTM 的故障时间序列预测框架
Fig.3 LSTM based framework for failures time series prediction
2.1.1. 网络训练
网络训练主要以隐藏层为研究对象。首先在
输入层中,我们定义原始故障时间序列为
={
,
,⋯,
},则划分的训练集和测试集可
以表示为
={
,
,⋯,
} 和
={
,
,⋯,
},满足约束条件<和
, ∈ ℕ。然后对训练集中的元素
进行标准化,
采用经典的 z-score 标准化公式(均值为 0,标准差
为 1,表示为 zscore),标准化后的训练集可以表
示为:
={
,
,⋯,
}
(8)
=(
−
∑
n
⁄
)
∑
(
−
∑
n
⁄
)
n
⁄
⁄
(9)
满足:
1≤≤
,
∈ℕ
(10)
为了适应隐藏层输入的特点,我们应用数据
分割的方法对
进行处理,设定分割窗口长度取
剩余12页未读,继续阅读
那你干哈
- 粉丝: 27
- 资源: 289
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0