没有合适的资源?快使用搜索试试~ 我知道了~
LSTM循环神经网络+故障时间序列预测
需积分: 0 0 下载量 192 浏览量
2022-12-03
00:43:54
上传
评论
收藏 1.09MB PDF 举报
温馨提示
试读
13页
LSTM循环神经网络+故障时间序列预测
资源推荐
资源详情
资源评论
2018
年
4
月
第
44
卷
第
4
期
北京航空航天大学学报
Journal of Beijing University of Aeronautics and Astronautics
April 2018
Vol. 44 No. 4
收
稿日期
: 2017-05-08;
录用日期
: 2017-08-11;
网络出版时间
: 2017-10-13 14: 05
网络出版地址
: kns. cnki. net /kcms/detail /11. 2625 . V. 20171013. 1405. 003. html
基金项目
:
中国民用航空专项研究项目
( MJ-S-2013-10 )
;
国防科工局技术基础项目
( JSZL2014601B008) ;
国家自然科学基金
( 61602237)
*
通
信作者
. E-mail: wuji@ buaa. edu. cn
引
用格式
:
王鑫
,
吴际
,
刘超
,
等
.
基于
LSTM
循环神经网络的故障时间序列预测
[J].
北京航空航天大学学报
,2018 ,44 (4 )
: 772-
784. WANG X ,WU J ,LIU C ,et al. Exploring LSTM based recurrent neural network for failure time series prediction[J]. Journal
of Beijing University of Aeronautics and Astronautics,2018 ,44 (4 ) : 772-784 (in Chinese) .
http:
∥
bhxb. buaa. edu. cn jbuaa@ buaa. edu. cn
DOI: 10. 13700 /j. bh. 1001-5965. 2017. 0285
基
于
LSTM
循环神经网络的故障时间序列预测
王
鑫
1
,
吴
际
1,*
,
刘
超
1
,
杨
海燕
1
,
杜
艳丽
2
,
牛
文生
1,3
( 1.
北
京航空航天大学 计算机学院
,
北京
100083; 2.
丰台职业教育中心学校
,
北京
100076;
3.
中航工业西安航空计算技术研究所
,
西安
710068)
摘 要
:
有效地预测使用阶段的故障数据对于合理制定可靠
性计划以及开展可靠性
维护活动等具有重要的指导意义
。
从复杂系统的历史故障数据出发
,
提出了一种基于长短期
记忆
( LSTM)
循环神经网络的故障时间序列预测方法
,
包括网络结构设计
、
网络训练和预测过
程实现算法等
,
进一步以预测误差最小为目标
,
提出了一种基于多层网格搜索的
LSTM
预测模
型参数优选算法
,
通过与多种典型时间序列预测模型的实验对比
,
验证了所提出的
LSTM
预测
模型及其参数优选算法在故障时间序列分析中具有很强的适用性和更高的准确性
。
关 键 词
:
长短期记忆
( LSTM)
模型
;
循环神经网络
;
故障时间序列预测
;
多层网格搜
索
;
深度学习
中图分类号
: O213. 2; V37; TP18
文献标识码
: A
文章编号
: 1001-5965( 2018) 04-0772-13
对于有高可靠性和安全性需要的复杂系统
,
有效地预测使用阶段的可靠性指标是十分重要
的
。
目前
,
已有众多方法用来解决可靠性预测问
题
,
这些方法大致可以分为
3
类
[1]
:
①基
于故障机
理
( Physics-of-Failure ,PoF)
的方法
,PoF
是一种根
据故障发生的内在机制和根本原因进行间接预测
的方法
;
②数据驱动
( Data-Driven ,DD)
的方法
,
DD
是一种应用统计学或者机器学习等技术手段
对可靠性指标进行直接预测的方法
;
③融合的方
法
,
这种方法是一种
PoF
和
DD
相结合的方法
。
近年来
,
数据驱动的方法由于其便捷性和高效性
等特 点
,
在实际可靠性预测中的应用日渐
广泛
[2-3]
。
故
障时间序列
,
作为一个重要的可靠性指标
,
能够展示故障的动态演化过程
,
并且已经被多种
数据驱动的方法预测
,
比如自回归移动平均
( Au-
toregressive Integrated Moving Average,ARIMA)
[4]
、
奇
异谱分析
( Singular Spectrum Analysis,SSA)
[5]
、
支
持向量回归
( Support Vector machines Regres-
sion,SVR)
[6]
、
人
工 神 经 网 络
( Artificial Neural
Network,ANN)
[7]
等
。
由于可靠性数据通常不易
获
取
,
已有的研究大多是面向组件级故障数据的
,
比如文献
[7]
提供的柴油机涡轮增压器和汽车发
动机故障时间序列
。
这些数据表现为规则性很强
的曲线形态并且能够被单一模型很好地拟合和预
测
。
然而
,
对于系统级故障数据
,
比如文献
[3]
提
供的民航飞机整机故障时间序列
,
由于其复杂且
不规则的曲线形态
,
已有的单一模型很难达到理
想的预测效果
[8]
。
为
此
,
文献
[8]
提出了一种基
于
SSA
和
SVR
的混合方法
,
该方法首先从原始数
据中提取故障特征成分然后分别建模和预测
,
得
到了比单一模型更好的实验结果
。
然而
,
混合方
第
4
期
王鑫
,
等
:
基于
LSTM
循环神经网络的故障时间序列预测
法的构建过程复杂
、
人
工依赖性强
,
不利于在实际
中推广和使用
。
近年来
,
随着深度学习技术的不断发展
,
一些
深度学习模型逐渐被应用到时序数据的研究中
。
深度学习模型是一种拥有多个非线性映射层级的
深度神经网络模型
,
能够对输入信号逐层抽象并
提取特征
,
挖掘出更深层次的潜在规律
[9]
。
在
众
多深 度 学习 模 型 中
,
循 环 神 经 网 络
( Recurrent
Neural Network,RNN)
将时序的概念引入到网络
结构设计中
,
使其在时序数据分析中表现出更强
的适应性
。
在众多
RNN
的变体中
,
长短期记忆
( Long Short-Term Memory,LSTM)
模型
[10]
弥
补了
RNN
的梯度消失和梯度爆炸
、
长期记忆能力不足
等问题
,
使得循环神经网络能够真正有效地利用
长距离的时序信息
。LSTM
模型在不同领域的时
序数据研究中已有不少成功的应用案例
,
包括文
字语言相关的语言建模
、
语音识别
、
机器翻译
[11]
,
多
媒体相关的音频和视频数据分析
、
图片标题建
模
[12-13]
,
道路运输相关的交通流速预测
[14]
,
以
及
医学相关的蛋白质二级结构序列预测
[15]
等
。
然
而
,
在
可靠性领域
,LSTM
模型的应用非常有限
,
特别是对于故障时间序列预测这一研究问题
,
目
前还未发现相关研究
。
本文针对系统级故障时间序列数据
,
提出了
一种基于
LSTM
循环神经网络的预测方法
,
包括
3
层
(
输入层
、
隐藏层和输出层
)
网络结构的详细
设计
,
以及网络训练和网络预测的实现算法等
。
在此基础上
,
以预测误差最小为目标
,
进一步提出
了一种基于多层网格搜索的
LSTM
预测模型参数
优选算法
。
应用文献
[3]
提供的民航飞机故障数
据展开实验
,
并与
Holt-Winters、ARIMA
等多种时
间序列预测模型进行实验对比
。
实验结果展示了
所提出的
LSTM
预测模型及其参数优选算法在故
障时间序列预测中的优越性能
。
1
相关理论和技术
本
节简要介绍
LSTM
模型
,
包括前向计算方
法
、
基于时间的反向传播
( Back Propagation
Through Time,BPTT)
算法
、Adam
参数优化算法
,
以及相关的
RNN、GRU
模型
。
对于给定序列
x = ( x
1
,x
2
,…,x
n
)
,
应
用一个
标准的
RNN
模型
[16]
(
如
图
1
所示
)
,
可
以通过迭
代式
( 1) ~
式
( 2)
计算出一个隐藏层序列
h = ( h
1
,
h
2
,…,h
n
)
和一个输出序列
y = ( y
1
,y
2
,…,y
n
) 。
h
t
= f
a
( W
xh
x
t
+ W
hh
h
t -1
+ b
h
)
( 1)
y
t
= W
hy
h
t
+ b
y
( 2)
式
中
: W
为权重系数矩阵
(
比如
W
xh
表
示输入层
到隐藏层的权重系数矩阵
)
; b
为
偏置向量
(
比如
b
h
表示隐藏层的偏置
向量
)
; f
a
为
激活函数
(
比如
tanh
函数
)
;
下
标
t
表示时刻
。
尽管
RNN
能够有效地处理非线性时间序列
,
但是仍然存在以下
2
个问题
[14]
:
①由
于梯度消失
和梯度爆炸的问题
,RNN
不能处理延迟过长的时
间序列
;
②训练
RNN
模型需要预先确定延迟窗口
长度
,
然而实际应用中很难自动地获取这一参数
的最优值
。
由此
,LSTM
模型应用而生
。LSTM
模
型是将隐藏层的
RNN
细胞替换为
LSTM
细胞
,
使
其具有长期记忆能力
。
经过不断地演化
,
目前应
用最为广泛的
LSTM
模型细胞结构
[16]
如
图
2
所
示
,z
为输入模块
,
其前向计算方法可以表示为
i
t
=
σ
( W
xi
x
t
+ W
hi
h
t -1
+ W
ci
c
t -1
+ b
i
)
( 3)
f
t
=
σ
( W
xf
x
t
+ W
hf
h
t -1
+ W
cf
c
t -1
+ b
f
)
( 4)
c
t
= f
t
c
t -1
+ i
t
t anh( W
xc
x
t
+ W
hc
h
t -1
+ b
c
)
( 5)
o
t
=
σ
( W
xo
x
t
+ W
ho
h
t -1
+ W
co
c
t
+ b
o
)
( 6)
h
t
= o
t
t anh( c
t
)
( 7)
式
中
: i、f、c、o
分别为输入门
、
遗忘门
、
细胞状态
、
图
1 RNN
模型及隐藏层细胞结构
Fig. 1 RNN model and cell structure in hidden layer
图
2 LSTM
隐藏层细胞结构
Fig. 2 LSTM cell structure in hidden layer
377
北
京航空航天大学学报
2018
年
输
出门
; W
和
b
分别为对应的权重系数矩阵和偏
置项
;
σ 和
tanh
分别为
sigmoid
和双曲正切激活
函数
。LSTM
模型训练过程采用的是与经典的反
向传播
( Back Propagation,BP)
算法原理类似的
BPTT
算法
[17]
,
大
致可以分为
4
个步骤
:
①按照前
向计算方法
(
式
( 3) ~
式
( 7)
)
计
算
LSTM
细胞的
输出值
;
②反向计算每个
LSTM
细胞的误差项
,
包
括按时间和网络层级
2
个反向传播方向
;
③根据
相应的误差项
,
计算每个权重的梯度
;
④应用基于
梯度的优化算法更新权重
。
基于梯度的优化算法种类众多
,
比如随机梯
度下 降
( Stochastic Gradient Descent,SGD)
[18]
、
AdaGrad
[19]
、RMSProp
[20]
等
算法
。
本文选用的是
文献
[21]
提出的适应性动量估计
( Adaptive mo-
ment estimation,Adam)
算法
。Adam
优化算法是
一种有效的基于梯度的随机优化方法
,
该算法融
合了
AdaGrad
和
RMSProp
算法的优势
,
能够对不
同参数计算适应性学习率并且占用较少的存储资
源
。
相比于其他随机优化方法
,Adam
算法在实
际应用中整体表现更优
[21]
。
此
外
,LSTM
模型演化出了很多变体
,
其中最
成功的一种是文献
[22]
提到的门限循环单元
( Gated Recurrent Unit ,GRU) 。GRU
模型是
LSTM
模型的简化版本
,
但是保留了
LSTM
模型的长
期记忆能力
,
其主要变动是将
LSTM
细胞中的
输入门
、
遗忘门
、
输出门替换为更新门和重置门
,
并将细胞状态和输出
2
个向量合二为一
。
在实际
应用中
,GRU
模型与
LSTM
模型具有很强的可
比性
[22]
。
2
研
究方法
根
据系统级故障时间序列数据的特点
,
结合
第
1
节介绍的相关理论和技术
,
本节给出基于
LSTM
模型的故障时间序列预测方法
,
以及对应
的基于多层网格搜索的参数优选算法
。
2. 1
基于
LSTM
的故障时间序列预测
考虑到单变量故障时间序列有限样本点的数
据特征
,
以及循环神经网络从简的设计原则
,
本文
构建
LSTM
预测模型的整体框架如图
3
所示
,
包
括输入层
、
隐藏层
、
输出层
、
网络训练以及网络预
测
5
个功能模块
。
输入层负责对原始故障时间序
列进行初步处理以满足网络输入要求
,
隐藏层采
用图
2
表示的
LSTM
细胞搭建单层循环神经网
络
,
输出层提供预测结果
,
网络训练采用第
1
节提
到的
Adam
优化算法
,
网络预测采用迭代的方法
逐点预测
。
图
3
基
于
LSTM
的故障时间序列预测框架
Fig. 3 LSTM based framework for failure time series prediction
2. 1. 1
网
络训练
网络训练主要以隐藏层为研究对象
。
首先在
输入层中
,
定义原始故障时间序列为
F
o
= { f
1
,
f
2
,…,f
n
}
,
则
划分的训练集和测试集可以表示为
F
tr
= { f
1
,f
2
,…,f
m
}
和
F
te
= { f
m + 1
,f
m + 2
,…,f
n
}
,
满
足
约束条件
m < n
和
m,n
∈
N。
然后对训练集中
的元素
f
t
进
行标准化
,
采用经典的
z-score
标准化
公式
(
均值为
0,
标准差为
1,
表示为
zscore)
,
标
准
化后的训练集可以表示为
F'
tr
= { f
1
',f
2
',…,f
m
'}
( 8)
f
t
(
' = f
t
-
∑
n
t = 1
f
t
)
n
∑
n
t =
(
1
f
t
-
∑
n
t = 1
f
t
)
n
2
槡
n
1
≤
t
≤
m,t
∈
N ( 9)
为
了适应隐藏层输入的特点
,
应用数据分割
477
剩余12页未读,继续阅读
资源评论
weixin_44851830
- 粉丝: 0
- 资源: 1
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功