一种基于混合梯度下降算法的模糊神经网络设计及应用

199 浏览量 2021-01-13 03:01:08 上传评论收藏 668KB PDF 举报

资源推荐

资源详情

资源评论

第 32卷第 9期控制与决策 Vol.32 No.9

2017年 9月 Control and Decision Sep. 2017

文章编号: 1001-0920(2017)09-1635-07 DOI: 10.13195/j.kzyjc.2016.1032

一种基于混合梯度下降算法的模糊神经网络设计及应用

韩红桂

†

, 林征来, 乔俊飞

(1.

北京工业大学电子信息与控制工程学院，北京

100124

；

2. 北京工业大学计算智能与智能系统北京市重点实验室，北京 100124)

摘要: 为了提高模糊神经网络 (FNN) 的收敛速度和泛化能力, 提出一种基于混合梯度下降算法 (HG) 的模糊神

经网络 (HG-FNN). HG-FNN 通过设计 FNN 参数调整过程的自适应学习率, 利用链式法则获取 FNN 参数学习过程

的梯度,在实现 FNN 参数自校正的同时, 给出 HG-FNN 的收敛性证明,保证HG-FNN 的收敛速度和泛化能力. 最后,

将所设计的 HG-FNN 应用于非线性系统建模与污水处理过程关键水质参数预测, 实验比较结果显示, HG-FNN 不

仅具有较快的收敛速度,而且具有较好的泛化能力.

关键词: 模糊神经网络；混合梯度；自适应学习率；非线性系统建模

中图分类号: TP173 文献标志码: A

Design and application of hybrid gradient descent-based fuzzy neural

network

HAN Hong-gui

†

, LIN Zheng-lai, QIAO Jun-fei

(1. College of Electronic Information & Control Engineering，Beijing University of Technology，Beijing 100124，China；

2. Beijing Key Laboratory of Computational Intelligence and Intelligent System，Beijing University of Technology，Beijing

100124，China)

Abstract: To improve the convergence speed and generalization ability of the fuzzy neural network(FNN), a fuzzy neural

network, based on the hybrid gradient(HG) descent algorithm, is proposed in this paper. This HG-FNN can obtain the

adaptive learning rate of the parameter adjustment process. Then, the chain rule is used to calculate the gradient descent

of the learning process to adjust the parameters of FNN. Meanwhile, the convergence proof of HG-FNN is given in details

to ensure the convergence speed and the precision of FNN. Finally, the proposed HG-FNN is used to model the nonlinear

systems and predict the eﬄuent qualities of wastewater treatment process. The results show that the proposed HG-FNN

owns faster convergence speed, as well as with suitable generalization ability than other FNNs.

Keywords: fuzzy neural network；hybrid gradient；adaptive learning rate；nonlinear systems modeling

0 引 󲿑

模糊神经网络 (FNN) 具有强大的推理和学习能

力, 已经在非线性系统辨识、控制等领域得到了广泛

应用

[1-4]

. 然而, FNN 应用的关键问题之一是其参数

学习问题

[5-7]

围绕 FNN 的参数学习的问题, 国内外学者相继

提出一些学习算法,目前常用的主要有以下几类:

1) 误差反向传播 (BP) 算法. 该算法由于具有简

单有效的特点使其最为常用

[8-10]

. 为了提高网络性

能, Zhang 等

[11]

提出了一种基于动态学习率的在线

BP 全局收敛性算法, 该算法通过误差函数的下降率

作为参数调整的学习率, 并给出在特定条件下全局

收敛的理论证明, 但是方法中参数太多, 设置较复

杂. Han 等

[12]

提出了一种基于敏感度分析算法 (SA)

生长剪枝模糊神经网络 (GP-FNN) 的参数优化方法,

该方法利用敏感度输出作为梯度下降算法的自适应

学习策略, 从而对 FNN 的中心和宽度进行调整, 但是

网络精度有待提高. Davanipoor 等

[13]

提出一种加速

混合的模糊小波网络 (FWNN) 参数优化方法, 该方法

给出了一种局部自适应学习率,使其网络中每一参数

都有一个自适应学习率, 从而保证网络预测精度, 但

是方法计算代价大,容易出现病态的情况. BP算法的

收稿日期: 2016-08-13；修回日期: 2017-01-10.

基金项目: 国家自然科学基金项目 (61533002, 61622301)；北京市自然科学基金项目 (4172005)；科技部水专项

(2017ZX07104).

作者简介: 韩红桂 (1983−), 男, 教授, 博士生导师, 从事污水处理过程建模、优化与控制等研究；林征来 (1991−), 男,

硕士生, 从事复杂过程建模、控制的研究.

†

通讯作者. E-mail: rechardhan@bjut.edu.cn

1636 控制与决策第32卷

原理是根据梯度下降最小化目标函数, 具有运算时间

过长、收敛速度过慢的问题.

2) 最小二乘算法. 为提高收敛速度, 学者们提出

了具有极快收敛速度的最小二乘算法. 例如, Wang

等

[14]

提出了一种基于扩展卡尔曼滤波 (EKF) 算法

的在线自组织模糊神经网络 (FAOS-PFNN) 参数优

化方法, 该方法利用 EKF 对 FNN 参数进行调整, 从

而保证网络收敛性能. 但是, EKF 算法的初始状态不

容易确定, 训练过程中会出现震荡的现象, 容易导致

滤波器发散以致网络精度难以保证的问题. Rubio

[15]

提出了一种在线自组织改进型模糊最小二乘算法

(SOFMLS), 该方法能够实现 FNN 参数自校正, 网络

性能有所提高. 但是, 当网络参数维数较高时运行速

度会变慢,而且有时会出现病态运算使得网络泛化能

力大大降低. 最小二乘算法虽然具有较快的收敛速

度,但是容易陷入局部极小的问题没有得到解决.

3) 进化算法. 为了解决局部极小值的问题, 学者

们提出了具有较好鲁棒性和全局搜索能力的进化算

法. Leng等

[16]

提出了一种基于遗传算法(GA)的新颖

混杂自组织模糊神经网络 (SOFNNGA) 参数优化算

法,该方法利用GA对FNN 规则的隶属函数宽度等参

数进行调整, SOFNNGA 不依赖于现有推理, 使用范

围更加广泛. Mashinchi 等

[17]

提出了基于 GA 的两阶

段学习方法, 首先粗略估计 FNN 最优模糊权重, 然后

精确估计 FNN 隶属函数的形状, 从而提高整个模糊

神经网络的性能, 但是 GA 是一种全局优化算法, 涉

及大量的个体计算, 其收敛速度慢, 时间消耗代价很

高. Kuo 等

[18]

提出了一种基于 PSO 的模糊神经网络

(IOAP-FNN) 参数优化算法, 该方法利用粒子群优化

(PSO) 对 FNN 的结构和参数进行调整从而寻求网络

最佳性能. 但是,由于PSO 是全局搜索算法,在很大程

度上降低了其整体学习速度, 并且没有理论的收敛

性证明, 限制了其推广应用. 虽然进化算法具有全局

搜索的能力, 但存在搜索时间过长, 收敛速度慢的问

题. 因此,对FNN算法的设计仍需进一步研究.

鉴于以上问题,本文提出一种基于混合梯度下降

算法的模糊神经网络 (HG-FNN). 该 HG-FNN 通过设

计 FNN 参数调整过程的自适应学习率, 利用链式法

则完成对 FNN 参数梯度的求解. 并给出了 HG-FNN

的收敛性证明, 保证FNN 的收敛速度和泛化能力. 所

提出的混合梯度下降算法的模糊神经网络能够实现

参数自校正, 具有良好的自适应能力. 利用其分别对

非线性系统建模与污水处理关键参数建模, 验证了该

方法的有效性.

1 基于混合梯度下降算法的模糊神经网络

(HG- FNN)

1.1 模糊神经网络(FNN)

FNN主要由输入层、RBF层、规则化层和输出层

组成. FNN(多输入单输出)的输出可描述为

y =

∑

l=1

∑

l=1

−

∑

−c

2σ

∑

j=1

−

∑

i=1

−c

2σ

, (1)

= w

−

∑

i=1

−c

2σ

∑

j=1

−

∑

i=1

−c

2σ

. (2)

其中: p 为规则化层神经元数; j = 1, 2, · · · , p; l = 1,

2, · · · , p; w = [w

, w

, · · · , w

] 为规则化层与输出层

之间的连接权值; β = [β

, β

, · · · , β

] 为输出层的输

入; β

为规则化层的第 l 个神经元的输出; y 为模糊神

经网络的输出.

∑

j=1

−

∑

i=1

−c

2σ

∑

j=1

−

∑

i=1

−c

2σ

. (3)

其中: v = [v

, v

, · · · , v

]

为规则化层输出, v

为第 l

个神经元的输出.

∏

i=1

−

−c

2σ

= e

−

∑

i=1

−c

2σ

, (4)

= x

. (5)

其中: i = 1, 2, · · · , m; u

为第 i 个神经元的输出; φ

为第 j 个神经元的输出; c

为神经元 j 的中心值; σ

为神经元j 的隶属函数宽度; x = [x

, x

, · · · , x

1.2 混合梯度下降算法(HG)

为了提高 FNN 性能, 提出一种混合梯度下降算

法用来调整模糊神经网络的中心 c、宽度 σ、输出权

值w 参数. 定义目标函数E 如下:

E(t) =

(t) − y(t))

. (6)

其中: y

(t)为t时刻期望输出, y(t)为 t 时刻网络输出.

假设N 为1,有

E(t) =

(1) − y(1))

. (7)

传统的BP算法参数调整为

∆θ(t) = −η

∂E(t)

∂θ(t)

− η(y

(t) − y(t))

∂y(t)

∂θ(t)

= −ηe(t)

∂y(t)

∂θ(t)

. (8)

剩余6页未读，继续阅读

评论收藏

内容反馈

weixin_38703123

粉丝: 3
资源: 944

一种基于混合梯度下降算法的模糊神经网络设计及应用

动态模糊神经网络MATLAB程序

梯度下降法与FW算法在模糊系统应用中的对比1

一种确定模糊测度参数的粒子群和梯度下降混合算法 (2014年)

基于共轭梯度下降法的RBF神经网络预测算法.pdf

一种基于分布式编码的同步梯度下降算法.pdf

基于改进PSO算法的模糊神经网络的研究与应用.pdf

模糊神经网络算法的实现

补偿模糊神经网络和模糊神经网络程序整理

模糊神经网络的优化及其应用.pdf

基于改进粒子群算法的模糊神经网络变压器油色谱监测故障诊断策略.pdf

一种基于形态学梯度矢量和自适应模糊的目标边缘提取算法 (2006年)

基于Andrew Ng机器学习视频的神经网络作业，自己写的优化算法，速度相比于给的fmincg函数慢了很多，但可以帮助你加深共轭梯度法在实际寻优工程中应用的理解

基于卷积神经网络的随机梯度下降算法.pdf

基于有限时间梯度下降的自适应神经网络三自由度直升机姿态跟踪有限时间控制设计_Finite-Time Gradient Desce

基于混合梯度下降的高性能光刻机离轴照明衍射光学元件设计

安全技术-网络信息-模糊神经网络的性能及其学习算法研究.pdf

入门MATLAB神经网络和优化算法专题：21 模糊神经网络预测水质评价.zip

精通模糊神经网络和算法通过七个matlab建模案例.zip

基于GA-BP混合算法的多边形模糊神经网络参数优化。

基于变分模态分解和改进鲸鱼算法优化的模糊神经网络风速预测模型.pdf

基于共轭梯度下降算法的BP神经网络的中医糖尿病诊断模型研究.pdf

模糊神经网络程序

自适应模糊神经网络程序

基于模糊神经网络的异步电机故障诊断研究.pdf

fnn.rar_dfxncbfnfn.c.fnn_模糊神经_模糊神经网络_神经

神经网络实用教程神经网络实用教程

基于粒子群优化的BP神经网络图像复原算法研究.pdf

最新资源