第 28 卷 第 9 期
Vol. 28 No. 9
控 制 与 决 策
Control and Decision
2013 年 9 月
Sep. 2013
一种基于混沌遗传与粒子群混合优化的
过程神经网络训练算法
文章编号: 1001-0920 (2013) 09-1393-06
许少华
1, 2
, 何新贵
2
(1. 东北石油大学 计算机与信息技术学院,黑龙江 大庆 163318;2. 北京大学 信息科学技术学院,北京 100871)
摘 要: 针对时变输入/输出过程神经网络的训练问题, 提出一种基于混沌遗传与带有动态惯性因子的粒子群优化相
结合的学习方法. 综合利用粒子群算法的经验记忆、信息共享和混沌遗传算法的混沌轨道遍历搜索性质, 基于 PNN
训练目标函数, 构建两种算法相混合的进化寻优机制, 通过适应度评估和优化效率分析自适应调节混沌遗传与粒子
群算法的切换, 实现网络参数在可行解空间的全局优化求解. 实验结果表明, 该算法较大提高了 PNN 的训练效率.
关键词: 过程神经网络;训练算法;混沌遗传算法;粒子群算法;混合优化策略
中图分类号: TP183 文献标志码: A
A training algorithm of process neural networks based on CGA combined
with PSO
XU Shao-hua
1,2
, HE Xin-gui
2
(1. School of Computer and Information Technology,Northeast Petroleum University,Daqing 163318,China;2. School
of Electronics Engineering and Computer Science,Peking University,Beijing 100871,China.Correspondent:XU
Shao-hua,E-mail:xush62@163.com)
Abstract: Aiming at the training problem of time-varying input-output process neural networks(PNN), a learning algorithm
based on chaos genetic algorithm(CGA) combined with particle swarm optimization(PSO) whose inertial factor is dynamic
is proposed in the paper. With the application of the experience memory and sharing information of PSO algorithm, and
chaos track traverse searching of CGA, the hybrid evolutionary optimization mechanism of CGA and PSO algorithm is built
based on the PNN’s training objective function. The adaptive switching of two algorithms is implemented through estimating
the fitness and optimization efficiency, and the global optimal solution is obtained in feasible solution space. Experimental
results show that the algorithm considerably improves the training efficiency of PNN.
Key words: process neural networks;training algorithm;chaos genetic algorithm;particle swarm optimization;hybrid
optimization strategy
0 引引引 言言言
训练算法是影响人工神经网络系统建模和模型
泛化能力的重要因素之一. 对于神经网络的训练问
题, 已有许多成熟的学习方法, 其中应用最为广泛和
有效的是基于梯度下降的误差反传播学习算法及其
各种改进形式, 以及近几年提出的与进化优化策略
相结合的训练方法
[1-5]
. 过程神经网络 (PNN) 是一种
新型的动态神经网络模型
[6-7]
, 具有对多元动态信息
的时空维聚合运算机制和直接对非线性系统输入/输
出关系的建模能力, 对于解决与时间过程有关的众
多问题在机制上有着良好的适应性. 由于 PNN 的输
入/输出信号和连接权等都可以是时间函数, 过程神
经元的时间效应累积算子是一种连续时间的泛函映
像, 使得 PNN 的映射机制和学习过程与传统神经网
络有着很大的不同. 目前, PNN 训练的主要算法是基
于函数基展开结合最小均方算法 (LMS)
[8]
和基于数
值积分
[9]
的训练方法, 但由于网络训练目标函数中所
包含的待确定参数众多且参数之间的约束具有较大
自由度, 影响了算法的学习效率和稳定性. 近几年,
基于进化计算的优化技术被广泛应用于求解各种工
程领域问题中的最优解, 在复杂函数计算、过程工艺
收稿日期: 2012-04-11;修回日期: 2012-07-30.
基金项目: 国家自然科学基金项目(61170132);中国石油科技创新基金项目(2010D-5006-0302).
作者简介: 许少华(1962−), 男, 教授, 博士生导师, 从事神经网络、优化算法等研究;何新贵(1938−), 男, 教授, 博士生
导师, 中国工程院院士, 从事模糊逻辑、神经网络、进化计算、数据库理论等研究.