递归梯度法神经网络求解线性矩阵方程
需积分: 33 51 浏览量
2015-07-08
14:24:25
上传
评论 2
收藏 365KB PDF 举报
一、 人工神经网络简介
人工神经网络 ( Artifical Neural Network- ANN) 是目前国际上迅速发展
的前沿交叉学科 (张立明, 1993), 它是模仿生物神经系统的信息处理方式、 组
织结构和系统功能的简化系统。
人工神经网络以其自身的自组织、自适应和自学习的特点被广泛应用于各个
领域。传统的前馈网络属于静态网络，而今年来迅速发展的递归神经网络，属于
动态网络，利用网络的内部状态来反馈描述系统的非线性动力学特性，从而更直
接的反应系统的动态特性。
递归网络是有一个或多个反馈回路的神经网络，把反馈应用于神经网络有多
种不中的形式，从而就会产生不同结构的递归网络。在其学习算法中，递归下降
法被广泛应用。本文采用一种梯度法神经网络(即 Hopfield 神经网络或称递归神
经网络)求解线性矩阵方程 Ax = b, 其中矩阵 A R
n×n
, b R
n×1
已知。通
过与理论的解对比分析，验证该模型的解线性矩阵方程 Ax = b的准确性，并进
一步通过误差分析，证实求解的正确性。
二、 梯度法神经网络模型的建立
自上世纪 80 年代中期以来 , 很多研究都把注意力放在矩阵运算的快速算
法方面。一般来说,数值算法的最小计算复杂度通常与矩阵维数的立方成正比。
所以,当这种串行处理算法应用到维数较大的矩阵实时求解问题时就显得效率不
高。有鉴于此,我们也曾提出复杂度与矩阵维数平方成正比的数值算法来解决这
类矩阵问题。然而,结果也同样未尽人意,如求解一个 60 000 维矩阵逆运算需要
约一个小时的时间。因此 ,许多学者一直在探讨合适的并行计算方案。动力学系
统方法是一种非常重要的并行计算方法,能够有效地解决固定矩阵运算问题,随
着对神经网络的深入研究,基于递归神经网络的动力学系统和模拟求解方法已经
发展成熟。神经动力学方法,因其并行分布计算的特性和简单的硬件/电路可实现
性,被认为是在线解决这些固定矩阵运算问题的强有力的替换工具。
2.1 理论解
数学矩阵论中求解Ax = b方法如下：
x = A \ b =
A
1
b
2.2 模型推导
下面依据负梯度设计方法推导该神经网络模型:
1)构造一个基于矩阵范数的标量误差函数 :
ε
t
=
Ax b
2
2
2
= (Ax b)
T
(Ax b) 2
2)为了使上述误差减小 , 可使用经典的负梯度方法, 因此我们可以得到如下误
差函数负梯度方向作为下降方向:
ε
x
= A
T
(Ax b)
3)线性的基于负梯度的神经网络模型如下:
x
t
= γ A
T
(Ax b)
其中参数 γ > 0 决定网络的收敛速度(如条件允许, 越大越好);
资源评论
努力的码农
- 粉丝: 137
- 资源: 15
最新资源
- Python 版冒泡排序算法源代码
- tensorflow-gpu-2.7.2-cp38-cp38-manylinux2010-x86-64.whl
- tensorflow-2.7.3-cp39-cp39-manylinux2010-x86-64.whl
- tensorflow-2.7.2-cp39-cp39-manylinux2010-x86-64.whl
- Python版本快速排序源代码
- Python 语言版的快速排序算法实现
- 450815388207377安卓_base.apk
- 超微主板 X9DRE-TF+ bios 支持 nvme启动
- 基于Python通过下载气象数据和插值拟合离散数据曲线实现对寒潮过程的能量分析
- 智能车仿真软件.zip
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
