没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
试读
16页
CMAC网络是仿照小脑控制肢体运动的原理而建立的神经网络模型。小脑指挥运动时具有不假思索地作出条件反射迅速响应的特点,这种条件反射式响应是一种迅速联想。CMAC网络有3个特点: • 作为一种具有联想功能的神经网络,它的联想具有局部推广(或称泛化)能力,因此相似的输入将产生相似的输出,反之则产生独立的输出。 • 对于网络的每一个输出,只有很少的神经元所对应的权值对其有影响,哪些神经元对输出有影响则由输入决定。 • CMAC的每个神经元的输入输出是一种线性关系,但其总体上可看做一种表达非线性映射的表格系统。由于CMAC网络的学习只在线性映射部分,因此可采用简单的δ算法,其收敛速度比BP算法快得多,且不存在局部极小问题。CMAC最初主要用来求解机械手的关节运动,后来被进一步应用于机械人控制、模式识别、信号处理以及自适应控制等领域[3-4]。
资源推荐
资源详情
资源评论
第 5 章 CMAC 小脑神经网络
前面几章介绍的 BP 神经网络、Hopeld 神经网络和 BAM 神经网络分别属于前馈和
反馈神经网络,这主要是从网络的结构来划分的。如果从神经网络的函数逼近功能这个角
度来分,神经网络可以分为全局逼近网络和局部逼近网络。若神经网络的一个或多个可调
参数(权值和阈值)在输入空间的每一点对任何一个输出都有影响,则称该神经网络为全
局逼近网络,前面介绍的多层前馈 BP 网络是全局逼近网络的典型例子。对于每个输入输
出数据对,网络的每一个连接权均需进行调整,从而导致全局逼近网络学习速度变慢,对
于有实时性要求的应用来说常常是不可容忍的。如果对网络输入空间的某个局部区域只有
少数几个连接权影响网络输出,则称网络为局部逼近网络。对于每个输入输出数据对,只
有少量的连接权需要进行调整,从而使局部逼近网络具有学习速度快的优点,这一点对于
有实时性要求的应用来说至关重要。目前常用的局部逼近神经网络有 CMAC 网络、径向基
函数 RBF 网络和 B 样条网络等,其结构原理相似,本书主要介绍 CMAC 神经网络和 RBF
神经网络。
1975 年 J.S.Albus 提 出一种模 拟小 脑功 能的 神经 网络 模型 ,称 为 Cerebellar Model
Articulation Controller
[1-2]
,简称 CMAC。CMAC 网络是仿照小脑控制肢体运动的原理而建
立的神经网络模型。小脑指挥运动时具有不假思索地作出条件反射迅速响应的特点,这种
条件反射式响应是一种迅速联想。CMAC 网络有 3 个特点:
· 作为一种具有联想功能的神经网络,它的联想具有局部推广(或称泛化)能力,
因此相似的输入将产生相似的输出,反之则产生独立的输出。
· 对于网络的每一个输出,只有很少的神经元所对应的权值对其有影响,哪些神经
元对输出有影响则由输入决定。
· CMAC 的每个神经元的输入输出是一种线性关系,但其总体上可看做一种表达非
线性映射的表格系统。由于 CMAC 网络的学习只在线性映射部分,因此可采用简
单的 δ 算法,其收敛速度比 BP 算法快得多,且不存在局部极小问题。CMAC 最
初主要用来求解机械手的关节运动,后来被进一步应用于机械人控制、模式识别 、
信号处理以及自适应控制等领域
[3-4]
。
5.1 CMAC 结构及工作原理
[5]
5.1.1 CMAC 结构
简单的 CMAC 结构如图 5-1 所示,图中 表示 维输入状态空间, 为具有 个单元
的存储区(又称为相联空间或概念记忆空间)。设 CMAC 网络的输入向量用 维输入状态
空间 X 中的点 表示,对应的输出向量用 表示,图
中 ,输入空间的一个点 将同时激活 中的 个元素(图 5-1 中 =4),使
其同时为 1,而其他大多数元素为 0,网络的输出 即为 中 4 个被激活单元的对应权值
累加和。 称为泛化参数,反应网络泛化能力大小,也可将其看做信号检测单元的感受
野大小。对 CMAC 来说,其工作过程一般包括两个方面:① 结果输出计算及误差生成阶
作为一名测量人员, 认真履行岗位职责,紧密配合施工,制定切实可行的的测量放线方案。 !"#$%&$"$'"(()*+((, ((-.,(-/.((. )'0 !(( '0( 1( 12(3(3 #+33( ((&4544 6(.(43('3 ((. 6333342 !"#$%&$"$'"(()*+/33(
段;② 权值调整阶段。
图 5-1 CMAC 网络的结构
5.1.2 CMAC 工作原理
1.CMAC 的结果输出计算及误差产生阶段
一般来说,实际应用时输入向量的各分量来自不同的传感器,其值多为模拟量,而
中每个元素只取 0 或 1 两种值。为使 空间的点映射为 空间的离散点,必须先将模拟量
量化,使其成为输入状态空间的离散点。设输入向量 的每一个分量可量化为 个等
级,则 个分量可组合为输入状态空间 种可能的状态 , 。其中每一个状
态 都要映射为 空间存储区的一个集合 , 的 个元素均为 1。从图 5-1 可以看出,
在 空间接近的样本 和 在 中的映射 和 出现了交集 ,即它们对应的
4 个权值中有两个是相同的,因此有权值累加和计算的两个输出也较接近,从函数映射的
角度看,这一特点可起到泛化的作用。显然,对相距很远的样本 和 ,映射到 中的
为空集,这种泛化不起作用,因此是一种局部泛化。输入样本在输入空间距离越近,
映射到 存储区后对应交集中的元素就越接近 ,其对应的输入样本在 中产生的交集
起到了将相近样本聚类的作用。
为使对于 空间的每一个状态在 空间均存在惟一的映射,应使 存储区中单元的个
数至少等于 空间的状态个数,即 。设将三维输入的每个分量量化为 10 个等级,
则 。对于许多实际系统, 往往要比这个数字大得多,但由于大多数学习问题不
会包含所有可能的输入值,实际上不需要 个存储单元来存放学习的权值。 相当于一种
虚拟的内存地址,每个虚拟地址和输入状态空间的一个样本点相对应。通过哈希编码
(Hash-coding)可将具有 个存储单元的地址空间 映射到一个小得多的物理地址连
作为一名测量人员, 认真履行岗位职责,紧密配合施工,制定切实可行的的测量放线方案。 !"#$%&$"$'"(()*+((, ((-.,(-/.((. )'0 !(( '0( 1( 12(3(3 #+33( ((&4544 6(.(43('3 ((. 6333342 !"#$%&$"$'"(()*+/33(
接 中。
对于每个输入, 中只有 个单元为 1,而其余的均为 0,因此 是一个稀疏矩阵。
哈希编码是压缩稀疏矩阵的常用技术,具体方法是通过一个产生随机数的程序来实现的。
以 的地址作为随机数产生的程序的变量,产生的随机数作为 的地址。由于产生的随机
数限制在一个较小的整数范围内,因此 远比 小得多。显然,从 到 的压缩是一种多
对少的随机映射。在 中,对每一个样本有 个随机地址与之对应, 个地址存放的权
值通过学习得到,其累加和即作为 CMAC 的输出。其表达式为:
(5-1)
其中, 为第 j 个存储单元的权值,若 激活,则其值为 1,否则为 0,只有 个存
储单元对输出有影响。相近的输入激活的存储单元有交叠,产生相近的输出,不相近的输
入将产生不相近的输出。对应的误差表达式为:
(5-2)
2.CMAC 的权值调整阶段
CMAC 算法中结果输出阶段从 CMAC 存储单元产生一实际输出,学习过程根据期望输
出与实际输出的误差大小来更新 CMAC 存储单元中的权值。在常规 CMAC 算法中误差被
平均分配到所有被激活的存储单元。设 为某一状态, 是经过第 次迭代后存储在第
个存储单元中的权值。常规 CMAC 更新 算法为:
(5-3)
为状态 的期望输出, 为状态 的实际输出, 为学习常数。
5.2 CMAC 改进学习算法
在 CMAC 神经网络应用中,一般来说其实时性要求都较高。如非线性动态系统的在线
辨识,不仅要求精度高,而且要求快速学习。但是,常规的 CMAC 仍然需要多个周期才能
达到一定的收敛精度,也就是说,常规 CMAC 虽然其收敛速度快于 BP 网络,但作为在线
学习来说,仍难满足其快速性的要求。为此,近些年来,一些学者提出了许多相关算法,
大多是在常规 CMAC 算法上进行改进。下面介绍几种重要的改进算法。
作为一名测量人员, 认真履行岗位职责,紧密配合施工,制定切实可行的的测量放线方案。 !"#$%&$"$'"(()*+((, ((-.,(-/.((. )'0 !(( '0( 1( 12(3(3 #+33( ((&4544 6(.(43('3 ((. 6333342 !"#$%&$"$'"(()*+/33(
5.2.1 模糊 CMAC 神经网络算法
为提高 CMAC 学习的实时性和准确性。Nie J.和 Geng Z.J.等人将模糊自组织竞争算法
引入 CMAC 中,来改造常规的 CMAC 神经网络,提出了一种模糊 CMAC 算法
[6-7,10]
,作如
下定义:
定 义 5-1 设 CMAC 中 某 个 输 入 激 活 的 个 的 存 储 单 元 可 看 作 中 心 为 ,
,宽度为 的一个 邻域 ,称 为联想 域。对 常规 CMAC 来说, 若
,则 ,否则为 0。联想域有交叠,使网络有局部泛化能力。
定义 5-2 设输入 ,联想域 ( )的中心为 ,半径为 ,将每个存
储单元用一与输入同维的向量 表示,则联想度为:
(5-4)
基于联想度的概念,可获得一模糊化的联想向量 ,进而得到
FCMAC 的输出:
(5-5)
若令 ,其他情况 ,则 退化为二进制向量 ,可见常规
CMAC 为 FCMAC 的特殊情况。
对网络权值(存储的数据)学习调整,文献[8,9]采用以下算法:
(5-6)
(5-7)
由于联想度的引入,也省去了 CMAC 的离散、量化、编码、hashing 映射等复杂运算。
对于联想域大小的确定,采用自组织竞争算法来实现,从而完成输入空间的自组织分割,
使网络的学习速度和精度得到较大的提高。
5.2.2 基于信度分配的平衡学习 CMAC 神经网络算法
在常规 CMAC 及模糊 CMAC 学习算法的权值学习调整中,误差被平均分配给每个被
激活的存储单元,而未考虑各个被激活存储单元对误差的贡献率,也即在经过 次学习后,
作为一名测量人员, 认真履行岗位职责,紧密配合施工,制定切实可行的的测量放线方案。 !"#$%&$"$'"(()*+((, ((-.,(-/.((. )'0 !(( '0( 1( 12(3(3 #+33( ((&4544 6(.(43('3 ((. 6333342 !"#$%&$"$'"(()*+/33(
剩余15页未读,继续阅读
资源评论
fpga和matlab
- 粉丝: 16w+
- 资源: 2559
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功