没有合适的资源?快使用搜索试试~ 我知道了~
神经网络在图像压缩技术中的应用-PCA1
需积分: 0 0 下载量 29 浏览量
2022-08-04
12:51:36
上传
评论
收藏 386KB PDF 举报
温馨提示
试读
14页
摘要综述了神经网络作为图象压缩信号处理工具的方法。由于神经网络的大规模并行及其分布结构, 使之成为解决数据压缩的有力工具;网络的特征与人类视觉系统的特征相类似,
资源详情
资源评论
资源推荐
第 14 卷 第 3 期
1997 年 9 月
工 程 数 学 学 报
JOU RNAL O F EN G IN EER IN G M A TH EMA T ICS
Vol. 14 No. 3
Sep. 1997
神经网络在图像压缩技术中的应用
Ξ
刘春阳 粱德群 宋焕生 吴更石
(
西安交通大学电信学院, 西安 710049
)
摘 要
综述了神经网络作为图象压缩信号处理工具的方法。由于神经网络的大规模并行及其分布结构, 使之
成为解决数据压缩的有力工具; 网络的特征与人类视觉系统的特征相类似, 这就使我们更容易处理视觉信
息。例如, 多层感知可作为差分脉冲编码调制的非线性预测器, 已证明这种预测器较线性预测器可改进预
测效果。另一活跃的研究领域是用
Hebbian
学习规则获取主分量, 主分量是理想的线性
KL
变换的基向
量。这些学习算法的计算更优越于传统特征分解技术并适应于输入信号的变化. 还有另一种模型为
SOFM
(
the Self
-
O rganizing Feafure M ap
)
已在向量量化码本设计中有许多成功的应用。结果码本与标准
LBG
算法相比对初始条件的依赖程度较低, 且码字的拓扑序可用来进一步提高编码的效率并减低计算的复杂
性。
关键词 神经网络, 图像压缩, 自组织特征映射
分类号
AM S
(
1991
)
94
A
13;
CCL O
236
1 引 言
随着信息技术, 特别是通信技术的发展, 图象压缩的重要性日益突出, 传统的方法无法
满足需要。许多学者正在探索新的更有效的方法, 其中用神经网络进行图象压缩是最为活跃
的方向。从计算方式的角度看, 人工信息处理系统可分为二类:
(
1
)
序列计算方式,
(
2
)
并行处
理方式。人工神经网络的研究表明特别适应于并行处理, 而在哺乳动物的视觉系统中, 视觉
信息是以大量平行的内部相关的网络来处理。这种平行结构即从视网膜到视皮层的高度有
序的结构是很明显的, 正是人工神经网络可以发挥其优点的地方。
近来人们将神经网络用于图象压缩取得较好的效果。对于预测编码, 变换编码, 向量量
化等主要三种编码方法使用人工神经网络比序列计算方式显示了很大的优越性。这主要表
现在:
(
1
)
由于网络的权是由训练产生的, 可以通过在处理新数据过程中继续训练, 使它适应
输入数据的变化。
(
2
)
数据是单独地被训练, 就不需要过量储存全部训练集, 这在处理极大量
的数据如图像时尤其重要。
(
3
)
由于人工神经网络的高度连结可使神经网络自我组织。
(
4
)
Ξ
本文 1995 年 12 月 27 日收到。
© 1995-2004 Tsinghua Tongfang Optical Disc Co., Ltd. All rights reserved.
神经网络与神经生物系统之间的相似性使人工神经网络更接近人类视觉信息的处理方式。
为能更清楚的简述人工神经网络对这三种方法的改造效果, 本文将简述如下问题: 在第
二部分中主要综述预测编码及应用神经网络的预测编码方法, 即应用神经网络作为非线性
预测器。第三部分讨论变换编码及应用神经网络的变换编码方法, 这些方法包括线性原理成
份分析
(
PCA
)
方法, 它应用
Hebbian
学习规则的自相关编码和自适应编码。第四部分讨论
矢量量化及自组织特征映射
(
SO FM
)
的应用和它的矢量量化的变化。图象压缩技术的综合
图 1
DPCM
框图
评价将在第五部分讨论并结束本文。
2 应用神经网络进行预测编码
1
)
预测编码 该方法是利用图象在相邻样本之间呈现出
高度相关性的特点, 减少其冗余度以达到压缩目的, 可以通过应
用预测编码或多层次脉冲编码调节
(
DPCM
)
来完成。
图 1 显示这种系统的框图, 预测器应用历史样本 x
(
n - 1
)
,
…, x
(
n - p
)
或者图象相邻象素样本, 来测算现有
(
新
)
样本的
估计: x
δ
(
n
)
。正确值 x
(
n
)
与估计值 x
δ
(
n
)
之间的差, 即 e
(
n
)
= x
(
n
)
- x
δ
(
n
)
被用来贮存或传
送, 随着预测器的精度的提高, 差 e
(
n
)
减小, 导致一个较高的预测结果和一个较高的压缩
比。
最常用的为应用统计模型导出的自回归模型, 如 P 2阶自回归模型即:
x
(
n
)
= 2
P
j= 1
w
j
3 X
(
n
- j
) (
1
)
公式中{w
j
} 应满足:
RW = d
(
2
)
其中[R ]
ij
= E [x
(
j
)
3 x
(
i
)
] 是自相关协方差矩阵的第 i 行, 第 j 列, 而 d
j
= E [x
δ
(
n
)
3 x
(
j
)
]
为协方差向量 d 的第 j 个元素, 知道 R 和 d, 可以计算未知的系数向量W。
2
)
多层感知器 当设计一个非线性预测器时, 其目的就是对于给定的前 P 个输入的
非线性函数找出理想的参数集W , 如
(
3
)
式所示。
图 2 多层感知器 图 3 一个神经元模型
x
δ
(
n
)
= f
(
x
(
n - 1
)
, …, x
(
n - p
)
,W
) (
3
)
使这时预测差的均方值 E [
(
x
δ
- x
)
2
] 达到最小。如图 2 所示, 应用多层感知器可以估算出这
一类非线性函数。基本运算单元 ——“神经元”, 它是由“突触”权集, 每个代表一个输入, 加
86
工 程 数 学 学 报 第 14 卷
© 1995-2004 Tsinghua Tongfang Optical Disc Co., Ltd. All rights reserved.
上一个偏权值数, 一个加法器以及非线性函数组成, 此非线性函数指的是活性函数, 如图 3
所示。每一运算单元计算输入的加权和加上偏数 Η
i
, 然后代入活性函数计算出输出值, 如
(
4
)
式:
y
j
= f
(
2
W
j i
3 X
i
+ Η
j
) (
4
)
这里 X
i
是此神经元的第 i 个输入值。W
j i
是相应“突触”的权。“活性”函数 f
(
g
)
映射变化无
限范围的加权和到有限值
(
有限范围
)
, 一般使用的活性函数是由逻辑函数定义的 S 型函
图 4 非线性函数
数, 即
f
(
V
)
=
1
1 + e
- v
(
5
)
如图 4 示。在多层结构中, 计算单元的某一层的输出形成下一层
的输入。第一层的输入看作是网络的输入, 而最后层的输出为网
络的输出。
应用反向传播算法训练网络常可以算出网络的权。反向传
播算法是一种监督学习算法, 它能使在方差能量面上用梯度下
降法达到最小值。在多层感知器上, 应用这种方法的关键是通过
将误差经网络反向传播计算隐层节点的误差值, 在输出层上, 第 i 神经元的局部梯度, ∆
j
(
P
)
如下公式计算
∆
j
= y
j
3
(
1 - y
j
)
3
(
d
j
- y
j
) (
6
)
这里 y
j
是第 j 元输出, 而 d
j
是期望响应。对隐层元而言, 第 j 神经元的局部梯度计算如下
∆
j
= y
j
3
(
1 - y
j
)
3 2
j
∆
k
3 W
jk
(
7
)
这里对固定的 j, k 取所有下层的元。一旦算出局部梯度, 就可根据按
(
8
)
式修正每一个权值。
W
j i
(
t
+ 1
)
= W
j i
(
t
)
+ Γ
3 ∆
j
(
t
)
3 y
i
(
t
) (
8
)
这里: Γ是学习率参数, t 是时间, 通常用
(
8
)
式的修正合并动量项, 并帮助加速学习过程
图 5 基于多层感知网络的DPCM
[1, 5 ]。
W
j i
(
t + 1
)
= W
j i
(
t
)
+ Γ3 ∆
j
(
t
)
3 y
i
(
t
)
+ Α3 [3 W
j i
(
t
)
- W
j i
(
t - 1
)
]
(
9
)
这里 Α是动量项其取值范围为 0 < Α< 1。
多层感知器可用作非线性预测器, 输入由前面的 p 个数
据值构成, 输出为单一个预测值, 在输入与输出层之间是许
多不同大小的隐含层, 此如图 5 所示。
由于网络的非线性特征, 神经网络预测差的方差将比线
性预测的要小, 这使DPCM 系统的预测性能增加。D ianat[6 ]
等使用的网络是: 3 个单元的输入层, 含 30 个单元的隐层和
一个输出单元。他们的实验表明, 网络舆应用相同输入结构
的理想线性预测编码系统相比其信噪比改进 411 dB , 而且
他们还证明差商从 417 改进为 319 bpp。
3
)
高阶预测器 另一种方法就是利用后传播算法的递度下降特点来计算一个特定的
非线性模型的优化预测器。M auikopoulo s[7, 8 ] 已经把基于广义的非线性预测模型的离散
时间V o ltera 展开使用到一种非线性预测器上。使用非线性方法的理由是线性AR 图象模型
96
第 3 期 刘春阳等: 神经网络在图像压缩技术中的应用
© 1995-2004 Tsinghua Tongfang Optical Disc Co., Ltd. All rights reserved.
剩余13页未读,继续阅读
whph
- 粉丝: 21
- 资源: 305
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0