没有合适的资源?快使用搜索试试~ 我知道了~
<p>为了在充分利用高光谱信息的同时减少因数据冗余带来的分类精度降低, 提出一种块非负稀疏重构嵌入降</br> 维算法. 首先, 将传统超完备字典转化成超完备块字典; 然后, 通过计算每个超完备块字典对应样本的最小重构误差,</br> 得到块非负稀疏重构权重矩阵; 最后, 在低维嵌入时, 通过同时最小化局部和最大化非局部高光谱数据的非负稀疏信</br> 息, 得到全局最优的低维子空间高光谱数据. 通过3 组高光谱数据的实验结果验证了所提出方法的可行性和有效性.</p>
资源推荐
资源详情
资源评论
第 28 卷 第 8 期
Vol. 28 No. 8
控 制 与 决 策
Control and Decision
2013 年 8 月
Aug. 2013
基于块非负稀疏重构嵌入的高光谱数据降维
文章编号: 1001-0920 (2013) 08-1219-07
高 阳, 王雪松, 程玉虎, 汪 婵
(中国矿业大学 信息与电气工程学院,江苏 徐州 221116)
摘 要: 为了在充分利用高光谱信息的同时减少因数据冗余带来的分类精度降低, 提出一种块非负稀疏重构嵌入降
维算法. 首先, 将传统超完备字典转化成超完备块字典; 然后, 通过计算每个超完备块字典对应样本的最小重构误差,
得到块非负稀疏重构权重矩阵; 最后, 在低维嵌入时, 通过同时最小化局部和最大化非局部高光谱数据的非负稀疏信
息, 得到全局最优的低维子空间高光谱数据. 通过 3 组高光谱数据的实验结果验证了所提出方法的可行性和有效性.
关键词: 高光谱数据;降维;块非负稀疏表示;全局最优
中图分类号: TP75 文献标志码: A
Dimensionality reduction of hyperspectral data based on block non-
negative sparsity reconstruction embedding
GAO Yang, WANG Xue-song, CHENG Yu-hu, WANG Chan
(School of Information and Electrical Engineering,China University of Mining and Technology,Xuzhou 221116,China.
Correspondent:WANG Xue-song,E-mail:wangxuesongcumt@163.com)
Abstract: In order to take full advantage of high spectral information and to reduce the decline of classification accuracy
resulted from data redundancy, a dimensionality reduction algorithm called block non-negative sparsity reconstruction
embedding is proposed. Firstly, an ordinary over-complete dictionary is converted into an over-complete block dictionary.
Then, a block non-negative sparsity reconstruction weight matrix is obtained through computing the minimum reconstruction
error of the sample corresponding to each over-complete block dictionary. Finally, in the phase of low-dimensional
embedding, the global optimum hyperspectral data in a low-dimensional subspace can be obtained by minimizing the local
and maximizing the non-local non-negative sparse information of the hyperspectral data simultaneously. Experimental results
of three groups of hyperspectral data validate the feasibility and effectiveness of the proposed algorithm.
Key words: hyperspectral data;dimensionality reduction;block non-negative sparsity representation;global optimum
0 引引引 言言言
随着高光谱传感器的发展, 能够获得大量密集且
连续的光谱波段并广泛地应用于观察地球表面. 高光
谱数据分类过程的复杂性通常取决于所获得数据的
波段数, 而密集连续的光谱波段间的相关性较高, 同
时会使波段冗余度提高并产生 Hughes 现象
[1]
. 因此,
为了保留尽可能多的有用信息, 同时减少高光谱数据
分类的复杂性, 通常利用波段选择或波段特征提取方
法将高维数据转化到低维子空间, 从而使高光谱数据
得到更高效的分类.
目前已有许多降维方法, 主成分分析 (PCA)
[2]
和
线性判别分析 (LDA)
[3]
是两种最流行的子空间学习方
法. PCA 尝试寻找一个最优投影方向, 即寻求数据的
最大协方差. PCA 在将高维数据降到低维子空间时没
有考虑数据的类别信息, 是一种无监督方法. 而 LDA
是一种监督方法, 通过最大化类间散度和最小化类
内散度来寻找最优判别子空间. 最近, 大量基于图
的降维方法被成功地应用于机器学习和模式识别领
域. 如局部线性嵌入 (LLE)
[4]
, 局部切空间排列
[5]
, 拉
普拉斯特征映射
[6]
, 局部保持投影 (LPP)
[7]
, 无监督判
别投影 (UDP)
[8]
, 稀疏保持投影 (SPP)
[9]
, 基于稀疏约
束的图优化降维 (GODRSC)
[10]
和非负稀疏保持嵌入
算法 (NSPE)
[11]
等. 尽管这些基于图的嵌入降维方法
获得了成功的应用, 但是它们仍然存在一些不足: 1)
收稿日期: 2012-04-20;修回日期: 2012-09-12.
基金项目: 国家自然科学基金项目(61072094, 61273143);教育部新世纪优秀人才支持计划项目(NCET-10-0765);教
育部博士点基金项目(20110095110016, 20120095110025).
作者简介: 高阳(1985−), 男, 博士生, 从事支持向量机、高光谱图像的研究;王雪松(1974−), 女, 教授, 博士生导师, 从
事机器学习、模式识别等研究.
1220
控 制 与 决 策
第 28 卷
文献 [4-7, 9-11] 提到的算法是基于局部特征的降维算
法, 局部特征只适合单流形结构的数据, 因此, 在数据
结构为多流形的情况下, 这些方法不能产生好的便
于分类的投影特征. 2) UDP 方法同时考虑局部和非
局部结构, 能够得到全局最优, 但 UDP 和 LPP 均需要
构建近邻图, 而近邻参数的选择迄今为止仍是一个
开放问题. 虽然交叉验证是常用的参数选择技术, 但
是它们在高维空间中既耗时代价又极高, 并且消耗
大量的训练样本. 3) SPP、GODRSC 和 NSPE 采用 (非
负) 稀疏表示方法
[12]
, 充分利用了高光谱数据的稀疏
结构, 同时避免了近邻参数的选择. 然而, 它们重构数
据时采用传统基于超完备字典的 (非负) 稀疏表示, 其
计算复杂, 没有考虑源高光谱数据的结构, 重构精度
低, 包含的判别信息少.
为解决上述问题, 本文提出一种块非负稀疏重构
嵌入 (BNSRE) 降维算法, 并将其应用于高光谱数据降
维问题. BNSRE 的主要贡献是: 1) 采用块非负稀疏表
示重构高光谱数据, 不仅能够提高重构精度, 而且可
以提高计算效率; 2) 构建的块非负稀疏权重矩阵能
够较好地反映数据的内在几何结构, 获得较多的判别
信息; 3) 嵌入低维时, 同时考虑了高光谱数据的非负
稀疏信息局部最小化和非局部最大化, 从而能够得到
全局最优的低维高光谱数据. 这一特性比仅考虑 (非
负) 稀疏信息局部最小化的算法更直观、更有效.
1 块块块非非非负负负稀稀稀疏疏疏重重重构构构嵌嵌嵌入入入
块非负稀疏重构嵌入主要包含 2 个部分: 块非负
稀疏表示和低维嵌入. 块非负稀疏表示部分, 将传统
超完备字典转化成超完备块字典, 通过计算每个超完
备块字典对应样本的最小重构误差, 得到每个子块样
本的块非负稀疏重构权重矩阵, 并计算整体非负稀疏
重构权重矩阵. 低维嵌入部分, 通过最小化局部非负
稀疏重构嵌入和最大化非局部非负稀疏重构嵌入, 获
得最优的非负稀疏重构嵌入.
给定一个来自某未知分布的高维高光谱数据集
𝑂
𝑚
= [𝑥
1
, 𝑥
2
, ⋅ ⋅ ⋅ , 𝑥
𝑛
]. 其中: 𝑥
𝑖
∈ 𝑅
𝑚
, 𝑖 = 1, 2, ⋅ ⋅ ⋅ ,
𝑛, 𝑚 为原始高光谱数据的高维维数, 类别个数为 𝑐. 目
标是找到一个低维子空间表示高维数据, 即
𝑧 = 𝑊
T
𝑥 ∈ 𝑅
𝑑
. (1)
其中: 𝑧 为高维高光谱数据 𝑥 的低维表示, 𝑑 ≪ 𝑚, 投
影矩阵 𝑊 = (𝑤
1
, 𝑤
2
, ⋅ ⋅ ⋅ , 𝑤
𝑑
) ∈ 𝑅
𝑚×𝑑
.
1.1 非非非负负负稀稀稀疏疏疏表表表示示示
给定一高光谱数据点 𝑥
𝑖
, 超完备字典 𝑋 = [𝑥
1
,
𝑥
2
, ⋅ ⋅ ⋅ , 𝑥
𝑛
] ∈ 𝑅
𝑚×𝑛
, 且 𝑚 < 𝑛, 𝑥
𝑖
是超完备字典 𝑋 中
的原子, 非负稀疏表示的目的是用尽可能少的超完备
字典 𝑋 中的列元素表示 𝑥
𝑖
, 即
min
ℎ
𝑖
∥ℎ
𝑖
∥
0
;
s.t. 𝑥
𝑖
= 𝑋ℎ
𝑖
, ℎ
𝑖
⩾ 0. (2)
其中: ∥ℎ
𝑖
∥
0
表示 ℎ
𝑖
的 𝑙
0
范数, 其值为 ℎ
𝑖
中非零元素
的个数, ℎ
𝑖
= [ℎ
𝑖,1
, ⋅ ⋅ ⋅ , ℎ
𝑖,𝑖−1
, 0, ℎ
𝑖,𝑖+1
, ⋅ ⋅ ⋅ , ℎ
𝑖,𝑛
]
T
∈
𝑅
𝑛
, ℎ
𝑖𝑗
表示第 𝑗 个样本 𝑥
𝑗
对重构样本 𝑥
𝑖
所做出的贡
献. 因为将 𝑥
𝑖
从 𝑋 中去除, 所以 ℎ
𝑖
中第 𝑖 个元素为 0,
即 𝑥
𝑖
= ℎ
𝑖,1
𝑥
1
+ ⋅ ⋅ ⋅ + ℎ
𝑖,𝑖−1
𝑥
𝑖−1
+ ℎ
𝑖,𝑖+1
𝑥
𝑖+1
+ ⋅ ⋅ ⋅ +
ℎ
𝑖,𝑛
𝑥
𝑛
.
1.2 块块块非非非负负负稀稀稀疏疏疏表表表示示示
传统非负稀疏表示方法计算复杂, 重构精度低.
为解决这些问题, 受文献 [13] 启发, 本文提出一种新
的块非负稀疏表示方法. 主要是将超完备字典 𝑋 分
成 𝑣 块, 即
𝑋 = [𝑥
1
1
, ⋅ ⋅ ⋅ , 𝑥
1
𝑏
, ⋅ ⋅ ⋅ , 𝑥
1
𝐵
| {z }
𝑋
1
, ⋅ ⋅ ⋅ , 𝑥
𝑣
1
, ⋅ ⋅ ⋅ , 𝑥
𝑣
𝑏
, ⋅ ⋅ ⋅ , 𝑥
𝑣
𝐵
| {z }
𝑋
𝑣
, ⋅ ⋅ ⋅ ,
𝑥
𝑉
1
, ⋅ ⋅ ⋅ , 𝑥
𝑉
𝑏
, ⋅ ⋅ ⋅ , 𝑥
𝑉
𝐵
| {z }
𝑋
𝑉
]. (3)
其中: 𝑛 = 𝑉 𝐵, 𝑥
𝑣
𝑏
= 𝑥
(𝑣−1)𝐵+𝑏
, 𝑋
𝑣
为一个超完备块
字典. 则第 𝑣 子块中高光谱数据点 𝑥
𝑣
𝑏
可用超完备块
字典 𝑋
𝑣
表示为
min
ℎ
𝑣
𝑏
∥ℎ
𝑣
𝑏
∥
0
;
s.t. 𝑥
𝑣
𝑏
= 𝑋
𝑣
ℎ
𝑣
𝑏
, ℎ
𝑣
𝑏
⩾ 0. (4)
其中 ℎ
𝑣
𝑏
∈ 𝑅
𝐵
. 式 (4) 是一个 NP 难的非凸组合优化问
题, 但在解足够稀疏的条件下, 可以采用求解局部最
优的贪婪的迭代算法 (如块正交匹配追踪算法
[14]
), 即
用求解 𝑙
1
范数的方法来近似取代求解 𝑙
0
范数的方法,
以降低计算复杂度, 则有
min
ℎ
𝑣
𝑏
∥ℎ
𝑣
𝑏
∥
1
;
s.t. 𝑥
𝑣
𝑏
= 𝑋
𝑣
ℎ
𝑣
𝑏
, 1 = 1
T
⋅ ℎ
𝑣
𝑏
, ℎ
𝑣
𝑏
⩾ 0. (5)
其中 1 ∈ 𝑅
𝐵
是全 1 向量. 利用非负最小二乘法求解
式 (5), 得重构误差
[15]
为
min
ℎ
𝑣
𝑏
𝐸(𝐻
𝑣
) = min
ℎ
𝑣
𝑏
∥𝑋
𝑣
− 𝑋
𝑣
𝐻
𝑣
∥
2
2
+ 𝛾 ∥ℎ
𝑣
𝑏
∥
1
;
s.t. ℎ
𝑣
𝑏
⩾ 0, 1 = 1
T
ℎ
𝑖
. (6)
其中 𝛾 是平衡稀疏和重构误差的非负系数.
根据式 (6), 计算第 𝑣 子块中每一个高光谱数据
点 𝑥
𝑣
𝑏
最优的非负稀疏重构权重向 量
˜
ℎ
𝑣
𝑏
∈ 𝑅
𝐵
, 则
第 𝑣 子块的块非负稀疏重构权重矩阵 𝐻
𝑣
= [
˜
ℎ
𝑣
𝑏
]
𝐵×𝐵
.
高光谱数据的整体非负稀疏重构权重矩阵 𝐻 表示为
𝐻 = diag(𝐻
1
, ⋅ ⋅ ⋅ , 𝐻
𝑣
, ⋅ ⋅ ⋅ , 𝐻
𝑉
) = [
˜
ℎ
𝑖
]
𝑛×𝑛
. (7)
1.3 低低低维维维嵌嵌嵌入入入
局部的非负稀疏重构权重矩阵 𝐻, 并不能保证嵌
入到低维子空间后可以得到很好的分类精度. 为解决
剩余6页未读,继续阅读
资源评论
weixin_38723516
- 粉丝: 4
- 资源: 982
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功