论文研究-基于局部流形重构的半监督多视图图像分类.pdf

所需积分/C币:9 2019-09-10 14:39:44 653KB .PDF
45
收藏 收藏
举报

为了在半监督情境下利用多视图特征中的信息提升分类性能,通过最小化输入特征向量的局部重构误差为以输入特征向量为顶点构建的图学习合适的边权重,将其用于半监督学习。通过将最小化输入特征向量的局部重构误差捕获到的输入数据的流形结构应用于半监督学习,有利于提升半监督学习中标签预测的准确性。对于训练样本图像的多视图特征的使用问题,借助于改进的典型相关分析技术学习更具鉴别性的多视图特征,将其有效融合并用于图像分类任务。实验结果表明,该方法能够在半监督情境下充分地挖掘训练样本的多视图特征表示的鉴别信息,有效地完成鉴别任务。
262016,52(18) Computer Engineering and Applications计算机工程与应用 部重构误差。 可以看作是利用局部线性逼近技术通过最小化输入特 本文将基于图的半监督学习方法LMR与CCA方征向量的局部重构误差来获取相似度函数的参数 法相结合提出了能够完成半监督多视图学习的算法1,这种做法可以捕获输入数据的流形结构。公式 LMRMCCA。 LMRMCCA算法具有如下优点 (1)的日标函数是非凸的,可以使川基于柳度的算法(例 (1)与基于LLE的方法相比,在半监督学习方法LMR如,最速下降法、共轭梯度法)求解 屮将边权重作为待优化参数可以缓解过拟合问题。 对于节点标签的估计,根据文献15],无标签节点 (2)为标签传播费使用以相似度表示的边权重,{xm1的标签{y1可以通过公式(2)进行估计。 LMR方法中获取的以相似度表示的边权重能合理有效 地用于标签传播,而通过LLE方法获取的边权重可能不 V: =arg maxr ik 能代表节点的相似度。 其中,F∈咒为序列{F()的极限,F()=aSF(t-1)+ (3) LMRMCCA是更具一般性的模型,它能同时处(-a)y,t为迭代次数,a为平衡参数,=D"WD 理来自多个不同视图的数据。 Y∈”,当y=时Y=1,其他情况下,Y=0。根据 文献[15],F可由公式(3)得到。 3基于局部流形重构的半监督学习及分析 F=lim F(0=(1-a(-as)'Y 在半监督学习中,标签传播是常见的基于图的半监 通过公式(2)可以看出,每个无标签节点的标签被 督学习方法。标签传播的性能很大程度上依赖于输入设置为在迭代过程中给该无标签节点传递信息最多的 图的质量。图的边应该满足两个条件:第一,可以捕获节点的标签。因此,可以将F定义为X的软标签矩阵。 输入空间的流形结构;第,可以表示两个节点之间的3.2局部流形重构的进一步分析 相似度。IMR方法可以为基于图的半监督学习方法生 从公式(1)可以看出,LMR方法是通过最小化输入 成满足这两个重要性质的图 特征向量的局部重构误差为构建的图估计合适的边权 3.1基丁局部流形重构的半监督学习 重。LMR方法也可看作在输入特征向量x和输出变量 设有n个特征向量X={x,x2…,x}其中,x∈9P"。p共享相同的邻接矩阵进行局部重构时对邻接矩阵的 X的前个特征向量{x,x2,…,x}的签为y={y122…,y 优化。下面基于低维流形模型从局鄙重构的视角进行 其屮,y∈{1,2…c},c为类别的数量。X中剩余的说明。 n-个特征向量{x+1x1+2,…,x为无标签的特征向 假设有如下的流形模型,设x由τ生成,即, 量。通过X生成无向图G,图G中每个节点(顶点)对=(r)+E、,其中,r∈为x相应的低维变量,()为 应于每个特征向量x。图G可以用邻接矩阵W∈9x” Y→的平滑函数,c∈表示噪声;y也由r生 表示,其中,形是节点x与节点x之间的边e的权重。成,即,y=例r)+,其中,6()为野→明的平滑函数, 由基于图的算法的流形假设思想可知越大的权重W,∈表示噪声。与离散的标签相比,为了简单起见 连接的节点只有越相似的标签 本文考虑输出空间的值为连续值的情形。下面的定理 在基于图的学习方法中,N(k- Nearest Neighbor)展示了特征向量x的重构误差和输出变量p的重构误 图比全连通图具有更小计算复杂度。本文使用加权差的关系 kNN图,图的邻接矩阵W中元素W定义为当j∈N或 定理假设x∈可以由它的邻居近似表示,即, i∈N时,W=exp(∑(x-x)a),其他情况,=0, x=∑Hx+,其中,e1表示逼近误差;若使用同样 其中,x为x的第d个元素,N为节点x:的kN的的邻接知车重构出变量y=,即,y=D∑形+司, 索引集合,{=为相应于x的每一维特征的参数的那么y的逼近误差为a-6e1+O(or)+O6+8,), 集合 为了使待到的图能够冋时捕获输入数据的流形结其屮,pC(r)(aq(r) 上标“+"表示伪逆,dr 构,本文将M作为两个节点的相似度函数,通过公式(1) max(T-T 所示优化问题求解{o-1进而求得边权重。 证明设k,=W/Da,根据前文D的定义,可得 min x 11x=1假设)足够平将公式x=∑Wx+e 其中,j-表示节点/连接于节点,D=∑形。公式(1) 中的x1在r展开为一阶秦勒展开式,有: 董西伟:基于局部流形重构的半监督多视图图像分类 2016,52(18)2 ∑(o(r) Do(r) (r-)+O(r,-x 图的数据,而用多种特征表示揭示同一个对象的不同特 性在现实中却是常见的,并且在这些多视图数据中往往 e;+O(G,) (4)含有大量的无标签数据,因而不适合于直接进行分类。 对公式(4)进行整理,可以得到 ar∑k(x-x)=为了解决这个问题本文结合基于图的半监督学习方法 do(r) LMR提出了具有一般性的模型 LMRMCCA,它可以同 c+O0x1)+6),如果1am0矩阵二x)具有列时对多个视图的半监督数据进行处理。 设n个对象m(m≥2)个视图的高维特征为 满秩的特性,可得: X L m 其中,X"=[x x.∈界 分气(-)≈(0C) (5)(=1,2,…,m),n表示第个视图的特征维数。{x21, 另方面,将v也在x展开为阶泰勒展开式并x2)1分别是第个视图的有标签样本和无标签样 代入∑y 有 本。 LMRMCCA算法通过以下两个做法获取鉴别信息 c(z;) 实现鉴别。 1 ,->K Al Ar(, -r)+(t,-1 2))+O(6, )- (1)跨视图鉴别。 LMRMCCA算法通过最大化不 o0(r) 同祧图同类样本的相关性荻取鉴别信息。若将这类鉴 (6) 别信息编码为和=PxF,其中 把公式(5)和x=Wn/D代入公式(6)并整理有:1,2,…m。和可以看作x和x属于间类的概率, ao(t )(ap(T 也可以看作这两个样本的相关性度量。如果=1,即 ∑Hy e;+O(|b|2 户=F,那么认为x和x完全相关;如果 O(.+e) (7) 证毕 即x和x0属于两个不同的类,那么认为两个样本是 从公式(7)可以看出P的重构误差由三项构成。第完全不相关的。 项是关于e1(x的重构误差)的误差。第一项是τ1与 (2)视图内鉴别。在每个视图通过引入概率类内散 度矩阼最小化类内变化获取鉴别信息、。在这种情况下 {r};之间的距离。这两项之间具有平衡关系,当使用 同类样本在低维特征空间将保持尽可能得近。因此它 很多数据点x重构x时可以减小e,但此时可能会増有助丁进一步提升 LMRMCCA的鉴别性能 加r,。第三项是固有的噪声。因此,如果输入特征向 LMRMCCA的优化问题规划如下 量和输出变量(标签)共享同·个邻接矩阵,即,共享相 maxJ(a, a U 同的局部结构,那么,通过对公式(1)中的H标函数进行 优化也可以得到用于精确传播节点标签的邻接矩阵。 4基于CCA的半监督多视图学习 其中,=FxF为概率相关性矩阵,S表示第 4.1概类内散度矩阵构造 个视图的概率类内散度矩阵。 设第个视图的软标签矩阵由公式(3)求得并表示 通过使用拉格朗日乘子法,公式(9)可以转换成如 为F,视图的概率类内散度矩阵S定义为 下的优化问题: (8 LO A)= 其中,m-1∑Fx0,A-∑F(=1,2.…,C (10) 从公式(8)可以看出概率类内散度矩阵是经典类内散度 令aL1a=0,可以得到 矩阵在概率视角下的广义扩展。特別地,如果每个样本 X 完全确定属于某个唯一的类,那么概率类内散度矩阵就 变成了经典的类内散度矩阵。 对公式(11)进行矩阵变换,可以得到 42半监督多视图CCA va=1S (12) 传统CCA仅关注两个视图,不能同时处理多个视其中矩阵的元素为:当法时,W=X04x,当 282016,52(18) Computer Engineering and Applications计算机工程与应用 =)时,w=0;,=ding(S,.s=.…,Sm)表示以S,获取两种有监督信息。此外,a和/这两个参数分别设置 S,…,m为对角元素的矩阵;a=[a",a3n,…,am 为1和20。MSDA:MSDA( Mulli-view semi- supervised 公八(12)这个广义特征值问题的特征向量即为公 Discriminant Analysis)是·种多视图半监督鉴别分析 式(9 MRMCO∧模型的解。公式(12)的b个最大特征 方法,它通过使用由无标签数据在不同视图上构建的 值对应的特征向量为{a=(a,a 种更可靠的局部邻接约束帮助从有限的有标签数据强 }1,第氵 化投影的学刁。 GMLDA: GMLDA是广义多视图分析 个视图的投影矩阵为=[a,a,…,1=”。( Generalized Mulli-view Analysis,GMA)架下的一种 多视图扩展。对于 GMLDA的参数设置,本文取a=10 5特征融合与图像分类 〃=1,"=tr(B1)tr(B2)。 设某个测试羊本x的m个视特征为{x,x2,…,xm},6,1LFW人脸数据集上的实验 x°∈9?"(=1,2,…,m),p表示第个视图的特征维数 LFW人脸数据集包含5749个对象的13233幅图 3像。本文选择其中的106个对象,每个对象选择14唱图 经过 LMRMCCA的训练测试样本x的第个视图的特征像来构造实验所需的样本集。实验样木集中的每幅图 在第个视图投影空问上的投影为:x=所x0。像均调整为32像素×32像素的大小。因为本部分实验 在具体分类过程中,这个测试样本m个视图中经过投中基于CCA的对比方法均采用两个视图,为公平起见, 影后的新特征{,x,…,可以采取各种特征融合本文所提出的 LMRMCCA方法也使用两个视图。本文 策略进行融合。本文使用与文献|相同的融合策略,使用 Coiflets、 Daubechies小波变换为每幅图像提取低 得到最终的融合特征立为:=∑到=∑序x0。对频特征构成两个视图的特征向量集合。使用来自于小 波变换的低频子图像的原因是:与高频子图像相比它们 丁融合后的特征可以使用最近邻分类器或其他分类包含更多的形状信息。在得到两个特征向量集之后使 器进行分类。本文采用以欧氏距离作为度量的最近邻用PCA将两个特征向量集合的维数都降为400维 分类器完成分类任务。 每个对象随机地从14幅图像中选择9幅图像用于 训练,剩余的5幅图像用于测试,即,共954幅图像用于 6实验结果和分析 训练,530幅图像作为测试样本。本文设计构造了8种 为了验证 LMRMCCA算法的有效性,本文在常见含不同比例有标签样本的半监督情景,即,在每个对象 的IFW人脸数据集和 MNIST数据集上进行实验 的9幅训练样本图像中分别随机标注1、2、3、4、5、6、7、8 具体来说,本文将 LMRMCCA算法与一些跟CCA相关幅图像作为有标签样本。对于随机标注本文做5次随 的方法(如, SSCCA、DCCA、 LDCCA、 SenIca) 机来构造5种不同的组合并分别进行实验,然后取这 在LFW人脸数据集进行比较。然后将 LMRMCCA算次随机的最大值。图1展示了使用不同数量的有标签 法应用于 MNIST数据集上并选择一些相关的多视图方 样本的情况下,各方法的最人平均识别率。 法(如,MCCA、 MVSSDRI、MSDA、 GMLDA)进 100 行对比。在所有实验中,每种实验设置重复进行10次 实验。 下面对其屮一些方法进行简要描述。 SSCCA: SSCCA SCCA SenicA 是在优化目标中通过引入结构化的稀疏诱导惩罚项挖 DCCA LDCCA 摒变量之间给定的或未知的结构信息。 Senica LMRMCCA SemIcca中的两种有监督信息通过训练集中有标簽样 1234567 本给定的标签提供。 LDCCA: LDCCA在考虑样本对之 每个对象有标签数据个数∧个 间相关性的同时通过最大化局部样本的类内相关性并 图1LFW人脸数据集上每个对象使用不同数 最小化局部样本的类间朴关性来获取有效的可分性 量的有标慾样本时不同方法的最大平均识别率 对于 LDCCA的k-NN参数k,按照原文使用的方法进行 通过图1可以看出 LMRMCCA算法在每个对象分 确定,即从1到样本数量a之间搜索最佳的值作为k的别有1、2、3、4、5、6、7、8幅有标签样本图像的情况下都 值。MCCA:MCCA是CCA的种广义扩展,它能够同优于其他四个对比方法。这说明 LMRMCCA算法在半 时处理多个视图。本文首先通过MCCA获取投影方向,监督情境下能够更好地利用有标签样本和无标签样本 然后使用与 LMRMCCA相同的方式进行视图融合。的信息完成识别任务,比其他方法更鲁棒,因此更适合 MVSSDR:在 MVSSDR中,使用与 SenIca相同的方式半监督情景。 董西伟:基于局部流形重构的半监督多视图图像分类 2016,52(18) 62 MNIST数据集上的实验 表1MNST数据集上 LMRMCCA算法在不同 MNST数据集中共包含70000幅关于数字0到 比例有标答数据时的平均识别* 数字9的手写体图像,其中60000幅图像作为训练集 有标签数据比例2个视图3个视图4个视图 10000幅图像作为测试集。因此, MNIST数据集上的图 像分类任务实际上是一个类别为10的分类问题 35.73 38.69 40.49 52.57 55.37 MNIST数据集上的所有图像都进行了尺寸和位置上的 65.32 67.72 统一,每幅图像的大小为28像素×28像素。每幅图像用 78.91 81.81 83.8 三种不同类型的特征(原始像素特征、LBP特征、小波特 6)% 85.l6 8846 9046 征)构造三个特征表示集合。然后使用PCA将它们的 89,44 92.54 941.24 维数都降为200维。 90 91.42 93.62 95.82 对于训练集,每个数字分别随机取10%、20%、30% 40%、50%、60%、70%、80%、90%的图像作为有标签数据 7结東语 来构造半监督情景。对丁每个数字不同比例有标签数 本文提出了·种基于局部流形重构的半监督多视 据的随机选取,本文做5次随机来构造5种不同凶组合并 图学习方法 LMRMCCA。 LMRMCCA算法首先基于输 分别进行实验,然后取这5次随机的最人值。图2显示入特征向量的局鄙重构误差为图的边学习合适的权重, 了在使用不同比例的有标签数据的情况下, LMRMCCA 然后使用基于图的标签传播算法为无标签样本估计类别 算法以及其他方法的最大平均识别率。通过图2可以看 信息并用一种软标签矩阵表示;在构建的软标签矩阵基 出,在9种不同比例的有标签数据情况下, LMRMCCA础上 LMRMCCA算法借助于改进的典型相关分析(CA) 所能达到的识别性能都优于其他的方法:通过这个实 验可以看出 LMRMCO∧是一种有效的多视图学习方 技术通过同时考虑不同视图同类样本之间的相关性和每 个视图同类样本的紧致性来寻找投影方向提升特征的鉴 法,尤其是将其应用在半监督学习情景下的时候 别性能; LMRMCCA算法通过对传统CCA算法改进后 100 它能够同时处理来自多个视图的数据。在LFW人臉数 据集和 MNIST数据集上的实验结果表明, LMRMCCA 算法能够在半监督多视图场景下从无标签数据、有标签 -MCCA 数据和多视图的特征表示中挖掘出更多的有利于完成 -MVSSDR -MSDA 鉴别任务的鉴别信息,从而取得更好的识别性能。 一 GMLDA -LMRMCCA 参考文献 30405060708090 有标签数据比例% [1 Naganathan H, Chong wk, Chen X Semi-supervised 图2 MNIST数据集上使用不同比例有标答 Energy Modeling(SSEM) for building clusters using machine 数据时不同方法的最大平均识别率 learning techniques[J]. Procedia Engineering, 2015, 118(8) lI89-1194 为了说明 LMRMCCΔ算法挖掘并融合不冋视图的(2」刘建伟,刘嫒,罗雄麟半监督学习方汰刂计算机学报,2015 不同类型的鉴別信息完成识別任务时的能力,本文从原 38(8):1592-1617 始像索特征、LBP特征、小波特征、勒让德矩特征(Leg-[3] Gong Y.KeQ.lsuM, et al. A multi-view embedding space endre moment Feature)屮分别选择mⅦm=2,3,4)种不 for modeling Internet images, tags, and their semantics[J] 同类型的特征(即不同的视图),在每个数字分别选取 International Journal of Computer Vision, 2014, 106 (2) 10%、20%、30%、40%、50%60%、70%、80%、90%的数据 210-233 作为有标签数据的情况下考察 LMRMCCA算法完成图41周凯汀,郑力新基于改进ORB特征的多态人脸识别 像分类任务时的识別能力。表1显示了 LMRMCCA算 法釆用m(m=2,3,4)种特征时在每个数字选取不同比 [5 Hardoon DR, Szedmak S, Shawe-Taylur J Canonical cor- 例数据作为有标签数据的情况下的平均识别率。从表1 relation analysis: an overview with application to learning methods [J]. Neural Computation, 2004, 16(12): 2639-2664 可以看出,当使用4种类型的特征时, LMRMCCA算法(6张博,史忠桂,赵晓非,等一种基于跨领城典型相关性分析 的识别性能始终优于使用2种和3种特征时的识别性 的迁移学习方法[计算机学报,2015,38(7):1326-1336. 能,这说明 LMRMCCA算法作为一种多视图特征学习7 Nielsen AA. Multiset canonical correlations analysis and 算法,它可以通过从不同的视图挖掘更多不同类型的鉴 multispectral, truly multitemporal remote sensing dataJJIEEE 别信息更好地完成鉴别任务、获取更好的识别性能。 Transactions on Image Processing, 2002, 11(3): 293-305 302016,52(18) Computer Engineering and Applications计算机工程与应用 18 Chen X, Liu H, Carbonell J G Structured sparse canonical linear neighborhoodsJJ. IEEE Transactions on Knowledge correlation analysis[C]/Proc of International Conference and Data Engineering, 2008. 20(1): 55-67 on Artificial Intelligence and Statistics, 2012: 199-207 [17 Roweis S T, Saul L K Nonlinear dimensionality reduction [9] Sun Tingkai, Chen Songcan, Yang Jingyu, et al. A novel by locally linear embedding[J]. Science, 2000, 290(5) method of combined feature extraction for recognition[C]ii Proc of ILL International Conference on Data Mining [18 Zhu X, Ghahramani Z, Lafferty J Semi-supervised learning lCDM),2008:1043-1048. using Gaussian fields and harmonic functions]/Proc [10 Peng Yan, Zhang daoqiang, Zhang Jianchun. A new canonical of International Conference on Machine Learning(ICML) correlation analysis algorithm with local discrimination[J] 2003:912-919 Neural Processing Letters, 2010,31(1): 1-15 [19 Huang G B, Ramesh M, Berg T, et al. Labeled faces in [11 Guan Naiyang, Zhang Xiang, Luo Zhigang, et al. Sparse the wild: a database for studying face recognition in representation based discriminative canonical correlation unconstrained environments, Technical Report 07-49RI analysis for face recognition[ C]!Proc of IEEE Interna University of massachusetts. Amherst, 2007. tional Conference on Machine Learning and Application [20 Li Deng. The MNIST database of handwriten digit images ( ICMLA),2012:51-56 for machine learning research[J]. IEEE Signal Processing [12]Peng Yan, Zhang Daoqiang Semi-supervised canonical cor Magazine,2012,29(6):141-142 relation analysis algorithm[]Journal of Softwarc, 2008, [21] Hou Chenping, Zhang Changshui, Wu Yi, ct al. Multiple 19(l1):2822-283 view semi-supervised dimensionality reduction[J].Pattern 11刘钰峰,李仁发异构信息网络上基于图正则化的半监督 Recognition,2010,43(3):720-730 学习计算机研究与发展,2015,52(3):606-613 [22]Zhao X, Evans N, Dugelay J L Multi-view semi-supervised [14] Chapelle O, Weston J, Scholkopf B Cluster kernels for discriminant analysis: a new approach to audio-visual semi-supervised learning[C]/Proc of Advances in Neural person recognition [C]/Proc of 20th European Signal Pro Information Processing Systems, 2002 585-592 cessing Conference(EUSIPCO), 2012: 31-35 1 15 Zhou D, Bousquet O, Lal TN, et al. Learning with local [23 Sharma A, Kumar A, Daume Ill H, et al. Generalized mul and global consistency[C /Proc of Advances in Neural tiview analysis: a discriminative latent spacelCProe Information Processing Systems, 2004: 321-328 of IEEE Conference on Computer Vision and Patlern [16] Wang Fei, Zhang Changshui Label propagation through Recognition(CVPR), 2012: 2160-2167 (上接17页) sparsity[I].Journal of Machine L earning Research, 2011 5 Zhang X, Chan T F Wavelet inpainting by nonlocal total 12(7):3371-3412 variation[]. Inverse Problems and Imaging, 2010,4(1) [12]邓承志,田伟,陈昐,等基于局部约束群稀疏的红外图像 [6] Drori 1, Cohen-Or D, Yeshurun H Fragment-based image 超分辩率重建物理学报,2014.63(4 completion [J].ACM Transactions on Graphics, 2003, 22(3 [13 Yang J, Wright J, Huang T, et al. Image superresolution via sparse representation [].IEEE Transactions on Image Pro 303-312 sing,2010,99 [7 Tang F, Ying Y, Wang J, et al. A novel texture synthesis [14 Mairal J, Bach F, Ponce J, et al. Online dictionary learning based algorithm for object removal in photographs[Ci for sparse coding[C]//International Conference on Machine The 9th Asian CompuLing Science Conference, Chiang Learning(ICML), Montreal, Quebec, Canada, 2009: 689-696 Mai. Thailand. 2004: 248-254 [15] Tropp J A, Gilbert A C, Strauss M J Algorithms for [8]Mairal J, Elad M, Sapiro G Sparse representation for color simultaneous sparse approximation, part I: greedy pursuit[J] image restoration[ J. IEEE Transactions on Image Processing Signal Processing, Special Issue Sparse Approximations 2008,17(1):53-69 in Signal and Image Processing, 2006, 86(3): 572-588 引」李民,程建,李小文,等,非局部学习字典的图像修复电 [16 Buades A, Coll B, Morel J M.A non-local algorithm for 子与信息学报,2011,33(11):2672-2678 image denoising[C]!/IEEE Computer Society Conference [10] Sahoo S K, Lu W Image inpainting using sparse approxi on Computer Vision and Pattern Recognition( CVPR mation with adaptive window selection[C]/2011 IEEE San Diego, California, 2006: 60-65 7th International Symposium on Intelligent Signal Pro-[17 Fadili M J, Starck J L, Murtagh F Inpainting and zooming cessing( WISP),2011:1-4 using sparse representations[J]. The Computer Journal, 2007 [ll Huany J, Zhang T, Metaxas D Learning with structured 52(1):64-79

...展开详情
试读 7P 论文研究-基于局部流形重构的半监督多视图图像分类.pdf
立即下载 低至0.43元/次 身份认证VIP会员低至7折
一个资源只可评论一次,评论内容不能少于5个字
您会向同学/朋友/同事推荐我们的CSDN下载吗?
谢谢参与!您的真实评价是我们改进的动力~
  • 至尊王者

关注 私信
上传资源赚钱or赚积分
最新推荐
论文研究-基于局部流形重构的半监督多视图图像分类.pdf 9积分/C币 立即下载
1/7
论文研究-基于局部流形重构的半监督多视图图像分类.pdf第1页
论文研究-基于局部流形重构的半监督多视图图像分类.pdf第2页

试读结束, 可继续读1页

9积分/C币 立即下载