论文研究-黎曼流形的距离均方差最小降维改进算法.pdf

所需积分/C币:10 2019-09-07 02:24:38 560KB .PDF
31
收藏 收藏
举报

TRIMAP算法重新定义了图上距离的表达形式,并用近邻点对的测地距离的误差和作为衡量投影函数好坏的标准,通过这种方法可以较好地找到所需的从高维空间到低维空间转换的媒介,但是这种衡量标准不能很好地表达出TRIMAP中定义的图上距离与投影到低维空间中两点实际距离的对比关系。针对这个不足,采用了一个新的衡量标准表达式,定义一个参数m来代表对比关系,以此来解决这个缺陷,从而更好地获得最佳投影,提高识别率。实验结果表明,在ORL人脸图像的分类识别问题中获得了较好的识别性能。
2002013,49(2) Computer Engineering and Applications计算机工程与应用 近投影的黎曼流形学习算法,它的实现由两个阶段完成。阵:因此,本文将上面所说的对比关系用参数m表示,并 第一个阶段,流形展开阶段。首先构建一个邻接图来反映将衡量投影两数好坏的标准改写为 局部流形的拓扑性质,利用这个图就可以估计出位于学习 子空间中每一对样本点的测地距离。而后推倒出一个基 0(f (3 于距离保持架构的标函数并提取丨标函数的上荞,将其 但正如 TRIMAP算法中所讲,由于最优化问题不是 优化,以便得到一个在低维子空间的投影。第二个阶段 凸的,因此很难找到一个最佳投影f但是可以将式(3)中 判别投影阶段。利用一些不同的策略来加强其识别能力,微弱的上界进行有效的最小化,以便达到目的。 让属于不同类的样本点更疏远,让同一类的样本点更紧 以下给出式(3)中的一个上界 凑。采用多线性张量投影,便于更好地利用张量数据的结 构信息 A·∑ B 虽然 TRIMAP与 ISOMAP有类似的目标函数,但却 有明显的区别。 ISOMAP算法用多为尺度方法来处理目其中,A=mx1mS≠,B=4∑S,而且4和B是 标函数,而 TRIMAP算法试图解决非凸性目标函数的上两个正常数 界。另一方面,更多的判别信息可以通过图形构建和 下面给出证明过程 TRIMAP的判别投影阶段获得。 另外, TRIMAP采用了类似于其他旨在保留局部流形 结构的基于图形嵌入的流形学丬算法,如LLE"的优化 目标,其目标函数来自一个全局观点,因此可以大致保留 张量数据的仝局结构。 82 2ym+S≤ 3测地距离均方差最小实现 TRIMAP降维的 改进算法 3.1测地距离逼近 4∑ 正如在 TRIMAP算法中所讲述的那样,原始的图上 距离一般都简单地定义为两个数据点的欧式距离,但是这 -2+B≤ 种定义并未考虑到数据点上任何的额外标记信息,而这些 信息很可能对近邻点距离的逼近有很大的帮助。丁是, A +B= TRIMAP重新定义了一个有监督的近邻距离的度量 x-y,x与V属于同一类,或者x与y属丁不同 A +B(0<m<2) d(x,y)={类,但是y前k个近邻点中的一个(1) x,上述情况之外 从式(4)可以看出,A和B两个正项都与y无关,因此可 现将两个数据点x与的图上距离记为S。为了在以通过最小化下面的目标函数F()来代替式(4)中的 非监督的情形下使用 TRIMAP算法可以采用图上前k个F() 近邻点相联结的方法初始化图 32测地距离最小均方差法及其改进 F()=∑/0-yFP (5) 文中讲到的 TRIMAP算法的目的是当数据点技影到 假设投影到子空间中的数据y,是一阶张量,可以把 低维子空间时使任何一对数据点的测地距离保持不变,这 式(5)改写为: 也是测地距离最小误差法的目的之一。 TRIMAP用近邻 点对测地距离的误差和作为衡量投影函数好坏的标准,即 F()=2y-男 (6) F0() (.-S F(=trY(D-L)Yj (7) 其中,Y=-y小y=(x)亦即是x的投影,假设对丁某 其中,y=[y,2…,,此矩阼的列向量都为投影向量, 个i和j有y≠y 上述方法可以较好地找到从高维空间到低维空间转 L(.)=1是与图距离的m次幂互为倒数的知车,D(,D 换所需要的投影矩阵,但是这种衡量标准的表示却没有很 (是对角矩阵。此外,为了防止所有的数据点都投 好地表达出 TRIMAP算法中新定义的图上距离与投影到 低维空问中两近邻点间实际距离的对比关系。这种对比影到一个点上,在此增加了[Dr了=这样一个约束条件。 关系究竟是多少时才是最好的,即可以找到最佳的投影矩 下面要讨论扩展到多阶非线性张量的情况: 高恩芝,王士同:黎曼流形的距离均方差最小降维改进算法 2013,49(2)20 最近的一些研究表明,人们用到的自然数据常常以张 (10) end for 量的形式出现,而基于张量的算法可以很好的减轻小样本 (11)下面特征值分解问题中将用到的变量 问题。于是将上面的结果扩展到N维张量空间中,就有了 下面将要介绍的式了。 首先令U1U2…,C代表n个投影矩阵,而某个数据 点x,∈R2在低维子空间上的投影就可以表示为: :=∑()().0 (12)广义特征值分解问题 =x×1U×2U2x…×,U△x∏xU (8) H(C7)=W2(U)E,U∈R 如果假定投影知阵的n-1个,…,U11,U1,…, (13)如果对于所有的k,有|U-<E就退出循环;否则 Un)是固定的,那么就可以通过最小化F(U1),来达到将剩继续 余的那个投影矩阵U的最优化。于是类似于式(7)的定 (14) 义,有 (15) F()=2 lU,(v;- Y,)ll (16)对所有的令U=U,然后计算y2=(x1×kU),之后 把y2以列向量的形式展开,再对其用LDA算法,学习另一个投影 知阵 )"() (17)得到返回值U和I1D以及 (18)结束 (0<m<2) 经过上面的过程,绎可以把非线性流形展开到一个 其中,-(CDn因此,若要找到最佳技影知阵线性低维子空间中了。但是这并不等于已经完美地找到 U,,可以通过解决下面问题的最优化。 了最佳投影,其中还存在还有很多问题,比如 TRIMAP算 Un= arg min f(Ur),亦即 法中所说,不同类的点之间的距离非常小的问题还有可 能发生,这样就违背了在学习一个保持测地距离不变的投 ∑(m)(xr"0,o() (10)影,同时保持良好的判别能力的初衷。因此,为了提高这 种辨别能力,还要学习另一个判别投影。其方法很多, 从上可知,F()的最小化是通过知阵D来实现的, TRIMAP算法中也有涉及,这里不再赘述 U的列向量是由最小特征值对应的特征向量构成的,而这 些最小特征值是由下面的广义特征值分解问题产生的: 4实验研究与分析 U)=WU)E 为了验证本文方法的优越性,进行了大量的实验,并 其中,W1=∑ lvy, 以人脸识别率作为对比参数。下面把实验对比结果以表 H,=∑(y))L0DE格的方式展现出来。 实验中所用的数据库是英国的ORL人脸数据库,此人 是由所有特征值组成的对角矩阵 臉薮据库总共有400张图像,其中有40人,每人10张图像。 用这种迭代方法来得到最佳投影的一个近似解,并在 本文任意选取了40人中的10人的图像进行实验,将 开始计算时将单位矩阵作为初始化矩阵。下面给出这个这10人的人脸图像分为训练集和待识别集,从每个人的图 算法的具体实现步骤。 像中任意选E(E=3,4,5,6,7,8)张图像作为训练样本,而剩 先简单介绍其中用到的一些变量。 余的10-E张图像即为待识別的样本。此外,L1和L2是人 X=(xx2…x)张量样本训练集其中的,为规定的降维后的输出维数,m是距离关系的对比参数。 (1,12,…,l):输出维数 通过多次实验,将实验结果进行分析对比可知,当m T:最大的训练迭代次数。 1,4143时结果较好,表1~表6为实验结果。其屮,N为实验 1)投影矩阵的初始化:U=1C0=n…,UD=L 总样本数的类数,E为训练样本的类数,K为算法中提及的 (2)生成一个规定范国之内的随机数m。 某样本点的近邻点数,1代表人脸图像数据第一维降维后 3)构建近邻图,建立邻接矩阵。 的数据,L2代表人脸图像数据第二维降维后的数据,sb代 (4)求出每一类中每个点的K近邻域。 表用 TRIMAP算法进行实验得到的识别率,sblx代表用本 (5)用Foyd算法计算出所有的距离S。 文中的算法进行实验得到的识别率,m代表的是距离对比 6)for t-l to Tmax, do LOOP LI 关系 (7) for /= 1 to n, do loop lz 表7是将提出的算法与PCA以及原 TRIMAP进行对比 (8 for each i. de 实验的结果;图1给出了其平均识别率与训练样本的关系, y,=(x1×k 以及它们的平均识别率的对比关系。 202 013,49(2) Computer Engineering and Applications计算机工程与应用 表1E-3时识别率的对比 TRIMAP TRIMAPG 0.8 10381.414319190.67140.7286 10381.414322210.62860.6429 乐0.5 lD381.414328250.6714.8143 ¥0.4 10381.414331270.65710.6857 PCA 0.3 l03 1.414334290.61430.7429 0.2 10381414340330.67140.7429 12345678910 表2E=4时识别率的对比 训练样本数 N E K m L1 L2 Sbli 图1算法的平均识别率对比曲线图 10481.414319190.76670.7833 的优势,且其识别率在总体上也要高于原算法;从表7和图1 10481.414322210.76670.8000 中可以直观看出三种算法的平均识别率的高低对比。 10481.414325230.70000.8000 l481.41432825(.7000(.750 10481.414331270.70000.8167 结论 10481.414337310.75000.8667 通过实验数据可以看出,在人脸图像的分类识别问题 :,提出的方法所得到的分类效果比PCA和 TRIMAP更 表3E=5时识别率的对比 好。但是本文方法也存在明显的不足之处,比如距离关系 E K L1 L2 Sbli Box 的对比参数m不容易控制,需要依靠理论指导和大量的实 10581.414322210.72000.7400 10581.414328250.76000.8000 验积累来获取,实验运行效率降低等。在今后的工作中 1.41433127().800 将对此进行更加深入的研究和探讨。 10581.414334290.70000.7400 10581.414337310.74000. 参考文献: 105 1.414340330.70000.8400 l1 Fleischer R, Chen C, Zhang J Distance approximating dimen 表4F=6时识别率的对比 sion reduction of riemannian manifolds[JIELE Trans on Systems, Man, and Cybernetics, 2010, 40(1): 208-217 VE K L1 L2 Shox [2]吴晓婷,闩德動数据降维方法分析与研究.计算机应用研 10681.414322210. 00.7750 究,2009,26(8) 81.414334290.70000.7500 10681.414337310.65000.7000 [3]尹飞,冯大政基」PCA算法的人脸识别门计算机技术与发 展,2008,18(10). 10681414340330.65000.7250 [4 Tenenbaum J, Silva v, Langford L a global gcomctric framc 表5E=7时识别率的对比 work for nonlincar dimensionality rcduction[].Scicncc, 2000 yE K LI L2 Sbli Shox 290:2319-2323 10781.414319190.73330.8667 [5 Roweis S Saul LNonlinear dimensionality reduction by locally l0781.414325230.7330.8000 linear embedding[J]. Science, 2000, 290: 2323-2326 10781.414328250.70000.7333 lG He x, Niyogi P Locality preserving projections C/Advances 10781.414340330.73330.7667 in Neural In formation Processing Systems. Cambridge, MA MIT Press,2004:153-160 表6E=8时识别率的对比 [7] Zhang Z, Zha H Principal manifolds and nonlinear dimen- X E K m L1 L2 Sbli sion reduction via local tangent space alignment[. SIAM J 10881.414319190.70000.7000 Sci Comput,2005,26(1):313-338 10881.414325230.75000.9000 18 Zha s J, Jain A K Small-sample-size effects in statistical 8 1.414331270.850D(.850 pattern recognition: recommendations for practitioners[J].IEEE 10881.414334290.65000.7000 Trans on Pattcrn Analysis and Machinc Intclligcncc, 1991 表7平均识别率对比结果 13(3):252-264 算法E=3E=4E=5E=6E=7E=8 [9]高小方流形学习方法中的若干问题分析[计算机科学,2009, PCA0.43330.50000.61500.64370.72500.7357 TRIMAP0.67860.71670.73750.71020.71470.7589 「I0]徐蓉,姜峰,姚鸿勋流形学灲概述[智能系统学报,2006(1) TRIMAPG0.73930.74920.76000.76630.77500.78 lIl Yan S, Xu D, Zhang B, et al. Graph embedding and exten sions: a general framework for dimensionality reduction[I 从表1~表6中的实验数据可以看出,本文提出的对投 IEEE Trans on Pattern Analysis and Machine Intelligence 影函数衡量标准的改进较其 TRIMAP的衡量标准有史大 2007,29(1):4050

...展开详情
试读 5P 论文研究-黎曼流形的距离均方差最小降维改进算法.pdf
立即下载
限时抽奖 低至0.43元/次
身份认证后 购VIP低至7折
一个资源只可评论一次,评论内容不能少于5个字
您会向同学/朋友/同事推荐我们的CSDN下载吗?
谢谢参与!您的真实评价是我们改进的动力~
  • 至尊王者

关注 私信
上传资源赚钱or赚积分
最新推荐
论文研究-黎曼流形的距离均方差最小降维改进算法.pdf 10积分/C币 立即下载
1/5
论文研究-黎曼流形的距离均方差最小降维改进算法.pdf第1页

试读结束, 可继续读1页

10积分/C币 立即下载