论文研究-基于低秩表示的非负张量分解算法.pdf

所需积分/C币:11 2019-07-22 19:39:13 729KB .PDF
50
收藏 收藏
举报

为了提高图像分类准确率,提出了一种基于低秩表示的非负张量分解算法。作为压缩感知理论的推广和发展,低秩表示将矩阵的秩作为一种稀疏测度,由于矩阵的秩反映了矩阵的固有特性,所以低秩表示能有效地分析和处理矩阵数据,把低秩表示引入到张量模型中,即引入到非负张量分解算法中,进一步扩展非负张量分解算法。实验结果表明,所提算法与其他相关算法相比,分类结果较好。
302· 计算机应用研究 第33卷 G≥0,U1≥0,U2≥0,U2≥0 (12) g)根据式(26)计算S; 2.4算法描述 h)重复步骤b)~g)直到满足停止条件; 为使于计算,式(12)可以写为 i)输出U、U2 X-G×1U1×22×:U‖2+A‖U j)根据式(27)得到Y。 5.t.G≥0,U1≥0,U2≥0,U,≥0 为了把式(13)中的待求变量分隔开,引入一个辅助交量3实验结果分析 Z,优化问题式(13)变为 为∫验证文提出的基于低秩表示的非负张量分解算法 mnXx-Gx1U1×2U2x3U12+A‖z t.G=0,U120,U=0,U30,U51=2,Z>0 (14)的有效性,采用两个手写数字数据库 Binary Alphadigits和 USPS Handwritten Digits进行实验对比。第一个数据库包含 问题式(14)的增广拉格朗日函数为 0~9十个数字,以及A-Z26个英文字母,共36类,每类有39 L(U, U,, U,, G, Z, Y) 幅图像,图像为20×16的灰度图像。第二个数据库包含0-9 X-G×:U1 2+A‖Z‖,+ 十个数字共10类,每类有1100幅图像,图像为16×16的灰度 S,U2-Z〉+/2U3-Z‖ 图像。 其中:S为拉格朗日乘子,为非负的罚因子 对 Binary alphadigits数据库作两组实验,第组实验是从 采用ADM方法更新变量z 每类中随机选取5幅图像作训练,其余图像做测试;第二组实 Zk+1=argmin A Z l*+(S: Z-U(3)>+A/21Z-U( 验是从每类中随机选取10幅图像作训练,其余图像作测试ε 吗gmnh2,+212-3k+s12(16)对 USPS Handwritten Digits数据库同样作两组实验,第一组实 可得 Zx+1=ADA(U(3)6-p (17)验是随机选取50幅图像作训练,其余图像作测试;第一组实验 是从每类中随机选取100幅图像作训练,其余图像作测试。 由式(15)可得偏导: 在选择对比算法方面,由于 PARAFAC算法不适合子空间 = (X-Gx1U×2U2x,U3)(1(U8U)G1(18)学习,对于张量分解算法仅选用 Tucker分解作对比实验,同 时,选择非负算法NTF算法与G\TF3、SNTF算法作对比,验 aL =(-Gx1U1×22×3U)(21(1)2(19)证本文提出的基于低秋表示的非负张量分解算法(LNTF)算法 的可行性与有效性。由于钶种算法均为∫空间学习方法,如前 G=(X-G×:U×2U2x3U1)(3:(U的U2)、-S+(U-) 所述,想要实现图像分类,还需采用分类器才能实现,每种比较 (20)方法均采用最近邻分类器(1-NN)进行分类。对这五种算法来 1=(X-Gx10×2U2x33)×1U×2Ux:U(21)说,两幅图像之间的距离为 由式(18)可得U的迭代规则: d(X,x)=X-M12=Mx2-xU2(28) (x(1(U∞U3)G1) 由于除 Baseline外的四种算法在初始化过程中均采用随 0)-0)0(a(48)c1) (2 机生成数据的方法,为了消除这种随机性对实验结果的影响 由式(19)可得U2的迭代规则 充分说明所提算法的有效性,实验过程中,对每一维度均不用 (U2),(1、(X(2(U1⑧U3)G2) 十次取均值的方式得到最后的平均分类准确度,分类结果如图 (Q(2)(U1②U3)G(2) (23)1、2所示,其中横轴为数,纵轴为平均分类准确度。从图中 由式(20)可得U的迭代规则 可以看出各种算法在各维度的分类情況。县体地,图1(a)为 (X(2)(U8U)G)+mU) Binary Alphadigits数据库每类取5个样本所得到的维数与分类 (U)+(U) (24) (Q:3(U182)C(3+S+Z) 率的分布情况:图1(b)为 Binary Alphadigits数据库每类取10 由式(21)可得G的达代规则 个样本所得到的笙数与分类率的分布情况;图2(a)为IsP (X×1U1×2U×3U) Handwritten digits数据库每类取50个样本所得到的维数与分 (G)←(G) (Q×1U×,U2×3U) 类率的分布情况;图2(b)为 USPS Handwritten digits数据库每 其中:Q=C×1U1×2U2×3U。 类取100个样木所得到的维数与分类率的分布情况。 最后,拉格朗日乘子的迭代规则 0.9 0.8 0.7 Tf 08节 由式(22)(23)可以得到U1、U2,由U1、U2可得X对应子 0.6 烂 000 空间中的Y(i=1,2,…,N): 米04 郑 0.5 0.3 Y,=U×X;×U2 算法具体步骤如下 0101000 度3 000 维度 a)初始化U、U2、U3、G、、,设置u>0 a)5个训练样本 b)10个训练样本 b)根据式(17)计算z; 图1 Binary Alphadigils数据库维数与分类率分布 C)根据式(22)计算U 另外,在表12中列出了各种算法的最优分类结果及对应 d)根据式(23)计算U2; 的维数。表1对应于图1,表2对应于图2。从表1、2中可以 e)根据式(24)计算U4 清楚地看出,LNTF优于GNTF、NTF、 Tucker分解、SNTF算法 f)根据式(25)计算G 同时,需娑指出的是,SNTF算法对于子空间学习并没有优势 第1期 刘亚楠,等:基于低秩表示的非负张量分解算法 303 即不适于作子空间学习。另外,从表1、2中还可以看出,最优 Trans on Information Theory, 2005, 51(12): 4203-4215 分类结果对应的维数都较低。 [7 Donoho D L. Compressed sensing[ J]. IEEE Trans on Information Theory,2006,52(4):1289-1306 095 [8 Cundes e, romberg j. Sparsity and incoherence in compressive sall- pling J. Inverse Problems, 2007, 23(3): 969-985 x0.7 L 9 Candes e j. The restricted isometry property and its implications for 米0 compressed sensing J. Comptes Rendus mathematique, 2008 0.6 346(9):589-592 0200400600800100012001400 200 400600 1000 1200 1400 [10] Maillard O A, Munos R. Compressed least-squares regression [C] 在度 维度 Proc of Neural Information Processing Systems Conference. 2009 (a)50个训练样本 b)100个训练样本 图2 USPS Handwritten Digits,数据库维数与分类率分布 1213-122 表1 Binary Alphadigits数据库介类性能比较 [ll Goyal V K, Fletcher A K, Rangan S. Compressive sampling and lossy compression[J]. IEEE Signal Processing Magazine, 2008 5个训练样本 10个训练样本 方法 米 维数 分类 准确率/% 维数 准确率/% [12 BABADI B, KALOUPTSIDIS N, TAROKH V. Asymptotic achiev Baseline 20x I6 72.07 ability of the Cramer-Rao bound for noisy compressive sampling[J] IEEE Trans on Signal Processing, 2009, 57(3): 123.3-1236 Tuck 6×3×3 6x3×3 [13] Engan K, Aase 50, Tlakon II J. Method of optimal directions for 19xI1x3 frame design[ c]//Proe of IEEE InlernatLional Conference on Acou NTF10×10×10 8×8x8 lies, Speecl, und Signal Proressing.[S.L..: IEEE Press, 1999 GNTF16×11×2 8×8×3 88.0 2443-2446 LNIF14×3×4 41 5×8x7 L14」 Elad m. Sparse ar entations: from theory to appli- 表2 USPS Handwritten digits数据库分类性能比较 talions in signal und image processing [M]. Berlin: Springer, 2010 [15] Duerle M F, Eldar Y C. Structured compressed sensing: Frum theory 50个训练样本 100个训练样本 方法 lo applications [J. IEEE Trans on Signal Processing, 2011, 59 隹数 维数 分类 准确率/% 准确率/% (9):4053-4085 Baseline16×16 16×16 85.30 L16 Negahban S, Wainwright M Joint support recovery under high-di- Tucker10×4×2 7×5×3 mensional scaling benefits and perils of lo a-regularization J. Ad T 8×5×2 1.27 10x11×2 ances in Neural Information Processing Systems, 2008, 21 1161-1l6 SNTE 10×10×10 [17 Zou H, Hastie T, Tibshirani R. Sparse principal component analysis GNTF8×5x2 9x11×2 [JI. Journal of Computational and Graphical Statistics, 2006, 15 LNTE 14X6x2 16×4×5 95.41 (2):265-286 [18] E. Ihamifar E, Vidal R. Sparse subspace clustering [C ]//Proc of 4结束语 I,, Conference on Computer Vision and Pattern Recognition [S L]: IFFE P 为了保持数据空间的几何结构,本文结合非负张量分解和[19]in( angcan, in /hanchen, Yan Shuicheng,etal. Robust recov- 压缩感知理论的优势,提出·种基于低秩表示的非负张量分解 ace structures by low-rank representation [ J]. IEEE 算法,把低秩表小扩展到张量范畴,在非负张量分解模型中引 Trans on Pattern Analysis and Machine Intelligence, 2013, 35 入低秩约束,对数据进行维数约减,并应用于手写体数据库中, 1):171-184 实验结果表明该算法可以有效提高分类准确率。 [20] Liu Guangeu, Linl Zhouchen, Yu Yony. Robust subspace segmenta- 参考文献: lion by low-rank representation [C//Prue of the 27 h Inlernulional Conference on Machine Learning. 2010: 663-670 [1] Welling M, Weber M. Positive lensur fatlorizalion[ J]. Pattern Rec- [21] Ni Yuzhao, Sun Ju, Yuan Xiaotang, et al. Robust low-rank subspace ognition Letters,2001,22(12):1255-1261. segmentation with semidefinite guarantees[ C//Proc of IEEE Interna [2] Liu Ji, Iiu Jun, Wonka P, et al. Sparse non-negative tensor factori tional Conference on Data Mining Workshops. [S. 1.]: IEEE Press zilion using coluMnwise cordiale descent[J]. Pattern Recogni- 2010:1179-1188. tion,2012,45(1):649-656 [22] Lin Zhouchen, Liu Risheng, Su Zhixun. Linearized alternating direc [3 Cung Fenigyll, Phan A H, Aslikainen P. Mulli-dlormain fealure of e tion method with adaptive penalty for low-rank representation[C// vent-related potential extracted by nonnegative tensor factorization 5 Hroc of neral Information processing Systems Conference 2011. 6 s. 14 electrodes EEG data[ C]// Lecture Notes in Computer Scl- [23] Kim II, Park Il, Rake B L. Extracting unrecognized gene relatio ence, vol 7191. Berlin: Springer, 2012:502-510 ships from the biomedical literature via matrix factorizations[ J].BMc L4 Tucker L R. Some mathematical notes of three-mode factor analysis Bioinformatics, 2007, 8(Suppl): IJI Psychometrika, 1966, 31(3): 279-311 [24]http://www.cs.nyll.edu/-roweis/data.htm[eb/ol].(2014-04 [5 Ilarshman R A. Foundations of the PARAI'AC procedure: models and conditions for an explanatory"multi-modal factor analysis .J. [25] Tiu Yanan, Wu Di, T in Lulu, et al. Graph-based non-negative ten CLA Working Papers in Phoneties, 1969, 16(1): 1-8 sor fclorizaliUn for image classificaTion [J. Journal of Computa [6]CaIdes E J, Tao T. Decoding by linear Programming[ J]. IEEE tional Information Systems, 2014, 10(1): 267-274

...展开详情
试读 4P 论文研究-基于低秩表示的非负张量分解算法.pdf
立即下载
限时抽奖 低至0.43元/次
身份认证后 购VIP低至7折
一个资源只可评论一次,评论内容不能少于5个字
您会向同学/朋友/同事推荐我们的CSDN下载吗?
谢谢参与!您的真实评价是我们改进的动力~
  • 至尊王者

关注 私信
上传资源赚钱or赚积分
最新推荐
论文研究-基于低秩表示的非负张量分解算法.pdf 11积分/C币 立即下载
1/4
论文研究-基于低秩表示的非负张量分解算法.pdf第1页

试读结束, 可继续读1页

11积分/C币 立即下载