非负矩阵与张量分解及其应用

所需积分/C币:45 2017-11-11 12:13:12 2.86MB PDF
39
收藏 收藏
举报

阵的低秩逼近是一种大规模矩阵低秩近似表示技术,是从大规模、复杂的数据中 寻求数据潜在信息的一种强有力方法。非负矩阵分解( Nonnegative MatrixFactorization, NMF)) 是矩阵的低秩逼近方法之一,它是指被分解的矩阵和分解结果矩阵的数值都 是非负的。由于该方法符合数据的真实物理属性,数据的可解释性强,分解结果能够表 示事物的局部特征,且模型符合人们对于客观世界的认识规律(整体是由局部组成的) 等优点, 模型和算法自提出以来得到了广泛研究和应用,已经被成功地应用到许多领域。 当模型数据的指标集多于两个时,模型数据就可以表示成张量的形式,因此张量可以看 成是向量和矩阵在高维空间的推广。对于张量代数理论及其应用的研究也是近来研究的 一个热点。非负矩阵分解与张量分解理论与应用方面的研究虽然取得了很多成果,但仍 然有一些问题需要进一步解决,如寻找好的非负矩阵分解算法,在线数据模型如何应用 非负矩阵分解,非负矩阵分解在具体问题中的进一步应用等。另外,大规模的非负性约 束给所有分解算法带来了求解的困难,影响了非负矩阵分解模型的应用效率,如果取消 一部分非负性约束会提高算法的效率,但得到的特征子空间会如何变化?这也是一个前 人没有进行研究的工作,围绕非负矩阵与张量分解及其应用的研究,本文从几个方面对 于非负矩阵与张量分解进行了以下研究工作: 1. 给出了基于轮换极小化原则的一个非负矩阵分解二次规划模型算法。 借助于内点 罚函数,把子问题的求解转化为一个无约束的二次规划问题模型来求解,再把二次规划 模型求解归结到一个线性方程组的求解,在求解过程中引入了一个降维策略,在一定程 度上降低了问题的求解规模,并给出了算法的收敛性证明,数值试验表明算法能够提取 到局部特征且得到的非负矩阵分解算法具有好的收敛性。 2. 研究了基于非负矩阵分解的一个局部图像识别策略和算法,利用非负矩阵分解算 法提取到的残缺测试图像的局部特征进行有效识别,论文主要研究了残缺区域为已知情 况下的局部图像识别问题,并给出相应的数值试验。 3. 对于训练集图像数据有缺失的识别问题进行了研究。本文首先对图像数据缺失模 式进行了分类,划分了数据缺失模式的三种类型,给出了三种数据缺失模式下利用非负 矩阵分解算法来提取局部特征的模型,分析了三种模型的特点和计算量,通过数值试验 对三种模型提取局部特征能力的进行了比较比较,指出了各种模型的适用于不同实际问山东科技大学博士学位论文 摘要 题时的优缺点。 4.在利用特征子空间进行线人脸识别问题中,当增加或者减少训练样本时,相应地 特征子空间就要发生改变,由于人脸图像数据规模较大,如果对新的训练样本重新进行 特征提取则浪费已有的计算结果和计算资源。 本文给出了一个处理在线人脸识别的算法, 对于训练集增量和减量的情况推导了基于非负矩阵分解的在线迭代公式, 数值试验表明, 该算法可以节约一定的计算时间和计算量,且逼近效果与对训练集数据重新计算得到的 结果相比较更好。 5.在非负矩阵分解中,编码矩阵的非负性约束使得算法求解起来速度较慢,并且, 在实际问题中,由于往往只需要部分分解结果(基矩阵)是非负的。如果我们对于矩阵 分解实行部分非负约束,不仅可以提高算法的效率,还可以节省计算和存储资源,但这 时相应的模型和算法会有什么变化,提取到的特征子空间有什么变化?还能不能表示局 部特征?另外,在非负矩阵分解中,提取局部特征的能力是和模型有关系还是和算法有 关系?本文从这些角度进行了一定的研究,得到了一些结论并进行了数值试验验证。 6.作为向量和矩阵的推广,张量相当于一个高维的矩阵。由于张量模型可以处理指 标集为多维的数据, 所以在描述实际问题时相比矩阵模型其更能接近于实际问题的属性, 因此能更好地描述实际问题。本文对于Web社区发现,给出了一个基于张量的模型及其 相应的算法。模型考虑了权威值,中心值,文本值三个指标,同矩阵模型相比较,由于 张量模型可以很好地保留模型数据的内在本质特征,得到的社区发现模型结果更准确, 可以有效地防止主题漂流的现象,数值试验表明,算法是有效的。 最后, 针对非负矩阵和张量分解研究现状和存在的问题,提出了进一步研究的问题。
NONNEGATIVE MATRIX AND TENSOR FACTORIZATION AND THEIR APPLICATIONS A Dissertation submitted in fulfillment of the requirements of the degree of DOCTOR OF PHILOSOPHY from Shandong University of Science and Technology y Yang Hong Hi Supervisor: Professor He Guoping College of Information Science and Engineering April 2011 声明 本人呈交给山东科技大学的这篇博士学位论文,除了所列参考文献和世所公 认的文献外,全部是本人在导师指导下的研究成果。该论文资料尚没有呈交于 其它任何学术机关作鉴定 博士生签名: 期 AFFIRMATION i declare that this dissertation, submitted in fulfillment of the requirements for the award of Doctor of Philosophy in Shandong University of Science and Technology, is wholly my own work unless referenced of ackno wledge. The document has not been submit ted for qualification at any other academic institute Signature: Date: 山东科技大学博士学位论文 摘要 摘要 矩阵的低秩逼近是一种大规模矩阵低秩近似表示技术,是从大规模、复杂的数据中 寻求数据潜在信息的一种强有力方法。非负矩阵分解( nonnegative Matrix factorization, NMF)是矩阵的低秩逼近方法之一,它是指被分解的矩阵和分解结果矩阵的数值都 是非负的。由丁该方法符合数据的真实物理属性,数据的可解释性强,分解结果能够表 示事物的局部特征,且模型符合人们对于客观世界的认识规律(整休是由局部组成的 等优点,模型和算法自提岀以来得到了广泛硏究和应用,已经被成功地应用到许多领域。 当模型数据的指标集多于两个时,模型数据就可以表小成张量的形式,因此张量可以看 成是向量和矩阵在高维空间的推广。对于张量代数理论及其应用的研究也是近来研究的 一个热点。非负矩阵分解与张量分解理论与应用方面的研究虽然取得了很多成果,但仍 然有一些问趑需要进一步解决,如找好的非负矩阵分解算法,在线数据模型如何应用 非负矩阵分解,非负矩阵分解在具体问题中的进一步应用等。另外,人规模的非负性约 朿给所冇分解算法带来了求解的困难,影响了非负矩阵分解模型的应用效率,如果取消 部分非负性约東会提高算法的效率,但得到的特征子空问会如何变化?这也是一个前 人没有进行研究的工作,围绕非负矩阵与张量分解及其应用的研究,木文从几个方面对 于非负矩阵与张量分解进行了以下研究工作: 1.给岀了基于轮换极小化原则的一个非负矩阵分解二次规划模型算法。借助于内点 罚函薮,把子问题的求解转化为一个无约束的二次规划问颞模型来求解,再把二次规划 模型求解归结釗一个线性方程缃的求解,在求解过程中引入了一个降维策略,在一定程 度上降低了问题的求解规模,并给岀了算法的收敛性证明,数值试验表明算法能够提取 釗局部特且得到的非负矩阵分解算法具有好的收敛性 2.研究了基于非负知阵分解的一个局部图像识别策略和算法,利用非负知阵分解算 法提取到的残缺测试图像的局部特征进行有效识别,论文主要研究了残缺区域为已知情 况下的局部图像识別问题,并给出相应的数值试验。 3.对于训练集图像数据有缺失的识別问题进行了硏究。夲文首先对图像数据缺失模 式进行了分类,划分了数据缺失模式的三种类型,给出了三种数据缺失模式下利用非负 矩阵分解算法来提取局部特征的模型,分析了三种模型的特点和计算量,通过数值试验 对三种模型提取局部特征能力的进行了比较比较,指岀了各种模型的适用亍不同实际问 山东科技大学博士学位论文 摘要 题时的优缺点。 4.在利用特征子空间进行线人脸识别问题中,当增加或者减少训练样本时,相应地 特征子空间就要发生改变,由于人脸图像数据规模较大,如果对新的训练样本重新进行 特征提取则浪费已有的计算结果和计算资源。本文给出了一个处理在线人脸识别的算法 对于训练集增量和减量的情况推导了基于非负矩阵分解的在线迭代公式,数值试验表明, 该算法可以节约一定的计算时间和计算量,且逼近效果与对训练集数据重新计算得到的 结果相比较更好。 5.在非负矩阵分解屮,编码矩阵的非负性约東使得算汯求解起来速度较慢,并且, 在实际问题中,由于往往只需要部分分解结果(基矩阵)是非负的。如果我们对于矩阵 分解实行部分非负约東,不仪可以提高算法的效率,还可以节省计算和存储资源,但这 时相应的模犁和算法会有什么变化,提取到的特征子空间有什么变化?还能不能表示局 部特祉?另外,在非负知阵分解中,提取局部特征的能力是和模型有关系还是和算法有 关系?本文从这些角度进行了一定的研究,得到了一些结论并进行了数值试验验证。 6.作为向量和矩阵的推广,张量相当于一个高维的知阵。由张量模型可以处理指 标集为多维的数据,所以在描述实际问题时相比矩阵模型其更能接近于实际问题的属性, 因此能更好地描述实际问题。本文对于Web社区发现,给出了一个基于张量的模型及其 相应的算法。模型考虑了杈威值,中心值,文本值三ˆ指标,冋矩阵模型相比较,由于 张量模型可以很好地保留模型数据的内在本质特征,得到的社区发现模型结果更准确, 可以有效地防止主题漂流的现象,数值试验表明,算法是有效的。 最后,针对非负矩阼和张量分解硏究现状和存在的问题,提岀了进一步硏究的问题。 关键词:非负矩阵分解,二次规划算法,残缺图像识别,数据缺失图像识别,部分 非负分解,张量,Web社区发现 山东科技大学博士学位论文 摘要 Abstract Low rank approximation of matrix is a method to approximate the matrix With this method, people can discover the latent information of the large scale data matrix. Nonnegative matrix factorization is one of the lo w rank approximation methods. It means that the entries of the matrix are nonnegative and the factors of decomposition are also nonnegative, Because in the real applications most of the data are nonnegative, nonnegative factorization can express the intrinsic quality of the data, as well as the nonnegative matrix factorization model is in accordance with the law that people understand the world: the wholc is madc up from the parts. It was widcly studicd and used in somc ficlds aftcr thc nonnegative matrix factorization mcthod was proposcd, and also it has been successfully applied in many fields. When the indexes of the array are more than two, the table can be expressed by a tensor. Tensor can be regarded as an extension of vector and matrix in high dimensional space. The rescarch of tensor algebra and its applications is a rcscarch topic. Although many research results have been done about the research of matrix and tensor factorization and their applications, there still are some research topic needs to be done. In this thesis, we mainly have done some researches on nonnegative matrix actorization and its app lications, as well as tensor factorization and its applications. The following problems are discussed about nonnegative matrix and tensor factorization and their app lications 山东科技大学博士学位论文 摘要 1. A model and accordingly algorithm for nonnegative matrix factorization arc given bascd on thc quadratic programming. By using the intcrior point penalty function, wc convert thc nonnegative matrix factorization into a quadratic programming without any constraints and then some system equations In the process of solving the quadratic programming, we introduce a method to reduce the dimension of thc cquation systcms which can save the costs of thc computation. The algorithm has better convergence quality comparcd with othcr NMF algorithms. Numerical experiments are presented in this thesis 2. Fragmental image recognition is a research branch in computer vision Based on NMF algorithm, we presented a strategy and a method for fragmental image recognition. The strategy mainly deals with the fragmental image which the missing data are known. Experiments showed that our algorithm and strategy is effective 3. Image data missing often happens in real problems. How to extract the feature of the image by nonnegative matrix factorization when the data of the training set missed? This problem was dis cussed in this thesis. First we classify the missing data and then extract the local feature using NMf based algorithms Numerical experimen ts are given for the model and the algorithms presented in this thesis 4. Online face recognition is a research branch in machine learning. The data scale is large in face recognition, when the training set was changed, the computation of extract local features for training sets needed to be done again to 东科技大学博士学位论文 摘要 extract the new local features in the recognition, which will cost more computation and nccd morc saving spacc to savc the data. Wc prcscntcd a mcthod to dcal with this problcm in the thesis the mcthod can dcal with thc casc which is incremental or decremental. experiments showed that our method effective it can save the computation costs and saving space 5. When dcaling with thc problcm of nonnegative matrix factorization, thc nonnegative constraints make the algorithms run slowly. and also in the rcal applications, we only need the nonnegativity of the base matrix. What will happen if we give partly nonnegative constraints to the factors? Can the base matrix express the local features again? These questions have been discussed in the thesis 6. As an extension of vector and matrix tensor can be regarded as a high dimensional matrix. Tensor model can be used to deal with the problem whose indices more than two. Based on tensor factorization model, we give web community discovering model and accordingly algorithms. The model considers three factors: authority, hub, text. This model is given to avoid the drift of the topic and make the search result more accurate. Experiments showed that the model is effective At the end of the thesis the situation of the nmf and tensor factorizat ion research is given, also the futura l works of the research are proposed 山东科技大学博士学位论文 摘要 Keywords: nonnegative matrix factorization, quadratic programming, fragmental image recognition, image recognition with missing data, partly nonnegative matrix factorization, tensor, Web community dis covering

...展开详情
试读 127P 非负矩阵与张量分解及其应用
立即下载 低至0.43元/次 身份认证VIP会员低至7折
一个资源只可评论一次,评论内容不能少于5个字
您会向同学/朋友/同事推荐我们的CSDN下载吗?
谢谢参与!您的真实评价是我们改进的动力~
上传资源赚钱or赚积分
最新推荐
非负矩阵与张量分解及其应用 45积分/C币 立即下载
1/127
非负矩阵与张量分解及其应用第1页
非负矩阵与张量分解及其应用第2页
非负矩阵与张量分解及其应用第3页
非负矩阵与张量分解及其应用第4页
非负矩阵与张量分解及其应用第5页
非负矩阵与张量分解及其应用第6页
非负矩阵与张量分解及其应用第7页
非负矩阵与张量分解及其应用第8页
非负矩阵与张量分解及其应用第9页
非负矩阵与张量分解及其应用第10页
非负矩阵与张量分解及其应用第11页
非负矩阵与张量分解及其应用第12页
非负矩阵与张量分解及其应用第13页
非负矩阵与张量分解及其应用第14页
非负矩阵与张量分解及其应用第15页
非负矩阵与张量分解及其应用第16页
非负矩阵与张量分解及其应用第17页
非负矩阵与张量分解及其应用第18页
非负矩阵与张量分解及其应用第19页
非负矩阵与张量分解及其应用第20页

试读结束, 可继续阅读

45积分/C币 立即下载