书书书
收稿日期:20121010;修回日期:20121125 基金项目:国家自然科学基金资助项目(61179040);陕西省教育厅专项科研计划资助项
目(2013JK0587,2013JK0588,12JK1000)
作者简介:史加荣(1979),男,山东东阿人,副教授,博士,主要研究方向为机器学习与模式识别(shijiarong@xauat.edu.cn);郑秀云(1982),
女,山东日照人,讲师,博士,主要研究方向为最优化方法与应用;魏宗田(1966),男,陕西横山人,副教授,博士研究生,主要研究方向为组合优化
及其应用;杨威(1979),女,辽宁抚顺人,讲师,博士,主要研究方向为信息融合及金融优化.
低秩矩阵恢复算法综述
史加荣,郑秀云,魏宗田,杨 威
(西安建筑科技大学 理学院,西安 710055)
摘 要:将鲁棒主成分分析、矩阵补全和低秩表示统称为低秩矩阵恢复,并对近年来出现的低秩矩阵恢复算法
进行了简要的综述。讨论了鲁棒主成分分析的各种优化模型及相应的迭代算法,分析了矩阵补全问题及求解它
的不精确增广拉格朗日乘子算法,介绍了低秩表示的优化模型及求解算法。最后指出了有待进一步研究的
问题。
关键词:低秩矩阵恢复;鲁棒主成分分析;矩阵补全;低秩表示;增广拉格朗日乘子算法
中图分类号:TP391 文献标志码:A 文章编号:10013695(2013)06160105
doi
:10.3969/j.issn.10013695.2013.06.001
Surveyonalgorithmsoflowrankmatrixrecovery
SHIJiarong,ZHENGXiuyun,WEIZongtian,YANGWei
(SchoolofScience,Xi’anUniversityofArchitecture&Technology,Xi’an710055,China)
Abstract:Thispapercollectivelyreferredrobustprincipalcomponentanalysis,matrixcompletionandlowrankrepresentation
toaslowrankmatrixrecovery,andmadeabriefsurveyontheexistingalgorithmsoflowrankmatrixrecovery.Firstly,itdis
cussedvariousoptimizationmodelsandthecorrespondingiterativealgorithmsforrobustprincipalcomponentanalysis.Next
,it
analyzedthematrixcompletionproblemandproposedtheinexactaugmentedLagrangemultipliersalgorithmtosolvetheprob
lem.Inaddition,itintroducedtheoptimizationmodelsforthelowrankrepresentationproblemandpresentedtheiterativeal
gorithm.Finally,thispaperdiscussedseveralproblemswhichneedfurtherresearch.
Keywords:lowrankmatrixrecovery;robustprincipalcomponentanalysis;matrixcompletion;lowrankrepresentation;aug
mentedLagrangemultipliers
在计算机视觉、模式识别、数据挖掘和机器学习等领域
中,常用的模型是假设相关数据存在(或近似存在)于一个低
维线性子空间中。主成分分析(
principalcomponentanalysis,
PCA)、线性判 别 分析 (lineardiscriminantanalysis,LDA)和独
立成分分析(independentcomponentanalysis,ICA)等子空间学
习模型
[1,2]
就是利用这种低维性质来进行维数约简、特征提
取和噪声移除。传统的线性子空间方法对含小高斯噪声的
数据非 常 有 效,但 对 含 野 点 和 稀 疏 噪 声 大 的 数 据 却 非 常
敏感。
在过去的几年里,基于稀疏表示的压缩感知(
compressed
sensing/compressedsampling,CS)
[3,4]
在理论上取得了重要的进
展,这些进展促使稀疏表示成为一种更加有效和流行的数据表
示方式。与传统的子空间学习模型相比,稀疏表示对含野点和
稀疏噪声大的数据更加鲁棒
[5,6]
。近年来,低秩矩阵恢复(low
rankmatrixrecovery,LRMR)将向量样例的稀疏表示推广到矩
阵的低秩情形,它已成为继 CS之后又一种重要的数据获取和
表示方式。LRMR先将数据矩阵表示为低秩矩阵与稀疏噪声
矩阵之和,再通过求解核范数优化问题来恢复低秩矩阵。目
前,LRMR主要由鲁棒主成分分析(robustPCA,RPCA)
[7~9]
、矩
阵补全(
matrixcompletion,MC)
[10,11]
和低秩表示(lowrankrep
resentation,LRR)
[12~14]
等三类模型组成。
!
预备知识
定义 1 向量 p范数。向量 a=(a
1
,a
2
,…,a
n
)
T
∈
R
n×1
的
p范数为
‖
a
‖
p
=
∑
n
i=1
a
i
( )
p 1/p
,其中 p>0。
特殊地,当 p=1时,
‖
a
‖
1
=
∑
n
i
=1
a
i
;当 p=2时,
‖
a
‖
2
=
∑
n
i=1
a
2
槡
i
。此外,规定
‖
a
‖
0
为向量 a的非零元素的个数,
‖
a
‖
∞
=max
1
≤
i
≤
n
a
i
。
定义 2 矩阵的内积。对于两个同型的 m×n维实矩阵 A
和 B,它们的内积为〈A,B〉=
∑
m
i=1
∑
n
j=1
a
ij
b
ij
。
定义 3 矩阵的范数。矩阵 A=(a
ij
)
m×n
∈
R
m×n
的 Frobe
nius
范数为
‖
A
‖
F
=
∑
m
i=1
∑
n
j=1
a
2
槡
ij
,0范数
‖
A
‖
0
为矩阵 A
的非零元素的个数,
∞
范数为
‖
A
‖
∞
=max
i,j
a
ij
,(1,1)范数
为
‖
A
‖
1,1
=
∑
m
i
=1
∑
n
j
=1
a
ij
,(2,1)范 数为
‖
A
‖
2,1
=
∑
n
j
=1
∑
m
i=1
a
2
槡
ij
。
定理 1 矩阵奇异值分解。矩阵 A
∈
R
m×n
,它的奇异值分
解(
singularvaluedecomposition,SVD)为
A=USV
T
=U
Σ
r
0
0 0
V
T
(1)
其中:U
∈
R
m×m
和 V
∈
R
n×n
均为正交矩阵,对角矩阵
Σ
r
=diag
第 30卷第 6期
2013年 6月
计 算 机 应 用 研 究
ApplicationResearchofComputers
Vol30No6
Jun2013