稀疏贝叶斯学习(Sparse Bayesian Learning)
张智林（Zhilin Zhang）
1 引言
稀疏贝叶斯学习（Sparse Bayesian Learning, SBL ）最初作为一种机器学习算法由 Tipping 于 2001 年
前后提出[Tipping2001]，随后被引入到稀疏信号恢复/压缩感知领域[Wipf2004,Ji2008]。Wipf 和 Rao 等人
对 SBL 进行了深入的理论研究。与广泛使用的基于 L1 惩罚项的算法（比如 Lasso，Basis Pursuit）相比
（以下简称 L1 算法），SBL 具有一系列显著的优势：（１）在无噪情况下，除非满足一些严格的条件
[Donoho2003]，L1 算法的全局最小点（global minimum）并不是真正的最稀疏的解［Wipf2004]。因此，
在一些应用中，当真实的解是最稀疏的解，采用 SBL 是更好的选择。（２）当感知矩阵（sensing matrix ）
的列与列相关性很强时， L1 算法的性能会变得非常差。事实上不光是 L1 算法，绝大多数已知的压缩感
知算法（比如 Approximate Message Passing 算法，Matching Pursuit 算法）在这种情况下性能都会变得很
差。相比之下，SBL 算法仍旧具有良好的性能［Wipf_NIPS2011]。因此，在雷达追踪，波达方向估计，
脑源定位，特征提取，功率谱估计等一些列领域， SBL 都具备显著的优势。（３）业已证明，SBL 算法
等价于一种迭代加权 L1 最小化算法（iterative reweighted L1 minimization ），而 L1 算法仅仅只是其第一
步[Wipf2010]。Candes 等人指出，迭代加权 L1 最小化算法更易获得真正的最稀疏解 [Candes2008 ]。从这
个角度也就不难理解 SBL 的优越性。（４）在很多实际问题中，所期望的稀疏解常常有一些结构，而利
用这些结构可以获得更好的性能 [ModelCS ]。作为一种贝叶斯算法， SBL 算法对利用这些解的结构信息
提供了更多的灵活性。这种灵活性最主要来自于 SBL 采用参数化的高斯分布为解的先验分布。 最近 Zhang
和 Rao 提 出 了 块 稀 疏 贝 叶 斯 学 习 框 架 (Block Sparse Bayesian Learning, BSBL)[ Zhang_IEEE2011,
Zhang_TSP2012]。该框架提供了一种利用解的空间结构（spatial structure）和时序结构（temporal structure）
的解决方案。由其框架得到的算法在多任务学习（multi-task learning）[Wan2012]，生理信号的无线传输
和远程监控[Zhang_TBME2012a, Zhang_TBME2012b ]，脑源定位和脑－机接口[Zhang_PIEEE2012]等许多
领域获得了极大的成功。
下面将首先介绍基本的 SBL 框架，然后对 BSBL 框架及其算法进行详细介绍，并在最后给出一些
代表性的实验结果。
2 稀疏贝叶斯学习
压缩感知的基本模型可描述为:
vAxy +=
（1）
其中 为N×M的感知矩阵， 为N×1维压缩信号， 为M维待求的解向量， 为未知的噪声向量。为求
解 ，SBL假设 中的每个元素都服从一个参数化的均值为０方差为
A y
x
v
x x
i
γ
的高斯分布[Wipf2004]：
MiNxp
iii
,,1),,0();(( ==
γγ
（2）
1
资源评论
