没有合适的资源?快使用搜索试试~ 我知道了~
多层局部块坐标下降法及其驱动的分类重构网络.docx
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 60 浏览量
2023-02-23
16:53:29
上传
评论
收藏 4.19MB DOCX 举报
温馨提示
试读
34页
多层局部块坐标下降法及其驱动的分类重构网络.docx
资源推荐
资源详情
资源评论
在稀疏表示模型中, 一维信号或二维图像可以看成是多个基函数的线性组合, 本文将
基函数称为原子, 所有原子组合为字典. 大部分稀疏编码的值为零, 只有少数有非零值. 对
于稀疏编码问题, 以图像为例, 利用从图像提取的部分重叠片段来训练局部模型, 使用局部
先验独立处理这些图像块, 然后对结果进行平均以获得近似全局估计
[1]
. 尽管稀疏编码很受
欢迎, 但它针对图像块进行单独编码, 忽略了图像块之间的相关性, 导致编码高度冗余
[2]
.
基于稀疏编码的缺陷和卷积神经网络的成功
[3]
, Bristow 等
[4]
研究了卷积稀疏编码
(Convolutional sparse coding, CSC), 过完备字典被卷积字典替代, 矩阵操作被卷积算子替代,
通过卷积字典直接产生平移不变性来弥补稀疏编码的根本性缺点. 用于信号恢复的稀疏重
构算法主要分为两大类: 凸优化算法和贪婪算法. 凸优化算法重建速度慢, 贪婪算法在重建
效率上并不是很理想
[5]
. 为了解决信号恢复问题, 目前领先的稀疏重构算法几乎都依赖于傅
里叶域中的交替方向乘子法(Alternating direction multiplier method, ADMM)
[6]
. Papyan 等
[7]
提
出了基于局部切片处理思想的卷积稀疏编码(Slice based CSC, SCSC)方法, 其是在图像切片
(Slice)上进行局部操作而不是在图像块(Patch) 上, 巧妙地利用传统稀疏编码和传统字典学
习算法解决了卷积稀疏编码和卷积字典学习问题. 但这种算法还是依赖于 ADMM 算法, 需
要引入辅助变量, 增加内存需求. Zisselman 等
[8]
在此基础上提出了基于局部块坐标下降
(Local block coordinate descent, LoBCoD) 算法的卷积稀疏编码, 该算法在追踪阶段没有辅助
变量也没有额外参数, 可以对卷积稀疏编码的每个码针单独优化, 既保证了局部稀疏度量,
并行处理也提高了编码速度.
从形式上看, 卷积稀疏编码类似于一层卷积神经网络, 因此 Papyan 等
[9]
提出了多层卷
积稀疏编码(Multi-layer convolutional sparse coding, ML-CSC). 它从稀疏表示的观点提供了
对卷积神经网络 (Convolutional neural network, CNN)
[10]
的新解释: CNN 的前向过程等同于
ML-CSC 的多层卷积稀疏编码求解过程. Papyan 等
[9]
提出了第一个多层卷积稀疏编码求解算
法: 层基追踪算法(Layer basic pursuit, LBP). 尽管这种算法已经在 CNN 与稀疏建模之间建
立了联系, 但仍然缺乏对 ML-CSC 更深入的理解. ML-CSC 模型的层基追踪算法不能提供
满足多层模型假设的信号, 信号恢复误差将随着网络的深化而累积. Sulam 等
[11]
提出了第一
个多层卷积字典学习算法, 首先使用快速迭代软阈值算法(Fast iterative soft threshold
algorithm, FISTA) 求解最深层的稀疏编码, 然后使用卷积投影计算中间层的卷积稀疏编码
并重构信号, 最后利用信号重构误差和随机梯度下降算法更新卷积字典. 这个模型利用的投
影追踪算法解决了误差累积的缺点. 但投影追踪算法会产生次优性, 因为它们没有充分利用
所有中间层信息
[12-13]
. Aberdam 等
[13]
提出了一种综合—整体—替代方案和整体追踪算法, 可
以同时估计模型中的所有表示, 在合成和分析稀疏编码步骤之间交替, 解决整个模型的整体
学习问题. 虽然文献[13] 提出了一种追踪算法, 但该算法本质是贪婪的, 并且不能很好地扩
展到高维信号. 更重要的是, 目前还不清楚如何根据该方法从真实数据中训练字典. Sulam
等
[12]
提出了用于多层卷积稀疏编码问题的多层迭代软阈值算法(Multi-layer iterative soft
threshold algorithm, ML-ISTA)和多层快速迭代软阈值算法(Multi-layer fast iterative soft
threshold algorithm, ML-FISTA), 可以近似地收敛到多层基追踪问题的全局最优; 给出了迭
代展开网络结构 ML-ISTA-Net 和 ML-FISTA-Net, 并采用反向传播算法更新字典. 但这些多
层模型都是基于图像块进行操作的, 忽略了图像的局部特征.
在切片局部处理思想、LoBCoD 算法和 ML-ISTA 算法的启发下, 本文提出了基于切片
的多层局部块坐标下降算法(ML-LoBCoD)用于多层卷积稀疏编码的多层基追踪问题. 这种
方法是在迭代过程中, 沿码针方向进行逐一更新, 不需要求解目标函数的梯度, 仅需求解一
维搜索问题, 收敛速度较快. 卷积神经网络应用于图像分类效果显著
[14]
, 在 ML-ISTA-Net 用
于分类问题的启发下, 本文提出了对应的迭代展开网络 ML-LoBCoD-Net, 网络正向过程被
用于分类任务, 网络逆向过程利用分类误差和反向传播算法更新卷积字典. 在投影追踪算法
[12]
和切片局部处理思想的启发下, 本文提出了多层切片卷积重构网络(Multi-layer slice
convolutional reconstruction network, ML-SCRN)用于重构任务, 输入是最深层的卷积稀疏编
码, 输出是重构信号. 为了提高信号分类准确率和重构质量, 在文献[15]的编码器和解码器
框架的启发下, 本文提出了 ML-LoBCoD-SCRN 的分类重构网. 将 ML-LoBCoD-Net 作为编
码器提取图像特征, 将 ML-SCRN 作为解码器得到重构信号. ML-LoBCoD-Net 完成编码器
和信号分类任务, ML-SCRN 完成解码器和信号重构任务. ML-LoBCoD-SCRN 网络逆向过
程利用编码器分类误差、解码器重构误差和反向传播算法更新卷积字典.
1. 相关工作
1.1 基于切片的卷积稀疏编码
传统卷积稀疏编码模型的研究问题如下, 假设全局信号 X∈RNX∈RN 满足
X=DΓ=∑i=1Mdi∗γiX=DΓ=∑i=1Mdi∗γi
(1)
其中, XX 是要分解的信号, D∈RN×NMD∈RN×NM 是全局卷积字典, Γ∈RNMΓ∈RNM 是
相应的稀疏表示. 全局字典 D 由大小为 n×Mn×M 的局部卷积字典 DLDL 一系列移位组
成, di∈Rndi∈Rn 表示卷积滤波器, 是矩阵 DLDL 的列原子, γi∈RNγi∈RN 表示相应稀疏表
示,“∗∗” 符号表示 didi 和 γiγi 的卷积操作.
传统卷积稀疏编码和卷积字典学习算法有空间域, 傅里叶域和混合域三种方法. 如卷
积稀疏编码方法有卷积匹配追踪
[16]
、卷积基追踪
[17]
和卷积可学习 ISTA
[18]
, 卷积字典学习方
法有在线卷积字典学习
[19]
和卷积 K-SVD
[20]
. 文献[17, 20-22] 中提供了关于卷积稀疏表示的
完整历史的讨论.
CSC 大都是基于傅里叶域在图像块上进行操作的, 忽略了图像的局部特征. 文献[7]
做出了改进, 提出基于切片的卷积稀疏编码, 它是在 CSC 模型的基础上将图像块进行切
片, 将全局稀疏向量 ΓΓ 分成一组非重叠向量 {αi}Ni=1{αi}i=1N, 即码针, 则全局信号 X 可以
表示为
X=DΓ=∑i=1NPTiDLαi=∑i=1NPTisiX=DΓ=∑i=1NPiTDLαi=∑i=1NPiTsi
(2)
其中, N 表示信号 X 被分成 N 个切片, PTi∈RN×nPiT∈RN×n 是将 DLαiDLαi 置于第 i 个
位置并用零填充其余部分的运算符, sisi 表示第 i 个切片.
已知局部卷积字典 DLDL, 从信号 X 发现最佳稀疏表示的问题称为基于切片的卷积稀
疏编码或基于切片的卷积稀疏编码基追踪问题. 即
minαi 12∥X−∑i=1NPTiDLαi∥22+λ∑i=1N∥αi∥1minαi 12‖X−∑i=1NPiTDLαi‖22+λ∑i=1N‖αi‖1
(3)
基于切片的卷积稀疏编码利用交替方向乘子法求解基追踪问题, 需要引入辅助变量,
导致增加内存需求, 收敛速度较慢.
1.2 基于切片的局部块坐标下降算法
Zisselman 等
[8]
提出了基于切片的局部块坐标下降法用于解决基追踪问题, 利用块坐标
下降算法更新局部稀疏向量, 无需定义任何其他变量. 这种方法避免了调整额外的参数, 节
省内存. 它的原理是采用局部策略将全局稀疏向量 ΓΓ 分成局部向量 {αi}Ni=1{αi}i=1N. 该
模型并不是对所有的针一起优化, 而是将取自全局向量 ΓΓ 的每一个针 αiαi 作为坐标块, 并
且对于这样的块单独地并有顺序地优化. 因此, 单个码针的更新规则可以写为
minαi 12∥(X−∑j=1j≠iNPTjDLαj)−PTiDLαi∥22+λ∥αi∥1minαi 12‖(X−∑j=1j≠iNPjTDLαj)−PiTDLαi‖22+λ‖αi‖1
(4)
LoBCoD 避免了额外参数的引入, 但仍然是将卷积稀疏编码和卷积字典学习分开进行
求解, 计算较为复杂.
1.3 多层卷积稀疏编码
全局信号 X∈RNX∈RN 可以由卷积字典 D1D1 和对应稀疏向量 Γ1Γ1 组成, 即
X=D1Γ1X=D1Γ1. 在多层模型中, 假设另一个字典 D2D2 和稀疏表示 Γ2Γ2 满足
Γ1=D2Γ2Γ1=D2Γ2, 将这个结构级联到多层
[12]
. 将其命名为多层卷积稀疏编码, 则全局信号
X 与层稀疏编码 {Γj}Jj=1{Γj}j=1J 定义为
X=D1Γ1Γ1=D2Γ2⋮ΓJ−1=DJΓJX=D1Γ1Γ1=D2Γ2⋮ΓJ−1=DJΓJ
(5)
D(1,J)D(1,J) 定义为全局卷积字典, 则 D(1,J)=D(1,J)=D1D2⋯DJD1D2⋯DJ. 全局信号 X 可
以表示为
X=D(1,J)ΓJX=D(1,J)ΓJ
(6)
在最简单的形式中, 给定一组全局卷积字典 {Dj}Jj=1{Dj}j=1J, 从被噪声 w 污染为
y=X+wy=X+w 的信号中发现最佳的稀疏表示问题称为多层卷积稀疏编码, 也称为多层基追
踪去噪问题. 文献[9]的工作表明, 这个问题可以归结为求解信号深度卷积稀疏编码问题
minΓJ 12∥y−D(1,J)ΓJ∥22+λ∥ΓJ∥1minΓJ 12‖y−D(1,J)ΓJ‖22+λ‖ΓJ‖1
(7)
对于求解多层卷积稀疏编码问题, 文献[12] 提出的方法主要有层基追踪算法、多层迭
代软阈值算法、多层快速迭代软阈值算法和多层可学习的迭代软阈值算法(Multi-layer
learned iterative soft threshold algorithm, ML-LISTA). 文献[12]提出的展开神经网络, 前向过
程求解卷积稀疏编码, 逆向过程求解字典学习, 但都是基于图像块进行操作的, 忽略了图像
局部与全局的关系.
2. 基于切片的多层局部块坐标下降网络
2.1 基于切片的多层卷积稀疏编码
在本节中将卷积稀疏表示和卷积神经网络之间建立联系, 令卷积稀疏编码相当于一层
卷积神经网络. 这样可以将传统基追踪问题推广到多层, 将第 1.1 节中基于切片的卷积稀疏
编码扩展到多层, 称为基于切片的多层卷积稀疏编码. 给定一组具有适当维度的卷积字典
{Dj}Jj=1{Dj}j=1J 和全局信号 X , ML-CSC 中的层卷积稀疏表示可以写为
X=D1Γ1=∑i=1NPT1,iDL,1α1,i,∥Γ1∥0,∞≤λ1Γ1=D2Γ2=∑i=1NPT2,iDL,2α2,i,∥Γ2∥0,∞≤λ2⋮ΓJ−1=DJΓJ=∑i=1NPTJ,iDL,JαJ,i,∥ΓJ∥0,∞≤λJX=D1Γ1=∑i=1NP1,iTDL,1α1,i,‖Γ1‖0,∞≤λ1Γ1=D2Γ2=∑i=1NP2,iTDL,2α2,i,‖Γ2‖0,∞≤λ2⋮ΓJ−1=DJΓJ=∑i=1NPJ,iTDL,JαJ,i,‖ΓJ‖0,∞≤λJ
(8)
其中, 层稀疏表示 ΓjΓj 是局部向量 {αj,i}Ni=1{αj,i}i=1N 的全局形式, αj,iαj,i 称为码
针. PTj,i,i=1,⋯,NPj,iT,i=1,⋯,N 为将第 j 层的 DL,jαj,iDL,jαj,i 置于第 i 个位置并用零填充其余部
分的运算符, N 是切片的数量, 各层中的 N 应该是不同的. 为简单起见, 假设所有层的 N 都
相同. 令 Γ0Γ0 表示信号 X, 可以将式(8)重写为
Γj−1=DjΓj=∑i=1NPTj,iDL,jαj,i,∥Γj∥0,∞≤λj,∀1≤j≤JΓj−1=DjΓj=∑i=1NPj,iTDL,jαj,i,‖Γj‖0,∞≤λj,∀1≤j≤J
(9)
给定局部卷积字典 {DL,j}Jj=1{DL,j}j=1J, 从信号 X 发现最佳底层稀疏 ΓJΓJ 或
{αJ,i}Ni=1{αJ,i}i=1N 称为基于切片局部处理的深度卷积稀疏编码, 或深度基追踪问题, 则式
(7)可以写为
min{αJ,i}Ni=1 12∥y−∑i=1NPTJ,iDL,JαJ,i∥22+λ∑i=1N∥αJ,i∥1min{αJ,i}i=1N 12‖y−∑i=1NPJ,iTDL,JαJ,i‖22+λ∑i=1N‖αJ,i‖1
(10)
根据式(9)和式(10)本文提出了分层基追踪问题.
min{αj,i}Ni=1 12∥Γj−1−∑i=1NPTj,iDL,jαj,i∥22+λj∑i=1N∥αj,i∥1min{αj,i}i=1N 12‖Γj−1−∑i=1NPj,iTDL,jαj,i‖22+λj∑i=1N‖αj,i‖1
(11)
2.2 基于切片的多层局部块坐标下降算法
本文将基于切片的局部块坐标下降法单层模型扩展为多层, 提出了基于切片的多层局
部块坐标下降法. 为简洁起见, 在本节只介绍层稀疏编码. ML-LoBCoD 算法是将层稀疏向
量 ΓjΓj 分成局部向量 {αj,i}Ni=1{αj,i}i=1N, 然后对每一个码针在定义域内寻求最优解, 其他
码针固定不变, 视为常数, 则可以将式(11)转换为单个码针的层基追踪问题
minαj,i 12∥(Γj−1−∑n=1n≠iNPTj,nDL,jαj,n)−PTj,iDL,jαj,i∥22+λj∥αj,i∥1minαj,i 12‖(Γj−1−∑n=1n≠iNPj,nTDL,jαj,n)−Pj,iTDL,jαj,i‖22+λj‖αj,i‖1
(12)
定义 Rj,i=(Γj−1−∑Nn=1,n≠iPTj,nDL,jαj,n)Rj,i=(Γj−1−∑n=1,n≠iNPj,nTDL,jαj,n) 作为各层中
无码针 αj,iαj,i 贡献的层残差, 可以将式(12)重写为
minαj,i 12∥Rj,i−PTj,iDL,jαj,i∥22+λj∥αj,i∥1minαj,i 12‖Rj,i−Pj,iTDL,jαj,i‖22+λj‖αj,i‖1
(13)
最小化式(13)会涉及到全局变量如 Rj,iRj,i, 但本文可以将其转化为等效的局部问题. 单
位矩阵 I 定义为非重叠片段的总和∑Nk=1PTj,kPj,k=I∑k=1NPj,kTPj,k=I. 将此单位矩阵代入式
(13), 可以等效为(详细过程见附录 A)
minαj,i 12∥Pj,iRj,i−DL,jαj,i∥22+λj∥αj,i∥1minαj,i 12‖Pj,iRj,i−DL,jαj,i‖22+λj‖αj,i‖1
(14)
其中, Pj,i∈{Pj,k}Nk=1Pj,i∈{Pj,k}k=1N. 本文将 Pj,i∈RN×nPj,i∈RN×n 定义为从 j 层卷积
稀疏编码 ΓjΓj 中提取第 i 个 n 维切片的运算符.
通过对式(14)的二次误差项进行线性化, 更新每一层最优稀疏表示, 更新形式为
αk←αk−1−∂f∂αk−1αk←αk−1−∂f∂αk−1, 其中 f 表示式(14)目标函数的误差项, 导数公式为
∂f∂αj,i=DTL,j(Pj,iRj,i−DL,jαj,i)∂f∂αj,i=DL,jT(Pj,iRj,i−DL,jαj,i)
(15)
类似算法 ML-ISTA 的推导过程
[12]
, 码针 αj,iαj,i 表示为
αkj,i=Sλ(αk−1j,i+DTL,j(Pj,iRj,i−DL,jαk−1j,i))αj,ik=Sλ(αj,ik−1+DL,jT(Pj,iRj,i−DL,jαj,ik−1))
(16)
基于切片的多层局部块坐标下降算法虽然看起来很复杂, 但是这个算法可以分解为简
单的递归分层操作, 即一个全局追踪的分层阈值操作. 如算法 1 所示, 输入信号为被噪声
w 污染的信号 y, 输出为层稀疏表示 {Γj}Jj=1{Γj}j=1J 或码针
{{αj,i}Ni=1}Jj=1 {{αj,i}i=1N}j=1J. 对局部卷积字典 {DL,j}Jj=1{DL,j}j=1J、顶层卷积稀疏编码
Γ0Γ0 和顶层残差 R0R0 进行初始化. 在每一次迭代展开过程中, 以第 j 层为例, 选定一个方
向码针 αj,iαj,i, 根据上一次迭代的层残差 RjRj 和该层卷积稀疏编码的第 i 个码针 αj,iαj,i 得
出残差 Rj,iRj,i, 利用式(16)更新码针 αj,iαj,i. 再固定其他的码针, 单独更新 αj,i+1αj,i+1. 依次
将更新的码针进行累积得出该层的卷积稀疏编码 Γj={αj,i}Ni=1Γj={αj,i}i=1N. 其与上一层的
卷积稀疏编码 Γj−1Γj−1 得出第 j 层的层残差 RjRj. 类似地更新第 j+1j+1 层卷积稀疏编码,
循环此过程直到得出最佳的深层卷积稀疏编码. 算法过程相当于图 1 中第 2 列点线框中.
图 1 优化算法三次迭代展开的 ML-LoBCoD-Net
Fig. 1 The unfolding ML-LoBCoD-Net based on three iterations of the optimization algorithm
下载: 全尺寸图片 幻灯片
算法 1. 基于切片的多层局部块坐标下降(ML-LoBCoD) 算法
剩余33页未读,继续阅读
资源评论
罗伯特之技术屋
- 粉丝: 3674
- 资源: 1万+
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 基于STM32F103C8T6、LCD1602、MCP3004(SPI接口)多通道ADC转换proteus仿真设计
- 38350.jpg
- MySQL开发教程-从入门到实践.zip
- LTE的小区搜索MATLAB仿真程序
- 斯沃数控仿真软件7.2版数控加工中心车床铣床编程仿真模拟教程斯沃系统手册OKUMA数控铣床操作手册
- 红外车辆检测数据集VOC+YOLO格式13979张类别.7z
- 基于Java的安卓圆形布局视图设计源码
- DFSDFSDFSDFSDFSDFSD
- 基于Python+UIE的舆论情感分析Web系统
- 基于FREERTOS、LCD1602、MCP3202(SPI接口)2通道ADC采集proteus仿真设计
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功