没有合适的资源?快使用搜索试试~ 我知道了~
视频压缩感知多假设局部增强重构算法.docx
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 121 浏览量
2023-02-23
16:52:10
上传
评论 1
收藏 658KB DOCX 举报
温馨提示
试读
14页
视频压缩感知多假设局部增强重构算法.docx
资源推荐
资源详情
资源评论
压缩感知(Compressed sensing, CS)
[1]
理论突破了 Nyquist 采样理论的瓶颈, 指出对于稀
疏信号或可压缩信号, 可以用欠采样得来的数据高概率恢复出原信号, 采样率下限不再受限
于信号带宽. 视频压缩感知(Compressed video sensing, CVS)是基于 CS 理论的视频信号编解
码方案, 在编码端直接通过线性投影合并采样与压缩过程, 将计算压力转移至重构端, 十分
适用于无线多媒体传感网络、无线视频监控等采样端资源受限的应用场景.
重构算法是压缩感知理论研究中的核心任务. 在图像压缩感知重构中, 文献[2]提出的
分块压缩感知(Block-based compressed sensing, BCS)成为大多数重构算法采用的处理方式,
整个编解码过程以独立图像块作为基本处理单元, 显著降低了存储传输压力. 平滑
Landweber 投影算法(Smoothed projected landweber, SPL)
[3]
通过维纳滤波减轻分块处理造成
的块效应, 因其重构的高效性成为图像压缩感知中的经典重构算法, 并广泛应用于 CVS 重
构. 组稀疏重构算法(Group-based sparse representation, GSR)
[4]
提出组稀疏概念, 以相似块组
进行奇异值分解后的奇异值具备稀疏性作为假设前提, 对每个相似块组建立自适应稀疏表
示字典. 近年来, 研究人员尝试利用深度学习框架处理图像压缩感知问题, 并提出了几种信
号重构的实现框架
[5-6]
. 基于深度学习框架的重构算法具有极高的重构速度, 但灵活性较差,
在不同采样率下均需训练出对应模型.
视频信号在图像信号的基础上增加了时间维度, 利用好帧间相关性是提高 CVS 重构质
量的关键. 文献[7]将多假设预测(Multi-hypothesis prediction, MH)运用到 CVS 重构中, 并通
过 SPL 算法对残差进行重构, 提出了多假设预测重构算法(Multi-hypothesis prediction BCS-
SPL, MH-BCS-SPL). 在此基础上, 文献[8-9]对假设集的构造方式提出了优化方案, 有效提
升了多假设预测精度. 文献[10]通过解弹性网回归问题求解各匹配块权重, 文献[11]在其基
础上对 l2l2 范数正则化项引入了观测域距离权重, 进一步提高了预测精度. 文献[12]提出一
种基于多参考帧的两阶段多假设预测算法(Two-stage multi-hypothesis reconstruction,
2sMHR), 在观测域多假设得到的重构帧基础上对视频帧进行重叠分块后再进行一次像素域
多假设预测, 有效减轻了重构帧的块效应, 明显提高了视频重构质量. 为了提升图像组
(Group of picture, GOP)中间帧的重构质量, PBCR-DCVS 算法(Position-based cross
reconstruction distributed CVS)
[13]
在对关键帧进行二次迭代重构的基础上提出位置交叉重构
策略, 改进非关键帧的重构顺序并根据残差大小自适应扩大搜索窗. 基于 MH 的 CVS 重构
算法重构速度较快, 具有较高的实用性. 与此同时, 受 GSR 算法在图像压缩感知重构的出
色表现所启发, 研究人员基于 GSR 算法提出了一批新的视频压缩感知重构算法. 文献[14]
提出加权残差稀疏算法(Reweighted residual sparsity, RRS), 根据信号残差的稀疏性建立求解
模型, 在分裂 Bregman 迭代求解的过程中不断更新信号残差 DCT (Discrete cosine transform)
系数各分量的权重, 实现重构帧质量的不断提升. 文献[15]提出基于结构相似度(Structural
similarity, SSIM)的帧间(Inter frame, InterF)组稀疏表示重构算法(SSIM-InterF-GSR), 将结构
相似度(SSIM)作为相似块选取时的匹配准则, 提高了相似块组的组稀疏特性, 并引入阶梯递
减方案调整组内相似块个数, 提高了重构精度. 基于 GSR 的 CVS 重构算法重构质量较高,
但因其繁琐的迭代过程导致算法复杂度较高.
多假设预测因其对视频帧间相关性的高效利用成为了 CVS 重构算法的关键技术之一,
但在重构中不同运动特征的图像块找到高质量匹配块的难易程度明显不同, 由于假设集与
当前待重构图像块的匹配程度对图像块重构质量影响较大, 低质量的假设集合会极大增加
图像块的重构难度. 针对此问题, 本文提出了一种局部增强的多假设预测方案(Local
enhancement reconstruction algorithm based on multi-hypothesis prediction, MH-LE), 对初始重
构质量不好的图像块进行增强重构. 主要创新点有: 1)根据图像块的运动情况对图像块进行
分类, 采用不同的多假设预测方法进行预测重构; 2)提出像素域双路匹配策略, 同时利用双
边滤波前后的图像进行相似块匹配, 提高假设集质量; 3)将结构相似度(SSIM)评价标准引入
假设块权值分配过程, 提高预测精度.
1. CVS 多假设预测算法
在采集端, 传统视频编码需要先以高于信号最高频率的两倍的速率采集视频信号, 再
通过一系列如运动估计、运动补偿、信号变换等高复杂度的压缩算法来丢弃冗余数据. 而
CVS 直接通过观测矩阵 ΦΦ 对视频帧图像块\boldsymbolx\boldsymbolx 进行随机采样, 得
到维数远小于原信号的观测信号\boldsymboly\boldsymboly, 同时实现信号的采样与压缩,
观测模型为
\boldsymboly=Φ\boldsymbolx\boldsymboly=Φ\boldsymbolx
(1)
在分布式 CVS 信号采集中, 通常以 GOP 为单位对 GOP 内每个视频帧单独进行采样.
GOP 首帧为关键帧, 其他帧为非关键帧, 关键帧的采样率一般比非关键帧高, 在重构阶段能
以更高的重构质量为非关键帧重构提供高质量边信息. 同时, 考虑到实际应用过程中的采样
资源和传输压力等因素, 在对各个视频帧进行观测的过程中采用非重叠分块的 BCS 独立观
测方法, 将每个图像块的观测值\boldsymboly\boldsymboly 分别传递到解码端再进行联合
解码重构. 在 CVS 实现中, 目前主要采用空间多路复用方式(Spatial multiplexing, SM). SM
方式可通过多个单像素相机(Single pixel camera, SPC)同时进行逐帧采样, 将多个 SPC 得到
的观测结果拼接后即为该帧的目标观测值
[16-17]
.
在重构端, 对当前帧中的某个图像块进行多假设预测时, 首先在参考帧中寻找当前块
的相似块组成假设集, 然后利用假设块的线性组合预测当前块, 通过最小化观测域欧氏距离
得到最优线性加权系数矢量
w^=argminw∥y−ΦHw∥22w^=argminw‖y−ΦHw‖22
(2)
其中, HH 为当前块 xx 对应的假设集矩阵, HH 中的每一列为一个假设块的列矢
量, Hw^Hw^即为当前块的预测结果.
基于 Tikhonov 正则化的多假设预测加入了 l2l2 范数约束项, 具有简单的闭式解, 同时
能够在一定限度内处理假设块高度相关的情况
[7]
. 求解目标为
w^=argminw∥y−ΦHw∥22+λ∥Γw∥22w^=argminw‖y−ΦHw‖22+λ‖Γw‖22
(3)
其中, ΓΓ 为对角矩阵, 对角线上元素为对应的假设块与当前块的观测值之间的欧氏距
离. 可直接求得式(3)的闭式解
w^=[(ΦH)T(ΦH)+λΓTΓ]−1(ΦH)Tyw^=[(ΦH)T(ΦH)+λΓTΓ]−1(ΦH)Ty
(4)
基于弹性网的多假设预测进一步引入 l1l1 范数约束项, 通过强调 ww 的稀疏性对假设
块进行自适应选取, 在此基础上文献[11]引入距离惩罚矩阵 ΓΓ 对 ww 进行修正, 提出自适
应加权弹性网(Adaptive weighted elastic net, AWEN)
w^=(1+λ2)argminw∥y−ΦHw∥22+λ1∥Γw∥1+λ2∥Γw∥22w^=(1+λ2)argminw‖y−ΦHw‖22+λ1‖Γw‖1+λ2‖Γw‖22
(5)
式(5)可通过 LARS-EN 算法
[18]
进行迭代求解, 在假设块相关性较差的情况下该方法可
得到更好的加权系数, 但算法复杂度较高.
2. 多假设局部增强重构算法(MH-LE)
多假设预测算法利用参考帧作为边信息对当前帧进行预测, 假设集中假设块和当前块
的匹配程度是决定预测质量的关键因素之一, 能否找到合适的匹配块在一定程度上反映了
准确重构当前块的难度. 根据与相邻帧的相关程度, 可将图像块分为稳定块和运动块两个状
态类别. 一方面, 不同状态的图像块在相邻帧中找到高度匹配块的难易程度不同. 对于基本
没有出现位移的稳定块, 直接在相邻帧以当前位置为中心建立搜索窗进行搜索即可高概率
地找到高度匹配块; 而重构运动块时需利用运动估计等方法来确定搜索窗位置, 且无法保证
一定能找到有效匹配块. 另一方面, 假设集匹配程度不同导致不同状态的图像块适用的预测
方法不同. 当假设块与当前块高度相关时, 基于弹性网的多假设预测算法会出现不稳定现
象, 算法时间复杂度急剧增长, 预测精度反而不如计算量很小的基于 Tikhonov 正则化的预
测方法(Multi-hypothesis Tikhonov, MH_Tikhonov)
[11, 13]
. 由于稳定块较容易找到高度相关的
匹配块, 采用 MH_Tikhonov 方法即可高质量重构, 引入过多的正则化条件反而会因过度强
调泛化能力而造成欠拟合. 因此, 本文提出多假设局部增强重构算法(MH-LE), 对不同类别
图像块采用不同的重构策略, 通过进一步挖掘像素域信息对运动块进行二次重构, 提升视频
整体重构质量.
2.1 MH-LE 算法框架
本文所提算法采用 coarse-to-fine 策略, 先进行粗尺度的整体重构, 再针对部分高概率
低质量的图像块进行精细化重构. 重构算法实现的整体框架如图 1 所示.
图 1 MH-LE 算法框架
剩余13页未读,继续阅读
资源评论
罗伯特之技术屋
- 粉丝: 3543
- 资源: 1万+
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功