没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
试读
6页
为了进一步增强视频图像超分辨率重建的效果,研究利用卷积神经网络的特性进行视频图像的空间分辨率重建,提出了一种基于卷积神经网络的视频图像重建模型。采取预训练的策略用于重建模型参数的初始化,同时在多帧视频图像的空间和时间维度上进行训练,提取描述主要运动信息的特征进行学习,充分利用视频帧间图像的信息互补进行中间帧的重建。针对帧间图像的运动模糊,采用自适应运动补偿加以处理,对通道进行优化输出得到高分辨率的重建图像。实验表明,重建视频图像在平均客观评价指标上均有较大提升(PSNR 0.4 dB/SSIM 0.02),并且有效减少了图像在主观视觉效果上的边缘模糊现象。与其他传统算法相比,在图像评价的客观指标和主观视觉效果上均有明显的提升,为视频图像的超分辨率重建提供了一种基于卷积神经网络的新颖架构,也为进一步探索基于深度学习的视频图像超分辨率重建方法提供了思路。
资源推荐
资源详情
资源评论
书书书
收稿日期:20171029;修回日期:20171225 基金项目:国家自然科学基金资助项目(11672183);上海市军民融合专项资助项目
(2016GFZGB02342)
作者简介:刘村(1991),男,山东淄博人,硕士研究生,主要研究方向为图像处理、深度学习(liucun_sjtu@sjtu.edu.cn);李元祥(1967),男,副
教授,主要研究方向为遥感图像解译、图像识别、图像重构与评估;骆建华(1958),男,教授,主要研究方向为超分辨率重建、医学图像处理.
基于卷积神经网络的视频图像超分辨率重建方法
刘 村,李元祥,周拥军,骆建华
(上海交通大学 航空航天学院,上海 200240)
摘 要:为了进一步增强视频图像超分辨率重建的效果,研究利用卷积神经网络的特性进行视频图像的空间分
辨率重建,提出了一种基于卷积神经网络的视频图像重建模型。采取预训练的策略用于重建模型参数的初始
化,同时在多帧视频图像的空间和时间维度上进行训练,提取描述主要运动信息的特征进行学习,充分利用视频
帧间图像的信息互补进行中间帧的重建。针对帧间图像的运动模糊,采用自适应运动补偿加以处理,对通道进
行优化输出得到高分辨率的重建图像。实验表明,重建视频图像在平均客观评价指标上均有较大提升(PSNR+
0.4dB/SSIM+0.02
),并且有效减少了图像在主观视觉效果上的边缘模糊现象。与其他传统算法相比,在图像
评价的客观指标和主观视觉效果上均有明显的提升,为视频图像的超分辨率重建提供了一种基于卷积神经网络
的新颖架构,也为进一步探索基于深度学习的视频图像超分辨率重建方法提供了思路。
关键词:视频;超分辨率重建;卷积神经网络;深度学习
中图分类号:TP391.41 文献标志码:A 文章编号:10013695(2019)04066125605
doi:10.19734/j.issn.10013695.2017.10.1020
Videoimagesuperresolutionreconstructionmethodbasedon
convolutionalneuralnetwork
LiuCun,LiYuanxiang,ZhouYongjun,LuoJianhua
(SchoolofAeronautics&Astronautics,ShanghaiJiaoTongUniversity,Shanghai200240,China)
Abstract:Inordertofurtherimprovetheperformanceofvideoimagesuperresolutionreconstructionandstudythereconstruc
tionofspatialresolutionofvideoimagesbyusingthecharacteristicsofconvolutionneuralnetwork,thispaperproposedavideo
imagereconstructionmodelbasedonconvolutionneuralnetwork.Themodeladoptedthepretrainingstrategytoinitializethe
parameters.Anditcarriedoutthetrainingprocessingbothonthespatialandtemporaldimensionsofthemultiframevideoima
gesatthesametime.Itextractedthecharacteristicsofthemainmotioninformation,learntandmadefulluseoftheinformation
intertheframesforimprovedperformance.Anditusedtheadaptivemotioncompensationalgorithmtooptimizetheoutputofthe
channeltoobtainthereconstructedcenterframeimagewithhighresolution.Theexperimentalresultsshowthattheaverageof
objectiveevaluationindexesforvideoimagereconstructionimproveswitharatherclearmargin
(PSNR+0.4dB/SSIM +
002),andtheedgeofthefuzzyphenomenoninvideoreconstructionimageforthesubjectivevisualeffectiseffectivelyre
duced.Comparedwithothertraditionalalgorithms,itbothobviouslyimprovedtheevaluationoftheobjectiveindexesandsub
jectivevisualeffectofthereconstructedimage.Providinganovelarchitecturebasedonconvolutionneuralnetworkforvideoim
agesuperresolution,whichprovidesanexplorationforthefurtherstudyofvideoimagesuperresolutionreconstructionbasedon
thedeeplearningmethod.
Keywords:video;superresolutionreconstruction;convolutionalneuralnetwork;deeplearning
0 引言
图像超分辨率重建是从低分辨率图像或视频序列中获得
对应高分辨率图像的过程,在医学、航空和电子监控等诸多领
域均有广泛应用
[1]
。随着新一代超高清视频(3840×2048)
的日益普及,大多数视频内容在获取、传输和保存中面临许多
问题,因此,需要视频重建算法从全高清(1920×1080)或更
低分辨率的视频中生成超高清内容。
目前,图像超分辨率重建方法可以分为基于模型的重建方
法和基于学习的重建方法两类。基于模型的重建方法将低分
辨率图像建模为具有随机噪声的高分辨率图像的二次采样图
像,在从低分辨率图像恢复高分辨率图像的过程中通过引入正
则化项,对模型进行约束
[2]
。在贝叶斯框架中,引入决定图像
平滑度 的 先 验 知 识,以 获 得 质 量 更 高 的 重 建 图 像,例 如,
Babacan等人
[3]
利用贝叶斯框架从多帧旋转和平移的低分辨率
图像中重 建 得到高 分 辨 率 图 像;
Belekos等 人
[2]
以 及 Liu等
人
[4]
也使用贝叶斯框架推导出一种能够处理复杂物体运动和
实际场景视频序列的算法。
基于学习的重建算法的核心思想是学习高分辨率图像和
对应低分辨率图像对之间的映射关系,其中学习字典由高分辨
率图像块和低分辨率图像块联合训练所得,每个低分辨率图像
块可以表示为来自对应低分辨率字典的原子的稀疏线性组合,
字典中通过训练得到的系数表示权重
[5]
。字典及其权重系数
可以用标准稀疏编码技术(如 KSVD
[6]
)得到,然后可以通过
找到对应的低分辨率图像块的稀疏系数,并将其应用于高分辨
率字典中来重建对应高分辨率图像块。基于字典学习的重建
方法中,自然图像块可以被稀疏地表示为学习字典块或原子的
线性组合。Yang等人
[5]
首先提出使用两个耦合字典来学习低
第 36卷第 4期
2019年 4月
计 算 机 应 用 研 究
ApplicationResearchofComputers
Vol36No4
Apr.2019
资源评论
weixin_39840914
- 粉丝: 435
- 资源: 1万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功