没有合适的资源?快使用搜索试试~ 我知道了~
基于深度学习的单幅图像超分辨率重建算法综述
需积分: 10 5 下载量 43 浏览量
2022-11-03
22:53:59
上传
评论 1
收藏 26.66MB PDF 举报
温馨提示
试读
23页
李佳星, 赵勇先, 王京华. 基于深度学习的单幅图像超分辨率重建算法综述. 自动化学报, 2021, 47(10): 2341−2363
资源推荐
资源详情
资源评论
基于深度学习的单幅图像超分辨率重建算法综述
李佳星
1
赵勇先
2,3
王京华
1,4
摘 要单幅图像超分辨率(Singleimagesuper-resolution,SISR)重建是计算机视觉领域上的一个重要问题,在安防视
频监控、飞机航拍以及卫星遥感等方面具有重要的研究意义和应用价值.近年来,深度学习在图像分类、检测、识别等诸多
领域中取得了突破性进展,也推动着图像超分辨率重建技术的发展.本文首先介绍单幅图像超分辨率重建的常用公共图像
数据集;然后,重点阐述基于深度学习的单幅图像超分辨率重建方向的创新与进展;最后,讨论了单幅图像超分辨率重建方
向上存在的困难和挑战,并对未来的发展趋势进行了思考与展望.
关键词单幅图像超分辨率,计算机视觉,深度学习,神经网络
引用格式李佳星,赵勇先,王京华.基于深度学习的单幅图像超分辨率重建算法综述.自动化学报,2021,47(10):2341−2363
DOI10.16383/j.aas.c190859
A Review of Single Image Super-resolution Reconstruction
Algorithms Based on Deep Learning
LIJia-Xing
1
ZHAOYong-Xian
2,3
WANGJing-Hua
1,4
AbstractSingleimagesuper-resolution(SISR)reconstructionisanimportantprobleminthefieldofcomputervis-
ion.Ithasimportantresearchsignificanceandapplicationvalueinsecurityvideosurveillance,aircraftaerialphoto-
graphyandsatelliteremotesensing.Inrecentyears,deeplearninghasmadeabreakthroughinmanyfieldssuchas
imageclassification,detectionandrecognition,andpromotedthedevelopmentofimagesuper-resolutionreconstruc-
tiontechnology.Thispaperfirstintroducesthecommonpublicimagedatasetsforsingleimagesuper-resolutionre-
construction.Then,theinnovationandprogressofsingleimagesuper-resolutionreconstructionbasedondeeplearn-
ingareemphasized.Finally,thedifficultiesandchallengesinthesingleimagesuper-resolutionreconstructionare
discussed,andthefuturedevelopmenttrendisdiscussed.
Key wordsSingleimagesuper-resolution(SISR),computervision,deeplearning,neuralnetwork
CitationLiJia-Xing,ZhaoYong-Xian,WangJing-Hua.Areviewofsingleimagesuper-resolutionreconstruction
algorithmsbasedondeeplearning.
ActaAutomaticaSinica
,2021,47(10):2341−2363
单幅图像超分辨率(Singleimagesuper-resolu-
tion,SISR)重建是根据一张低分辨率(Lowresolu-
tion,LR)图像恢复出高分辨率(Highresolution,
HR)图像的过程,研究超分辨率的学者将图像重建
成×2、×3、×4、×8这4种尺度的较多,其中×2代
表将图像的边长放大2倍,即像素密度增加4倍,
×3、×4和×8与其同理.如何保证重建后图像的质
量更接近Groundtruth图像成为了研究热点,其
目标如下:
ˆy = arg min
y
[L (F
sr
(x) , y)] + λΦ (y) (1)
x
y
F
sr
(x)
λ
Φ (y)
其中, 为LR图像, 为对应的Groundtruth图
像, 为运用某种算法重建后的HR图像,
为平衡参数, 为正则化项.
超分辨率重建在卫星、遥感、天文学、安防、生
物医学等诸多领域以及恢复珍贵的历史图像资料上
起到了非常重要的作用.目前在计算机视觉上单幅
图像超分辨率已经成为一个专门的学术问题,吸引
了国内外众多学者的关注与研究.
在深度学习未兴起前,经典的单幅图像超分辨
率算法占据主导地位,Lanczos重采样
[1]
和双三次
插值
[2]
得到了广泛的应用,但采用插值方法有时会
收稿日期2019-12-17录用日期2020-06-11
ManuscriptreceivedDecember17,2019;acceptedJune11,
2020
国防基础科研计划(JCKY2019411B001),“111”计划(D17017),
露泉创新基金(LQ-2020-01)资助
SupportedbyDefenseIndustrialTechnologyDevelopmentPro-
gram(JCKY2019411B001),the“111”ProjectofChina(D17017)
andInnovationFundationofLuquan(LQ-2020-01)
本文责任编委白翔
RecommendedbyAssociateEditorBAIXiang
1.长春理工大学机电工程学院长春1300222.中国科学院长
春光学精密机械与物理研究所长春1300333.中国科学院大学
北京1000494.长春理工大学跨尺度微纳制造教育部重点实验室
长春130022
1.CollegeofMechanicalandElectricEngineering,Changchun
UniversityofScienceandTechnology,Changchun1300222.Cha-
ngchunInstituteofOptics,FineMechanicsandPhysics,Chinese
AcademyofSciences,Changchun1300333.Universityof
ChineseAcademyofSciences,Beijing1000494.Ministryof
EducationKeyLaboratoryforCross-ScaleMicroandNanoMan-
ufacturing,ChangchunUniversityofScienceandTechnology,
Changchun130022
第47卷第10期
自动化学报
Vol.47,No.10
2021年10月 ACTAAUTOMATICASINICA October,2021
导致图像边缘和细节模糊,因此其他传统算法也被
相继提出
[3−5]
,有效地增强了图像的质量.经典的超
分辨率重建算法需要很多先验知识,且要求研究者
具有深厚的专业知识储备.随着深度学习的兴起,
由于该技术不需要过多的先验知识,且重建后的图
像质量优于传统算法,因此得到了广泛的关注.Dong
等
[6]
首先将卷积神经网络应用到图像超分辨率重建
技术中,提出了超分辨率重建卷积神经网络(Super-
resolutionconvolutionalneuralnetwork,
SRCNN),图1为SRCNN的模型框架图,虽然只
有三层神经网络,但相比于经典超分辨率算法,取
得了显著的效果.SRCNN的出现,吸引了国内外学
者将神经网络的各种变体应用到图像超分辨率研究
中,包括卷积神经网络
[7]
、对抗神经网络
[8]
以及二者
的结合
[9]
等.
本文从超分辨率图像数据集、基于深度学习的
单幅图像超分辨率重建的研究进展、图像质量评估
准则、实验结果与分析以及存在的问题与挑战出发,
对单幅图像超分辨率重建进行了全面综述,系统的
回顾了单幅图像超分辨率重建技术的发展.
1超分辨率图像数据集
为了方便比较算法的优异性,许多学者在提出
超分辨率重建算法的同时会公布数据集,以供其他
学者们使用.目前国际上已经形成了专用于超分辨
率图像公共基准数据集,如使用较为广泛的Set5
[10]
、
Set14
[11]
、Urban100
[12]
、General-100
[13]
、BSDS300
[14]
、
BSDS500
[15]
、Manga109
[16]
、T91
[17]
等,这些图像来源
不同,有人物、动物、风景、建筑、生活上常见的景象
以及虚拟合成的动漫图像等,且每个数据库图像的
分辨率、质量各不相同,各个数据集的图片数量与
格式也并不同,有JPG、PNG与BMP等图像格式,
表1和表2列出了几种常用超分辨率图像数据集的
详细信息.除了以上那些图像数据集,DIV2K
[18]
、
L20
[19]
、OutdoorScene
[20]
、PIRM
[21]
、ImageNet
[22]
、MS-
COCO
[23]
、VOC2012
[24]
、CelebA
[25]
、LSUN
[26]
、
WED
[27]
、Flickr2K
[28]
、City100
[29]
和SR-RAW
[30]
等
数据集也被应用在图像超分辨率重建中,大大扩充
了数据集的数量与种类,有利于检验各个模型的泛
化能力.使用同样的基准数据集进行测试,得到的
测试结果会更具有公平性与说服力,图2所示为超
分辨率数据集的示例图像.
2基于深度学习的单幅图像超分辨率
重建的研究进展
分辨率越高,图像所包含的信息越多,将单幅
低分辨率图像恢复成高分辨率图像是一个不适定问
题,得到了广泛的关注.传统的典型方法如基于空
间域、频域、非均匀插值、迭代反投影、凸集投影法
以及基于统计学习与基于字典学习的方法等,都为
表1常用超分辨率训练数据集
Table1WidelyusedSuper-resolutiontrainingdatasets
数据集名称 图像数量 图像格式 图像描述
平均像素
[31]
平均分辨率
BSDS200
[15]
200 JPG BSDS500的子集用于训练 154,401 (432,370)
T91
[17]
91 PNG
车、人脸、水果、花等
58,853 (264,204)
General-100
[13]
100 BMP
人物、动物、日常景象等
181,108 (435,381)
Reconstruction
Low-resolution
image (input)
n1 featuremaps of
low-resolution image
n2 feature maps of
high-resolution image
High-resolution
image (output)
Patch extraction
and representation
Non-linear
mapping
图1SRCNN网络结构
[6]
Fig.1TheSRCNNnetworkstructure
[6]
2342 自动化学报 47卷
这个领域做出了突破,但大多数算法都需要一些先
验知识.2016年,SRCNN
[6]
的提出,很好地将神经
网络学习迁移到超分辨率重建领域.通过训练LR-
HR图像对,得到一套神经网络模型,测试的结果优
于经典算法,且无需过多的先验知识.本部分从基
于有监督学习、弱监督学习、无监督学习以及针对
特定领域的图像超分辨率重建这4个模块出发,系
统的阐述深度学习在超分辨率领域的发展进程与重
大突破.
2.1基于有监督学习的超分辨率重建
有监督学习是指利用一组带有标签的数据,学
习从输入到输出的映射,然后将这种映射关系应用
到未知数据上,达到分类或回归的目的.由于有监
督学习方法相对简单且优于多数传统算法,因此受
到广大学者们的青睐.对于超分辨率领域,大多数
模型也都是基于有监督学习的方法.本节从有监督
学习角度出发,根据所使用的神经网络类型可以分
为基于卷积神经网络、递归神经网络、循环神经网
络和对抗神经网络;根据所使用的机制可分为基于
反馈机制和通道注意力机制;此外,还有基于损失
函数类型、上采样层类型的不同,针对多尺度超分
辨率重建的方法共分为9个方面,详细阐述有监督
学习在超分辨率重建中的应用发展.
2.1.1基于卷积神经网络的超分辨率重建
由于卷积神经网络在图像分类、识别等领域有
着出色的表现,因此Dong等
[6]
将卷积神经网络
(Convolutionalneuralnetwork,CNN)应用到超分
辨率重建中,对采集到的HR图像以一定的采样因
子下采样,得到的图像称为LR图像.再利用双三
次插值的方法重建成与原来HR图像同等尺寸大
小,将其作为输入,经过构建的卷积层Conv1+激
活函数Relu1—卷积层Conv2+激活函数Relu2—
卷积层Conv3框架的学习,与相对应的HR图像求
损失函数,使损失函数不断减小,期间通过反向传
播调整各卷积层的权值,直至损失函数收敛,使重
建后的SR图像质量逼近于HR图像质量,从而达
到重建的目的.SRCNN的提出,具有里程碑式的意
义,但它也有一些不足,如太过依赖小图像区域的
上下文信息、训练时收敛较慢、网络仅适用于单一
表2常用超分辨率测试数据集
Table2WidelyusedSuper-resolutiontestingdatasets
数据集名称 图像数量 图像格式 图像描述 平均像素 平均分辨率
Set14
[11]
14 PNG
人物、动物、自然景象
230,203 (492,446)
BSDS100
[15]
100 JPG BSDS500的子集用于测试 154,401 (432,370)
Set5
[10]
5 PNG
人物、动物、昆虫等
113,491 (313,336)
Urban100
[12]
100 PNG
建筑物
774,314 (984,797)
Manga109
[16]
109 PNG
漫画
966,11 (826,1 169)
图2超分辨率数据集示例
Fig.2Examplesofsuper-resolutiondatasets
10期 李佳星等:基于深度学习的单幅图像超分辨率重建算法综述 2343
采样尺度,若换成另一尺度采样,则需要重新训练
模型.针对这几种缺点,同年Dong等
[13]
又提出了
快速超分辨率重建卷积神经网络(Fastsuper-resol-
utionconvolutionalneuralnetwork,FSRCNN),
如图3所示,FSRCNN在SRCNN基础上做了一些
改进,SRCNN的网络输入是将LR图像进行双三
次插值放大为Groundtruth图像尺寸,这样会增
加需提取的图像特征信息、网络参数和算法时间复
杂度,而FSRCNN网络的输入不需要将LR图像
放大,仅将LR图像作为输入,网络的最后一层采
用反卷积上采样层,此时再将图像放大为Ground
truth图像尺寸,大大减少时间的消耗;如图4所示,
如果训练不同上采样倍率的模型,只需将最后一层
的上采样层微调;另一处改进是网络模型增加了网
络层数并使用了较小的卷积核,使网络更深,学习
到的特征更多.
Kim等
[7]
提出了图5所示的超分辨率重建极深
卷积神经网络(Verydeepconvolutionalnetwork
forsuper-resolution,VDSR)模型,与SRCNN相
比,VDSR增加了神经网络的层数,可以提取更多
的特征图,使重建后的图像细节更丰富,且随着层
数的加深,感受野也随之变大,解决了SRCNN依
赖小图像区域的上下文信息的问题;该模型采用残
差学习的方法,对输入的LR图像进行双三次插值
得到的图像添加到模型的最后一层上,使网络仅仅
学习HR图像与LR图像的差异部分,有效地解决
了收敛困难的问题;该模型的训练数据集并不单单
使用一种采样因子的LR图像作为输入,而是包含
SRCNN
FSRCNN
Original
low-resolution
image
Bicubic
interpolation
No pre-processing
Feature extraction Shrinking Mapping Expanding
Non-linear
Deconvolution
Reconstruction
Mapping
Patch extraction and
representation
Conv(f
1
, n
1
, 1)
Conv(5, d, 1)
Conv(1, s, d)
Conv(1, d, s)
DeConv(9, 1, s)
Conv(3, s, s)
Conv(f
2
, n
2
, n
1
)
Conv(f
3
, 1, n
2
)
High-resolution
image
m ×
图3FSRCNN网络结构与SRCNN网络结构的对比
[13]
Fig.3ComparisonofFSRCNNnetworkstructureandSRCNNnetworkstructure
[13]
The convolution filters can be shared for
different upscaling factors
Convolution layers
Deconvolution
layer
Stride = 3
Stride = 2
For factor 3
For factor 2
DeConv(9, 1, s)
DeConv(9, 1, s)
Conv(5, d, 1) Conv(1, s, d) Conv(3, s, s) Conv(1, d, s)
图4FSRCNN网络卷积层与反卷积层的具体结构
[13]
Fig.4TheconcretestructureofconvolutionlayeranddeconvolutionlayerofFSRCNNnetwork
[13]
2344 自动化学报 47卷
剩余22页未读,继续阅读
资源评论
wangjh1920
- 粉丝: 2
- 资源: 5
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功