【免费】采用卷积自编码器网络的图像增强算法_王万良1

需积分: 0 193 浏览量 2022-08-03 12:59:15 上传评论收藏 2.38MB PDF 举报

资源详情

资源评论

资源推荐

DOI: 10.3785/j.issn.1008-973X.2019.09.012

采用卷积自编码器网络的图像增强算法

王万良，杨小涵，赵燕伟，高楠，吕闯，张兆娟

(浙江工业大学计算机科学与技术学院，机械工程学院，浙江杭州 310023)

摘要：将图像增强方法低光网络（LLNet）应用于实际场景下的彩色图像时会产生大量冗余参数，为此基于LL-

Net提出卷积自编码器网络（CAENet）的图像增强方法. 将LLNet方法中的低光处理模块与网络训练衔接在一起；

采用卷积网络代替传统自编码器的编码和解码方式. 实验结果表明：CAENet能够有效节约时间成本，减少网络

参数，使网络训练更加高效，得到更好的图像低维表示. 在Corel5k数据集上的实验效果表明，CAENet在减少网络

参数的同时，能有效提高图像光感和色感；在高分辨率数据集上的实验结果表明，针对图像细节方面，CAENet能

够保留细节不失真；针对含噪低光图像，CAENet能在增强图像的同时达到去噪的效果，证明CAENet具有较强的

鲁棒性.

关键词：图像处理；图像增强；深度学习；卷积神经网络；降噪自编码器

中图分类号： TP 311.1 文献标志码： A 文章编号： 1008−973X（2019）09−1728−13

Image enhancement algorithm with convolutional

auto-encoder network

WANG Wan-liang, YANG Xiao-han, ZHAO Yan-wei, GAO Nan,

LV Chuang, ZHANG Zhao-juan

(School of Computer Science and Technology, College of Mechanical Engineering,

Zhejiang University of Technology, Hangzhou 310023, China)

Abstract: When the image enhancement method LLNet (the low-light net) was applied to three-channel images,

there're a lot of redundant parameters. To solve this problem, a framework called CAENet (convolutional auto-

encoder network) was proposed. Firstly, CAENet combined a low light processing module with a network training

module. Secondly, in the encoding and decoding stages, CAENet used a convolutional network to replace the

traditional fully connected network. The experimental results show that connecting low-light processing modules

with network training can effectively save time costs. At the same time, the use of convolutional networks can reduce

network parameters, making network training more efficient, and obtain better low-dimensional representation of

images. The experimental results on the Corel5k dataset show that CAENet can effectively improve the image light

perception and color perception while reducing network parameters. The experimental results on high-resolution

datasets show that CAENet can preserve details for image details without distortion. In addition, for the noisy low-

light image, CAENet can enhance the image while achieving the denoising effect, which proves that CAENet has

strong robustness.

Key words: image processing; image enhancement; deep learning; convolutional neural network; denoising

auto-encoder

收稿日期：2019−01−24. 网址：www.zjujournals.com/eng/article/2019/1008-973X/201909012.shtml

基金项目：国家自然科学基金资助项目（61873240）.

作者简介：王万良（1957—），男，教授，从事人工智能、机器自动化、网络控制研究. orcid.org/0000-0002-1552-5075.

E-mail：[email protected]

第 53 卷第 9 期

2019 年 9 月

浙江大学学报(工学版)

Journal of Zhejiang University (Engineering Science)

Vol.53 No.9

Sep. 2019

在现代生活中，摄影设备技术已经取得很大进

步，拍摄出来的照片能够很大程度地还原真实场

景，但是在环境较为恶劣的情况下，比如低光环

境，就会拍摄出低质量的低光图像

[1]

，这给图像识

别、分类等后续的图像处理工作增加了难度. 对于

工业生产、医学研究等对图像质量要求较高的领

域

[2]

，低光图像可能导致决策者作出错误的决定.

图像增强算法作为一种能够提高图像整体光感质

量的算法，对于图像分析具有至关重要的作用.

图像增强算法能够提高图像对比度，使增强

后的图片更加清晰，而对比度增强算法在处理图

像时可能会出现图像过度增强或不自然的效果

[3]

目前常用的图像增强算法有直方图均衡（Histo-

gram equalization，HE）算法、基于Retinex的图像

增强算法等. HE算法通常用来增加图像全局对比

度，使图像亮度很好地分布在直方图上. HE算法

的优点是原理简单，缺点是增强之后的图像会出

现伪像和强饱和度

[4]

等不好的效果. Reza

[5]

于

2003年提出了CLAHE算法，该算法很好地抑制

了图像的噪声. Retinex理论由Land于1971年提

出，该理论认为人眼对于色彩的感知取决于物体

表面的反射特性，而与入射强度无关

[6]

. 1997年基

于Retinex的单尺度Retinex（single scale retinex，

SSR）

[7]

图像增强算法首次被提出，该算法类似于

在自然视觉科学中广泛使用的高斯差分（differ-

ence of gaussian，DOG）函数，将反射率视为最终增

强结果. 带颜色恢复的多尺度Retinex（multi-scale

retinex with color restoration，MSRCR）

[8]

图像增强

算法在边缘增强和色彩均衡

[9]

方面有很大进步.

Parthasarathy等

[10]

于2012年提出了一种具有颜色

恢复功能的自动化多尺度Retinex算法（automated

multi-scale retinex with color restore，AMSRCR），该

算法从增强的图像中获取参数值，为MSRCR提

出了一种完全自动化的方法. Petro等

[11]

于

2014年提出了具有色度保存的多尺度Retinex算

法（the multi-scale retinex with chromaticity preserva-

tion，MSRCP），该算法在图像颜色恢复和对比度

增强方面具有较好的效果. Fu等

[12]

于2016年提

出了图像增强算法SRIE（simultaneous reflectance

and illumination estimation），该算法能够更好地保

留图像反射率，还能在一定程度上抑制噪声. Guo等

[1]

于2017年提出了低光图像增强（low-light image

enhancement, LIME）算法，该算法通过找到三通道

中的最大值来估计每个像素的光照强度，可以相

应地实现图像增强.

近年来，深度学习作为机器学习领域的一个

重要研究方向，在图像处理、自然语言处理、语音

识别等领域取得了突破性进展

[13]

. Shen等

[14]

提出

了一种基于卷积神经网络和Retinex理论的低光

图像增强模型，证明了多尺度Retinex图像增强算

法相当于前馈卷积神经网络，有效提高了图像亮

度. Li等

[15]

提出了基于卷积神经网络的图像增强

框架，首先将低光图像作为卷积网络的输入，接

着将得到的输出结果用于Retinex算法进行低光

图像增强.

上述基于深度学习的图像增强算法具有较好

的增强效果，但都是基于有监督的学习方式，这

种学习方式增加了寻找有标签低光图像数据集的

难度，因此将无监督

[16]

学习方式应用在图像增强

领域很有必要. Lore等

[17]

提出了一种基于自动编

码器的图像增强框架——低光网络（the low-light net，

LLNet），该框架利用自编码器的去噪能力，将自

编码器应用在图像增强领域，在训练时将低光图

像输入到网络中进行特征学习，最后得到重构明

亮图像，达到增强图像的效果.

虽然LLNet在无监督学习方式下具有不错的

图像增强效果，但仍是在传统的单通道灰度图像

上进行讨论. 为了增加框架的普适性，本文选择

三通道的彩色图像来进行框架的设计和训练. 由

于三通道彩色图像不同于单通道灰度图像，每个

像素点会有三个数值来表示，在网络训练时若使

用传统的编码和解码方式会产生大量冗余参数，

同时LLNet网络的训练集预处理工作独立于网络

存在，这大大增加了网络训练的前期准备工作.

因此基于以上问题，在LLNet的基础上，提出一

种新的基于卷积自编码器的图像增强框架

—

CAENet（convolutional auto-encoder network）.

为了不失一般性，本文首先对LLNet图像增

强方法进行相关介绍和分析；其次介绍CAENet，

详细描述CAENet在图像低光处理阶段和特征提

取阶段作出的改进，重点阐述在特征提取阶段利

用卷积操作取代传统的编码方式，说明CAENet

整体方法的具体实现过程；最后对所提算法进行

实验验证.

1 低光网络

自编码器（Autoencoder）是一种从样本数据中

自动学习的无监督算法，网络利用非线性数据映

第 9 期

王万良, 等：采用卷积自编码器网络的图像增强算法[J]. 浙江大学学报：工学版,

2019, 53(9): 1728–1740. 1729

射得到的低维特征来反映射得到高维的非线性映

射空间，因此自编码器网络能够提取非线性特征

[18]

去噪自编码器

[19]

的原理与自编码器相同，都是尽

量使重构输出数据等于输入数据，两者的不同之

处在于，去噪自编码器的输入是被人为破坏的噪

声数据. 原始干净数据为x，进行加噪处理后，输

入网络得到的特征图

[19]

表示为

x) = f (W ×

x + b). (1)

式中：为将输入x进行加噪处理后的噪声数据，

W为网络权重，b为偏置. 该阶段为编码阶段.

在得到噪声数据的特征图之后，网络已经学

习到输入数据的隐含特征，接着网络会用已经学

习到的特征来重构出原始干净的数据. 最终网络

得到的重构无噪数据如下式所示：

x) =g[W

′

×h(

x) + b

′

] =

g[W

′

× f (W ×

x + b) + b

′

]. (2)

式中：W′为权重，b′为偏置. 该阶段为解码阶段.

基于降噪自编码器原理，LLNet将自编码器

应用在图像增强领域中. LLNet的结构示意图如

图1所示，输入低光图像，经过多层隐藏单元，最

终得到重构的增强图像.

得到重构增强图像之后，网络开始进行参数

微调. 首先进行原始干净图像与重构增强图像之

间损失函数的计算. 损失函数计算公式

[17]

如下：

(D; θ) =

∑

i=1

|| y

− ˆy(x

)||

+ β

∑

j=1

KL( ˆρ

|| ρ)+

[||W ||

+ ||W||

]. (3)

θ = {W, b,W

′

, b

′

}

KL( ˆρ

|| ρ)

式中：为模型参数，D为低光图像，

N为样本数量，为KL散度，、为通过

交叉验证确定的标量超参数.

当损失函数计算完成后网络会采用向后传播

算法，以最小化损失函数的原则进行网络微调.

LLNet的模型结构图如图2所示.

尽管LLNet方法具有很好的图像增强效果，

该网络会产生大量冗余参数，同时数据前期处理

的时间成本较大. 为了克服以上缺点，本文提出

基于卷积自编码器的图像增强方法

—

CAENet.

2 采用卷积自编码器的图像增强

网络

基于LLNet方法，提出基于卷积自编码器的

图像增强框架—CAENet. 首先，为了减少前期数

据处理时间，CAENet将LLNet的人为低光处理模

块添加到整体网络框架中，实现了框架统一，避

免了多平台处理存在的诸多不便因素；其次，为

了将该方法更好地应用到三通道彩色图像中，受

卷积自编码器

[20]

启发，将卷积操作当作自编码器

的编码操作来得到低光图像的低维特征表示，结

构图如图3所示. 网络训练时输入处理后的低光

图像，随后经过卷积网络进行编码，得到特征图，

此时网络学习到低光图像的隐含特征，接着进行

反卷积得到重构明亮图像，最后计算损失函数以

便网络调参.

2.1 低光处理

训练网络之前，首先需要对输入图像进行破

坏，即低光处理. 与去噪自编码原理相同，该操作

主要是为了避免隐藏层学习到没有意义的恒等函

数，其次也是为了网络能够学习到更加具有鲁棒

性的特征表达

[21]

编码解码

特征图

图 1 低光网络（LLNet）结构图

Fig.1 Structure diagram of low light net (LLNet)

对

比

度

增

强

模

块

低光图像

增强图像

…

编码

解码

…

图 2 LLNet模型结构示意图

Fig.2 Diagram of module structure of LLNet

1730

浙江大学学报（工学版）第 53 卷

剩余12页未读，继续阅读

评论收藏

内容反馈

MurcielagoS

粉丝: 16
资源: 320

采用卷积自编码器网络的图像增强算法_王万良1

评论0

最新资源

采用卷积自编码器网络的图像增强算法_王万良1

评论0

CAE.rar_CAE 自编码_CAE自编码器_CNN 编码器_卷积自编码_深度自编码

卷积网络自编码_tensorflow卷积网络自编码_卷积网络自编码_

torch实现自编码器-Pytorch卷积自动编码器

基于MATLAB实现传统图像去噪算法和基于深度卷积神经网络的DnCNN图像去噪算法.zip

论文研究-改进卷积自编码器的局部特征描述算法.pdf

基于python的深度卷积自动编码器对MNIST图像进行去噪设计与实现

基于matlab_使用深度卷积神经网络DnCNN_图像去噪算法设计与实现

基于python使用卷积自编码器对图像进行去噪设计与实现

Convolutional Auto-Encoders卷积自编码器（Matlab代码）

基于卷积神经网络的图像识别算法PPT课件.ppt

用于生成3D人脸的卷积网格自动编码器_Python_Shell_下载.zip

盲卷积算法和Lucy迭代算法对模糊噪声图像恢复_盲卷积算法_matlab_图像恢复_

基于图像去噪算法和卷积神经网络的DnCNN图像去噪算法的matlab仿真源码+文档.zip

FBP.zip_FBP_卷积_图像投影算法_图像重建_滤波反投影算法

基于传统图像去噪算法和深度卷积神经网络的DnCNN图像去噪算法的matlab仿真.zip

【提供操作视频】基于多尺度CNN卷积神经网络的MRF图像分割算法matlab仿真

基于多尺度卷积网络的快速图像去雾算法_寇大磊1

基于传统图像去噪算法和深度卷积神经网络的DnCNN图像去噪算法的matlab仿真（完整源码+说明文档+数据）.zip

卷积神经网络CNN进行图像分类_matlab

BurpLoaderKeygen.jar.zip

最新版ISO/IEC 27001:2022、ISO 27002:2022中英文合集

Goby红队版-win-x64-2.4.7版本

Chrome Header Editor 插件

ISO SAE 21434-2021 中文版.pdf

OpenVAS GVM 中文翻译补丁

安全认证cisp教材全套

STM32F103C8T6核心板-电路原理图1.PDF

软件工程导论(第六版)课后习题答案1

最新资源