_基于WGAN的图像修复应用1
需积分: 0 167 浏览量
2022-08-03
17:52:40
上传
评论 1
收藏 1.38MB PDF 举报
Image & Multimedia Technology
•
图像与多媒体技术
Electronic Technology & Software Engineering
电子技术与软件工程
• 51
【关键词】图像修复 语义修复 深度学习
WGAN
GAN 对于生成式模型的发展具有非常重
要的的意义。GAN 的训练过程创新性地将两
个神经网络的对抗作为训练准则并且可以使用
反向传播进行训练 , 大大改善了生成式模型的
训练难度和训练效率 . 对抗训练方法摒弃了直
接对真实数据的复制或平均 , 增加了生成样本
的多性。GAN 在生成样本的实践中 , 生成的
样本易于人类理解。GAN 解决了生成模型的
一些问题，但是 GAN 也存在一些缺点。GAN
采用对抗学习的准则，理论上还不能判断模型
的收敛性和均衡点的存在性。并且在实际操作
过程中，这种平衡性与同步性是很难把握的，
导致了训练过程的不稳定性。另外，GAN 生
成的样本虽然存在多样性，但是存在崩溃模式
现象 , 可能生成多样性，但是站在人们的角度
看差别不大的样本。而本文旨在立足于 GAN
的基础上，使用 Wasserstein-GAN ( 采用 Earth-
Mover（EM）距离代替 JS 散度来度量真实样
本和生成样本分布之间的距离 ) 来弥补原始
GAN 的训练不稳定以及易崩溃导致的多样性
不足问题。
1把图像解析成概率分布中的样本点
在本文中我们主要关注两种类型的信息：
基于 WGAN 的图像修复应用
文/哈文全
近年来深度学习在图像处理、
音频处理以及 NLP 领域取得了令
人瞩目的成绩，特别在图像处理
领域，深度学习已然成为主流
方法。本文介绍深度学习方法在
图像修复领域的应用，通过使用
WGAN 来生成破损图像中缺失的部
分。通过从可用的大批量的数据
集中生成对应的概率分布的生成
模型，进而通过比较上下文内容
和先验损失函数，来近似的获取
破损图像中缺失部分的内容从而
达到生成指定区域图像内容的目
的。
摘
要
环境信息和知觉信息。我们从一种概率密度分
布入手：正态分布 (PDF)。图像和统计学之间
的关键联系在于，我们可以把图像解析成一个
高维概率分布中的样本点。当我们知道一些值
并想修复所有缺失值时，我们就把它当作了一
个最大化问题来讨论 , 修复得到的就是可能性
最大的图像。如果直接观察正态分布中那些样
本点，使用 GAN 来得到最适合的概率统计模
型并且用它来拟合数据就可以了。
2WGAN
本文所用方法是在DCGAN 的基础上
使用 Wasserstein 距离来规避 GAN 的缺点，
Wasserstein 的距离又叫做 Earth-Mover（EM）
距离，定义如下：
W 距离相比 KL 散度、JS 散度的优越性
在于，即使两个分布没有重叠，W 距离任然
能够反映它们的远近。而其优点可以概括如下：
（1）彻底解决 GAN 训练不稳定的问题；
（2）基本解决 collapse mode 多样性的问
题，确保了生成样本的多样性；
（3）训练过程中终于有一个像交叉熵、
准确率这样的数值来指示训练的进程，这个数
值越小代表 GAN 训练得越好，代表生成器产
生的图像质量越高；
（4）以上一切好处不需要精心设计的网
络架构，最简单的多层全连接网络就可以做到。
总结一下，WGAN 彻底解决了训练不稳定问
题 , 同时基本解决了崩溃模式现象。
3在输入图像上添加Mask
首先定义一个指定大小的二进制掩码，
用来给输入图像添加遮盖，作为破损图像以供
生成模型使用。
1.self.mask = tf.placeholder(tf.float32, self.
image_shape, name='mask）
4补全图像
语境损失：为了得到和输入图像相同的
上下文，需要确保 y 已知像素对应位置的 G(z)
尽可能相似。所以当 G(z) 的输出和 y 已知位
置图像不相似的时候，需要对 G(z) 进行惩
罚。为此 , 我们用 G(z) 减去 y 中对应位置的
像素，然后得到它们不相似的程度：
contextual
(Z)=||M ⊙ G(Z)-M ⊙ y||。感知损失：为了重
建一个看起来真实的图像，需要确保判别器
判定图像看起来是真实的。
perceptual
(Z)= log(1-
D(G(Z)))。最后，将语境损失和感知损失组
合起来，就可以找到
了。 (Z)=
contextual
(Z)+
λ
perceptual
(Z)
=argmin
Z
(Z)
我们通过对梯度
Z (Z)进行梯度下降，
可以迭代地求出 argmin
Z
(Z)。最后，对比真
实图片，添加二进制掩码后的图片，以及使用
WGAN 生成图像修复的图片，如图 1。
参考文献
[1]Ian J.Goodfellow,Jean Pouget-
Abadie,Mehdi Mirza.Generative
Adversarial Networks:Cornell
University Library,2014.
[2]Martin Arjovsky,Soumith
Chintala,Léon Bottou.Wasserstein
GAN:Machine Learning (stat.ML),2017.
[3]Raymond A.Yeh,*,Chen Chen * :Semantic
Image Inpainting with Deep Generative
Models :CV,2017.
作者单位
上海交通大学 上海市 200030
图1
评论0