没有合适的资源?快使用搜索试试~ 我知道了~
基于半监督编码生成对抗网络的图像分类模型.docx
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 55 浏览量
2023-02-23
16:51:20
上传
评论 1
收藏 332KB DOCX 举报
温馨提示
试读
12页
基于半监督编码生成对抗网络的图像分类模型.docx
资源推荐
资源详情
资源评论
随着互联网的普及和智能信息处理技术的迅速发展, 大规模图像资源不断涌现, 面对
海量的图像信息, 如何准确地归类整理图像内容变得尤为重要, 所以图像分类问题成为近年
来的研究重点.图像分类就是根据图像的不同特征将不同类别的图像区分开来, 因此一个好
的特征提取方法是影响图像分类效果的重要因素.最近, 机器学习方法在图像处理的各个领
域都取得了很大的成功, 特别是图像分类领域.大量实验证明, 机器学习方法提取的特征较
传统手工方法提取的特征在图像分类上能获得更好的分类效果
[1]
.
机器学习方法一般分为三大类:有监督学习、无监督学习以及半监督学习.由于有监督
学习方法需要大量的人工标注, 而在一般的实际应用中, 提供大量的标签数据无疑会消耗庞
大的人力物力, 所以在无监督学习的基础之上, 结合有监督训练的半监督学习成为学者们的
研究热点. Suddarth 等
[2]
于 1990 年第一次提出在无监督学习过程中引入预测值和训练集真实
标签之间的误差, 将无监督训练得到的神经网络作为其他图像处理问题的初始参数, 进而完
成了不同的图像任务.而在深度学习算法兴起之后, 可供选择的无监督深度学习算法有很多,
例如深度自编码网络
[3]
、生成对抗网络(Generative adversarial networks, GANs)
[4]
, 以及把每
一个样本当成单独的一个类别进行训练的卷积神经网络(Convolutional neural network,
CNN)
[5]
等.将有监督算法与上述的无监督方法进行结合, 均能得到效果不错的半监督学习模
型.例如利用自编码网络性质构造的阶梯网络
[6]
, 该模型由一个无监督网络连接一个有监督
网络组成, 它能有效地从数据信息中筛选出与分类任务相关的信息.还有学者利用对抗的思
想, 对样本施加对抗性噪声, 并训练模型使加噪样本和未加噪样本的输出结果类似, 从而使
模型具备学习无标注样本的能力, 完成半监督学习
[7]
.
在大部分无监督学习方法中, 生成模型是一个不错的选择, 一般的生成模型都有隐性
学习原始图像信息的能力, 很多通过优化生成模型搭建的半监督框架都取得了良好的分类
效果
[8]
.近年来, 由于 GANs 具有从简单的隐变量分布中模拟产生任意复杂数据的能力, 很多
学者选择对原本的 GANs 进行优化, 以期获得在半监督图像分类领域更好的效果.例如, 改
变网络的训练误差, 通过数据的不确定熵信息对分类器进行训练的策略 GANs
[9]
; 改变模型
中的鉴别器结构, 将输出层直接连接分类器, 使数据分为原始类别和一个假图像类, 训练得
到半监督分类鉴别器
[10]
.还有学者提出了一个实用的贝叶斯公式, 使 GANs 进行半监督式学
习
[11]
.但在这些半监督 GANs 框架中有隐性学习图像信息的结构, 而没有考虑直接从隐变量
中提取图像特征.
为了更好地应用 GANs 的特征学习能力, 优化图像分类的效果, 本文提出一种半监督
编码生成对抗网络(Semi-supervised encoder GAN, SSE-GAN).此网络在原 GANs 模型中添加
一个编码器结构作为生成结构的逆运算, 从而获得原始数据的本质特征, 并将此特征用于图
像分类.由于生成图像的过程就是通过对图像本质特征的逐步提取, 进而学习图像表达以及
产生图像数据, 可以认为, 生成器的这种从内而外的学习方式学习到的特征准确和全面, 而
作为其逆运算的编码器同时保留下这些图像特征的信息, 所以使用这种保留图像特征的编
码器结构进行图像分类比使用鉴别器更加准确.本文还将有监督与无监督学习相结合, 构造
了一种新的半监督训练方法, 进一步提高了图像分类的准确度.
1. 生成对抗网络
生成对抗网络(GANs)近两年引起了机器学习界的广泛关注, 其主要思想是构造两个模
型来模拟人类博弈游戏, 其中一个模型是生成器, 主要负责将随机隐变量映射成图像; 另一
个模型是鉴别器, 主要负责辨别输入的图像是来自图像库还是来自生成器.在训练 GANs 的
过程中, 通过最大化真实图像与生成图像分布之间的差异来优化鉴别器, 而最小化这个差异
来优化生成器.整个模型通过反复不断地对抗训练, 最终达到生成图像成功误导鉴别器的目
的, 即生成器完美地模拟了真实数据的分布.
优化 GANs 模型时, 鉴别器相当于一个函数 DD, 它的输入是图像, 输出是该图像来自
真实图像库中的概率, 而生成器相当于一个从随机隐变量空间到真实图像空间的映射 GG,
所以 GANs 的损失函数为
[4]
V(D,G)= Ex∼pdata[lnD(x)]+ Ez∼pz[ln(1−D(G(z)))]V(D,G)= Ex∼pdata[lnD(x)]+ Ez∼pz[ln(1−D(G(z)))]
(1)
其中, xx 为真实图像库中的图像, pdatapdata 为其分布, zz 为随机隐变量, pzpz 为其分
布, 一般为高斯白噪声分布, D(x)D(x)代表真实图像输入鉴别器后的输出概率
值, D(G(z))D(G(z))对应的则是生成图像通过鉴别器后的输出概率值, 其中 G(z)G(z)为隐变
量通过生成器得到的生成图像.该损失函数通过式(1)的形式, 将真实图像鉴别概率的对数期
望与负的生成图像鉴别概率的对数期望相加, 实现了对生成图像的分布与真实图像分布之
间的差异度量.而 GANs 模型利用该损失函数优化模型参数时, 使用的是对抗训练的方式,
即最小化该损失来训练生成器中的参数, 最大化该损失来训练鉴别器中的参数.对损失函数
进行化简得:
V(D,G)=∫pdata(x)[lnD(x)]+ pg(x)[1−ln(D(x)]dxV(D,G)=∫pdata(x)[lnD(x)]+ pg(x)[1−ln(D(x)]dx
(2)
其中, pgpg 代表生成图像的分布, 当 GG 的参数固定时, 对上述公式求导, 可得:
∂V∂DG=pdataD−pg1−D∂V∂DG=pdataD−pg1−D
(3)
上述导数等于 0 时, 求得最佳的 DD 为
pdataD=pg1−D⇔ pdata−Dpdata=Dpg⇔ D(pdata+pg)=pdata⇔ DG∗=pdatapdata+pg pdataD=pg1−D⇔ pdata−Dpdata=Dpg⇔ D(pdata+pg)=pdata⇔ DG∗=pdatapdata+pg
(4)
所以当生成器的生成图像与真实数据图像的分布一致时, 鉴别器将以 50 %的概率判断
某个输入图像是否来自真实图像分布.但是这个损失函数在训练时非常不稳定, 大量的实验
表明, 生成器与鉴别器的学习能力若能始终保持对应平衡, 损失函数将更易于收敛
[12]
.在优
化生成器时需要鉴别器有一定的辨别能力, 因此应先优化鉴别器再优化生成器; 但是当鉴别
器的辨别能力过强时, 它又不能给生成器的参数提供有效的梯度, 所以鉴别器和生成器需要
循环交替地进行优化.
虽然 GANs 作为一个生成模型, 具有非常卓越的生成能力, 可以模拟非常复杂的图像
分布, 但是把它用于图像分类则还应该进一步将图像特征给予明确的表述.所以若要将
GANs 用于解决图像分类问题, 则需要为其添加一个提取特征的结构.
2. 半监督编码生成对抗网络
为了利用 GANs 的学习能力, 提高图像分类的准确率, 本文提出了半监督编码生成对
抗网络(SSE-GAN)模型.该模型是一个半监督图像分类模型, 其主要思想是在生成器的对应
位置添加一个编码器, 通过半监督训练的方式训练该编码器, 使之能直接提取图像特征.若
将这个编码器看作一个映射, 则这个函数的主要作用是将数据从图像空间映射到特征空间.
由于模型中的编码器主要是模拟生成器的逆运算, 所以在模型优化时, 生成器获取真实图像
数据分布的同时, 编码器也能够模拟真实数据对应的随机隐变量分布即图像特征.因此在
SSE-GAN 中, 鉴别器的输入将不再仅是图像数据, 而是图像数据以及对应的特征信息.
2.1 编码生成对抗网络
在 GANs 模型中添加一个编码器结构, 然后利用特征与图像共同输入鉴别器的方法训
练模型, 本文称之为编码生成对抗网络.因为在编码生成对抗网络中, 鉴别器需要接受图像
和特征两种不同空间维度的输入, 一般的做法是将特征与图像直接结合输入神经网络, 即特
征数据通过复制扩充直接与图像数据相结合
[13]
.这些结合形式虽然仍能对网络进行训练, 但
从客观角度上来说会导致大量不必要的计算损失.
从流形学习
[14]
的角度来说, 直接将二维数据通过复制与三维数据结合, 即强行将二维
数据平面贴在三维曲面上, 自然会一定程度上造成数据的不贴和.由于函数 DD 进行映射时,
相当于将数据由原本的流形状态展开成平面, 而将上述强行结合的数据展开为平面时, 必不
可少的会出现褶皱情况, 为了抚平这种数据褶皱, 在调整函数 DD 的参数时需要大量预先计
算.而在 SSE-GAN 中, 隐变量并不直接与图像结合, 而是如图 1 所示先将图像做流形结构
展开, 然后将其特征与之结合.这种特殊的结合方式称为流形一致结合, 这种结合方式可以
去除数据的不平整现象, 减少网络的预计算过程.
图 1 SSE-GAN 模型中流形一致结合方式
Fig. 1 The manifold agreement combination method in SSE-GAN
剩余11页未读,继续阅读
资源评论
罗伯特之技术屋
- 粉丝: 3643
- 资源: 1万+
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功