没有合适的资源?快使用搜索试试~ 我知道了~
基于改进梯形网络的半监督虚拟对抗训练模型.docx
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 96 浏览量
2022-12-15
14:18:07
上传
评论
收藏 241KB DOCX 举报
温馨提示
试读
10页
基于改进梯形网络的半监督虚拟对抗训练模型.docx
资源推荐
资源详情
资源评论
半监督分类是当前机器学习领域的一个重要研究方向。区别于传统的有监督分类算
法,它能够基于标记样本,不依赖外界交互,自动地利用大量廉价的未标记样本提升学习
性能。由于现实应用中利用未标记样本提升算法性能的巨大需求,半监督算法迅速成为了
研究热点。
早期半监督学习算法中有较大影响力的是半监督自训练法和协同训练法。自训练法可
看作是早期利用无标记样本的一种原始框架。先用少量标记样本初始化,然后分类大量无
标记样本,选择可靠的伪标记样本扩充训练集,直到收敛。Li 等
[1]
提出一种基于最优路径
森林的自训练方法,其中所有样本作为最优路径森林的顶点相互连接,利用特征空间的结
构和分布,帮助自训练法给未标记数据贴标签。Hyams 等
[2]
基于自训练法,利用基于 MC-
dropout 的置信区间作为置信度测量方法,得到改进的伪标记方法。Chen 等
[3]
采用协同训练
策略,并结合 SVM 算法进行分类器设计。该算法利用 2 个分类器对未标记样本进行分
类,从而扩展标记样本,提高分类器性能。
随着深度学习在图像处理方面取得突破,半监督深度学习算法研究成为了自然的需
求。许多学者通过优化网络结构构建的半监督分类学习框架都能取得不错的分类效果。如
Springenberg
[4]
从损失函数的角度对网络优化,提出 CAT-GAN,它改变了网络的训练误
差,通过正则化信息最大化的框架提高了模型的鲁棒性。Salimans 等
[5]
从判别器角度对网
络优化,提出 Improved-GAN,它在判别器后接一个分类器,训练网络得到一个分类判别
器,可以直接将数据分为原始图像类别和生成图像假的类别,提高了生成样本质量和模型
的稳定性。有学者将无监督深度学习网络与不同的有监督分类算法结合,也能得到较好的
半监督分类模型。Rasmus 等
[6]
利用去噪自编码构造梯形网络用于半监督分类任务,提高网
络对更深层次图像特征的学习能力。付晓等
[7]
将生成对抗网络与编码器相结合,更好地提
取特征。Larsen 等
[8]
将变分自编码器和生成对抗网络结合,将生成对抗网络判别器学习到
的特征表示用于变分自编码重构。Chen 等
[9]
提出半监督记忆网络,第一次将记忆机制和半
监督深度学习相结合, 利用模型学习过程中产生的记忆信息,使预测结果更可靠。但是,
半监督深层生成模型随着网络层数和参数的增多,会导致模型出现过拟合问题,并且半监
督的方法未能充分利用大量未标记数据来辅助少量的有标记数据进行学习。
为了充分利用未标记样本,提高半监督深层生成模型的分类性能与泛化性能,在梯形
网络框架的基础上,结合 mix_up 线性插值数据增强方法对训练数据进行预处理,并进一
步讨论了虚拟对抗训练对模型鲁棒性的影响,提出一种基于改进梯形网络的半监督虚拟对
抗训练模型(ILN-SS VAT)。本模型在梯形网络框架的基础上,引入虚拟对抗训练的正则化
方法,结合 mix_up 线性插值法,完成数据增强操作,提高图像分类性能。首先,对训练
数据进行凸融合,使用 mix_up 线性插值的方法得到新的扩充训练集;在梯形网络的输入
层引入虚拟对抗噪声,并且保持编码器输出一致,对网络进行正则化;最后,模型以分类
损失、重构损失和虚拟对抗损失相结合的方式调整参数,训练分类器。
1. ILN-SS VAT 模型
资源评论
罗伯特之技术屋
- 粉丝: 3675
- 资源: 1万+
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功