基于生成式对抗网络的图像自动标注_税留成1

Journal of Computer Applications ISSN 1001-9081 2019-02-27

计算机应用 CODEN JYIIDU http://www.joca.cn

收稿日期: 2018-12-05; 修回日期: 2019-01-21; 录用日期: 2019-01-22。

作者简介: 税留成（1992-）,男，四川成都人，硕士研究生，主要研究方向为计算机视觉、图像标注；刘卫忠（1972-）,男，

湖北荆州人，副教授，博士，主要研究方向为多媒体信源编码、机器学习；冯卓明（1970-）,男，湖北荆州人，博士，主要

研究方向为无线通信。

文章编号:1001-9081(****)**-0000-00 doi:10.11772/j.issn.1001-9081.2018112400

改变的问题，提出了结合生成式对抗网络（GAN）和 word2vec 的新标注模型。首先，通过 word2vec 将标注词汇映射为固定

的多维词向量；其次，利用生成式对抗网络构建一个神经网络模型(GAN-W)，使输出层神经元数目与多维词向量维数相等，

与词汇量不再相关；最后，通过对模型多次输出的排序结果来确定最终标注。模型分别在 Corel 5K 和 IAPRTC-12 图像标注数

据集上进行实验，在 Corel 5K 数据集上，模型准确率、召回率和 F1 值比卷积神经网络回归方法(CNN-R)分别提高 5 个百分点、

14 个百分点、9 个百分点；在 IAPRTC-12 数据集上，模型准确率、召回率和 F1 值比两场 K 最邻近模型(2PKNN)分别提高 2

个百分点、6 个百分点、3 个百分点。实验结果表明，GAN-W 模型可以解决输出神经元数目随词汇量改变的问题，同时每幅

a neural network model (GAN-W) using GAN was established and the number of neurons in the model output layer was equal to the

14 percentage points and 9 percentage points respectively，compared with the Convolutional Neural Network Regression (CNN-R); On

the IAPRTC-12 dataset, accuracy rate, recall rate and F1 value are 2 percentage points, 6 percentage points and 3 percentage points

higher than those of the Two-Pass K-Nearest Neighbor (2PKNN). The results show that the GAN-W model can solve the issue caused

对图像的有效管理与检索，更加高效利用庞大的图像信息。

目前，主要的标注方法是通过机器学习构建一个图像标注模

型，通过学习图像与其对应标注之间的潜在联系，给未知图

像添加描述其内容的关键词，实现对未知图像的标注。

基于机器学习的图像标注模型大致分为 3 类：生成模型、

最邻近模型及判别模型。生成模型首先提取图像特征，然后

计算图像特征与图像标签之间的联合概率，最后根据测试图

像的特征计算各标签的概率，确定图像对应的标签。代表方