抽象场景图00387.docx
需积分: 19 135 浏览量
2020-06-09
17:32:30
上传
评论
收藏 902KB DOCX 举报
Say As You Wish: Fine-grained Control of Image
Caption Generation with Abstract Scene Graphs
用抽象场景图精细控制图片标题生成
论文链接：https://arxiv.org/abs/2003.00387
代码链接：https://github.com/cshizhe/asg2cap
https://zhuanlan.zhihu.com/p/121064309
作者：Shizhe Chen1∗ , Qin Jin1† , Peng Wang2 , Qi Wu 2020
概述：
现有模型可以生成较为流利和视觉相关的图像描述，但却存在着与用户交互性差、多样性
低等问题。一方面，大多数图像描述模型仅被动地生成句子，并不考虑用户感兴趣的内容
或者期望描述的详细程度。被动生成模式容易造成句子缺乏多样性，倾向于使用常见的高
频表达生成较为“安全”的句子，较为简单空洞，且缺乏关键性的、用户所需的细节信息。
少数工作提出了主动控制图像描述生成，主要可以分为风格控制和内容控制两类。但是，
现有工作都仅提供非常粗粒度的控制信号，例如一个类别标签或者图像区域。这些控制信
号无法在更细粒度的级别上控制图像描述的生成，例如，是否需要生成物体的属性，要生
成多少属性标签；是否需要描述与目标物体相关的物体，以及物体之间的关系是什么；句
子的描述顺序应该如何等等。因此，我们提出了一种更加细粒度的控制信号，称为抽象场
景图(Abstract Scene Graph, ASG)，如图 1 所示，使得可以通过 ASG 方便地控制
用户所希望表达的物体、属性和关系等。ASG 不仅能反映用户细粒度的描述意图，也能帮
助生成更具有多样性的图像描述。
我们进一步提出 ASG2Caption 模型更好地基于指定 ASG 生成图像描述。ASG2Caption
模型由角色感知图编码器和基于图的语言解码器构成，能够自动识别 ASG 中的抽象节点，
并根据图中指定的语义内容和描述顺序生成所需的图像描述。
创新点：ASG，能够考虑用户意图。
模型：
方法：
结果：
剩余10页未读，继续阅读
资源评论
