基于用户注意力与视觉注意力的社交图像描述_褚晓亮1







基于用户注意力与视觉注意力的社交图像描述

①

褚晓亮,朱连章,吴春雷

(中国石油大学(华东)计算机与通信工程学院,青岛266000)

通讯作者:吴春雷,E-mail:wuchunlei06@163.com

摘　要:图像描述是机器学习和计算机视觉的重要研究领域,但现有方法对于视觉特征和模型架构之间存在的语义

Social Image Caption with Visual Attention and User Attention

CHUXiao-Liang,ZHULian-Zhang,WUChun-Lei

(CollegeofComputer&CommunicationEngineering,ChinaUniversityofPetroleum,Qingdao266000,China)

Abstract:Imagecaptioninghasattractedmuchattentioninthefieldofmachinelearningandcomputervision.Itisnot

onlyanimportantpracticalapplication,butalsoachallengeforimageunderstandinginthefieldofcomputervision.

Nevertheless,existingmethodsaresimplyrelyonseveraldifferentvisualfeaturesandmodelarchitectures,thecorrelation

algorithmoutperformsthepreviousmethods.

述.Facebook,Twitter等社交网站的兴起让社交图片已

的个人喜好、习惯等紧密相连,与传统的图片相比,它

没有直接针对于社交图像来产生描述.因此,本文提出

Vinyals等人采用了encoder-decoder架构进行图