0 引言
基于内容的图像检索
[1]
方法一直以来都是计算机视觉领域的研究重点.基于手工设计特征的方法(如
SIFT
[2]
、Fisher Vector
[3]
和 VLAD
[4]
)大多数都依赖于词袋模型(BoW
[5]
),虽然也能在图像检索方面取得不错
的效果,但由于提取的图像特征维度过高,导致存储损耗较大、搜索效率较低.近年来,卷积神经网络
(CNN
[6-8]
)在计算机视觉领域获得了巨大的成功,与手工设计特征的方法相比,从卷积神经网络中获得的
图像特征更具有区分性、可靠性和稳定性,甚至成为视觉识别领域的通用特征
[9-10]
.
早期,基于卷积神经网络的图像检索模型获取全连接层的输出作为图像特征
[6, 10]
.随后 Liang
[11]
和
Liu
[12]
等人证明,从最后一个卷积层提取的图像特征即深度卷积特征比全连接层更具有显著性.之后基于卷
积神经网络的图像检索模型大多使用深度卷积特征,并取得了不错的检索效果(如 R-MAC
[13]
、SpoC
[14]
、
CroW
[15]
和 SBA
[16]
). R-MAC 对每个特征图使用滑动窗口来获取多个局部特征,并认为该局部特征具有区
分性,再将获取的局部特征求和聚合为全局特征向量. SPoC 假设最具有区分性的区域都位于图像的中心
位置,并设计了空间高斯加权矩阵,对深度卷积特征进行加权,最后采用求和池化的聚合方法将图像特征
聚合为紧凑的全局特征向量. CroW 受 SpoC 和 BoW 模型启发,设计了空间加权矩阵和通道加权向量.
SBA 将数据集中图像的深度卷积特征聚合为全局特征向量,并按通道计算方差,选取方差最大的一些通
道的特征图对深度卷积特征进行加权聚合.
图像显著性区域
[17]
特征为图像中最能表现图像内容区域的特征,由于上述方法仍然存在图像显著性
区域特征不突出,噪声抑制不充分的问题,本文基于 CroW 提出了一种加权聚合深度卷积特征的图像检索
方法.相较于 CroW,本文设计了一种全新的空间加权和通道加权方法.在设计通道加权之前,先对图像的
深度卷积特征进行简单加权;再根据逆文档频率,对拥有较少特征和紧密特征的特征图赋予较大通道权
重,生成差异性加权向量.受 SBA 启发,本文在设计空间加权时,通过挑选显著性较高的一部分特征图进
行求和,并对其进行滤波处理,得到选择滤波加权矩阵.本文所提方法以检索图像为目标,旨在实现“以图
搜图”.
1 深度卷积特征聚合框架
图像检索方法包括离线建库和在线检索两个过程.基于深度卷积特征的图像检索方法在离线建库和在
线检索过程中,都需要将图像输入到预先训练好的卷积神经网络来提取图像的深度卷积特征,再使用合适
的聚合方法将其聚合为全局特征向量.其中,聚合方法是基于深度卷积特征的图像检索方法的关键部分,
也是本文研究的主要内容.本文使用的深度卷积特征聚合框架如表 1 所示.
表 1 深度卷积特征聚合框架 Tab.1 Deep convolutional features aggregation framework
输入:深度卷积特征 X,全局特征向量维数 d,滤波器 S,参数 n,白化参数 P.
评论0
最新资源