Class-Weighted Convolutional Features for Visual Instance Search...

《基于类别权重的卷积特征在视觉实例搜索中的应用》 在计算机视觉领域，内容基图像检索（CBIR）和具体来说，对象检索（实例搜索）是一个非常活跃的研究方向。当给定一个包含目标对象（视觉查询）的图像时，搜索引擎需要在大量未标记的图像数据库中进行探索。在现实场景中，每当数据库新增图片时，训练或微调模型既不高效也不可扩展。卷积神经网络（CNN）在大规模图像分类任务上的表现已被证明对于图像检索的特征提取十分有效。特别是利用卷积层的激活编码，因为它们能传达图像的空间信息。 本文深入挖掘卷积特征的空间信息，提出了一个基于语义信息预测的局部感知卷积特征编码方法。我们利用类激活图（Class Activation Maps, CAMs）来获取图像中最具判别性的区域。CAMs是基于网络内部知识生成的，因此我们的方法无需外部信息，具有一定的优势。此外，我们还利用CAMs在初步快速搜索后的无监督再排序阶段生成对象提案。 CAMs是通过反向传播网络的分类层权重到卷积层，以揭示哪些区域对特定类别贡献最大。这种技术可以突出显示图像中与目标类别相关的关键部分，帮助我们更好地理解模型的决策过程。在我们的方法中，这些关键区域用于增强卷积特征的表示，从而提高检索性能。 实验在两个公开的实例检索数据集——Oxford5k和Paris6k上进行，结果表明我们的方法在使用预训练的ImageNet模型时，超越了当前最先进的技术。代码已在http://imatge-upc.github.io/retrieval-2017-cam/公开，供研究者参考和使用。 传统的方法通常依赖于全局图像表示或者手动标注的特征，而我们的方法通过引入CAMs，不仅增强了特征的语义含义，还能够处理未见过的实例，无需额外的训练或微调。这使得我们的方法在实时性和效率上具有显著优势，特别是在大规模、动态更新的图像数据库中。 此外，无监督的再排序阶段是通过CAMs生成的对象提案实现的，这一阶段进一步优化了检索结果。这种方法可以捕获图像中可能被忽视的细节，提高检索的准确性，而无需额外的监督信息。 该论文提出了一种创新的卷积特征编码策略，结合了空间和语义信息，并在实际应用中取得了良好的性能。这一成果对于改进现有的视觉实例搜索系统，以及推动未来深度学习在图像检索领域的应用具有重要的价值。