基于眼动追踪的基于内容的图像检索

在当今大数据时代，随着互联网、计算机技术和多媒体技术的发展，人们每天上传至网络的图片数量呈爆炸性增长。为了从海量图片中迅速找到用户所需的内容，基于内容的图像检索（Content-Based Image Retrieval, CBIR）技术显得尤为重要。CBIR技术的核心是利用图像本身的视觉特征，如颜色、纹理、形状等，来检索和用户查询相似的图片。 在本研究论文中，作者提出了一个新颖的基于眼动追踪数据的CBIR框架，该框架引入了基于隐式相关反馈机制的眼动追踪数据，用以提高图像检索系统的性能。提出的CBIR框架包含三个主要组成部分：特征提取和选择、视觉检索以及相关反馈。 首先是特征提取和选择阶段，作者利用量子遗传算法和主成分分析算法（PCA）提取了具有70个成分的最优图像特征。量子遗传算法是一种模仿量子计算原理的优化算法，它能在大范围内搜索最优解，具有快速收敛的特性。PCA是一种常用的特征提取方法，它通过正交变换将一组可能相关的变量转换为一组线性不相关的变量，这些变量称为主成分。通过这种方式，可以去除数据中的冗余信息，保留最重要的信息。 针对视觉检索阶段，作者实现了基于多类支持向量机（Multiclass SVM）和模糊C均值（FCM）算法的精细检索过程，以便检索出与用户查询最相关的图片。支持向量机是一种二分类模型，通过在特征空间中找到能最好地分割不同类别的超平面，从而实现分类。而模糊C均值算法是一种无监督学习算法，用于将数据集划分为多个模糊的簇，每簇通过一个中心点表示。 为了进一步提升检索效果，作者训练了一个深度神经网络，以利用用户对返回图像相关性的反馈信息。深度神经网络能够学习到复杂的非线性关系，其在图像处理和计算机视觉领域中表现出了出色的能力。在这个过程中，相关反馈信息被用来更新检索点，以进行下一轮的检索。 该论文的作者团队由来自苏州大学电子信息工程学院的周颖、王佳俊，以及香港理工大学电子与信息工程系的池哲儒组成。他们进行的实验基于Coreland和Caltech两个数据库，结果显示，通过运用他们提出的框架，CBIR的性能得到了显著提升。 关键词包括CBIR（基于内容的图像检索）、眼动追踪和深度神经网络。这篇论文在2018年在波兰华沙举行的COGAIN'18: 以凝视交互为通信的工作坊上发表，并提供了ACM参考格式。 本研究论文提出了一个融合眼动追踪数据的CBIR系统框架，其通过隐式相关反馈机制来提高检索性能。论文强调了图像特征提取的重要性，并利用深度学习技术来增强CBIR系统的学习能力。该系统可针对用户实际的视觉感知和兴趣点进行自我优化，实现更为智能化和个性化的图像检索服务。随着深度学习技术的不断进步和眼动追踪技术的广泛应用，基于眼动追踪的CBIR技术有望在未来的图像检索领域中发挥更为关键的作用。