通过将区域级和像素级预测与CNN相结合来进行显着性检测

本文提出了一种新的显着性检测方法，该方法将区域级显着性估计和像素级显着性预测与CNN（称为CRPSD）相结合。 对于像素级显着性预测，通过修改VGGNet架构以执行多尺度特征学习来构建全卷积神经网络（称为像素级CNN），在此基础上进行图像到图像预测以完成像素级显着性检测。 对于区域级别的显着性估计，首先设计一种基于自适应超像素的区域生成技术，将图像划分为多个区域，基于这些区域，可以使用CNN模型（称为区域级别的CNN）来估计区域级别的显着性。 通过使用另一个CNN（称为融合CNN）将像素级和区域级显着性融合以形成最终的显着图。 共同学习像素级CNN和融合CNN。 在四个公共基准数据集上进行的大量定量和定性实验表明，该方法大大优于最新的显着性检测方法。 在计算机视觉领域，显着性检测（Saliency Detection）是一项关键且具有挑战性的任务，其目的是识别并突出图像中最吸引注意力的区域。这一技术在众多图像处理应用中发挥着重要作用，例如图像分割、裁剪、对象检测以及图像检索等。 本文介绍了一种创新的显着性检测方法——CRPSD（Combining Region-Level and Pixel-Level Predictions with CNNs），它结合了区域级显着性估计和像素级显着性预测，通过卷积神经网络（CNN）实现更准确的显着性检测。CRPSD方法分为三个主要部分：像素级CNN、区域级CNN和融合CNN。 像素级显着性预测是通过改造VGGNet结构来实现的。VGGNet是一种深度卷积神经网络，以强大的特征提取能力而闻名。通过在VGGNet基础上添加多尺度特征学习，构建了一个全卷积神经网络（pixel-level CNN）。全卷积结构使得网络可以直接从输入图像预测出像素级的显着性图，从而完成像素级别的显着性检测。这种图像到图像的预测方法能精确地定位图像中的显着对象。 区域级显着性估计则采用了一种自适应超像素分割技术。超像素是一种比像素更大的图像处理单位，可以更好地捕获图像的局部特性。通过这种技术，图像被分割成多个区域，然后使用区域级CNN对每个区域进行显着性评估。区域级CNN能够从宏观角度分析图像，为每个区域赋予一个显着性分数，这有助于捕捉图像的整体结构信息。 为了结合这两种级别的显着性信息，提出了融合CNN。它将像素级和区域级的显着性预测结果整合，生成最终的显着性图。融合CNN能够权衡不同级别的信息，使结果更加均衡和准确。 论文中，作者通过在四个公开的基准数据集上进行了大量的定量和定性实验，以验证CRPSD方法的有效性。实验结果表明，与当前最先进的显着性检测方法相比，CRPSD在精度和性能上都有显著提升，这证明了区域级和像素级预测结合的策略在显着性检测中的优越性。 CRPSD方法通过结合深度学习和传统的图像处理技术，实现了对图像显着性检测的精细处理，从像素级别到区域级别，全面考虑了图像的局部和全局特性。这种方法不仅提高了检测的准确性，也为后续研究提供了新的思路，对于推动计算机视觉领域的显着性检测技术有着积极的影响。