PSCC-Net Progressive Spatio-Channel Correlation Network .docx
版权申诉
176 浏览量
2023-11-29
19:37:48
上传
评论
收藏 4.28MB DOCX 举报
PSCC-Net: Progressive Spatio-Channel Correlation Network for Image Manipulation
Detection and Localization
发布于 IEEE Transactions on Circuits and Systems for Video Technology 2021
论文链接:https://arxiv.org/pdf/2103.10596v2.pdf
一作开源代码：https://github.com/proteus1991/pscc-net
摘要
开发了一种渐进式空间通道相关网络 (PSCC-Net) 对图像篡改进行检测和定位。
PSCC-Net 以双路径过程处理图像:
• 自上而下的路径：提取局部和全局特征。
• 自下而上的路径：检测输入图像是否被篡改，并以多个比例估计其 mask，其中每
个 mask 都以前一个为条件。
与传统的 encoder-decoder 和 no-pooling 结构不同，PSCC-Net 利用具有密集交叉连接的
不同尺度的特征以从粗到细的方式产生操纵掩模。空间信道相关模块(SCCM)捕获自底向
上路径中的空间和信道相关性，赋予特征整体线索，使网络能够应对广泛的操纵攻击。
SCCM 避免了使用大量注释数据对特征提取器进行预训练； 连续实现了图像处理、检测和
定位的 SoTA 结果。由于重量轻的主干和渐进式机制，PSCC-Net 可以以 50+FPS 的速度
处理 1080p 图像。 大量的实验表明，PSCC-Net 在检测和定位方面都优于现有的方法。
引言
通常，图像处理由内容相关过程和与内容无关过程组成。
内容相关过程：拼接、复制移动和移除。通常，内容相关过程遵循目标图像中的语义安排。
内容无关过程：包括全局修改，例如亮度/对比度变化，模糊，噪声和图像压缩。它们几
乎不会产生任何虚假信息，但是它们产生的噪声可能会破坏对图像/相机轨迹的分析，并
可能隐藏被操纵区域和原始区域之间的差异。
IMDL 三个主要未解决的问题：
1. 规模变化：伪造区域大小不一。大多数先前的工作都忽略了尺度变化的重要性，并
且在检测不同尺寸的伪造区域时遇到困难。传统的 encoder-decoder 和 no-pooling
结构都难以联合利用局部和全局特征，因此只能处理有限的尺度变化。
2. 图像相关性：与原始区域相比，可以最好地确定被操纵的区域，尤其是对于拼接攻
击。 从操纵图像到操纵 mask 映射的简单学习可能导致训练中对特定攻击类型的
过拟合。 相比之下，考虑图像的空间相关性可以得到更广义的定位解决方案。 然
而，这种相关性在以往的研究中大多被忽略。
3. 检测：现有的大多数研究都假设在所有输入图像中都存在操纵。 因此，这会在原
始图像上造成许多虚警（把真实的图像检测为篡改），使检测变得不可靠。
剩余17页未读，继续阅读
资源评论
