没有合适的资源?快使用搜索试试~ 我知道了~
基于特征融合的篡改与深度伪造图像检测算法.docx
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 182 浏览量
2022-06-17
17:09:24
上传
评论
收藏 2.11MB DOCX 举报
温馨提示
试读
21页
基于特征融合的篡改与深度伪造图像检测算法.docx
资源推荐
资源详情
资源评论
0 引言
数字图像在逐渐融入我们日常生活中的同时 其篡改与伪造技术也在快速发
展以往伪造银盐感光胶片需要在暗房用负片叠加减去不需要的部分再重新显影、
定影然后使用颜料、刻刀等工具修饰细节。这类繁琐的操作有极高的技术门槛
限制了伪造胶片照片的效率。而数字图像编辑软件大大降低了篡改难度 造成了
篡改图片的泛滥。在伪造图片生成方面 深度伪造()
技术愈发成熟
该名字源于一个昵称为“的 论坛用户因其于 年 月
在 上发布了将女演员的面貌换至不雅视频表演者的伪造视频而被人熟知。
篡改与伪造的图片同时能够借助发达的互联网通讯手段迅速传播 已经对社会造
成了不可忽视的影响。
与数字图像篡改伪造的高度便捷性相比其检验技术并不成熟。在民用领域
图像处理软件随处可见但图像检验软件大部分都停留在实验阶段。在司法领域
与如今已经深入基层实战的指纹、人脸等生物特征智能提取和比对技术相比 数
字图像篡改检验鉴定仍然依靠人工测量和经验判断
警视通等警用图像处理软件
所提供的图像篡改检验效果难以满足实战需要其算法也难以处理使用深度伪造
换脸技术的敲诈勒索案件。
当前对篡改图像和深度伪造图片的检测方法主要依赖于特征提取方法和深
度学习技术的结合通过多种方法提取篡改和伪造图像的隐含特征再经过人工神
经网络的学习实现检测和识别。 提出卷积神经网络()结构同样可
用于图像篡改识别中
的确能够直接从数据中学习分类特征但它不会去主
动学习更微观的像素排列规律而倾向于学习代表图像表层内容的特征。为了克
服这一问题 提出了“约束卷积层”它能够削弱卷积层对图像表层信息的
提取能力并使其学习更深层次的篡改特征。
等人通过固定第一层卷积层中
卷积核的权重权值提取空间丰富模型( !"#$% $)
&
中
的残差映射。'() 等人尝试将 $ 滤波流与 * 流结合
+
输入 ,-.
中实现同时提取多类特征进行图像篡改检测定位。由于深度伪造图片检测
技术并不能像视频检测那样使用时间维来提取面部五官运动信息中的篡改痕迹
所以研究人员尝试使用篡改图像检测和图像隐写信息检测中的技术思路进行深
度 伪 造 图 像 的 检 测 /0
1
等 人 使 用 灰 度 共 生 矩 阵 ( *-!23 %.
%""4--"$-")提取 * 色彩空间上三通道的灰度图片特征进而进行
检测。目前各种检测技术虽然可在某一类篡改方式或某一类数据集中取得较好
效果但普遍存在模型泛用性低、检测精准度低、无法同时做到对篡改图像和深
度伪造图像进行有效检测等问题某些算法在面对篡改区域占原图比例较小的情
况时就完全失效数据集中的篡改图片也远没有达到人眼无法快速分辨真假的难
度。
针对以上问题本文创新性地从 5- 色彩空间和 * 色彩空间中提取特
征并使用两种不同的滤波方法组成双通道特征提取层从而获得丰富的图像特征。
本文引入改造后的 6" 作为骨干网络设计出了一种基于 5- 网络的
双通道图像篡改检测模型。实验显示该网络在 78
9
等多种图像篡改数据
集上显著提高了检测精度并能有效处理 "/:-8
这
类传统方法无法识别的高清图片小区域篡改检测任务。同时该网络模型能够有
效检测 ;**
、! *
等深度伪造网络生成的虚假人脸图片对热门前
沿深度伪造网络的检测精度能达到 9989<。
1 相关研究
数字图像篡改检测与深度伪造图片检测是当前热门研究方向 现阶段的检测
算法主要集中于机器学习领域。图像篡改检测技术可分为主动篡改检测(添加
数字水印)和被动篡改检测=盲检测>两大类被动篡改检测主要经历了人工测量、
算法检测、深度学习 个发展阶段。深度伪造篡改检测从一开始就大量运用了
深度学习技术对于深度伪造图片的检测的特征提取方法则大多与图像篡改检测
有密切联系。本章主要概述并分析了数字图像中篡改图像和深度伪造图像的检
测方法。
8篡改图像检测
国内外学者在篡改与伪造图片的检测方法上做了大量研究 最开始是通过对
被摄客体表现出的空间结构及性质的规律来判断图片是否被篡改。此类方法所
关注的特征包括相机中心点、透视关系
、光照一致性
、阴影
&
等。
99 年,76$ 从电子邮件数字签名中得到灵感提出了可信数码相
机(/-4?%-#! :-)概念
+
即在数字图片数据生成过程中根据哈
希或其他算法同时生成对应的唯一编码。后来发展出了数字图片的 6@7, 信息
虽然可以保证一部分真实性但也可以被轻松修改
。图像隐写检测技术的发展
发现了数字图像更深层次的特征($6
A1
等人把研究聚焦在了数字图片的
本底噪声当中他们指出可以利用隐写区域和原始区域的噪声差异来进行检测。
,77(
&
提出相邻像素之间存在着丰富的不同类型的依赖关系并将这种高维
特征命名为“富模型”($)研究人员逐渐把寻找篡改特征的范围聚焦在表层
空间结构及性质以外的领域中。
深度学习技术被证实对此类隐含的篡改特征有良好的检测能力 有大量相关
算法被提出使用卷积神经网络()结构直接输入图像进行学习
9
、多流特
征结合
、基于纹理特征的灰度共生矩阵(*2$)
等。相比于传统检测算法
利用深度学习技术的算法在检测方法的适用范围和检测精度上有了很大提升但
大部分算法的应用场景仍停留在同源复制粘贴或异源剪切粘贴的单一场景中面
对多种分辨率多种场景的数据集其检测精度会有较大差异。
8深度伪造图像检测
深度伪造技术的发展和深度学习有密切联系在图像内容生成层面使用的深
度学习技术主要有生成对 抗网络( *-33-- ?%-* )
、卷积神经网络(%3% 4% 4- ?%-)
、循环神经网络
("4--4- ?%-)
等生成深度伪造内容需要数据集构建和
模型训练两个步骤。深度伪造内容的检测方法也同样依赖于深度学习 使用深度
伪造数据集与真实内容数据集训练模型实现特征的提取并进行分类。在深度伪
造内容检测中所使用的方法主要可分为三大类:基于传统图像篡改取证方法、
基于 * 图像特征和基于生理信号特征的方法。
使用传统图像篡改检测方法来检测深度伪造图片的思路与上文所描述的比
较相近'()
&
等人设计了一种双流网络其中一条为 *%% 的人脸分类网
络另一条为噪声提取网络用两条神经网络的得分判断人脸是否被篡改。27
+
等
人提出 算法所生成的假脸和原图像有分辨率不匹配的问题 通过自构
建经过高斯模糊、旋转缩放的负样本数据集引导网络学习此类特征进而进行真
假判别。
* 生成的过程中也改变了图像的像素和色度空间统计特征 这类特征可以
通过共生矩阵等方法提取到并用于深度伪造检测
1
不同的 * 生成器所生成
的图片具有不同的特征研究人员将其称为“* 指纹”
9
利用这类特征可以通
过生成的图片反推其使用的 * 类型。
对于深度伪造换脸视频人脸的生理特征也可被用于检测中$677
等人
提出了光流场B 来捕捉面部五官运动信息的鉴别方法*C6
等人提出了
2/$B 的算法框架。韩语晨
等人使用 7"% 卷积提取口部与眼部
特征的运动信息进行深度伪造视频的检测。由于本文聚焦在静态图片检测上无
法利用时间维特征所以不赘述这一类检测方法。
2 双色域特征融合算法结构
本文所提出的算法把检测特征聚焦在了边缘纹理的灰度共生矩阵中 首次使
用了 5- 色彩空间与 * 色彩空间两个色域特征融合的思路。现有数字图
像篡改检测的算法结构大多可归纳为图
所示本文所提出篡改与深度伪造图片
检测算法主要分为 个部分:特征提取层、特征融合层和分类网络层 其中特征
提取的方法流程如图
所示。首先将图像从 * 颜色空间变换到 5- 色彩
空间D然后利用 "#-- 算子提取 5- 色彩空间中 5 和 - 分量的图像边缘信
息利用 2 " 算子提取 * 色彩空间中 * 分量的图像边缘二阶梯度信息。
采用灰度共生矩阵(*2$)
将不同尺寸的边缘矩阵统一到同一尺寸D最后将
*2$ 信息在 # 层叠加输入到 6". 网络中得到分类结果。
图
图 1基于深度学习的数字图像篡改检测基本框架
图
图 2本文特征提取流程的可视化
8色彩空间转换
色彩空间是用数学具象化、标准化表述颜色的方法空间中的一点就对应一
个 特 定 颜 色 从 对 颜 色 感 知 表 达 方 式 的 角 度 来 分 类 可 分 为 基 色 混 合 空 间
(*、$E、@' 等)把基色光以不同比例光量混合来表示颜色D色度型颜
色空间()F、25、243 等)使用一个维度表示光线整体亮度用另两个维度
表 示 对 两 种 单 色 光 与 白 光 的 混 合 程 度 = 饱 和 度 >D 色 相 G 饱 和 度 型 颜 色 空 间
((、(2、(7 等)引入饱和度分量使得对色彩的表达更符合人的直观感受。
)F 格式最早被设计用于黑白电视信号和彩色电视信号的兼容传输在 7/).
/8+ 标准中被制定
&
;2 和 / 广播标准均使用此色彩空间。由于电
子设备 15 编码的存储方式与 )F 格式无法良好匹配便设计出了 5- 在数
码 设 备 中 代 替 )F 对 于 二 者 的 区 分 现 在 已 经 没 有 那 么 严
格0;6*、$;6*、F、 等压缩编码标准均在 5- 空间使用各自对应
的 色 彩 取 样 比 例 ( #-%:45: ) 进 行 记 录 。 在 5- 色 彩 空 间
中( 4:")表示亮度(#-%:")表示色度与 * 色彩空间
相互转换的公式如下。
⎡⎣⎢YCbCr⎤⎦⎥=⎡⎣⎢0.299−0.1690.5000.587−0.331−0.4190.
1140.500−0.081⎤⎦⎥∙⎡⎣⎢RGB⎤⎦⎥5-H8998&18I8+9I8
8&8&I89I81J*
()
⎡⎣⎢RGB⎤⎦⎥=⎡⎣⎢1.0001.0001.0000.000−0.3441.7731.403
−0.7140.000⎤⎦⎥∙⎡⎣⎢YCbCr⎤⎦⎥*H8888I8I8
888J5-
()
5- 利用人眼对亮度的敏感程度高于色度的特性
+
通过对色度分量进行
采样来减少带宽。5- 此前有被应用于彩色图像数字水印
、手势识别
1
、
剩余20页未读,继续阅读
资源评论
罗伯特之技术屋
- 粉丝: 3683
- 资源: 1万+
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功