# 毕设简介
## 一、论文学习
> Nguyen T T, Nguyen Q V H, Nguyen C M, et al. Deep learning for deepfakes creation and detection: A survey[J]. arXiv preprint arXiv:1909.11573, 2019. [[PDF] arxiv.org](https://arxiv.org/pdf/1909.11573.pdf)
### 1.Introduction
deepfake 分为两大类
- lip-sync:嘴唇仿照声音
- pupper-master:换脸不换身
---
### 2.deepfake Creation
![deepfake_creation_model.png](./image/deepfake_creation_model.png)
使用两个编码器-解码器对的deepfake创建模型。两个网络使用相同的编码器但不同的解码器进行训练(上图)。面部A的图像用通用编码器编码,并用解码器B解码,以创建深假(底部)。重建图像(在底部)是面部B,其嘴形状为面部A。面部B最初具有倒置心脏的嘴,而重建的面部B具有常规心脏的嘴。
![gan_architecture.png](./image/gan_architecture.png)
GAN结构由一个发生器和一个鉴别器组成,每一个都可以通过神经网络实现。整个系统可以通过反向传播进行训练,使两个网络都能提高其能力。
传统的GAN模型包括两个神经网络:**生成器** 和 **鉴别器**,如图3所示。给定具有$p_{data}$分布的真实图像x的数据集,生成器D的目的是生成与真实图像x相似的图像G(z),其中z是具有$p_{z}$分布的噪声信号。鉴别器G的目的是正确分类由G生成的图像和真实图像x。鉴别器D经过训练以提高其分类能力,即最大化D(x),其表示x是真实图像而不是由G生成的假图像的概率。另一方面,G被训练以最小化其输出被D分类为合成图像的概率,即最小化1 − D(G(z))。这是两个玩家D和G之间的极小极大博弈,可以用下面的值函数来描述:
$\min\limits_G\max\limits_DV(D,G) = \mathbb{E}_{x\sim p_{data}(x)}[\log D(x)] + \mathbb{E}_{z\sim p_{z}(z)}[\log (1-D(G(z)))]$
---
### 3.deepfake Detection
![deepfake_detection.png](./image/deepfake_detection.png)
本节介绍了deepfake检测方法的概况,我们将其分为两大类:**假图像检测方法** 和 **假视频检测方法**(见图6)。
前者分为 **手动提取特征再分类** 和 **深度学习提取特征再分类** 。
后者分为两个较小的组:**基于单个视频帧的方法中的视觉伪影** 和 **基于帧的方法中的时间特征** 。虽然大多数基于时间特征的方法使用深度学习递归分类模型,但这些方法使用视频帧中的视觉伪影,可以通过 **深度或浅层分类器** 实现。
3.2.1.
跨视频帧的时间特征
![A two-step process for face manipulation detection.png](./image/A_two-step_process_for_face_manipulation_detection.png)
Sabir等人[103]观察到,在deepfakes的合成过程中,时间一致性没有得到有效增强,因此利用视频流的时空特征来检测deepfakes。视频处理是在逐帧的基础上进行的,因此,面部处理产生的低水平伪影被认为进一步表现为跨帧不一致的时间伪影。基于 **卷积网络DenseNet** [62]和 **选通递归单元** [111]的集成,提出了一种递归卷积模型(RCN),以利用帧间的时间差异(见图7)。该方法在FaceForensics++数据集上进行了测试,该数据集包含1000个视频[105],并显示了令人满意的结果。
![CNN+LSTM.png](./image/CNN+LSTM.png)
同样,Güera和Delp[112]强调了deepfake视频包含帧内不一致和帧间时间不一致。然后,他们提出了时间感知管道方法,该方法使用 **CNN和长短时记忆(LSTM)** 来检测假视频。CNN用于提取帧级特征,然后将其输入LSTM以创建时间序列描述符。最后,一个完全连接的网络用于基于序列描述符将篡改视频与真实视频进行分类,如图8所示。使用包含600个视频的数据集获得了大于97%的准确率,其中包括从多个视频托管网站收集的300个假视频,以及从[113]中的好莱坞人类行为数据集中随机选择的300个原始视频。
眨眼频率,光流场,等也会被用来分辨真假视频。
3.2.2.
视频帧中的视觉伪影
*Deep classifiers.*
[120]中提出了一种基于deepfake生成算法的人脸扭曲步骤中观察到的伪影来检测deepfake的深度学习方法。
![capsule_network.png](./image/capsule_network.png)
基于动态路由算法[125]的胶囊网络的最新发展表明,它能够描述对象部件之间的层次式姿势关系。如图9所示,该开发被用作检测伪造图像和视频的管道中的一个组件。采用动态路由算法,通过多次迭代将三个胶囊的输出路由到输出胶囊,以分离假图像和真实图像。
*Shallow classifiers.*
使用眼睛特征向量、牙齿特征向量和从全脸裁剪中提取的特征。在提取特征后,采用logistic回归和小神经网络两种分类器对真实视频中的假货进行分类。在从YouTube下载的视频数据集上进行的实验显示,就接收器工作特性曲线下的面积而言,最佳结果为0.851。
[131]中提出了使用光响应不均匀性(PRNU)分析来检测真假。PRNU是传感器图案噪声的一个组成部分,其原因是硅片的制造缺陷,以及由于硅片物理特性的变化,像素对光的敏感度不一致。拍照时,传感器缺陷以不可见噪声的形式引入内容的高频带。因为硅片上的缺陷并不均匀,所以即使是由硅片制成的传感器也会产生独特的PRNU。因此,PRNU通常被认为是相机在图像中留下的数码相机指纹[132]。
Hasan和Salah[137]提出使用区块链和智能合约来帮助用户检测假视频,前提是视频只有在来源可追踪时才是真实的。
---
### 4.discussion
值得注意的是,使用高级机器学习来创建deepfakes的人与努力检测deepfakes的人之间的斗争正在加剧。
---
## 二、代码部分
### 1.实验一:手动特征+SVM分类器
代码详见文件夹 [imagedetection](./imagedetection/)
数据:CelebA & PGGAN
baidu link: https://pan.baidu.com/s/1zjONBZZgDypsGqkUP2Aeww?pwd=3e07 code: 3e07
方法:光谱特征 + SVM
光谱图:
![spectrum.png](./image/spectrum.png)
结果:
```py
Average SVM: 0.9895000000000002
Average SVM_r: 0.99875
Average SVM_p: 0.9962500000000002
Average LR: 0.9644999999999999
```
### 2.实验二:深度学习分类器
代码详见文件夹 [videodetection](./videodetection/)
数据集:
Preprocessed data
- [FaceForensics++ Real and fake processed videos](https://drive.google.com/drive/folders/1VIIWRLs6VBXRYKODgeOU7i6votLPPxT0?usp=sharing)
- [Celeb-DF Fake processed videos](https://drive.google.com/drive/folders/1SxCb_Wr7N4Wsc-uvjUl0i-6PpwYmwN65?usp=sharing)
- [Celeb-DF Real processed videos](https://drive.google.com/drive/folders/1g97v9JoD3pCKA2TxHe8ZLRe4buX2siCQ?usp=sharing)
- [DFDC Fake processed videos](https://drive.google.com/drive/folders/1yz3DBeFJvZ_QzWsyY7EwBNm7fx4MiOfF?usp=sharing)
- [DFDC Real processed videos](https://drive.google.com/drive/folders/1wN3ZOd0WihthEeH__Lmj_ENhoXJN6U)
方法:ResNet + LSTM
相关数据:
```
train : 1589
test : 398
TRAIN: Real: 803 Fake: 786
TEST: Real: 189 Fake: 209
len(train_loader): 397 len(valid_loader): 99
```
![video_face_example](./image/video_face_example.png)
实验loss,accuracy,confusion_matrix图像:
![loss.png](./image/loss.png)
![accuracy.png](./image/acc.png)
![confusion_matrix.png](./image/confusion_matrix.png)
网络:
<details>
<summary>View contents</summary>
```py
DataParallel(
(module): Model(
(model): Sequential(
(0): Conv2d(3, 64, kernel_size=(7, 7), stride=(2, 2), padding=(3, 3), bias=False)
(1): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
(2): ReLU(inplace=True)
(3): MaxPool2d(kernel_size=3, stride=2, padding=1, dilation=1, ceil_mode=False)
(4): Sequential(
(0): Bottl
没有合适的资源?快使用搜索试试~ 我知道了~
毕业设计:针对Deepfake假脸视频面部细节特征的提取算法.zip
共96个文件
py:33个
png:22个
pdf:13个
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
5星 · 超过95%的资源 2 下载量 155 浏览量
2023-07-05
00:03:36
上传
评论
收藏 37.56MB ZIP 举报
温馨提示
本资源中的源码都是经过本地编译过可运行的,下载后按照文档配置好环境就可以运行。资源项目的难度比较适中,内容都是经过助教老师审定过的,应该能够满足学习、使用需求,如果有需要的话可以放心下载使用。有任何问题也可以随时私信博主,博主会第一时间给您解答!!!本资源中的源码都是经过本地编译过可运行的,下载后按照文档配置好环境就可以运行。资源项目的难度比较适中,内容都是经过助教老师审定过的,应该能够满足学习、使用需求,如果有需要的话可以放心下载使用。有任何问题也可以随时私信博主,博主会第一时间给您解答!!!本资源中的源码都是经过本地编译过可运行的,下载后按照文档配置好环境就可以运行。资源项目的难度比较适中,内容都是经过助教老师审定过的,应该能够满足学习、使用需求,如果有需要的话可以放心下载使用。有任何问题也可以随时私信博主,博主会第一时间给您解答!!!本资源中的源码都是经过本地编译过可运行的,下载后按照文档配置好环境就可以运行。资源项目的难度比较适中,内容都是经过助教老师审定过的,应该能够满足学习、使用需求,如果有需要的话可以放心下载使用。有任何问题也可以随时私信博主,博主会第一时间给您解答!!!
资源推荐
资源详情
资源评论
收起资源包目录
毕业设计:针对Deepfake假脸视频面部细节特征的提取算法.zip (96个子文件)
graduation-design-master
screenshots
histogram.png 99KB
DFDattack_log.png 8KB
prepare.jpg 712KB
framing.png 69KB
SVM简介.png 42KB
histogram3lines.png 47KB
surf.png 339KB
findFaceScreenshots.png 537KB
DFDoriginal_log.png 8KB
svm_eg.png 48KB
Paper
开题报告+蒲尧+20200229.doc 152KB
本科毕业设计(论文)-蒲尧-20200608.pdf 3.26MB
DatabaseFeatureExtraction
extract_feature.py 5KB
CommonFunction
extract_color.py 767B
extract_SURF.py 1KB
extract_ELA.py 1KB
README.md 47B
Spectrum_SVM4Image_and_Resnet_LSTM4Video
image
deepfake_creation_model.png 101KB
spectrum.png 50KB
A_two-step_process_for_face_manipulation_detection.png 89KB
loss.png 17KB
deepfake_detection.png 49KB
gan_architecture.png 44KB
video_face_example.png 46KB
CNN+LSTM.png 56KB
capsule_network.png 116KB
acc.png 17KB
confusion_matrix.png 18KB
videodetection
CNN_LSTM4VideoDetection_FaceForensics++.ipynb 190KB
Gobal_metadata.csv 462KB
README.md 24KB
imagedetection
radialProfile.py 1KB
celeba_low_1000.pkl 1.24MB
SVM4ImageDetection_CelebA_PGGAN.ipynb 85KB
DatabasePreprocessing
delLastFile.py 689B
framing.py 2KB
findfaceFR.py 3KB
findface_comparation.py 3KB
findfaceCV.py 2KB
pngToJpg.py 3KB
findfaceFR_folder.py 4KB
renameAll.py 592B
getDiff.py 2KB
References
[3] Exposing deep fakes using inconsistent head poses.pdf 2.19MB
[8] SURF Speeded Up Robust Features.pdf 706KB
[1] Generative adversarial nets.pdf 518KB
[11] 基于SVM分类的边缘提取算法.pdf 2.48MB
[6] Hybrid LSTM and Encoder–Decoder Architecture for Detection of Image Forgeries.pdf 5.24MB
[9] An evaluation of Error Level Analysis in image forensics.pdf 1.01MB
[10] Image Forgery Detection by Semi-Automatic Wavelet Soft-Thresholding with Error Level Analysis.pdf 3.94MB
[12]支持向量机理论与算法研究综述_丁世飞.pdf 853KB
[7] 颜色直方图识别新技术研究.pdf 2.89MB
[2] Deepfake Video Detection through Optical Flow Based CNN.pdf 164KB
[4] Exposing GAN-synthesized Faces Using Landmark Locations.pdf 8.01MB
[5] Perceptual Judgments to Detect Computer Generated Forged Faces in Social Media.pdf 839KB
SVM
svm_ref_streamvalfile.py 1KB
SVM-test
svm_learning.py 2KB
svm_eg.py 1KB
model.pickle 2KB
ExtractFeatureData
extract_feature_data_per10img.py 8KB
CommonFunction
extract_ELA_data.py 2KB
extract_SURF_data.py 977B
extract_color_data.py 455B
extract_feature_data.py 5KB
test.py 3KB
OUTPUT.txt 8KB
SVM-SGD
Model
SURF_clf.pkl 2KB
ELA_clf.pkl 513KB
color_clf.pkl 1.5MB
GetData
get_color.py 724B
get_ELA.py 722B
get_SURF.py 2KB
svm_SGD_per100img.py 17KB
svm_SGD.py 11KB
README.md 1KB
FeatureExtractionLearning
BrightenDiff.py 1KB
histogram.py 2KB
img
webOriginalImg_ela.jpg 240KB
webOriginalImg.jpg 206KB
butterfly_ela.jpg 156KB
dancersmiling-ela.png 1006KB
faketest.jpg 54KB
webOriginalImg-ela.jpg 227KB
booksANDbooks-edited_diff.jpg 286KB
faketest_ela.jpg 114KB
dancersmiling.jpg 233KB
meinv.png 236KB
books.jpg 125KB
books-edited.jpg 219KB
dancersmiling_ela.jpg 229KB
butterfly.jpg 153KB
histogram3lines.py 550B
ELA.py 2KB
surf.py 626B
.gitignore 2KB
READ12ME.md 35KB
共 96 条
- 1
资源评论
- qwerttyer2024-05-19总算找到了自己想要的资源,对自己的启发很大,感谢分享~
- m0_375887632023-11-29资源是宝藏资源,实用也是真的实用,感谢大佬分享~
白话机器学习
- 粉丝: 8914
- 资源: 7681
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- (大赛作品)STM32实现的F072RB NUCLEO智能家居控制.zip
- STM32实现的数字示波器源码+数字信号处理教程、配套实例.zip
- 【cookie续续】【cookie续续】【cookie续续】
- 低功耗STM32实现的F411开发板(原理图+PCB源文件+官方例程+驱动等).zip
- 基于stm32实现的 nucleo-L476的智能灯(操作说明+源码).zip
- 基于STM32实现的 NUCLEO板设计彩色LED照明灯(纯cubeMX开发).zip
- 基于STM32实现的 的联合调试侦听设备解决方案(原理图、PCB源文件、调试工具、视频).zip
- 基于STM32实现的 人群定位、调速智能风扇设计(程序、设计报告、视频演示).zip
- 哔哩下载姬(DownKyi)
- 千纬认字app再次更新,增加部首、笔画动画功能
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功