# 人脸表情识别
## 更新日志
### v0.1
基于TensorFlow1.x的人脸表情识别项目。
### v0.2
2020.8.22,重构了整个仓库代码,改用Tensorflow2中的keras api实现整个系统。考虑到很多反映jupyter notebook写的train使用起来不太方便,这里改成了py脚本实现。
### v0.3
2020.12.18,根据反馈,修改了Jaffe的优化器设置。
### v0.4
增加了人脸检测器blazeface。
## 简介
使用卷积神经网络构建整个系统,在尝试了Gabor、LBP等传统人脸特征提取方式基础上,深度模型效果显著。在FER2013、JAFFE和CK+三个表情识别数据集上进行模型评估。
## 环境部署
基于Python3和Keras2(TensorFlow后端),具体依赖安装如下(推荐使用conda虚拟环境)。
```shell script
git clone https://github.com/luanshiyinyang/FacialExpressionRecognition.git
cd FacialExpressionRecognition
conda create -n FER python=3.6 -y
conda activate FER
conda install cudatoolkit=10.1 -y
conda install cudnn=7.6.5 -y
pip install -r requirements.txt
```
如果你是Linux用户,直接执行根目录下的`env.sh`即可一键配置环境,执行命令为`bash env.sh`。
## 数据准备
数据集和预训练模型均已经上传到百度网盘,[链接](https://pan.baidu.com/s/1LFu52XTMBdsTSQjMIPYWnw)给出,提取密码为2pmd。下载后将`model.zip`移动到根目录下的`models`文件夹下并解压得到一个`*.h5`的模型参数文件,将`data.zip`移动到根目录下的`dataset`文件夹下并解压得到包含多个数据集压缩文件,均解压即可得到包含图像的数据集(**其中rar后缀的为原始jaffe数据集,这里建议使用我处理好的**)。
## 项目说明
### **传统方法**
- 数据预处理
- 图片降噪
- 人脸检测(HAAR分类器检测(opencv))
- 特征工程
- 人脸特征提取
- LBP
- Gabor
- 分类器
- SVM
### **深度方法**
- 人脸检测
- HAAR分类器
- MTCNN(效果更好)
- 卷积神经网络
- 用于特征提取+分类
## 网络设计
使用经典的卷积神经网络,模型的构建主要参考2018年CVPR几篇论文以及谷歌的Going Deeper设计如下网络结构,输入层后加入(1,1)卷积层增加非线性表示且模型层次较浅,参数较少(大量参数集中在全连接层)。
<div align="center"><img src="./assets/CNN.png" /></div>
<div align="center"><img src="./assets/model.png" /></div>
## 模型训练
主要在FER2013、JAFFE、CK+上进行训练,JAFFE给出的是半身图因此做了人脸检测。最后在FER2013上Pub Test和Pri Test均达到67%左右准确率(该数据集爬虫采集存在标签错误、水印、动画图片等问题),JAFFE和CK+5折交叉验证均达到99%左右准确率(这两个数据集为实验室采集,较为准确标准)。
执行下面的命令将在指定的数据集(fer2013或jaffe或ck+)上按照指定的batch_size训练指定的轮次。训练会生成对应的可视化训练过程,下图为在三个数据集上训练过程的共同绘图。
```shell
python src/train.py --dataset fer2013 --epochs 300 --batch_size 32
```
![](./assets/loss.png)
## 模型应用
与传统方法相比,卷积神经网络表现更好,使用该模型构建识别系统,提供**GUI界面和摄像头实时检测**(摄像必须保证补光足够)。预测时对一张图片进行水平翻转、偏转15度、平移等增广得到多个概率分布,将这些概率分布加权求和得到最后的概率分布,此时概率最大的作为标签(也就是使用了推理数据增强)。
### **GUI界面**
注意,**GUI界面预测只显示最可能是人脸的那个脸表情,但是对所有检测到的人脸都会框定预测结果并在图片上标记,标记后的图片在output目录下。**
执行下面的命令即可打开GUI程序,该程序依赖PyQT设计,在一个测试图片(来源于网络)上进行测试效果如下图。
```shell
python src/gui.py
```
![](./assets/gui.png)
上图的GUI反馈的同时,会对图片上每个人脸进行检测并表情识别,处理后如下图。
![](./assets/rst.png)
### **实时检测**
实时检测基于Opencv进行设计,旨在用摄像头对实时视频流进行预测,同时考虑到有些人的反馈,当没有摄像头想通过视频进行测试则修改命令行参数即可。
使用下面的命令会打开摄像头进行实时检测(ESC键退出),若要指定视频进行进行检测,则使用下面的第二个命令。
```shell
python src/recognition_camera.py
```
```shell
python src/recognition_camera.py --source 1 --video_path 视频绝对路径或者相对于该项目的根目录的相对路径
```
下图是动态演示的在Youtube上[某个视频](https://www.youtube.com/watch?v=r5Z741PC9_c)上的识别结果。
![](./assets/demo.gif)
没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
(基于python的毕业设计)人脸表情的分类算法的设计(django)(源码+说明+演示视频),本科毕业设计高分项目。 【项目技术】 python+Django+mysql 【实现功能】 通过人脸正面照片来进行人脸的特征处理和判断,从而来形成图象处理、特征提取和表情判断的三个过程串联使用。在图象处理的过程中有着打开图象、将图象信息很好的在程序的主页面中进行呈现,能够通过显示图像、保存图像的方式来实现对图象中的色彩、敏感程度等内容来实现具体的特征识别的功能实现。在特征的模块的判断上,通过图象处理模块来进行人脸特征的坐标的标记,通过边界提取的方式来对图象进行噪点的有效过滤。
资源推荐
资源详情
资源评论
收起资源包目录
(基于python的毕业设计)人脸表情的分类算法的设计(django)(源码+说明+演示视频).zip (370个子文件)
bootstrap.min.css 131KB
layui.css 106KB
atom-style.css 63KB
animate.css 60KB
font-awesome.min.css 17KB
layer.css 15KB
layer.css 14KB
layui.mobile.css 11KB
style-responsive.css 9KB
laydate.css 9KB
laydate.css 7KB
css.css 5KB
datepicker.css 4KB
colorpicker.css 2KB
timepicker.css 2KB
mobile.css 2KB
code.css 1KB
nanoscroller.css 1KB
font.css 512B
iconfont.eot 46KB
fontawesome-webfont.eot 37KB
glyphicons-halflings-regular.eot 20KB
demo.gif 3.35MB
blur_bg.gif 37KB
59.gif 10KB
22.gif 10KB
loading.gif 8KB
24.gif 8KB
13.gif 7KB
16.gif 7KB
39.gif 6KB
64.gif 6KB
63.gif 6KB
50.gif 6KB
loading-0.gif 6KB
4.gif 6KB
1.gif 5KB
42.gif 5KB
71.gif 5KB
21.gif 5KB
20.gif 5KB
29.gif 5KB
loader.gif 5KB
70.gif 4KB
5.gif 4KB
17.gif 4KB
27.gif 4KB
9.gif 4KB
44.gif 4KB
11.gif 4KB
8.gif 4KB
3.gif 4KB
23.gif 4KB
34.gif 4KB
41.gif 4KB
38.gif 4KB
65.gif 3KB
32.gif 3KB
45.gif 3KB
7.gif 3KB
12.gif 3KB
26.gif 3KB
60.gif 3KB
2.gif 3KB
40.gif 3KB
25.gif 3KB
19.gif 3KB
66.gif 3KB
18.gif 3KB
46.gif 3KB
10.gif 3KB
28.gif 3KB
51.gif 3KB
57.gif 3KB
67.gif 3KB
0.gif 3KB
48.gif 3KB
43.gif 3KB
30.gif 2KB
61.gif 2KB
33.gif 2KB
69.gif 2KB
14.gif 2KB
47.gif 2KB
36.gif 2KB
49.gif 2KB
58.gif 2KB
6.gif 2KB
54.gif 2KB
53.gif 2KB
56.gif 2KB
62.gif 2KB
31.gif 2KB
55.gif 2KB
35.gif 2KB
15.gif 2KB
loading-2.gif 2KB
37.gif 1KB
68.gif 1KB
52.gif 777B
共 370 条
- 1
- 2
- 3
- 4
资源评论
- Peter2024-04-11资源使用价值高,内容详实,给了我很多新想法,感谢大佬分享~
岛上程序猿
- 粉丝: 2567
- 资源: 4154
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 使用PYTHON编写一个程序,识别数字和字母的程序
- chuanghanshu.m
- 3-1same.cbp
- 电路硬件PCB设计-EMC电磁兼容PCB防干扰与防静电设计pcb电磁兼容EMC设计等文档资料合集(18个).zip
- tudou-android-release (2).apk
- 三维重建-基于NeRF实现的稳定+实时3D说话人脸生成-附项目源码-优质项目实战.zip
- oracle-10g-32bit.zip
- com.aesq.zb_v1.0.35_danji100.com.apk
- 760996331259605建立门派1.360.apk
- 下面提供一些C语言的入门示例代码,并附有注释,以帮助理解每个部分的功能 1. Hello World程序 #include
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功