利用SSD目标检测算法判断是否闭眼或者张开嘴和吸烟打电话等手势行为各种表情动作

共48个文件

py：16个

jpg：10个

mp4：7个

版权申诉

动作捕捉

手势识别

人工智能

机器学习

6 浏览量 2024-04-04 12:50:50 上传评论收藏 189.54MB ZIP 举报

SSD（Single Shot MultiBox Detector）是一种高效的目标检测算法，其核心在于将目标检测和类别预测结合在一个单一的网络框架中，从而实现快速且准确的物体定位与分类。在这个项目中，SSD被用于判断一系列特定的行为和表情，如闭眼、张嘴、吸烟和打电话等，这些都是驾驶安全相关的关键指标。我们要理解SSD的工作原理。SSD通过在不同尺度的特征图上预测物体框和类别概率，解决了以往方法中速度与精度难以兼得的问题。它采用多尺度的检测窗口，可以在不同的分辨率层次上检测不同大小的物体，使得对小目标的检测更为准确。同时，SSD利用了丰富的特征层进行预测，这样既保证了定位精度，也提高了检测速度。接着，项目中提到了"PERCLOS"准则，这是一个衡量驾驶员闭眼时间比例的标准，用于评估驾驶员的疲劳程度。PERCLOS（Percentage of Time Eyes Closed）计算的是在一定时间内驾驶员眼睛闭合的百分比。如果PERCLOS值过高，可能表明驾驶员处于疲劳状态，存在驾驶风险。在本系统中，SSD算法配合PERCLOS可以实时监测驾驶员的闭眼状态，及时发出疲劳驾驶警告。此外，系统还涵盖了7类情绪识别，包括但不限于快乐、悲伤、愤怒等基本情绪，以及眨眼、哈欠等特定行为的识别。这些识别功能是通过对面部特征的分析实现的，可能涉及到深度学习中的卷积神经网络（CNN）和面部关键点检测技术。例如，通过识别眼睛和嘴巴的开合状态，系统可以判断出眨眼和张嘴的动作，进而推断出相应的表情或行为。吸烟和打电话的检测同样基于对物体和行为的理解。在图像中，系统会寻找与吸烟和打电话相关的特征，如烟雾、手机等，并结合人体姿态信息来确定这些行为的发生。这通常需要对物体检测和人体关键点检测有深入的理解。这些功能的实现依赖于大量标注的训练数据，包括各种表情、动作和场景的图像。通过监督学习的方式，模型可以从这些数据中学习到如何识别不同的行为和表情，并在实际应用中进行准确的预测。这个项目利用SSD目标检测算法结合其他计算机视觉技术，构建了一个全面的驾驶安全监控系统，能够实时监测并预警驾驶员的疲劳、不安全行为，为提升道路安全提供有效支持。这一系统不仅展示了人工智能和机器学习在实际问题中的应用，也为未来智能交通系统的研发提供了有价值的参考。

资源推荐

资源详情

资源评论

收起资源包目录

利用SSD目标检测算法判断是否闭眼或者张开嘴和吸烟打电话等手势行为，通过PERCLOS准则判断是否疲劳等等，功能涵盖7类情绪识别，眨眼判断，哈欠判断，吸烟，打电话等，达到危险驾驶检测的功能.zip （48个子文件）

open_weishoushishibie

utils.py 9KB

ImgRecord

2020_03_06_13_44_17.jpg 81KB

2020_03_06_13_44_09.jpg 79KB

2020_03_06_13_44_12.jpg 79KB

Run.py 42KB

augmentations.py 13KB

voc0712.py 6KB

Emoji

models

xception.py 683B

cnn.py 13KB

_mini_XCEPTION.102-0.66.hdf5 852KB

weights

vgg16_reducedfc.pth 78.14MB

final_20200226_VOC_100000.pth 93.15MB

camera_detection.py 9KB

detection.py 3KB

l2norm.py 898B

loss_function.py 3KB

ssd_net_vgg.py 9KB

Train.py 4KB

Test.py 3KB

mtcnn

_mini_XCEPTION.102-0.66.hdf5 852KB

detector.py 21KB

rnet.npy 590KB

pnet.npy 40KB

__pycache__

detector.cpython-36.pyc 17KB

detector.cpython-37.pyc 17KB

onet.npy 2.24MB

requirements.txt 1KB

config.json 336B

test

38-FemaleNoGlasses-Yawning_2020225154732.mp4 1.16MB

smoke.mp4 1.11MB

12671.jpg 81KB

12646.jpg 79KB

call.mp4 3.1MB

11-MaleGlasses-Yawning.mp4 1.75MB

12615.jpg 81KB

12635.jpg 77KB

3-FemaleGlasses.mp4 7.38MB

25-MaleSunGlasses-Yawning_2020225154826.mp4 1.02MB

35-FemaleNoGlasses-Talking_2020225154757.mp4 2.14MB

12659.jpg 80KB

Config.py 657B

MainWindow.py 32KB

MainWindow.ui 34KB

README.md 2KB

img_resource

label_pred.jpg 53KB

blink.gif 8.81MB

bg.jpg 94KB

label.png 7KB

运行环境： >1.python 3.7.4 >2.pytorch 1.4.0 >3.python-opencv ## 说明预训练的权重文件[vgg_16] 具体的配置文件请看Config.py文件训练运行python Train.py 单张测试 python Test.py 测试视频 python camera_detection.py ##目前进度： 1、PERCLOS计算 DONE 2、眨眼频率计算 DONE 3、打哈欠检测及计算 DONE 4、疲劳检测 DONE 5、人脸情绪检测 DONE 网络检测性能：准确率82.18% 主要文件说明： ssd_net_vgg.py 定义class SSD的文件 Train.py 训练代码 voc0712.py 数据集处理代码（没有改文件名，改的话还要改其他代码） loss_function.py 损失函数 detection.py 检测结果的处理代码，将SSD返回结果处理为opencv可以处理的形式 test.py 单张图片测试代码 Ps:没写参数接口，所以要改测试的图片就要手动改代码内部文件名了 l2norm.py l2正则化 Config.py 配置参数 utils.py 工具类 camera_detection.py 摄像头检测代码V1,V2 augmentations.py 生成识别框 Run.py 主程序运行文件 MainWindow.py UI界面布局 /Emoji 人脸情绪识别部分 /mtcnn 人脸定位检测 /test 测试视频、图片素材数据集结构（没有给出，需要的话咨询btzheng1018@qq.com）： /dataset: /Annotations 存放含有目标信息的xml文件 /ImageSets/Main 存放图片名的文件 /JPEGImages 存放图片 /txt.py 生成ImageSets文件的代码权重文件存放路径： /weights 参考资料： https://blog.csdn.net/zxd52csx/article/details/82795104

评论收藏

内容反馈

版权申诉