基于Python卷积神经网络人脸识别驾驶员疲劳检测与预警系统设计

开发环境： Pycharm + Python3.6 + 卷积神经网络算法 基于人脸表面特征的疲劳检测，主要分为三个部分，打哈欠、眨眼、点头。本实验从人脸朝向、位置、瞳孔朝向、眼睛开合度、眨眼频率、瞳孔收缩率等数据入手，并通过这些数据，实时地计算出驾驶员的注意力集中程度，分析驾驶员是否疲劳驾驶和及时作出安全提示。 视觉疲劳检测原理：因为人在疲倦时大概会产生两种状态： 眨眼：正常人的眼睛每分钟大约要眨动10-15次，每次眨眼大概0.2-0.4秒，如果疲倦时眨眼次数会增多，速度也会变慢。打哈欠：此时嘴会长大而且会保持一定的状态。因此检测人是否疲劳可以从眼睛的开合度，眨眼频率，以及嘴巴张合程度来判断一个人是否疲劳。 检测工具 dlib ：一个很经典的用于图像处理的开源库，shape_predictor_68_face_landmarks.dat是一个用于人脸68个关键点检测的dat模型库，使用这个模型库可以很方便地进行人脸检测，并进行简单的应用。 眨眼计算原理： （1） 计算眼睛的宽高比 基本原理：计算 眼睛长宽比 Eye Aspect Ratio，EAR.当人眼睁开时，EAR在某个值上下波动，当人眼闭合时，EAR迅速下降，理论上会接近于零，当时人脸检测模型还没有这么精确。所以我们认为当EAR低于某个阈值时，眼睛处于闭合状态。为检测眨眼次数，需要设置同一次眨眼的连续帧数。眨眼速度比较快，一般1~3帧就完成了眨眼动作。两个阈值都要根据实际情况设置。 （2）当前帧两双眼睛宽高比与前一帧的差值的绝对值（EAR）大于0.2，则认为是疲劳 代码思路 第一步：使用dlib.get_frontal_face_detector() 获得脸部位置检测器 第二步：使用dlib.shape_predictor获得脸部特征位置检测器 第三步：分别获取左右眼面部标志的索引 第四步：打开cv2 本地摄像头 第五步：从视频流进行循环，读取图片，并对图片做维度扩大，并进灰度化 第六步：使用detector(gray, 0) 进行脸部位置检测 第七步：循环脸部位置信息，使用predictor(gray, rect)获得脸部特征位置的信息 第八步：将脸部特征信息转换为数组array的格式 第九步：提取左眼和右眼坐标 第十步：构造函数计算左右眼的EAR值，使用平均值作为最终的EAR 第十一步：使用cv2.convexHull获得凸包位置，使用drawContours画出轮廓位置进行画图操作 第十二步：进行画图操作，用矩形框标注人脸 第十三步：分别计算左眼和右眼的评分求平均作为最终的评分，如果小于阈值，则加1，如果连续3次都小于阈值，则表示进行了一次眨眼活动 第十四步：进行画图操作，68个特征点标识 第十五步：进行画图操作，同时使用cv2.putText将眨眼次数进行显示 第十六步：统计总眨眼次数大于50次屏幕显示睡着。