基于Python MTCNN的实时人脸检测方法及系统【100011420】

## 计算机视觉课程论文 # 基于 MTCNN 的实时人脸检测方法及系统 [摘要] 由于各种姿势，照明和遮挡，在无约束环境中的面部检测和对准具有挑战性。 最近的研究表明，深度学习方法可以在这两项任务上取得令人瞩目的效果。在本文中，我使用了MTCNN深度级联神经网络的多任务框架，该框架由三层网络构成，分别是P-Net、R-Net、以及O-Net。通过分别训练这三个神经网络。将一个网络的输出作为后一个网络的输入。以粗略到精细的方式预测面部的地标位置。指的一提的是，该框架通过选取loss前70%的hard example（比较难训练的样本）执行方向传播，提高了网络的训练效果。经过实验分析，该方法在面部检测中有着卓越精度，同时保持了实时性能。此外，在训练好的模型基础上，设计并开发出一个实时人脸检测系统，适用于门禁，照相以所有需要运用到人脸检测的场景。 [关键词] 人脸检测； 级联神经网络； 深度学习： MTCNN： # 第1章 引言 ## 1.1 背景介绍与研究意义 自动人脸检测技术是所有人脸影像分析衍生应用的基础，这些扩展应用细分有人脸识别、人脸验证、人脸跟踪、人脸属性识别，人脸行为分析、个人相册管理、机器人人机交互、社交平台的应用等。 从应用领域上可以分为：① 以企事业单位管理及商业保密为主的商用人脸检测；② 大规模联网布控的多角度多背景的安防人脸检测；③ 反恐安全、调查取证、刑事侦查为主的低分辨率尺度多样的军用/警用人脸检测；④ 当然还有基于互联网社交娱乐应用等的一般人脸检测。在学术研究中分为约束环境人脸检测和非约束环境人脸检测，如下图。  图 1-1 度量学习和分类问题区别 在实际中，作为安防企业，人脸检测技术的研发应用在两方面： 1. 基本的人脸考勤和门禁等，这一类属于有约束情况，用传统改进算法足以满足性能； 2. 安防实时监控，智能视频人脸分析，海量人脸搜索验证、人群数量统计，防踩踏预警等，这类属于非约束情况，不仅对检测算法的精度（包括误检率）要求很高，而且要确保实时性。 调研发现，人脸检测（识别）实战的场景逐渐从室内演变到室外，从单一路况发展到广场、车站、地铁口等。目前基于后者场景，精度若能稳定达到 80% 以上就属于顶尖技术了（很难达到）。可以想象，雾霾天戴着口罩，冬天戴着帽子，夏天戴着墨镜等，传统算法的检测是比较难的。 例如，公安部门某次招标给出的人脸测试集中一张图如下，可以看出图片模糊、分辨率低，更有戴口罩等大部分遮挡情况。在这种情况下需要识别精度达到一定要求，并且对于召回率（误检率）有一定的保证，传统检测算法是望而却步的，而且目前现有智能视频分析技术的误报率有 60% 之多，改进的好点的能降低到 30%，但还是极大影响实际应用（天安门广场上过识别后因误报高撤了）。综上所述，研究出克服上述困难的人脸检测算法是人脸分析相关应用的首要任务。  图 1-2 公安部提供的测试集 人脸检测的研究在过去二十年例取得了巨大进步，特别是 Viola and Jones 提出了开创性算法，他们通过 Haar-Like 特征和 AdaBoost 去训练级联分类器获得实时效果很好的人脸检测器，然而研究指出当人脸在非约束环境下，该算法检测效果极差。这里说的非约束环境是对比于约束情况下人脸数单一、背景简单、直立正脸等相对理想的条件而言的，随着人脸识别、人脸跟踪等的大规模应用，人脸检测面临的要求越来越高（如上图）：人脸尺度多变、数量冗大、姿势多样包括俯拍人脸、戴帽子口罩等的遮挡、表情夸张、化妆伪装、光照条件恶劣、分辨率低甚至连肉眼都较难区分等。用经典 VJ 人脸检测器（2010 年更新）在非约束评测集 FDDB 中验证显示：当限定误检数为 10 个时，准确率不超过 10%；为 500 个时，检测率仅仅为 52.8%。所以丞待更好的算法以应用于大规模安防布控等非约束人脸检测场景。 14年底微软美国研究院首席研究员张正友等在 CVIU 上发表了非约束人脸检测专题综述，文中指出过去十年里，当限定误检数为 0 或不超过 10 个时，人脸检测算法的查准率也就是准确率（true positive rate）提高了 65% 之多（最新基于 CNN 的算法和传统 Vj-boosting 算法的对比结果）。 在本文中，我使用了一个新的框架，通过多任务学习使用统一的级联 CNN 来集成这些任务。该框架的 CNN 包括三个阶段。 ·第一阶段：通过浅 CNN 快速生成候选窗口。 ·第二阶段：通过更复杂的 CNN 拒绝大量非面部窗口来细化窗口。 ·第三阶段：使用更强大的 CNN 再次细化结果并输出五个面部标志位置。 由于这个多任务学习框架，算法的性能可以显着提高。 本文的主要内容概括如下： 1. 使用了一种新的级联 CNN 框架，用于联合人脸检测和对齐，并精心设计轻量级 CNN 架构以实现实时性能。 2. 在具有挑战性的测试中进行了大量实验，与人脸检测中的最新技术相比，显示出使用方法的显着性能和准确性进步。  图 1-3 MTCNN 级联神经网络的人脸检测大致过程 图 1-3 是级联框架的大致过程，包括三级多任务深度卷积网络。 首先，候选窗口是通过快速提案网络（P-Net）生成的。 之后，通过精炼网络（R-Net）在下一阶段完善这些框。 在第三阶段，输出网络（O-Net）产生最终边界框和面部地标位置。 ## 1.2 研究内容与目标 本课题研究内容主要是基于级联神经网络优化人脸检测模型，提升人脸检测精度。一是在公开的大规模人脸数据集上训练人脸检测模型；二是采用三层级联神经网络提取特征和对损失函数进行优化。三是基于人脸检测实现的定制人脸检测系统。 本课题目标主要有两个：一方面是，在数据集上基于级联神经网络训练出一个好的人脸检测模型；另一方面是, 在 Python 上开发构建出一个人脸检测系统，实现对图片或视频中人脸进行实时人脸检测，并显示人脸置信度。 # 第2章 深度学习及 MTCNN 深度级联神经网络原理 ## 2.1 深度学习简介 深度学习(Deep Learning)是机器学习的分支，是一种以人工神经网络为架构，对数据进行特征学习的算法。目前，深度学习结构已有数种，经典代表有深度神经网络、卷积神经网络、递归神经网络等。深度目前已经广泛应用于计算机视觉、自然语言处理、语音识别等领域，并取得了巨大的成果。2016 年 3 月，AlphaGo 的表现，展现了深度学习在围棋领域的重大突破。 ### 2.1.1 Proposal Network (P-Net)层 该网络结构主要获得了人脸区域的候选窗口和边界框的回归向量。并用该边界框做回归，对候选窗口进行校准，然后通过非极大值抑制（NMS）来合并高度重叠的候选框。  图 2-1 Proposal Network (P-Net)层训练过程。其中“MP”表示最大池化，“Conv”表示�