基于迁移学习的人脸识别实战.zip

# 迁移学习之人脸识别 ## 概述 想给家里的小八爪机器人加上人脸识别功能，比如瞄准的是我时就不能发射炮弹，这样儿子就没法拿这个怪物打我了。。。（也可以在工位上加个摄像头，领导来了提前报警。。。） 人脸识别跟普通的图像识别还是有相似的地方，比如都是图像 cnn 卷积池化；但也有很多不同，比如标注数据太少，全国的身份证人脸识别，每个人只有一张照片你怎么训练。。。这就需要用到一个新的迁移学习的思路：将一个问题上训练好的模型通过简单的调整使其快速适用于一个新的问题。 例如利用 ImageNet 数据集上训练好的 Inception-V3 模型来解决一个新的图像分类问题，可以保留训练好的 Inception-v3 模型中所有卷积层的参数，只是替换最后一层全连接层，在最后这一层全连接层之前的网络层称为瓶颈层。而将新的图像通过训练好的卷积神经网络直到瓶颈层的过程可以看成是对图像进行特征提取的过程，瓶颈层输出再通过一个单层的全连接层神经网络可以很好的区分类别，所以有理由相信将瓶颈层的输出的节点向量可以被称为任何图像的更加精简且表达能力更强的特征向量。所以可以直接利用这个训练好的神经网络对图像进行特征提取，然后再将提取得到特征向量作为输入来训练一个新的单层全连接网络来处理分类问题。 [](http://blog.yanjingang.com/?attachment_id=2426) 需要注意的是，在数据量足够的情况下，迁移学习的效果不如完全重新训练，但是迁移学习所需要的训练时间和训练样本要远远小于训练完整的模型。 ### **FaceNet** FaceNet 由谷歌研究人员于 2015 年推出。主要思想是把人脸图像映射到一个多维空间，通过空间距离表示人脸的相似度。同个人脸图像的空间距离比较小，不同人脸图像的空间距离比较大。这样通过人脸图像的空间映射就可以实现人脸识别，FaceNet 中采用基于深度神经网络的图像映射方法和基于 triplets（三联子）的 loss 函数训练神经网络，网络直接输出为 128 维度的向量空间。在某种程度上，对于相似的面部，距离将更近，而对于非相似的面部，距离将更远。 [](http://blog.yanjingang.com/?attachment_id=2427) - Download [this](https://drive.google.com/file/d/1EXPBSXwTaqrSC0OhUdXNmKSh9qJUQ55-/view) pretrained Facenet model and copy to model folder. - Download [this](https://github.com/wangbm/MTCNN-Tensorflow/tree/master/save_model) pretrained MTCNN models and copy to mtcnn_model. ### **欧几里德距离** 欧几里得度量（euclidean metric）（也称欧氏距离）是一个通常采用的距离定义，指在 m 维空间中两个点之间的真实距离，或者向量的自然长度（即该点到原点的距离）。在二维和三维空间中的欧氏距离就是两点之间的实际距离。 [](http://blog.yanjingang.com/?attachment_id=2429) 三维欧几里德空间中的每个点都由三个坐标确定 ## 实现 ### **实现思路**： 1.建立人脸 FACEID 特征库： 身份证照片-> 人脸检测->FaceNet 计算 Embedding 特征-> 保存 FACEID 及对应人脸特征到 FACEDB 2.摄像头人脸识别： 摄像头-> 人脸检测->FaceNet 计算 Embedding 特征-> 获得摄像头人脸特征 3.人脸相似度比对： 比较摄像头人脸特征向量与 FACEDB 人脸特征向量间的欧式距离并倒排，根据距离判断是否为同一人（距离越小越接近, <0.6 可以确信是同一个人, >1 不可信）。 > 注：model/facenet/20180402-114759/目录的模型下载方式详见 model/facenet/readme.txt # 测试 ``` # face_embedding方式创建facedb+faceid特征对比示例 python face.py face_embedding # 识别摄像头的人是谁 python infer.py ``` 1.使用 face_embedding 方式识别效果：（每个 user 只用一张照片提取特征；后边小数是欧几里得距离，距离越小越像，<0.6 可以确信是同一个人， >1 时不可信 ） [](http://blog.yanjingang.com/?attachment_id=2432) 2.使用 cnn 图像分类模型训练的识别效果：（每个 user 使用了 330 张照片用于训练；后边小数是准确率；这种方式训练的模型遇到相似的人时经常会认错人，比如我和儿子就经常识别错，特征明显的人没事；另外这种方式需要每个 user 提供大量照片用于训练，实际应用场景不太现实，所以最终选择上边的 1.face_embedding 方式） [](http://blog.yanjingang.com/?attachment_id=2431) 惯例加到微信小程序里方便测试: [](http://blog.yanjingang.com/?attachment_id=2443) # TODO 1.视频的识别 face_embedding 速度稍慢，需要看下能否优化 2.功能移植到 pi3+ 摄像头上，用于人脸检测和相应处理 参考： [https://medium.com/intro-to-artificial-intelligence/one-shot-learning-explained-using-facenet-dff5ad52bd38](https://medium.com/intro-to-artificial-intelligence/one-shot-learning-explained-using-facenet-dff5ad52bd38) [https://github.com/dkarunakaran/facenet_mtcnn_tensorflow_inference_engine](https://github.com/dkarunakaran/facenet_mtcnn_tensorflow_inference_engine) [https://www.infoq.cn/article/how-to-achieve-face-recognition-using-mtcnn-and-facenet](https://www.infoq.cn/article/how-to-achieve-face-recognition-using-mtcnn-and-facenet) [https://github.com/davidsandberg/facenet](https://github.com/davidsandberg/facenet)