1
说 明 书 摘 要
本发明公开了一种人脸姿态估计方法，装置和设备，属于涉及图像识别技术领域，所述
方法包括步骤：读取待估计的图片；根据第一模型，识别出待估计图片的人脸特征点；根据
第二模型和所述人脸特征点，识别出待估计图片的人脸待姿态角。通过本发明，可实时直接
生成人脸姿态角数据，并可连续输出预测值，可广泛应用于要求实时、连续判断人脸姿态的
应用领域，通过本方法生成人脸姿态的训练和测试数据集，可避免人工标注，提高数据集精
度。同时，针对第一模型中的卷积神经网络人脸特征点模型，提出了新的损失函数，新的损
失函数更有利于计算机运算，加快了模型的计算效率。
1
权 利 要 求 书
1. 一种人脸姿态估计方法，其特征在于，所述方法包括步骤：
读取待估计的图片；
根据第一模型，识别出待估计图片的人脸特征点；
根据第二模型和所述人脸特征点，识别出待估计图片的人脸待姿态角。
2. 根据权利要求 1 所述的一种人脸姿态估计方法，其特征在于，所述步骤读取待估计的
图片之后，还包括：判断所述图片中是否包含人脸，若是，截取人脸部分图像，并对截取的
图像进行归一化处理。
3. 根据权利要求 1 所述的一种人脸姿态估计方法，其特征在于，所述方法还包括训练第
一模型，包括步骤，
对训练集图片进行预处理；
进行卷积神经网络训练。
4. 根据权利要求 1 所述的一种人脸姿态估计方法，其特征在于，所述方法还包括训练第
二模型，包括步骤，
生成姿态角估计训练集；
进行前馈神经网络训练。
5. 根据权利要求 3 所述的一种人脸姿态估计方法，其特征在于，所述卷积神经网络训练
中的采用的损失函数为：
(
)
1 5
' 2 ' 2
, , , ,
0 1
1
( ) ( ) / 0, 1 1, 2,3,4,5
5
x x y y
n
i j i j i j i j
i j
loss x x x x l i n j
n
-
= =
= - + - = - =
å å
K，
其中，loss 代表误差，i 表示数据集中第
i
张图片，
n
表示数据集共有
n
张图片，j 表示图
像中第 j 个特征点，
x
j
表示第
j
个特征点的
x
坐标下索引，
y
j
表示个特征点的
y
坐标下索引，
'
,i j
x
表示第
i
张图片第
j
个特征点坐标估计值，
,i j
x
表示第 i 张图片第
j
个特征点坐标真实值，
' 2 ' 2
, , ,2 ,
( ) ( )
x x y y
i j i j i j i j
x x x x- + -
表示在第
i
张图片的第
j
个特征点估计值和真实值的欧式距离，
l
为输入卷积神经网络人脸的长度。
6. 根据权利要求 4 述的一种人脸姿态估计方法，其特征在于，所述前馈神经网络训练中
采用采用的损失函数为：
2
( )
1
2
'
, ,
0
1
0, 1 1, 2,3
n
i j i j
i
err x x i n j
n
-
=
= - = - =
å
K，
其中，
,i j
x
表示第 i 个样本偏转的第 j 个欧拉角，
0, 1i n= -K
，
1,2,3j =
，n 为样本数目，
'
,i j
x
表示第 i 个样本偏转的第 j 个欧拉角的预测值。
7. 根据权利要求 4 述的一种人脸姿态估计方法，其特征在于，所述步骤生成姿态角估计
训练集包括步骤：
提取待估计的图片的人脸特征和旋转中心的坐标信息；
将所述特征点绕所述旋转中心旋转投射到预设平面上；
在预设平面中计算姿态角的角度值。
8.根据权利 1 至 4 任一项所述的一种人脸姿态估计方法，其特征在于，
所述第一模型为卷积神经网络模型，包括 1 个输入层，3 对卷积池化层，1 个卷积层，2
个全连接层；
所述第二模型为前馈神经网络模型，包括 11 个隐藏层和 1 个输出层。
9. 一种人脸姿态估计的装置，其特征在于，包括：
输入模块，用于接收待估计的图片；
第一模型，用于识别出待估计图片的人脸特征点，所述第一模型还包括第一模型训练模
块，用于训练所述第一模型，
所述第一模型训练模块包括：
训练集图片预处理模块，用于处理训练集中的图片，
卷积神经网络模块，用于判断人脸特征点；
第二模型，识别出待估计图片的人脸待姿态角，所述第二模型包括第二模型训练模块，
用于训练所述第二模型，
所述第二模型训练模块包括：
姿态角估计训练集生成模块，用于生成姿态角估计所需的训练集，
前馈神经网络模块，用于判断人脸姿态角。
10. 一种人脸姿态估计的设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理
3
器执行，以使所述至少一个处理器能够执行如权利要求 1 至 8 任一项所述的方法。
4
说 明 书
一种人脸姿态估计方法、装置和设备
技术领域
本发明涉及图像识别技术领域，尤其是涉及一种人脸姿态估计方法、装置和设备。
背景技术
目前，人脸姿态估计在人脸识别和人机交互等领域中发挥着重要作用。人脸姿态变化会
导致人脸信息丢失及差异，使得不同人的侧脸相似度比同一个人的侧脸和正脸之间的相似度
还要高。在海关、机场、展览馆等公共场合及公安追捕罪犯系统等实际应用中，当前人脸识
别技术受到限制。因此，人脸姿态估计对于多姿态人脸识别来说非常重要。除此之外，人脸
姿态估计还在智慧城市、司机疲劳检测系统等方面都有着广泛的应用。
根据实现原理和方式的不同，现有的人脸姿态估计方法大体上可以分为六类：（1）形状
模板匹配的方法；（2）检测分类器的方法；（3）特征回归的方法；（4）流形嵌入的方法；
（5）局部约束模型的方法；（6）脸部特征点几何关系的方法。其中，脸部特征点几何关系
的方法具有简单、耗时短、效率高等优点，基于卷积神经网络的人脸特征点提取算法使脸部
关键特征点的检测和定位精度得到保障。基于前馈神经网络的姿态估计有效避免人工模型估
计过程病态化的问题。
专利 CN108197547A 公开了一种人脸姿态估计方法、装置、终端及存储介质，基于残差
网络构建两个分类模型，第一分类模型用于粗分类，第二分类模型用于精确分类。存在的问
题是，最终输出的是分类结果，当待估计样本处于分类界限区间时，输出结果精度下降。
专利 CN105159452A 公开了一种基于人脸姿态估计的控制方法与系统，采用快速脸部识
别算法（比如采用约束局部模型 CLM）识别人脸，采用的分类模型可以是主动外貌模型
AAM(Active Appearance Model)，手工标注人脸对应的姿态信息，然后训练人脸姿态识别器。
存在的问题是，步骤复杂，精度受限于主动外貌模型 AAM 算法、人工标记误差。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的一个目
的是提供一种可即时进行特征点和姿态角位置标注，精度高的一种人脸姿态估计方法和装置。
