基于人脸姿态估计的多角度虚拟眼镜试戴技术.docx

基于人脸姿态估计的多角度虚拟眼镜试戴技术 本文主要研究基于人脸姿态估计的多角度虚拟眼镜试戴技术，以提高虚拟眼镜试戴的时效性和真实性。目前，网络配镜平台基本缺乏专业化的虚拟试镜功能，导致真实化和私人化特征不足。通过对已有研究方法的分析和比较，发现实现较为真实的眼镜虚拟试戴，需要获取头部姿态转动信息，并解决现实的人脸图像与虚拟的眼镜图像之间合理化融合的难题。 本文设计的虚拟试戴系统流程如图 1 所示，包括视频流实时人脸动态姿态估计、人脸检测、面部特征点定位、眼镜模型处理、虚拟试戴等步骤。其中，人脸姿态估计算法的核心是精确的面部特征点定位，使用机器学习方法中的级联回归树算法（ERT）和支持向量机（SVM）分类器实现对人脸面部特征点的精确定位。 ERT 算法通过创 建级联残差回归树逐渐将人脸形状从当前形状回归到真实形状，每个叶子节点都存储着残差回归，最后将所有残差叠加在一起，实现面部对齐的目的。该算法的核心计算式如式（1）所示。 在人脸检测方面，本文使用了四种方法：基于先验规则的方法、基于灰度信息的方法、基于几何形状的方法和基于机器学习和深度学习的统计类方法。其中，机器学习方法中的级联回归树算法（ERT）和支持向量机（SVM）分类器可以实现对人脸面部特征点的精确定位。 在面部特征点定位方面，本文使用了 Histogram of Oriented Gridie（HOG）特征提取和支持向量机（SVM）分类器，通过建立图像金字塔，对每一級图像执行 HOG 特征提取，经 SVM 分类确定图像中是否存在面部，然后结合 GBDT 级联回归残差网络，实现对单幅人脸图像特征点定位结果如图 2 所示。 同时，将定位出的 68 个特征点信息计入 CSV 文件，部分特征点位置信息如表 1 所示。通过本文设计的虚拟试戴系统，可以实现多角度虚拟眼镜试戴，提高虚拟试戴的时效性和真实性，满足消费者的需求。