分类号： TP391.7 单位代码： 10335
密 级： 无 学 号：21530062
硕士学位论文
中文论文题目：非限制条件下的人脸识别技术研究
及其在盲人辅助中的应用
英文论文题目：Research on Unconstrained Face Recognition
and Application in Blind Assistance
申请人姓名：
赵向东
指导教师：
汪凯巍
专业名称： 光学工程
研究方向：
盲人视觉辅助
所在学院：
光电科学与工程学院
论文提交日期 2018 年 1 月
非限制条件下的人脸识别技术
研究及其在盲人辅助中的应用
论文作者签名:
指导教师签名:
论文评阅人 1：
评阅人 2：
评阅人 3：
评阅人 4
：
评阅人 5：
答辩委员会主席：
委员 1：
委员 2：
委员 3：
委员 4
：
委员 5：
答辩日期：
浙江大学研究生学位论文独创性声明
本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。
除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成
果，也不包含为获得 浙江大学 或其他教育机构的学位或证书而使用过的材料。与我一
同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。
学位论文作者签名： 签字日期： 年 月 日
学位论文版权使用授权书
本学位论文作者完全了解 浙江大学 有权保留并向国家有关部门或机构送交本论
文的复印件和磁盘，允许论文被查阅和借阅。本人授权 浙江大学 可以将学位论文的全
部或部分内容编入有关数据库进行检索和传播，可以采用影印、缩印或扫描等复制手段保
存、汇编学位论文。
（保密的学位论文在解密后适用本授权书）
学位论文作者签名： 导师签名：
签字日期： 年 月 日 签字日期： 年 月 日
I
致谢
时光荏苒，岁月如梭。两年多的硕士生涯即将进入尾声，回顾这一段令人难忘的求学
时光，导师的谆谆教诲还历历在目，实验室同学们的欢声笑语仿佛还在耳边萦绕。一路走
来，不管在科研还是生活中，都得到了周围很多人的帮助，在此向他们表达谢意。
感谢我的导师汪凯巍老师在科研道路上给我的指引。在整个研究生阶段，汪老师严谨
的科研态度、认真负责的教学方式和豁达的处事为人方式一直是我的榜样，言传身教，为
人师表。为视障群体解决生活挑战，将科学研究和技术落地紧密结合，汪老师敢为人先、
勇于担当的社会责任感总能为团队提供正能量。
感谢同课题组的白剑老师和梁宜勇老师在历次组会中提供的宝贵意见和建议。
在平常的科研学习中，接触最多的是课题组的同学们，难忘与大家一起讨论问题时的
良好氛围。感谢师兄龙宁波、杨恺伦博士，已 毕业的师兄吴阳阳硕士，同年入学的程瑞琦、
刘群博士，张豫、韩丹丹、詹世超硕士，以及低年级的胡伟健博士，陈浩、林书妃、黄昊
宇、白炳岳、费蕾、王娟、李华兵、孙东明、王之丰、黄志明、李艳宾、冯逸鹤、胡鑫欣、
徐承优硕士。同时，也要感谢实验室的其他同学，包括已经毕业的师兄师姐、即将入学的
准研一同学，一起营造的温暖舒适的 304 大家庭。
感谢杭州视氪科技有限公司提供的与真实盲人交流的机会。
最后，感谢父母家人在读研期间提供的倾力支持。
赵向东
2018 年 1 月于求是园
II
摘要
近年来计算机视觉在越来越多的领域取得了进展，智能硬件中集成的视觉算法正在深
刻地改变着我们的生活。全世界约有 2.53 亿视障人士
[1]
，由于视觉受损，他们的日常生活
面临很多不便，传统的助盲手段，如盲杖和导盲犬等，仅能提供有限的帮助。出行、社交、
学习、工作等各方面的困难使得他们迫切希望有一款辅助出行、帮助他们感受世界的智能
设备。
听声辨人是视障人士判断周围人身份的主要手段，但这种方式只在近距离下有效，而
且在嘈杂的环境中，依靠声音进行人物身份辨认会变得更加困难。近年来人脸识别技术取
得了很快的发展，然而其在实际自然场景中的应用仍然面临诸多需要解决的问题。人脸的
姿态、光照、分辨率等因素要求算法具有更高的环境适应性；人脸识别模型的训练样本的
获取需要更少的人为干预；随着新类别人脸的出现，识别模型需要能够自动更新；智能便
携式设备中的人脸识别还需要考虑实时性。本文结合人脸识别技术的研究现状，研究非限
制条件下的人脸识别技术，并将其应用于盲人辅助设备中，为视障人士提供周围人物感知
和人物身份辨别的帮助。
本文首先总结了目前人脸识别技术的发展现状，尤其是非限制条件下和用于盲人视觉
辅助的人脸识别。其次，梳理了和人脸识别相关的机器学习算法。在此基础上，本文针对
人脸识别系统需要人工干预准备训练数据集的限制条件，提出了人脸跟踪和自动预分类算
法，可以在非人工干预的情况下由算法自动生成训练数据库，并通过和视障用户交互的方
式获取真实标签。本文将基于人脸关键点和三维人脸模型的人脸图像矫正算法应用于训练
样本的预处理，减小类间样本差异，并在实际场景中的人脸图片上实验了算法的表现，提
高了识别准确率。针对计算资源有限并且有实时性要求的盲人辅助设备，本文提出了三种
人脸识别（分类）算法，并对既有人脸数据库和实际场景中的人脸分别进行了实验。本文
还介绍了将图像数据获取、人脸检测、人脸矫正和人脸分类结合在一起的人脸识别系统的
多线程程序框架。
本文最后对当前人脸识别系统进行了总结，对未来的发展方向作出展望。
关键词：盲人视觉辅助，非限制条件，人脸识别，机器学习
