没有合适的资源?快使用搜索试试~ 我知道了~
一种基于局部表征的面部表情识别算法.docx
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 23 浏览量
2022-11-28
20:24:47
上传
评论
收藏 2.4MB DOCX 举报
温馨提示
试读
20页
一种基于局部表征的面部表情识别算法.docx
资源推荐
资源详情
资源评论
人脸表情识别可以识别人类面部表情,例如惊讶、悲伤、高兴、愤怒等,且
面部表情识别存在广泛潜在应用
[1]
,可用于人机交互、购物推荐、犯罪调查、医
疗救助等。例如:人机交互时根据用户浏览商品表情变化推荐商品、推测喜好;
刑事侦查中利用犯罪嫌疑人面部表情推测其心理变化;医疗救助时观测患者面
部表情调整药品剂量等。
文献[2]提出人类情感信息有 55%是通过人脸传递的,若能使用计算机读取
面部信息,人机交互将会有更好的体验。基于此,1987 年美国心理学家 EKMAN
等
[3]
提出面部运动编码系统(Facial Action Coding System,FACS),该系统对常
见的面部肌肉运动单元(Action Unit,AU)做出详尽描述并将其具体到编码,同时,
他们将人脸表情分为 6 种基本表情:愤怒、厌恶、惊讶、高兴、悲伤、恐惧。
在 EKMAN 等的研究基础上,面部表情识别已取得很大进步。通常情况下,
多数方法将面部表情识别分为两步:特征提取与分类,特征提取分析面部图像并
获取潜在特征,分类器根据所获潜在特征做出最优分类。特征提取是表情识别
关键一步,直接影响表情识别的效果。对于特征提取现有研究将其分为两类:几
何特征和纹理特征。一些研究学者
[4,5,6,7]
提出根据人脸特征点形变情况统计进而
识别表情,建立在可靠特征点定位与跟踪之上,并根据特征点间数学特征统计求
得表情分类;然而仅靠部分特征点变化分析并不能代表整幅人脸表情,导致精度
不 高 。 文 献 [8] 提 出 使 用 Gabor 滤 波 器 与 局 部 二 值 模 式 (Local Binary
Pattern,LBP)相结合提取表情特征,在 CK+
[9]
和 JAFFE
[10]
数据集最高平均准确
率取得 82.0%与 97.2%,传统纹理特征提取易受光照、遮挡等环境干扰影响。
随着卷积神经网络(Convolutional Neural Networks,CNN)兴起,有学者提出将
CNN 特征用于表情识别,通过事先标定标签提取人脸全局特征迭代回归并取得
不错的成 绩
[11,12,13,14,15]
,然 而 只 有 人 脸全局特征,忽略局部细节特征,从 而 造 成难
以区分相似表情,例如惊讶与恐惧。文献[16]采用高斯拉普拉斯算子(Laplace of
Gaussian function,LoG)对眼睛与嘴巴区域细节增强并提取面部全局特征,经后
续支持向量机(Support Vector Machines,SVM)分类,采用增强细节以突出局部
特征不够明显,同时面部全局特征会对局部特征提取产生干扰。文献[17]采用人
脸 关 键 点 定 位 并 在 关 键 点 周 围 提 取 适 量 面 部 突 出 块 (Salient Facial
Patches,SFP)的 LBP 特征,其最高平均准确率在 CK+与 JAFFE 数据集,分别为
93.33%与 91.8%;文献[18]在面部 68 特征点周围提取 8 个 SFP 的 Hahn 特征
并级联采用 SVM 分类,最高平均准确率在 CK+与 JAFFE 数据集,分别为 91.33%
与 93.16%。SFP 方法突出了表情局部特征,然而现有研究方法 SFP 选取未有
依据,同时忽略了不同表情局部特征的不同比重。根据文献[19]的研究,面部 6
类基本表情均有 FACS 编码中对应的面部肌肉运动单元 AU,其将 6 类表情 AU
细细分类,并通过识别统计 AU 经后续贝叶斯算法分类表情;然而该方法需要大
量识别 AU 且单个 AU 识别准确率低。
基于此,笔者提出表情识别算法 EAU-CNN:① 该算法在人脸 68 个特征点
基础上,依据 FACS 定义将面部细分 43 个子区域。文中统计了 6 类基本表情 AU
产生域,根据产生域与面部器官将子区域归类到 8 个局部候选区域 AUg
i
,为 SFP
选取提供依据,并尽可能避免过多提取不同表情相近面部特征,解决了贝叶斯算
法中需大量识别 AU 与单个 AU 识别率低的问题;② 为均衡提取各个局部候选
区域特征,EAU-CNN 采取 8 个并行的特征提取分支,并按照局部候选区域 AUg
i
面积比例支配不同维全连接层。分支的输出按照注意力自适应地连接,以突出
不同局部候选区域的重要程度,最终经 Softmax 函数将表情分为 7 类:中性、愤
怒、厌恶、恐惧、高兴、悲伤、惊讶。其平均准确率在 CK+与 JAFFE 数据集
分别取得 99.85%与 96.61%,相比 CNN
[20]
方法,提升了 4.09%与 22.03%,相比
M-Scale
[16]
方法,提升了 1.61%与 11.86%,相比 S-Patches
[17]
方法,提升了 6.01%
与 10.17%。后续内容分为两部分:EAU-CNN 面部表情识别算法、实验验证与
分析。
1 EAU-CNN 面 部表情 识别算 法
1.1 面 部分区
面部肌肉运动形成面部表情,现有做法将其分为 45 种。表 1 为部分 FACS
描述,它可以构成多种表情。根据文献[19]的研究,面部 6 类基本表情均有对应
的单个或者组合面部肌肉运动单元。如表 2 所示,愤怒时眉毛会皱在一起、眉
宇间出现竖直皱纹、下眼皮拉紧同时抬起或抬不起等,面部肌肉运动单元相应
表现为 AU4、AU5、AU7、AU23、AU24 的其中一种或多种;厌恶时眉毛压低、
上唇抬起、下眼皮下部出现横纹,面部肌肉运动单元相应表现为 AU9、AU17;恐
惧时眉毛皱在一起并抬起、上眼睑抬起、下眼皮拉紧、嘴唇或轻微紧张等,面
部肌肉运动单元相应表现为 AU4、AU1+AU5、AU5+AU7;高兴时眉毛可能会
下弯、下眼睑下边可能鼓起或出现皱纹、嘴角后拉并抬高、牙齿可能会露出等,
面部肌肉运动单元相应表现为 AU6、AU12、AU25;悲伤时眉毛内角皱在一起
并抬高、嘴角下拉、眼内角上眼皮抬高等,面部肌肉运动单元相应表现为 AU1、
AU4、AU15、AU17;惊讶时眉毛抬起变高变弯、眉毛下皮肤拉伸、眼睛睁大、
上眼皮抬高、下眼皮下落、嘴张开、唇齿分离等,面部肌肉运动单元相应表现
为 AU5、AU26、AU27、 AU1+AU2。
表 1 部分 AU 描述
AU
描述
样图
1
内眉抬起
2
外眉抬起
4
眉毛压低
5
上眼睑抬起
6
脸颊抬起
7
眼皮拉紧
9
鼻子皱起
10
上嘴唇抬起
12
嘴角拉紧
剩余19页未读,继续阅读
资源评论
罗伯特之技术屋
- 粉丝: 3576
- 资源: 1万+
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功