没有合适的资源?快使用搜索试试~ 我知道了~
融合特征编码的面部表情编辑技术.docx
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 41 浏览量
2022-12-15
14:21:49
上传
评论
收藏 356KB DOCX 举报
温馨提示
试读
15页
融合特征编码的面部表情编辑技术.docx
资源推荐
资源详情
资源评论
人脸表情生成技术是人工智能研究领域的热点之一,由于不同人种之间脸部轮廓和不
同年龄段人群皮肤纹理存在差异等问题,给生成真实感的人脸表情任务带来很大的挑战。
面部角度、光线、复杂的背景环境都会给生成效果带来影响。
传统的表情生成方法有多种,表情渐变技术使用几何或参数插值方式在同一个人两幅
不同表情之间进行控制面部表情
[1-2]
,插值的帧间形变函数根据表情任务的复杂度确定,线
性插值由于简单而被广泛使用。然而,在实际应用中,通常会存在不同人之间表情转换的
需求,表情映射法可实现任意人物不同表情的合成,一般的表情映射需要两个人物的中性
表情,获取同一个人的中性表情和目标表情的特征差值作用到特定的中性人脸表情上
[3]
,
该方法仅解决了新表情的生成,忽略了表情转化引起皮肤的纹理变化,使生成的图像缺少
真实感。二维网格法综合考虑了这两个方面,头部的几何信息抽象出由三角形组成的网格
结构,并用参数化模型表示,改变表情肌肉群对应的三角顶点位置参数合成新的表情。同
时,为了完成皮肤细节的变化,对改变后的图像像素进行重新分配
[4]
。
随着计算机硬件条件的提高,使用大规模参数运算的深度学习变为流行,2014 年文献
[5-6]提出了生成对抗网络(generative adversarial networks, GAN),使生成对抗网络在深度学
习领域掀起了热潮,图像域间的转换、脸部外观改变等高质量图像的生成技术出现。与只
考虑特定外观修饰的面部属性编辑相比,面部表情编辑是一项更具挑战性的任务,因为它
通常涉及较大的几何变化,需要同时修改多个面部成分。
目前生成离散的面部表情模型居多,这些网络基本可完成面部属性变化的任务
[7-9]
。
IcGAN 利用两个 Encoder 网络分别对输入图像提取头部基本特征向量和属性特征
[10]
,将头
部属性特征向量对应位置的特征值进行 0-1 转换,使其转换为目标向量。再与基本特征向
量串联输入到生成网络 IcGAN。在生成离散表情领域里,StarGAN 是最成功的框架,可生
成多属性的高清人脸图像。该网络把表情作为其中一个目标属性域,使用单个生成器学习
多领域图像之间映射关系
[11]
。由于 StarGAN 在属性标签的基础上完成图像生成,生成的目
标表情受数据集表情标签限制,在数据集注释粒度定义的离散属性中改变面部一个特定的
部分,在表情方面只能渲染离散的情绪类别。
在实际的应用中,希望模型可合成任意表情,然而表情幅度可控的高质量图像生成研
究较少
[12-14]
,ExprGAN 是第一个基于 GAN 模型且将允许连续地控制表情强度,该模型能
够分离地学习身份特征和表情表示,但每种表情仅允许 5 个固定强度变化
[15]
。G2-GAN 使
用面部几何(基准点)作为可控制条件来指导具有特定表情的面部纹理合成,一对生成性对
抗性子网络被联合训练做相反的任务:表情移除和表情合成。成对的网络在无表情人脸和
表情人脸之间之间形成一个映射循环,能很好地捕捉表情变化引起的面部纹理的变化,合
成不同强度的表情
[16]
。GANimation 算法能够在一个连续的区域内生成具有解剖学意义的更
广泛的表情,无需预先计算输入图像中面部标志点的位置
[17]
,通过编码脸部肌肉运动单元
AU(action unit),调节脸部某些区域肌肉运动强度,从而实现复杂的面部表情合成。但是,
该模型容易在表情密集区域产生伪影和模糊,提取的特征还原不到位,表情操控能力相对
较弱,存在生成图像达不到目标表情要求的问题。
为了解决这些问题,对 GANimation 生成器的网络结构进行改进,在生成器的
Decoder 中加入一层上采样,保持数据维度一致,且在生成器的 Encoder 和 Decoder 特征层
之间以长跳跃连接的方式引入 4 个多尺度特征融合模块(multi dimension feature fusion,
MFF),每个模块融合来自当前层的编码特征和添加在下一层融合模块的融合特征,提高图
像质量和表情编辑性能。
1. 连续表情生成模型的构建
近年来,生成对抗网络已经在面部表情合成任务中取得了重大的进展,改进后的网络
使用符合人类解剖学的面部动作编码系统(facial action coding system for human anatomy,
FACS),以肌肉动作单元 AU 向量来描述面部表情
[18]
。如图 1 的表情,由以下 AU 激活产
生:眉毛内侧向上拉起(AU1)、眉毛外侧向上拉起(AU2)、上眼睑提升(AU5)、嘴角向下拉
肌肉(AU25)、AU26(下颌下垂)
[19]
。AU 输入到网络模型,通过控制其强度值实现连续面部
表情的生成。
图 1 表情对应的脸部肌肉区域
下载: 全尺寸图片 幻灯片
改进后的连续表情生成网络模型结构由生成器 G 和判别器 D 组成,如图 2 所示。2
个 G 网络分别提取目标表情 AU 向量 ygyg 的操纵特征以合成目标表情图像和使用原表情
AU 向量 y0y0 对生成表情进行还原重构。判别器 D 判别图像的真伪以及回归目标表情向量
y^gy^g 和 y^0y^0。该算法采用无监督的学习方式,即不需要同一个人不同表情的图像对
比,也不需要目标图像的已知。
图 2 改进后连续表情生成模型结构
下载: 全尺寸图片 幻灯片
1.1 多尺度特征融合模块
生成器的 Encoder 部分通过下采样获得表情动作单元操纵的高级抽象,但是下采样不
可逆地降低空间分辨率和特征图的细节,这些细节无法通过反卷积完全恢复,导致生成的
面部缺失模糊,表情强度不够。为了提高编辑结果的图像质量,本文构建了多尺度特征融
合模块 MFF
[20]
,在生成器的编码与解码网络之间以跳跃连接的形式引入,用在不同的空间
分辨率下增强图像的修改特征。图 3 给出了一个多尺度特征融合模块 MFF 的输入输出,当
前层的编码特征是指所加 MFF 模块对应位置的编码特征,输出在不同空间大小下学习的融
合特征。
剩余14页未读,继续阅读
资源评论
罗伯特之技术屋
- 粉丝: 3675
- 资源: 1万+
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 基于JavaScript和CSS的随寻订购网页设计源码 - web-order
- 基于MATLAB的声纹识别系统设计源码 - VoiceprintRecognition
- 基于Java的微服务插件集合设计源码 - wsy-plugins
- 基于Vue和微信小程序的监理日志系统设计源码 - supervisionLog
- 基于Java和LCN分布式事务框架的设计源码 - tx-lcn
- 基于Java和JavaScript的茶叶评级管理系统设计源码 - tea
- IMG_5680.JPG
- IMG_0437.jpg
- 基于Java的JAVA项目分析工具设计源码 - JAVAProjectAnalysis
- top888.json
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功