没有合适的资源?快使用搜索试试~ 我知道了~
为了提高人像的脸部表情质量,提出一种面向同一人脸表情转移的方法.该方法的输入包括2幅人脸图像、中性人脸库以及人脸blendshape模型.首先根据人脸轮廓面积,从2幅输入人脸图像中选择一幅近正面人脸图像,并利用中性人脸库及人脸blendshape模板生成输入人脸的特定blendshape模型;然后利用blendshape模型生成与输入人脸图像匹配的三维人脸模型,并利用RBF网格变形算法对其进行调整;最后利用生成的三维人脸模型对2幅输入图像进行扭曲,并通过图像混合的方式生成表情转移图像.实验结果表明,文中方法能够生成自然的表情转移图像,有效地提高原有图像中的人脸表情质量.
资源推荐
资源详情
资源评论
第 28 卷 第 1 期 计算机辅助设计与图形学学报 Vol. 28 No.1
2016 年 1 月
Journal of Computer-Aided Design & Computer Graphics Jan. 2016
收稿日期:2014-12-24; 修回日期:2015-05-29. 基金项目:国家自然科学基金
(61379079, 61202207, 61472370, 61502433); 教
育部博士点基金(20124101120005).
吕 培(1986—), 男, 博士, 讲师, 主要研究方向为计算机动画、图像处理; 徐明亮(1981—), 男,
博士, 副教授, 博士生导师, CCF 会员, 主要研究方向为虚拟现实、群组动画; 谢 蕾(1983—), 女, 学士, 主要研究方向为计算机动
画、图像处理; 周 兵(1964—), 男, 博士, 教授, 博士生导师, CCF 会员, 主要研究方向为视频编码.
表情数据库无关的人脸表情转移
吕 培
1)
,
徐明亮
1)*
,
谢 蕾
2)
,
周 兵
1)
1)
(郑州大学信息工程学院 郑州 450001)
2)
(浙江大学 CAD&CG 国家重点实验室 杭州 310058)
(iexumingliang@zzu.edu.cn)
摘 要: 为了提高人像的脸部表情质量, 提出一种面向同一人脸表情转移的方法. 该方法的输入包括 2 幅人脸图像、
中性人脸库以及人脸 blendshape 模型. 首先根据人脸轮廓面积, 从 2 幅输入人脸图像中选择一幅近正面人脸图像, 并
利用中性人脸库及人脸 blendshape 模板生成输入人脸的特定 blendshape 模型; 然后利用 blendshape 模型生成与输入
人脸图像匹配的三维人脸模型, 并利用 RBF 网格变形算法对其进行调整; 最后利用生成的三维人脸模型对 2 幅输入
图像进行扭曲, 并通过图像混合的方式生成表情转移图像. 实验结果表明, 文中方法能够生成自然的表情转移图像,
有效地提高原有图像中的人脸表情质量.
关键词:人脸表情; 表情转移; 网格变形; 图像混合
中图法分类号:TP391.9
Facial Expression Transfer without Expression Database
Lu Pei
1)
, Xu Mingliang
1)*
, Xie Lei
2)
, and Zhou Bing
1)
1)
(School of Information Engineer, Zhengzhou University, Zhengzhou 450001)
2)
(State Key Laboratory of CAD&CG, Zhejiang University, Hangzhou 310058)
Abstract: This paper presents a method of facial expression transfer using expressions from same person. Its
target is to improve the quality of facial expressions in photos. The inputs of this method include two face
images, neural face database and template blendshape face model. Firstly, according to the contour of face
area, a near frontal face image is chosen from these two input face images. Secondly, based on the neutral
face database and template blendshape face model, a specific blendshape model for this person is generated.
Thirdly, using this blendshape model, the 3D face model of the input face is generated and refined using
RBF mesh deformation. Finally, with these two generated 3D face models, the two input images are distorted
and facial expression transfer image is generated. The experimental results show that the proposed method
can generate natural expressions transferred images and improve the quality of facial expressions in original
photos.
Key words: facial expression; expression transfer; mesh deformation; image composite
人脸表情转移在影视动画、视频游戏、社交娱
乐等领域的应用非常广泛, 吸引了大量计算机图
形学和计算机视觉领域的研究人员对该问题进行
研究. 在计算机图形学领域, 人们常常结合三维人脸
第 1 期 吕 培, 等: 表情数据库无关的人脸表情转移 69
模型来处理此类问题
[1]
, 或通过视频实时驱动三维
人脸模型, 或通过三维人脸模型对二维图像或视
频中的人脸进行扭曲. 在计算机视觉领域, 研究者
倾向于从视频或图片中搜索相似的人脸或表情,
通过交换人脸或混合图像的方式实现表情转移.
尽管已有的工作取得了不错的表情转移效果,
但仍存在一些问题: 1) 从图像或视频中恢复真实
的人脸几何模型, 尤其是恢复脸部细节是非常困
难的, 要么借助复杂的采集装置(如多视图方法)离
线计算得到; 要么结合大量的三维人脸模型数据
库恢复一些主要的人脸几何特征. 2) 通过人脸交
换和图像混合方式实现不同人脸之间的表情转移,
由于人脸之间存在着形状上的差异, 简单地进行
交换或混合往往会造成失真, 因此需要设计复杂
的人脸形状转移算法, 但结果不尽如人意. 针对上
述问题, 本文利用 2 幅人脸图像、中性人脸库以及
基本的blendshape模型作为输入, 并结合图像混合
方法, 实现同一人脸之间的表情转移.
1 相关工作
在计算机图形学领域, Yang 等
[2]
提出的
ExpressionFlow 较早实现了二维图像上的人脸表
情转移. 该算法的输入是同一个人 2 幅不同表情的
图像, 使用中性人脸模型和表情模型, 分别重建这
2 幅图像对应的三维人脸; 得到重建的人脸模型之
后, 计算两者在三维空间上的差异, 进而将三维空
间上的差异投影到二维平面, 通过图像扭曲及混
合实现参考图像到目标图像的表情转移. 该算法
对人脸表情数据库的依赖性很强, 一旦图像中的
人脸表情超出数据库可以表示的范围, 就无法计
算出真实可靠的三维人脸模型; 此外, 这种方法是
基于人脸整体的主成分模型, 无法很好地处理人
脸局部细节的变化. 还有一些研究
[3-6]
侧重于三维
人脸表情的重建和转移, 他们的做法是先对人脸
进行较为精细的建模(通过多目相机或深度相机);
然后根据输入数据生成特定人脸的 blendshape 模型;
最后通过求解 blendshape 系数来生成与输入数据中
人脸匹配的三维模型, 并利用该系数实现不同三
维人脸间的表情转移. 这类方法需要借助深度或
其他信息进行精细的三维人脸预建模, 不适用于
只有图片的人脸表情转移场景. Cao 等
[7]
提出的
FaceWareHouse 利用深度数据和 blendshape 模型构
建了一个非常大的三维人脸模型库. 由于数据库
中的人脸中性样本和表情样本很多, 所以能很好
地覆盖大多数的人脸表情; 基于该数据库, 他们提
出一个使用张量表示的双线性人脸模型(中性+表
情), 实现了对人脸及视频的一些可视计算和编辑,
取得了非常好的效果. 然而, FaceWareHouse 需要更
为精细的三维人脸预建模, 并且需要更大的数据
库来做支撑, 对人脸表情细节的处理也有一定的
限制.
文献[8]将上述人脸表情转移称之为人脸木偶,
主要是通过用户输入来驱动三维人脸模型. 另一
类人脸表情转移被归类为人脸交换
[9-12]
, 实现方式
是在不同的图像或视频中间交换人脸, 并保证最
终结果看起来足够自然. 要实现自然的人脸交换,
首先需要对待处理的源图像或视频及目标图像或
视频中的人脸进行定位、跟踪, 实现人脸对齐
[13-15]
;
然后定义合适的表情差异度量标准, 继而从表情数
据库中
[13]
寻找与目标人脸相似的人脸图像或视频
序列; 找到这样的人脸之后, 通过图像混合
[16-19]
实现对目标人脸的交换. 利用人脸交换实现表情
转移虽然取得了一定的效果, 但无法处理人脸有
较大位姿改变, 尤其是脸部出现旋转的情形.
2 本文算法流程
本文提出的同一人脸表情转移算法主要包括
两部分: 第一部分是根据 2 张人脸图片, 并结合中
性人脸模型和预定义的 blendshape 模型生成与人
脸图像较为匹配的初始三维人脸模型, 算法流程
如图 1 所示. 得到初始三维人脸模型后对其进行进
一步的网格变形, 使变形后的人脸网格投影到二
维平面之后, 网格上的特征点能够与人脸图像上
的特征点完全一致. 使用新的目标和参考三维人
脸模型, 并结合ExpressionFlow中的方法对目标人
脸图像进行扭曲操作, 得到最终新的表情图像, 算
法流程如图 2 所示.
图 1 初始目标和参考三维人脸模型生成
剩余6页未读,继续阅读
资源评论
weixin_38553837
- 粉丝: 3
- 资源: 954
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- js-leetcode题解之158-read-n-characters-given-read4-ii-call
- js-leetcode题解之157-read-n-characters-given-read4.js
- js-leetcode题解之156-binary-tree-upside-down.js
- js-leetcode题解之155-min-stack.js
- js-leetcode题解之154-find-minimum-in-rotated-sorted-array-ii.js
- js-leetcode题解之153-find-minimum-in-rotated-sorted-array.js
- js-leetcode题解之152-maximum-product-subarray.js
- js-leetcode题解之151-reverse-words-in-a-string.js
- js-leetcode题解之150-evaluate-reverse-polish-notation.js
- js-leetcode题解之149-max-points-on-a-line.js
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功