项目描述:
该项目的目标是开发一款 3D 社交软件,使用手机自拍照作为输入,生成 3D 头部模型。发型和身体
部分美术人员事先做好,头部使用 BFM2019 的基础模型,将身体和头部拼接好作为固定的拓扑,每次使
用照片生成新的头部模型时,替换相应顶点。整个人体绑定了骨骼,可以做各种动作,脸部表情可以通过
骨骼动画实现,也可以通过 BFM 建模实现。
职责描述:
主要负责身体部分和 BFM2019 头部的拼接,生 成完整的拓扑并且展开成多张 UV,分 别生成三张贴图
(脸部、后脑勺和身体)。脸部的贴图使用一张固定的美术贴图,建模的时候使用自拍照根据 UV 生成新的
贴图和固定的美术贴图做泊松融合。计算固定的美术贴图和生成的人脸贴图前脸 ROI 区域的颜色偏差,将
这个偏差加到后脑勺和身体的皮肤上。该项目的主要优势是我们通过估算相机的焦距实现透视投影方法的
单张/多张(使用深度学习根据正脸的图像生成侧脸的图像)图像建模,大部分开源的代码是使用正交投影
的方法建模,表情无法准确复现。根据输入视频生成 3D 表情动画,第一帧使用非线性优化,后面每一帧
根据 3D 关键点坐标进行线性求解,对形状参数和表情参数做线性插值,对刚性变换做四元数球面 Slerp
插值,每一帧图像得到三帧模型和贴图。