Talking-head-Generation-with-Rhythmic-Head-Motion

有节奏的头部动作产生说话的头部（ECCV 2020） Pytorch实施，用于音频驱动的谈话头视频合成。 给定一个输入的采样视频帧和一个驱动音频，我们的模型利用3D面部生成过程来生成一个说音频的头部。 此外，我们的模型实现了可控的头部运动以及面部表情，从而产生了更加逼真的头戴式视频。 我们基于编码框架实现该模型。 在VoxCeleb2和结果唇读，在最狂野的数据集 代码实施 在本节中，我们将介绍如何实现我们的方法。 包括要求，数据集，培训和测试。 预先要求 我们使用NVIDIA GPU和CUDA在Linux系统中运行代码。 要运行代码，请准备： 的Python 3 火炬1.3 脾气暴躁的 dlib 支配 数据集 我们在四个数据集 ， ， ， 数据集中训练和测试模型。 对于每个这些数据集，我们生成地标，3D面部框架并计算每个目标框架的旋转。 预处理代码将很快发布。 训练 在我们