实时语音驱动的虚拟说话人 (2011年)

该文实现了一个实时语音驱动的虚拟说话人面部动画方案。随着语音信号的输入，同步生成对应的面部动画。这种实时语音驱动的虚拟说话人在可视电话、虚拟会议、音视频聊天等即时通讯与娱乐媒体领域具有巨大的应用潜力。由于音素是最小的可分发音单元，因此构建音素识别器，对输入语音信号进行实时音素识别。为提高语音与口型的同步效果，改进了音素识别与输出算法。考虑协同发音影响，利用动态视素生成算法，将识别得到的音素转化为对应的面部动画参数序列。最后用参数序列驱动按照MPEC-4面部动画标准参数化的3-D头部模型，实现面部动画的同步