量子位硬科技深度产业报告—虚拟数字人
真人驱动型技术流程
1. 形象设计及建模
基于IP设计或真人偶像绘制原画，进行面部及身体3D建模，选择关键点
2.建模绑定
将识别关键点映射至模型上，进行绑定。关键点绑定的数量及位置影响最终效果。
3. 表演捕捉
利用动作捕捉设备或特定摄像头+图像识别，捕捉在形体、表情、眼神、手势等方面的
关键点变化。
4. 驱动及渲染
真人演员（在虚拟偶像中称为中之人）根据制作需要进行相应表演，实时驱动虚拟数字
人表演。在较为精细的制作中，会需要根据真人演员和建模的区别进行重定向，并对动
作、眼神、手指等采用不同的驱动方式。
需要时需进行语音合成，形成特定设置语音
5.生成内容，进行互动
进行直播，或录制其动作生成内容
在计算驱动型中，虚拟数字人的语音表达、面部表情、具体动作将主要通过深度学习模型的运算结果实时或离线驱动，
在渲染后实现最终效果。
计算驱动的虚拟数字人最终效果受到语音合成（语音表述在韵律、情感、流畅度等方面是否符合真人发声习惯）、
NLP技术（与使用者的语言交互是否顺畅、是否能够理解使用者需求）、语音识别（能否准确识别使用者需求）等技
术的共同影响。尽管在特定方向上，各感知类技术已有的商业化能力已足以支撑，然而，但要达成理想的综合效果，
需要该公司在三个方面同时具有较强的综合能力。这也间接导致国内开展计算驱动型虚拟数字人业务的公司，大多是
在感知技术方面有较强的综合实力，相对成熟的AI技术公司。
计算驱动型技术流程
1. 设计形象。扫描真人形态及表演、采集驱动数据
利用多方位摄像头，对通用/特定模特进行打点扫描（视最终需求可进行全身或局部扫描），采集其说话时的唇动、表情、面部肌肉变化细节、姿态
等数据
从技术层面来看，虚拟数字人可以分为真人驱动型和计算驱动型。后者是近年来多模态技术和深度学习发展的技术集
大成者。
在真人驱动中，在完成原画建模和关键点绑定后，动捕设备或摄像头将基于真人的动作/表情等驱动虚拟数字人。
由于背后有真人操作，真人驱动型在动作灵活度、互动效果等方面有明显优势，一方面能够在影视内容的创作中减低
生产成本，为影视行业降低门槛，推动影视级内容向消费级转化。另一方面则多用于虚拟偶像、重要直播中，帮助虚
拟数字人完成大型直播、现场路演等互动性、碎片化活动。
事实上，这种技术思路可以看作是传统影视制作中，CG技术的进一步延续。近年来主要的技术突破在于动作捕捉环
节。随着图像识别技术，姿势、表情等识别算法的进步，昂贵的惯性或光学动捕设备不再是驱动的必备工具。普通摄
像头结合理想的识别算法通用能实现较为精准的驱动（如iPhone 12摄像头已可支持简单的动作捕捉），显著降低了
精细虚拟内容生成的门槛。
美国虚拟主播CodeMiko
采用真人驱动方法调整虚拟主播的动作及表情
1.2 技术细节
2
VIP享7折，此内容立减4.47元 
