第 32 卷 第 7 期 计算机辅助设计与图形学学报 Vo l. 32 No.7
2020 年 7 月
Journal of Computer-Aided Design & Computer Graphics Jul. 2020
收稿日期: 2020-03-03; 修回日期: 2020-04-19. 基金项目: 国家重点研发计划(2019YFF0302902); 清华大学自主科研计划
(20197010003). 付心仪(1989—), 女, 博士, 助理研究员, CCF 会员, 主要研究方向为人机交互、情感计算、用户体验、文化遗产数字
化; 薛程(1994—), 男, 硕士, 主要研究方向情感计算、大视场虚拟现实设备、游戏制作; 李希(1996—), 女, 硕士研究生, 主要研究方
向情感计算、差分渲染、非真实感绘制; 张玥泽(1995—) 男, 硕士研究生, 主要研究方向为计算机视觉, 混合现实; 蔡天阳(1996—),
男, 硕士, 主要研究方向为计算机视觉, 情感计算.
基于姿态的情感计算综述
付心仪
1,2,3)
,
薛程
4)
,
李希
1)
,
张玥泽
5)
,
蔡天阳
6)
1)
(清华大学美术学院 北京 100084)
2)
(清华大学未来实验室 北京 100084)
3)
(清华大学-阿里巴巴自然交互体验联合实验室 北京 100084)
4)
(中国传媒大学动画与数字艺术学院 北京 100024)
5)
(Department of Informatics, Technical University of Munich Munich 80333)
6)
(School of Information Engineering, University of Technology of Compiegne Compiegne 60200)
(fuxy@tsinghua.edu.cn)
摘 要: 情感计算的理论与算法研究是近年来人机交互领域的热点话题. 当前, 常见的情感计算集中在基于面部表
情、语音、文本、人体姿态等方向, 既有单一模态的算法, 又有多模态的综合算法. 基于面部表情和语音模态的算法
占据多数, 国内外基于人体姿态的算法相对较少. 文中针对基于姿态的情感计算所面临的几个关键科学问题展开了
综述, 包括情感的心理学模型、人体姿态估计算法、姿态的情感特征提取算法、情感分类与标注算法、姿态情感数
据集、基于姿态的情感识别算法等. 具体来说, 首先介绍了几种常用的情感计算心理学模型, 评述了各类模型的适用
场景; 随后从人体检测和姿态估计 2 个角度对人体姿态估计的常用算法进行了总结, 并讨论了 2D 和 3D 姿态估计的
应用前景. 针对特征提取算法, 分析了基于全身和上半身身体动作的姿态特征提取算法. 在情感标注方面, 介绍了表
演数据和非表演数据的情感标注算法, 并指出了半自动或自动的标注非表演数据将是未来的重要发展趋势之一. 针
对姿态情感数据集, 列举了近年来常见的 14 个数据集, 并主要从是否是表演数据、数据维度、静态或动态姿势、全
身或非全身数据等几个方面进行了总结. 在基于姿态的情感识别算法方面, 主要介绍了基于人工神经网络的情感识
别算法, 指出了不同算法的优劣之处和适用的数据集类型. 文中的综述研究, 总结提炼了国内外该领域经典且前沿
的工作, 希望为相关的研究者提供研究帮助.
关键词: 情感计算; 姿态; 情感特征; 情感标注; 情感识别
中图法分类号: TP391.41 DOI: 10.3724/SP.J.1089.2020.18350.z43
A Review of Body Gesture Based Affective Computing
Fu Xinyi
1,2,3)
, Xue Cheng
4)
, Li Xi
1)
, Zhang Yueze
5)
, and Cai Tianyang
6)
1)
(Academic of Art & Design, Tsinghua University, Beijing 100084)
2)
(The Future Laboratory, Tsinghua University, Beijing 100084)
3)
(Tsinghua University-Alibaba Joint Research Laboratory for Natural Interaction Experience, Beijing 100084)
4)
(School of Animation and Digital Art, Communication University of China, Beijing 100024)
5)
(Department of Informatics, Technical University of Munich, Munich 80333)
6)
(School of Information Engineering, University of Technology of Compiegne, Compiegne 60200)
Abstract: Research on the theory and method of affective computing has been a hot topic in the field of hu-
man-computer interaction in recent years. At present, the common research on affective computing in related
fields focuses on facial expression, speech, text, human gesture, and other directions. There are both sin-