2021 年易方达资产杯“人工智能+”大学生创新
技能挑战大赛暨 2022 年江苏省大学生计算机设计大
赛校内选拔赛
人工智能实践赛作品报告
作品名称：基于人体骨骼关键点识别的摔倒检测技术
作 者：一发密苏里
填写日期： 2021.10.16
填写说明：
１、 本文档适用于人工智能实践赛；
２、 正文一律用小四号宋体，1.3 倍行距，0.5 行段后距；一级标题为二号黑体，其
他级别标题如有需要，可根据需要设置，标题格式为阿拉伯数字，如第 1 章的标题
写为 1.1，1.1.1 等；
３、 本文档应结构清晰，突出重点，适当配合图表，描述准确，不易冗长拖沓；
４、 提交文档时，命名为“人工智能实践赛作品报告-队伍名称”以 PDF 格式提交；
５、 本文档内容是正式参赛内容组成部分，务必真实填写。如不属实，将导致奖项
等级降低甚至终止本作品参加比赛。
目 录
第 1 章 作品概述
...............................................................................................................................
1
第 2 章 问题描述
...............................................................................................................................
2
第 3 章 技术方案
...............................................................................................................................
4
第 4 章 系统实现
...............................................................................................................................
6
第 5 章 分析验证
...............................................................................................................................
9
第 6 章 作品总结
.............................................................................................................................
11
参考文献
...........................................................................................................................................
12
．1．
第 1 章 作品概述
【填写说明：重点介绍本作品的主题创意来源，产生背景，作品的用户群体、主要功能与特
色、应用价值、推广前景等。如果有同类竞品，建议从多个维度对本作品与竞品进行比较，
建议不超过 2 页】
1.1 设计背景
根据联合国人口署 2020 年公布的数据中国人口年龄中位数已达到 38.4，并
且预计在 2050 年达到 48。未来 30 年国内最大的投资主题应该是老龄化带来健
康和医疗服务机遇，而对老年人健康最大的威胁就是独居时的意外摔倒。糖尿病，
心血管疾病，骨骼疾病引发的摔倒或晕厥很可能由于得不到及时的处理而恶化。
市场上上已经出现多款家用智能监控，小米等对家居安全深入的企业已经推
出了支持双向语音通话，24h2k 高清红外摄像机，同时搭配简单人形检测 AI 的
家用摄像头。但这些固定的摄像头普遍有着覆盖范围小，需操作者查看，不能做
到实时响应危险等问题，不能提供广泛存在的独生子女家庭需要的服务。
1.2 作品功能
本作品基于以上不足与潜在需求，我们使用了 CMU 开源的人体姿态模型与识
别技术 openpose
[1]
，以及 MSCOCO 数据库和深度神经网络。期望完成以下工作构
想：
1 从可移动的摄像头接受输入
2
以高帧率处理图像，识别图像中人物
3 解析目标人体人体姿态以及骨骼关节点，保存数据
4
利用时段内关节点信息重建模型判断目标状况
5 目标处于摔倒状态超过阈值发出警报（紧急联系人）
整体工作流程可以参考下图
．2．
1.3 突出特点
面对上面提出的已存在产品的不足，我们期望打造产品的主要优势和攻关方
向有以下几点：
速度与相应时效，基于现有的技术加以改进取舍，在不影响识别正确率的基
础上降低系统流程的反应延迟，做到即时检测；
可靠性，依靠嵌入式开发，将系统集成到类似树莓派的硬件之上，搭配可移
动平台做到全方位监控同时保证隐私；
舒适性，避免误报产生的打扰，将在训练和检测数据中加入模糊数据重采样，
同时对一个时段内的数据集中分析。
1.4 应用前景
未来面向高龄人群的家居与健康服务市场潜力相当之大，肯定会有配套的系
列产品出现。加之许多企业提出了智能家居的理念构想，我们的作品完全可以嵌
入式部署在扫地机器人之类的产品上，配套监测心率健康手环，以实现更准确的
摔倒判断以及定位目标位置等功能，成为家居物联网中不可缺少的一部分。而且
这套技术应用范围不仅限于此，在同一套硬件设备的基础上，还可以附加婴幼儿，
宠物监护，防盗防火等功能，以供用户个性化选择。
第 2 章 问题描述
【填写说明：详细描述作品拟解决的实际问题，作品的功能和性能需求；使用的数据集，包
括数据格式，数据来源，数据获取方式，数据特点，数据规模等，并给出具体的数据样例。
所提出的指标点必须等在第 5 章得到印证】
3.1 样本不均衡与属性缺失
模型一人体姿态分析使用的是开源的 MSCOCO 数据
[3]
（url=cocodataset.org
图[2]）进行训练和测试，该数据集提供了超过两万张包含所有人体关键点信息
标注的图片，可以直接通过官网打包下载图片与标签数据，能完全满足 openpose
模型对于一般环境之下的正确率的需求
[1]
。但从二级输入以及应用背景的角度来
看，仅使用该数据集是不够的。
其一是因为本系统的最终目标是检测摔倒，而该数据集中此类标签之下的样
例太少，交给模型二的数据正反比例太过悬殊，摔倒这一行为太难准确地进行采
．3．
样；
其二性是由于环境遮挡，图片截取等多方面的因素，模型一的输出结果（关
键点信息）常存在属值缺失的情况，其中有些样例进行填充之后可继续使用（如
左耳），而有些关键的属性丢失会导致整个样例失效。必须对模型一的输出加以
判断和处理。对此我们的策略是：
(1) 扩大数据集，遇到类别不均衡问题时，可以再增加数据更多的数据，更多的
数据往往能够得到更多的分布信息，新增加的样本尽量调和原有的比例，即
多增加小类的样例。具体来说，我们是在不同环境下多人额外录制视频按照
10 帧/s 的频率采样，其中反例的比率较大。
(2) 数据集重采样，可以使用一些策略该减轻数据的不平衡程度。对小类的数据
样本进行过采样（over-sampling）来增加小类的数据样本个数，对大类的
数据样本进行欠采样（under-sampling）来减少该类数据样本的个数。
(3) 数据增强，对较少的正例样本图片进行适当的剪切，平移，旋转得到更多的
少量样本，从而实现正负类样本的均衡。
(4) 数据预处理，分析不同关键点的重要权值，对于缺失较少的样例可用均值或
者特征填充，缺失较多的样例直接舍弃。
3.2 快速实时响应
在设想的应用环境里，系统响应时长和处理速度都至关重要。在出现意外后
能够及时做出相应，以及处理运行的速度应与视频输入的速度保持一致，是衡量
系统性能的重要指标。为了减少整个系统的运行用时，以达到即时对视频输入作
出反应，我们仅对图片中置信度（confidence）最高的部分所组成的人体进行判
断分析。同时减少相关性较低的 face feature 和 hand feature 的模型关键点
匹配。从原有的 22(face) + 12(hand) + 25(body)减少为 25 关键点位。同时降
低输出的帧速率以提高模型二的吞吐量。
3.1 假反例率高
不仅样本中正例(正常)反例(摔倒)比例过大，正反例的先验概率之比也很
大。直观来想，生活中真正摔倒的情况是比较罕见的，而且存在很多容易被误判
为摔倒的动作：躺下，睡觉，坐下等。对于这些敏感易混淆的数据应重点分析处
理。不然就会频繁出现虚假警报的情况，降低真正危险受到的注意程度。同时也
不能降低整体反例的预测阈值——误报固然会形成骚扰，但漏报会影响产品整体
可靠性的评估。最好是能从多方面测量提高模型的准确度。
