1. 引言
手诊法是中医望诊中的特色诊断方法之一,中医能够通过手掌九宫区域的气色、纹
理、形态等表征来判断人体的健康状况
[1]
,但中医仅凭观察无法得到手掌九宫区域的热量
信息,而热量信息对中医手诊法的辅助诊断有着重要的作用
[2]
.随着智能医疗系统的出现,
医用红外热像仪能够弥补中医望诊的不足,医用红外热像仪能够显示红外手掌图像,并对
人体相应的脏腑功能状态进行分析并诊断健康状况
[2]
.然而,在利用医用红外热像仪对红外
图像进行关键点定位时,由于手掌的大小和角度以及伸张程度的不同,传统的定位算法
[3]
会导致结果出现误差.因此,提高红外手掌图像关键点的定位精度,成为了手诊九宫的首要
任务.
近年来,卷积神经网络(Convolution Neural Networks, CNN)
[4]
在关键点定位方面已经取
得了突出的成果.CNN 具有开发周期短、学习特征能力强的特点,因此使用 CNN 实现关键
点定位成为了主流.Chen Y 等人
[5]
提出级联金字塔(Cascaded Pyramid)网络,该网络提取关键
点的局部特征和全局特征来提高关键点定位精度,但该网络难以检测出遮挡的关键点.Open
pose
[6]
通过多阶段连续的网络进行反复迭代得到关键点坐标,虽然该网络具有较快的检测速
度,但在有些关键点上会出现定位偏离的问题.Sun K 等人
[7]
提出了 HRNet (High Resolution
Net)网络,该网络将特征图从高分辨率到低分辨率形成的多个子网并行连接,同时将特征
进行多尺度融合,使特征图始终保持高分辨率,以实现关键点定位,但该网络计算量较
大.HHLN
[8]
根据在可见光下手掌颜色变化较小,并利用深度图像的 octree 生成粗糙的手部
区域,然后将手部区域构造成一个高分辨率的 octree 进行精细的位置估计,但该网络难以
处理由于手掌温度不同容易引起颜色多样的红外图像.Tang W 等人
[9]
提出关键点分组网络
PBN(Part-based branching network),根据关键点的相关性程度将其分成五类,将同一类的
关键点放在同一个分组网络中进行训练,以实现关键点定位,但该网络需要通过复杂的计
算来确定分组的关键点.文献[10]发现在适当深度的网络上,以串联的方式增加卷积层会降
低定位精度,即出现网络退化的现象.为了解决网络退化的问题,He Kaiming 等人
[11]
提出了
残差网络(Residual Networks, ResNet),通过跳跃连接的方式在每两层卷积层之间增加一个
shortcut,实现恒等映射,由此来改善深度网络出现网络退化的问题.在 2019 年 Yan T 等人
[12]
在残差网络的基础上引入金字塔模块提取图像特征,用来提升关键点定位性能,但在空
间分辨率低的图像中会出现关键点漏检的现象.以上方法都是基于可见光图像下的定位,很
少有研究人员在红外手掌图像上使用 CNN 进行关键点定位的研究;并且传统红外图像定
位算法
[3]
因为使用关键点的空间几何位置进行定位,所以对定位目标的大小和动作姿态的
变化存在较大的定位误差.
针对上述问题,本文提出一种多尺度空洞卷积特征金字塔融合的残差网络(Multiscale
Dilated-convolution Feature Pyramid Fusion Residual Networks, MDFPF-ResNet)定位方法,以
实现红外手掌图像关键点的定位.首先在金字塔中集成多尺度空洞卷积,提高图像高层语义
评论0
最新资源