[发明专利]一种基于坐标系回归的实时骨骼关键点识别方法及系统

说明书

本发明公开了一种基于坐标系回归的实时骨骼关键点识别系统，包括图像采集模块、核心计算单元、轻量级神经网络算法模块、坐标系回归输出模块，所述轻量级神经网络算法模块采用ShuffleNetV2作为基础骨干网络，在ShuffleNetV2骨干网络的最后一层添加两次连续的上采样，并对网络中ShuffleV2Block3和DUC2进行跳跃连接(skip connection)，最后获得热图(heatmap)；所述坐标系回归输出模块，对通过所述轻量级神经网络算法模块获得每一个通道输出的热图，定义为Z，通过normalized(归一化函数)将数值归一化到0至1之间，并将归一化后的热图定义为得到一个离散概率分布值，表示为m×n的矩阵，m与n对应着热图的分辨率，通过定义的公式计算获得在Z中存在的坐标信息。

技术领域

本发明涉及图像识别技术领域，尤其涉及一种基于坐标系回归的实时骨骼关键点识别方法及系统。

背景技术

骨骼关键点识别技术是计算机视觉的基础技术之一。该技术通过传感器(摄像头，红外线等设备)，在图像/视频数据中检测人体的关节、五官，通过关键点描述人体骨骼信息。现有基于深度学习的骨骼关键点识别的新算法大多是基于高斯热图输出的方式，存在着其要求的输出特征图很大、算法训练和推理速度慢的问题。在低成本硬件平台上难以实时运行，需要搭配高成本的硬件(如GPU或高端摄像头)才能达到实时。由于最新的基于深度学习的骨骼关键点识别算法的输出基本是高斯热图，而热图输出的值为整数，不同于坐标回归输出是浮点数，不会丢失精度，因此存在一个理论误差下界的问题。

基于上述不足，本发明主要面向于移动端/嵌入式设备的骨骼关键点识别，采用轻量级的深度学习算法并采用坐标系回归避免热图输出的理论误差下界问题，硬件仅需采用CPU和单目摄像头，即可完成对骨骼关键点的低成本实时识别，无需GPU或高端摄像头(如kinect)。传统的骨骼关键点算法在几何先验的基础上基于模版匹配的思路来进行，精确性较差。而现有的基于深度学习的骨骼关键点识别算法由于硬件性能的限制，在低成本硬件平台上(如移动端手机、平板)的识别速度较慢，算法联动应用会造成应用卡顿、丢帧等情况，非常影响用户体验。

当前发明基于一种基于坐标系回归的实时骨骼关键点识别方法，可以实现在低成本硬件平台上，完成骨骼关键点的实时识别。

发明内容

针对上述技术问题，具体到传统的骨骼关键点识别中，本发明可以实现在低成本硬件平台上，完成骨骼关键点的实时识别。

本发明旨在至少解决现有技术中存在的技术问题。为此，本发明公开了一种基于坐标系回归的实时骨骼关键点识别系统，包括图像采集模块、核心计算单元、轻量级神经网络算法模块、坐标系回归输出模块。其中图像采集模块采用任意单目摄像头，核心计算单元采用移动端CPU，所述轻量级神经网络算法模块采用ShuffleNetV2作为基础骨干网络，在ShuffleNetV2骨干网络的最后一层添加两次连续的上采样，并对网络中ShuffleV2Block3和DUC2进行跳跃连接(skip connection)，最后获得热图 (heatmap)；

所述坐标系回归输出模块，对通过所述轻量级神经网络算法模块获得每一个通道输出的热图，定义为Z，通过normalized(归一化函数)将数值归一化到0至1之间，并将归一化后的热图定义为得到一个离散概率分布值，表示为m×n的矩阵，m与 n对应着热图的分辨率。