[发明专利]一种手势骨架识别方法、装置、系统及存储介质

说明书

本发明公开一种手势骨架识别方法、装置、系统及存储介质，属于手势识别技术领域，该方法包括：对获取的点云数据进行抽稀处理后输入至训练好的点云分类模型，得到点云是否属于手的一部分的分类结果，对分类结果进行聚类定位手的中心，将手的中心一定距离内的点云进行抽稀处理后输入到训练好的手势骨架识别模型，得到手势骨架坐标，最后经由骨架后处理得到最终的手势骨架坐标。本发明相比现有技术，具有适配面广，计算效率高，开发简单等优点。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种手势骨架识别方法、装置、系统及存储介质。

背景技术

在人机交互领域，随着AR与VR的兴起，手势识别已经是一个很重要的研究方向。手势识别技术是利用彩色或深度摄像头捕捉用户手部姿态和位置，识别特定手势并完成相应功能的技术，手势识别技术因其能够识别用户手部的姿态以及动作，目前已广泛用于人机交互、虚拟物体交互等实际应用。

目前已有的手势识别技术是利用摄像头采集图像作为输入，通常包括彩色图、深度图、双红外图等，然后通过某种图像识别的方法，识别图像中手的位置，最后利用图像处理算法识别手势骨架。对于以彩色图作为输入的方案来说，由于彩色图缺乏深度信息，识别到的手势骨架通常是平面的，无法给出空间信息，不能应用于复杂的人机交互。以深度图为输入的方案比较依赖深度图质量。不同原理的深度摄像头拍摄到的深度图有着各自的优缺点，深度图质量不一，会影响手的定位和手势骨架识别。

发明内容

为克服现有技术存在的不足，本发明提供了一种基于点云数据作为输入，深度学习模型为主要特征提取器进行手势骨架识别的方案。

本发明提供的一种手势骨架识别方法，包括以下步骤：

获取点云数据；

从获取的所述点云数据中选取第一预设数量的点云数据，输入至训练好的点云分类模型，得到分类结果；

依据所述分类结果定位到手的中心；

从距离所述手的中心预设距离内的点云数据中选取第二预设数量的点云数据，输入至训练好的手势骨架识别模型，得到手势骨架坐标。

进一步的，还包括：对所述手势骨架坐标进行骨架后处理，得到最终的手势骨架坐标数据。

优选的，上述从获取的所述点云数据中选取第一预设数量的点云数据具体为：对获取的所述点云数据进行抽稀处理得到第一预设数量的点云数据；上述从距离所述手的中心预设距离内的点云数据中选取第二预设数量的点云数据具体为：对距离所述手的中心预设距离内的点云数据进行抽稀处理得到第二预设数量的点云数据。

优选的，上述点云分类模型和所述手势骨架识别模型，是以PEL为基础结构构建的深度学习模型。

优选的，上述依据所述分类结果定位到手的中心具体为：对分类结果为属于手的点云进行聚类，去除异常点，计算聚类点集的质心作为手的位置，统计以手的位置为球心、预设距离为半径的范围内属于手的点云的个数占该范围内总点云个数的比例，如果比例达到预设值时，则判定为定位到手的中心；否则判定为点云数据中不包含手。

本发明还提供了一种手势骨架识别装置，包括：

获取模块，用于获取点云数据；

分类模块，用于从所述获取模块获取的点云数据中选取第一预设数量的点云数据输入至训练好的点云分类模型，得到分类结果；

手部定位模块，用于依据所述分类结果进行聚类，定位到手的中心；

手势骨架识别模块，用于从距离所述手的中心预设距离内的点云数据中选取第二预设数量的点云数据输入至训练好的手势骨架识别模型，得到手势骨架坐标。