[发明专利]手势骨架构建方法、装置、设备及存储介质

说明书

本申请公开了一种手势骨架构建方法、装置、设备及存储介质，属于手势识别领域。该方法包括：将深度图片输入手势分割神经网络，输出手部置信区域，深度图片中包含各个像素点的深度值，深度值用于表征像素点对应物体与深度摄像头之间的距离；根据手部置信区域中各个像素点的深度值，从深度图片中提取出手部图像；将手部图像输入手势识别神经网络，得到手部各个关节的三维坐标；根据所述三维坐标在三维空间中构建手势骨架。相较于在指定区域进行手势交互，本申请实施例中，借助手势分割神经网络输出的手部置信区域进行手部图像提取，用户可以在深度摄像头前任意区域进行手势交互，有助于提高识别手势图像以及构建手势骨架的准确率，以及后续手势交互的交互效果。

技术领域

本申请实施例涉及手势识别技术领域，特别涉及一种手势骨架构建方法、装置、设备及存储介质。

背景技术

随着人工智能技术的不断成熟，越来越多的应用场景开始支持人机交互，而手势交互则是一种常见的人机交互方式。

手势交互的关键在于三维手势骨架构建。在一种手势构建方式中，终端通过深度摄像头进行图像采集，并标记出深度图片中手指关节的三维坐标，从而绘制出手势对应的三维手势骨架。为了提高深度图片中手势图像的识别准确性，用户需要在距离深度摄像头预定距离的区域进行手势交互，比如，在距离摄像头1至1.5米处进行手势交互。后续终端即根据深度图片中各个像素点的深度值去除深度图片中的干扰因素，进而提取出深度图片中的手势图像。

然而，采用上述方法进行手势交互时，若用户未在预定距离处进行手势交互，终端识别手势图像的准确率降低，导致三维手势骨架构建的准确率较低，甚至无法构建，影响手势交互的交互效果。

发明内容

本申请实施例提供了一种手势骨架构建方法、装置、设备及存储介质，可以解决相关技术中，用户未在预定距离处进行手势交互时，终端识别手势图像的准确率降低，导致三维手势骨架构建的准确率较低，甚至无法构建，影响手势交互效果的问题。所述技术方案如下：

第一方面，提供了一种手势骨架构建方法，所述方法包括：

将深度图片输入手势分割神经网络，输出手部置信区域，所述深度图片中包含各个像素点的深度值，所述深度值用于表征像素点对应物体与深度摄像头之间的距离；

根据所述手部置信区域中各个像素点的所述深度值，从所述深度图片中提取出手部图像；

将所述手部图像输入手势识别神经网络，得到手部各个关节的三维坐标；

根据所述三维坐标在三维空间中构建手势骨架。

第二方面，提供了一种手势骨架构建装置，所述装置包括：

第一输入模块，用于将深度图片输入手势分割神经网络，输出手部置信区域，所述深度图片中包含各个像素点的深度值，所述深度值用于表征像素点对应物体与深度摄像头之间的距离；

提取模块，用于根据所述手部置信区域中各个像素点的所述深度值，从所述深度图片中提取出手部图像；

第二输入模块，用于将所述手部图像输入手势识别神经网络，得到手部各个关节的三维坐标；

构建模块，用于根据所述三维坐标在三维空间中构建手势骨架。

第三方面，提供了一种手势骨架构建设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器执行以实现如第一方面所述的手势骨架构建方法。

第四方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器执行以实现如第一方面所述的手势骨架构建方法。