[发明专利]手势交互方法及装置、电子设备和存储介质

说明书

本公开涉及一种手势交互方法及装置、电子设备和存储介质。所述方法包括：获取包含手势的深度图像；根据所述深度图像进行手势识别，得到手势识别结果，所述手势识别结果包括识别出的目标手势和所述目标手势的朝向信息；根据所述朝向信息，确定所述目标手势在三维空间中指向的目标交互对象。

技术领域

本公开涉及图像处理技术领域，尤其涉及一种手势交互方法及装置、电子设备和存储介质。

背景技术

手势交互是基于计算机视觉的重要交互方式，用户可以通过手势发出指令以实现与各类设备之间的交互，提升用户体验。

然而，如何基于手势与三维空间内的真实物体产生实质性的交互联动，成为目前一个亟待解决的问题。

发明内容

本公开提出了一种手势交互技术方案。

根据本公开的一方面，提供了一种手势交互方法，包括：

获取包含手势的深度图像；根据所述深度图像进行手势识别，得到手势识别结果，所述手势识别结果包括识别出的目标手势和所述目标手势的朝向信息；根据所述朝向信息，确定所述目标手势在三维空间中指向的目标交互对象。

在一种可能的实现方式中，所述根据所述深度图像进行手势识别，得到手势识别结果，所述手势识别结果包括识别出的目标手势和所述目标手势的朝向信息，包括：根据所述深度图像进行手关键点定位，得到手部关键点的信息；对所述深度图像进行手势分类，得到所述目标手势；确定所述目标手势对应的目标手部关键点；根据所述目标手部关键点的信息，对所述目标手势进行朝向检测，得到所述目标手势的朝向信息。

在一种可能的实现方式中，所述目标手势包括部分手指为伸展状态的手指手势和/或所有手指均为伸展状态的手掌手势；所述确定所述目标手势对应的目标手部关键点，包括：在所述目标手势包括所述手指手势的情况下，所述对应的目标手部关键点包括：伸展状态的至少一个手指的关键点；和/或，在所述目标手势包括所述手掌手势的情况下，所述对应的目标手部关键点包括：各手指与手掌连接位置处的关键点。

在一种可能的实现方式中，所述目标手部关键点还包括：手腕关键点。

在一种可能的实现方式中，所述手部关键点的信息包括手部关键点的三维位置；所述根据所述目标手部关键点的信息，对所述目标手势进行朝向检测，包括：在所述目标手势包括所述手指手势的情况下，根据所述手指手势中至少一个伸展状态的目标手指的至少两个目标手部关键点的三维位置，确定所述目标手指的朝向信息，作为所述目标手势的朝向信息。

在一种可能的实现方式中，所述手部关键点的信息包括手部关键点的三维位置；所述根据所述目标手部关键点的信息，对所述目标手势进行朝向检测，包括：在所述目标手势包括手掌手势的情况下，根据所述手掌手势中至少三个目标手部关键点的三维位置，确定所述手掌手势中手掌所在平面的朝向信息，作为所述目标手势的朝向信息。

在一种可能的实现方式中，所述根据所述深度图像进行手势识别，得到手势识别结果，包括：将所述深度图像输入第一神经网络，得到所述第一神经网络输出的手部关键点的信息和所述目标手势；确定所述目标手势对应的目标手部关键点；根据所述目标手部关键点的信息，对所述目标手势进行朝向检测，得到所述目标手势的朝向信息。

在一种可能的实现方式中，在所述根据所述深度图像进行手势识别，得到手势识别结果之前，所述方法还包括：将所述深度图像输入第二神经网络，确定所述手势在所述深度图像中的位置信息；根据所述位置信息，对所述深度图像进行裁剪，得到裁剪后的深度图像；所述根据所述深度图像进行手势识别，得到手势识别结果，包括：根据所述裁剪后的深度图像进行手势识别，得到所述手势识别结果。

在一种可能的实现方式中，所述根据所述朝向信息，确定所述目标手势在三维空间中指向的目标交互对象，包括：根据所述三维空间中至少一个待交互对象的空间信息，确定处于所述朝向信息所在方向上的待交互对象，作为所述目标交互对象。