[发明专利]一种三维空间中手部定位的方法、装置及智能设备

权利要求书

1.一种三维空间中手部定位的方法，其特征在于，该方法包括：

采集包含手部的深度图像；

从所述深度图像中截取仅包含手部的目标深度图像，并基于预先训练的手部关节点模型以及所述目标深度图像，确定所述目标深度图像中手部各关节点相对于采集所述深度图像的相机的三维空间坐标；

根据预先确定的所述相机在空间中的位姿数据以及所述目标深度图像中手部各关节点相对于所述相机的三维空间坐标，确定所述目标深度图像中手部各关节点在空间中的三维空间坐标；

所述基于预先训练的手部关节点模型以及所述目标深度图像，确定所述目标深度图像中手部各关节点相对于采集所述深度图像的相机的三维空间坐标，包括：

基于预先训练的手部关节点模型以及所述目标深度图像，确定所述目标深度图像中手部各关节点的像素坐标与像素值；

利用反投影算法对确定出的手部各关节点的像素坐标与像素值进行处理，得到所述目标深度图像中手部各关节点相对于采集所述深度图像的相机的三维空间坐标。

2.根据权利要求1所述的方法，其特征在于，该方法还包括：

基于所述目标深度图像中手部各关节点在空间中的三维空间坐标，确定手部关节点之间的空间距离关系；

基于确定出的手部关节点之间的空间距离关系以及预先训练生成的手势模型，确定所述目标深度图像中所包含手部在空间中的手势。

3.根据权利要求2所述的方法，其特征在于，该方法还包括：

基于预先训练生成的手部动作模型以及连续多帧深度图像中所包含手部在空间中的手势，确定采集多帧深度图像对应时长内手部的动作。

4.根据权利要求1-3中任一项所述的方法，其特征在于，在基于预先训练的手部关节点模型以及所述目标深度图像，确定所述目标深度图像中手部各关节点相对于采集所述深度图像的相机的三维空间坐标之前，该方法还包括：

判断所述目标深度图像中所包含的手部为左手或者右手；

则所述基于预先训练的手部关节点模型以及所述目标深度图像，确定所述目标深度图像中手部各关节点相对于采集所述深度图像的相机的三维空间坐标，包括：

在判定所述目标深度图像中所包含的手部为左手的条件下，基于预先训练的左手关节点模型以及所述目标深度图像，确定所述目标深度图像中左手手部各关节点相对于采集所述深度图像的相机的三维空间坐标；以及

在判定所述目标深度图像中所包含的手部为右手的条件下，基于预先训练的右手手部关节点模型以及所述目标深度图像，确定所述目标深度图像中右手手部各关节点相对于采集所述深度图像的相机的三维空间坐标。

5.根据权利要求4所述的方法，其特征在于，所述判断所述目标深度图像中所包含的手部为左手或者右手，包括：

在采集所述深度图像的时刻采集包含手部的彩色图像；

根据所述包含手部的彩色图像和/或包含手部的深度图像，基于预先训练生成的左右手模型，判断目标深度图像中所包含的手部为左手或者右手。

6.根据权利要求1-3中任一项所述的方法，其特征在于，所述从所述深度图像中截取仅包含手部的目标深度图像，包括：

在所述深度图像中确定包含手部的目标区域，从所述深度图像中截取目标区域的深度图像；

对所述目标区域的深度图像进行基于手部的语义分割处理，生成仅包含手部的目标深度图像。

7.根据权利要求6所述的方法，其特征在于，所述对所述目标区域的深度图像进行基于手部的语义分割处理，生成仅包含手部的目标深度图像，包括：

检测所述目标区域的深度图像中是否存在连通域；

在确定所述目标区域的深度图像中存在连通域的条件下，将所述目标区域的深度图像中最大的连通域确定为手部连通域，从所述目标区域的深度图像中截取手部连通域的目标深度图像，生成仅包含手部的目标深度图像。