[发明专利]一种指尖定位方法、装置及系统

权利要求书

1.一种指尖定位方法，其特征在于，包括：

通过图像采集单元获取场景深度图和点云，其中，所述场景深度图中的每个像素点与所述点云中的每个点一一对应；

根据所述场景深度图和所述点云，获得手部深度图以及所述手部深度图对应的目标点云；

将所述手部深度图输入至预先建立的方向识别网络，通过所述方向识别网络输出目标手势进入所述图像采集单元的视野方向和其它类别中的一种；

若所述方向识别网络输出所述视野方向，则根据所述视野方向，从所述手部深度图对应的所述目标点云中确定指尖的三维坐标位置。

2.如权利要求1所述的方法，其特征在于，所述若所述方向识别网络输出所述视野方向，则根据所述视野方向，从所述手部深度图对应的所述目标点云中确定指尖的三维坐标位置，包括：

若所述方向识别网络输出的所述视野方向为前方、左前方和右前方中的一种，则从所述手部深度图对应的所述目标点云中，确定最前面的点对应的三维坐标位置；

将所述最前面的点对应的三维坐标位置作为指尖的三维坐标位置。

3.如权利要求1所述的方法，其特征在于，所述若所述方向识别网络输出所述视野方向，则根据所述视野方向，从所述手部深度图对应的所述目标点云中确定指尖的三维坐标位置，包括：

若所述方向识别网络输出的所述视野方向为左方，则从所述手部深度图对应的所述目标点云中，确定最右面的点对应的三维坐标位置；

将所述最右面的点对应的三维坐标位置作为指尖的三维坐标位置。

4.如权利要求1所述的方法，其特征在于，所述若所述方向识别网络输出所述视野方向，则根据所述视野方向，从所述手部深度图对应的所述目标点云中确定指尖的三维坐标位置，包括：

若所述方向识别网络输出的所述视野方向为右方，则从所述手部深度图对应的所述目标点云中，确定最左面的点对应的三维坐标位置；

将所述最左面的点对应的三维坐标位置作为指尖的三维坐标位置。

5.如权利要求1所述的方法，其特征在于，若连续获取N帧所述场景深度图，N为大于1的整数，所述方法还包括：

分别确定每帧所述场景深度图中指尖的三维坐标位置，共获得N个三维坐标位置；

对所述N个三维坐标位置进行均值滤波，获得均值滤波后的坐标位置；

将所述均值滤波后的坐标位置作为指尖的三维坐标位置。

6.如权利要求1所述的方法，其特征在于，所述根据所述场景深度图和所述点云，获得手部深度图以及所述手部深度图对应的目标点云，包括：

在世界坐标系中，确定预先设定的手部识别区域；

根据相机坐标系与所述世界坐标系的转换关系，将所述点云在所述相机坐标系的坐标位置转换为在所述世界坐标系的坐标位置；

在所述世界坐标系中，将所述点云中除所述手部识别区域之外的目标点滤除，获得位于所述手部识别区域的部分点云；

将所述目标点与所述场景深度图中对应的目标像素点的像素值设置为最小值，获得手部深度图，其中，位于所述手部识别区域的所述部分点云为所述手部深度图对应的目标点云。

7.一种指尖定位装置，其特征在于，包括：

获取单元，用于通过图像采集单元获取场景深度图和点云，其中，所述场景深度图中的每个像素点与所述点云中的每个点一一对应；

获得单元，用于根据所述场景深度图和所述点云，获得手部深度图以及所述手部深度图对应的目标点云；

识别单元，用于将所述手部深度图输入至预先建立的方向识别网络，通过所述方向识别网络输出目标手势进入所述图像采集单元的视野方向和其它类别中的一种；

确定单元，用于若所述方向识别网络输出所述视野方向，则根据所述视野方向，从所述手部深度图对应的所述目标点云中确定指尖的三维坐标位置。