[发明专利]一种指尖定位方法、装置及系统

说明书

本发明提供了一种指尖定位方法、装置及系统，其中，所述指尖定位方法包括：通过图像采集单元获取场景深度图和点云，其中，所述场景深度图中的每个像素点与所述点云中的每个点一一对应；根据所述场景深度图和所述点云，获得手部深度图以及所述手部深度图对应的目标点云；将所述手部深度图输入至预先建立的方向识别网络，通过所述方向识别网络输出目标手势进入所述图像采集单元的视野方向和其它类别中的一种；若所述方向识别网络输出所述视野方向，则根据所述视野方向，从所述手部深度图对应的所述目标点云中确定指尖的三维坐标位置。

技术领域

本发明涉及电子技术领域，特别涉及一种指尖定位方法、装置及系统。

背景技术

现有要么通过提取手部细节点来进行指尖定位，整个指尖定位过程易受环境，手部形状等影响，定位准确率较低，要么通过对手进行姿态估计，回归指尖所在的像素，计算出指尖的位置，所回归出的位置和实际位置往往有一定偏差，定位精度不高。

发明内容

本发明提供了一种指尖定位方法、装置及系统，用于指尖定位精度。

第一方面，本发明实施例提供了一种指尖定位方法，包括：

通过图像采集单元获取场景深度图和点云，其中，所述场景深度图中的每个像素点与所述点云中的每个点一一对应；

根据所述场景深度图和所述点云，获得手部深度图以及所述手部深度图对应的目标点云；

将所述手部深度图输入至预先建立的方向识别网络，通过所述方向识别网络输出目标手势进入所述图像采集单元的视野方向和其它类别中的一种；

若所述方向识别网络输出所述视野方向，则根据所述视野方向，从所述手部深度图对应的所述目标点云中确定指尖的三维坐标位置。

在一种可能的实现方式中，所述若所述方向识别网络输出所述视野方向，则根据所述视野方向，从所述手部深度图对应的所述目标点云中确定指尖的三维坐标位置，包括：

若所述方向识别网络输出的所述视野方向为前方、左前方和右前方中的一种，则从所述手部深度图对应的所述目标点云中，确定最前面的点对应的三维坐标位置；

将所述最前面的点对应的三维坐标位置作为指尖的三维坐标位置。

在一种可能的实现方式中，所述若所述方向识别网络输出所述视野方向，则根据所述视野方向，从所述手部深度图对应的所述目标点云中确定指尖的三维坐标位置，包括：

若所述方向识别网络输出的所述视野方向为左方，则从所述手部深度图对应的所述目标点云中，确定最右面的点对应的三维坐标位置；

将所述最右面的点对应的三维坐标位置作为指尖的三维坐标位置。

在一种可能的实现方式中，所述若所述方向识别网络输出所述视野方向，则根据所述视野方向，从所述手部深度图对应的所述目标点云中确定指尖的三维坐标位置，包括：

若所述方向识别网络输出的所述视野方向为右方，则从所述手部深度图对应的所述目标点云中，确定最左面的点对应的三维坐标位置；

将所述最左面的点对应的三维坐标位置作为指尖的三维坐标位置。

在一种可能的实现方式中，若连续获取N帧所述场景深度图，N为大于1的整数，所述方法还包括：

分别确定每帧所述场景深度图中指尖的三维坐标位置，共获得N个三维坐标位置；

对所述N个三维坐标位置进行均值滤波，获得均值滤波后的坐标位置；

将所述均值滤波后的坐标位置作为指尖的三维坐标位置。

在一种可能的实现方式中，所述根据所述场景深度图和所述点云，获得手部深度图以及所述手部深度图对应的目标点云，包括：