[发明专利]基于手指关节定位的点读方法、装置、系统及介质

权利要求书

1.一种基于手指关节定位的点读方法，其特征在于，包括如下步骤：

当开启点读功能后获取点读图像和手势图像；

将所述手势图像输入至预设的手指关节点检测模型，检测当前手势图像中的指尖位置和若干个指定关节点的位置；

根据所述指尖位置和若干个指定关节点的位置计算当前手势图像中的手指指向；

将所述指尖位置和手指指向与所述点读图像进行匹配后输出点读目标，对所述点读目标进行识别点读。

2.根据权利要求1所述的基于手指关节定位的点读方法，其特征在于，所述将所述手势图像输入至预设的手指关节点检测模型，检测当前手势图像中的指尖位置和若干个指定关节点的位置之前，还包括：

构建深度学习模型，根据预先采集且已标注指尖位置和若干个指定关节点位置的手指训练样本对所述深度学习模型进行训练，使所述深度学习模型收敛后生成手指关节点检测模型。

3.根据权利要求1所述的基于手指关节定位的点读方法，其特征在于，所述检测当前手势图像中的指尖位置和若干个指定关节点的位置，具体包括：

检测当前手势图像中食指指尖、食指第一关节点、食指第二关节点、中指第一关节点和中指第二关节点的位置。

4.根据权利要求3所述的基于手指关节定位的点读方法，其特征在于，所述根据所述指尖位置和若干个指定关节点的位置计算当前手势图像中的手指指向，包括：

计算所述食指指尖、食指第一关节点和食指第二关节点中任意两点的连线方向；

取所有连线方向的均值作为当前手势图像中的手指指向。

5.根据权利要求4所述的基于手指关节定位的点读方法，其特征在于，所述根据所述指尖位置和若干个指定关节点的位置计算当前手势图像中的手指指向之后，还包括：

根据所述食指指尖的位置与所述中指第一关节点或中指第二关节点的位置的连线计算约束指向；

计算所述手指指向与约束指向之间的夹角，若所述夹角小于预设角度则判断当前手指指向可靠，否则判断当前手指指向不可靠。

6.根据权利要求5所述的基于手指关节定位的点读方法，其特征在于，所述判断当前手指指向不可靠之后，还包括：

输出当前手势无法点读的提示信息。

7.根据权利要求1所述的基于手指关节定位的点读方法，其特征在于，所述将所述指尖位置和手指指向与所述点读图像进行匹配后输出点读目标，对所述点读目标进行识别点读，包括：

将所述指尖位置与所述点读图像进行匹配后输出待点读区域；

根据所述手指指向在所述待点读区域中确认点读目标，对所述点读目标进行识别点读。

8.一种基于手指关节定位的点读装置，其特征在于，所述装置包括：

图像获取模块，用于当开启点读功能后获取点读图像和手势图像；

检测模块，用于将所述手势图像输入至预设的手指关节点检测模型，检测当前手势图像中的指尖位置和若干个指定关节点的位置；

计算模块，用于根据所述指尖位置和若干个指定关节点的位置计算当前手势图像中的手指指向；

匹配点读模块，将所述指尖位置和手指指向与所述点读图像进行匹配后输出点读目标，对所述点读目标进行识别点读。

9.一种基于手指关节定位的点读系统，其特征在于，所述系统包括至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7任一项所述的基于手指关节定位的点读方法。

10.一种非易失性计算机可读存储介质，其特征在于，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行权利要求1-7任一项所述的基于手指关节定位的点读方法。