[发明专利]基于手指关节定位的点读方法、装置、系统及介质

说明书

本发明公开了基于手指关节定位的点读方法、装置、系统及介质，方法包括：当开启点读功能后获取点读图像和手势图像；将所述手势图像输入至预设的手指关节点检测模型，检测当前手势图像中的指尖位置和若干个指定关节点的位置；根据所述指尖位置和若干个指定关节点的位置计算当前手势图像中的手指指向；将所述指尖位置和手指指向与所述点读图像进行匹配后输出点读目标，对所述点读目标进行识别点读。本发明实施例通过检测点读时的手指关节点位置得出当前的手指指向，结合指尖位置与手指指向进行匹配点读，在点读图像中内容密集或者用户点读时指尖位置不明确时也能实现准确的点读目标匹配，提高点读匹配的精确性。

技术领域

本发明涉及智能点读技术领域，尤其涉及基于手指关节定位的点读方法、装置、系统及介质。

背景技术

当前的在线教学场景中，通常会有学生指读的功能场景，例如学生使用手指指向课本中的某一目标，对手指的位置进行定位，根据手指位置对相应的目标作出识别、翻译等操作，当前已有一些技术可以借助深度模型定位手指尖等位置进行点读，但是对于一些复杂场景，例如手指尖处目标较为密集或者用户手指尖正好处于多个目标的正中间等情况，手指尖点读可能出现目标匹配不准确的问题。

因此，现有技术还有待于改进和发展。

发明内容

鉴于上述现有技术的不足，本发明的目的在于提供基于手指关节定位的点读方法、装置、系统及介质，旨在解决现有技术中的点读匹配准确率不高的问题。

本发明的技术方案如下：

一种基于手指关节定位的点读方法，其包括如下步骤：

当开启点读功能后获取点读图像和手势图像；

将所述手势图像输入至预设的手指关节点检测模型，检测当前手势图像中的指尖位置和若干个指定关节点的位置；

根据所述指尖位置和若干个指定关节点的位置计算当前手势图像中的手指指向；

将所述指尖位置和手指指向与所述点读图像进行匹配后输出点读目标，对所述点读目标进行识别点读。

所述的基于手指关节定位的点读方法中，所述将所述手势图像输入至预设的手指关节点检测模型，检测当前手势图像中的指尖位置和若干个指定关节点的位置之前，还包括：

构建深度学习模型，根据预先采集且已标注指尖位置和若干个指定关节点位置的手指训练样本对所述深度学习模型进行训练，使所述深度学习模型收敛后生成手指关节点检测模型。

所述的基于手指关节定位的点读方法中，所述检测当前手势图像中的指尖位置和若干个指定关节点的位置，具体包括：

检测当前手势图像中食指指尖、食指第一关节点、食指第二关节点、中指第一关节点和中指第二关节点的位置。

所述的基于手指关节定位的点读方法中，所述根据所述指尖位置和若干个指定关节点的位置计算当前手势图像中的手指指向，包括：

计算所述食指指尖、食指第一关节点和食指第二关节点中任意两点的连线方向；

取所有连线方向的均值作为当前手势图像中的手指指向。

所述的基于手指关节定位的点读方法中，所述根据所述指尖位置和若干个指定关节点的位置计算当前手势图像中的手指指向之后，还包括：

根据所述食指指尖的位置与所述中指第一关节点或中指第二关节点的位置的连线计算约束指向；

计算所述手指指向与约束指向之间的夹角，若所述夹角小于预设角度则判断当前手指指向可靠，否则判断当前手指指向不可靠。

所述的基于手指关节定位的点读方法中，所述判断当前手指指向不可靠之后，还包括：