[发明专利]一种基于人工智能的单手手指点读文字识别方法和系统

说明书

本发明提供一种基于人工智能的单手手指点读文字识别方法，属于智能点读技术领域。所述的手指点读文字识别方法包括以下步骤：(1)通过摄像头采集图像；(2)对图像进行处理；(3)使用手指特征识别神经网络获得初步指尖点坐标；(4)手指特征识别网络经过两次输入定位出精准的指尖坐标，并截取指尖前方矩形区域；(5)文字识别库对矩形区域文字进行识别，获得文字中心坐标点；(6)对文字中心坐标点和指尖点坐标的距离进行比较，输出文字信息；(7)对文字信息进行语音朗读。本发明通过OpenCV视觉算法予以辅助，减轻硬件方面压力，具有良好的市场推广前景，通过手指神经网络精准定位指尖，实现手指精确点读。

技术领域

本发明属于智能点读技术领域，具体涉及一种基于人工智能的单手手指点读文字识别方法。

背景技术

现有的儿童早教机器大多是基于绘本图像的特征来识别绘本。这种早教点读相对不够灵活，无法激起小孩的学习兴趣。对于外文读物和技术文献，很多外语基础不好但从事外贸业务或者国外学术研究人员无法直接阅读，而需要查字典或借其他的翻译工具，耗时耗力又不方便。

公告号为CN109325464A的中国专利，公开了一种基于人工智能的文字识别方法，发明了利用纯深度学习算法来实现手指点读。实现了快速的文本识别和查单词的流程，整个流程耗时不超过300ms，极大地提高了人们阅读外文的效率。

但是，该项目虽然从原理上可以实现手指点读识别文本和英文和其他语种，然而该专利在实现上需要构建并训练手指定位神经网络、文本角度神经网络、文本检测神经网络、OCR识别神经网络。因此在算法实现上存在着一定难度。对于系统硬件也有着一定的要求。并且该项目并没有在对手指指尖坐标点进行精准定位，无法在文本上实现精确点读。

山东音为爱智能科技有限公司在201810326362.8公开了一种基于人工智能的儿童绘本辅助阅读方法，其内容包括：逐页拍摄书页图像，制作书页图像模板，保存书页图像特征；通过摄像头拍摄书页图像，提取书页图像的纹理特征，与模板进行匹配，判断书页页码；根据书页页码载入当前页面上的点读资源，点读资源包括绘本中的人物形象及其对应的音频故事和问答资源；检测动态手势的关键图像帧，抛弃模糊不清晰的手势图像帧；通过摄像头拍摄视频帧图像，检测儿童手指指向的点读资源处，则播放对应人物的故事；进入语音问答环节，根据当前页的内容匹配知识库中的问题，主动与儿童会话。上述方法可提供绘本的点读和问答，提高儿童学习兴趣和效率，能够在教学条件不足的场合，辅助儿童自行进行绘本阅读。

但是，该项目虽然从理论上可以实现辅助儿童自行进行绘本阅读，但是，通过遍历图像的像素点来进行非肤色区域的排除，算法耗费时间长，并且具有一定的误判性，不能高效准确的进行手指肤色区域的判别。其次结合视频连续帧进行处理，计算相邻两帧的像素值差，根据阈值判断视频帧图像中移动物体的位置区域。在实际运用过程中。实时性不够和硬件成本过高。使其不具有良好的推广性。

发明内容

本发明通过提供一种基于人工智能的单手手指点读文字识别方法，以解决现有的人工智能点读识别的算法复杂，对硬件要求过高，手指点读不够精准的问题。

为实现上述目的，本发明的技术解决方案是：

一种基于人工智能的单手手指点读文字识别方法，包括以下步骤：

一种基于人工智能的单手手指点读文字识别方法，包括以下步骤：

(1)通过摄像头实时采集手指图文图像；

(2)对摄像头采集的单帧高清晰图像进行图像预处理；

(3)使用预先训练好的手指特征识别神经网络，在预处理的图像中对手指特征区域进行定位并获得手指指尖坐标；截取手指指尖点坐标前方的区域输出给文字识别库；

(4)文字识别库对矩形区域中的文字进行识别，并且得到文字中心坐标点；