[发明专利]一种针对盲人辅助阅读的文本检测与识别方法

说明书

本发明公开了一种针对盲人辅助阅读的文本检测与识别方法，该方法包含以下步骤：步骤1：场景检测，该步骤主要检测相机所拍图像是否为手指放在阅读文本上的场景；步骤2：手指定位，该步骤实现对指尖的定位，并以此指尖作为后续文本检测的光标；步骤3：文本提取，该步骤主要包括文本行的提取及文本行中各单词的提取操作；步骤4：单词跟踪，该步骤主要对正确识别的单词，采用模板匹配方法对其单词框进行跟踪。本发明方法运行速度快，效果好，不仅能够很准确地识别到用户指尖所指的单词，而且成本代价低，具有很强的通用性，可广泛应用于穿戴式盲人辅助阅读戒指等智能产品。

技术领域

本发明属于计算机视觉的应用领域，特别涉及一种针对盲人辅助阅读的文本检测与识别方法。

背景技术

现今全世界范围内患有眼部疾病的已达3.14亿。其中2.69亿人患有低视力，盲人人数为0.45亿人。在中国目前视力残疾人口达877万人，约占全球盲人总数的19.5％，约占我国总人口的0.7％。根据有关权威机构的分析，六年以后，我国的盲人数量将突破七千五百万。因此，如何帮助盲人克服日常学习生活的困难，特别是最基本的阅读问题，具有极大的研究价值和社会意义，也具有广阔的应用前景。

目前市面上出现了多款盲人辅助阅读产品，例如一款戴在手指头上的盲人阅读器(Touch Reader)。该产品内置的扫描仪会自动将掠过的文字进行扫描识别，然后通过一个点阵将这些文字转换为凸起、凹下的盲文。由于点阵分布在指套的里层，所以手指头能感应到它的形状变化，从而让盲人朋友识别出这些盲文。与之类似，另一款触摸式盲人阅读器的底部可以将普通的文字读取经内部柱状阵列输出盲文信息，随后在顶部的面板上出现突出的柱状体，形成可以触摸识别的盲文。EyeRing指环由内嵌的微型图像扫描采集器采集书本中的文字内容，借助采集器背部靠近手指地方所设置的“盲文点显示器”实时变换盲点组合，达到让盲人朋友通过手指识别文本的效果。但上述这些产品对于没有学习过盲文的人难以使用这些装置。此外，其它产品如OrCam这一可穿戴设备由绑在眼镜上的小型摄像头和一套处理系统组成。该产品可以通过运行计算机视觉算法、对看到的东西进行解析，然后通过骨导语音告诉盲人、弱视群体等所看到的内容及信息。但该产品造价昂贵，且盲人不一定能正确将扫描眼镜对准读物，因此使用起来较为不便。由此可见，上述已有产品或者需要用户学习过盲文，或者价格昂贵且使用不便。

在面向盲人阅读方法专利方面，邱洪等人(专利公开号为CN108492682A)提供了一种盲人阅读器，此阅读器将摄像头获取的图片信息发送到图像识别处理器进行识别，并将识别结果以电平信号的方式反馈到驱动电路中以驱动盲文点阵组件输出对应的盲文字符。王璐(专利公开号为CN106601081A)所发明的一种盲人指环式阅读器能够通过设置于指环上的摄像头识别正常书籍上的印刷字体同时转成成盲文。但上述这些专利方法的主要问题在于其仍然需要用户会用盲文。此外，李重周等人(专利公开号为CN103077625A)提出了一种盲用电子阅读器和助盲阅读方法。该助盲阅读方法首先通过扫描或者拍照将纸质文字转化为电子图片格式数据，然后通过OCR识别技术将其识别为电子文本文档，最后采用TTS语音合成技术将电子文本文档转换为语音数据播放。但这一专利方法是将整幅图像中的文本一次性朗读出来，而未能提供用户指哪读哪这一便捷的个性化功能。

在此背景下，研究一种鲁棒性强，准确性高、成本低且能够对盲人或低视用户手指所指文本进行自动检测与识别的方法就显得尤为重要

发明内容

本发明所要解决的技术问题是，提供一种针对盲人辅助阅读的文本检测与识别方法，使得盲人朋友或低视人群也能阅读普通书籍，解决了盲人朋友或低视力人群阅读困难的问题。

本发明所采用的技术方案如下：

一种针对盲人辅助阅读的文本检测与识别方法，包括以下步骤：

步骤1：对于相机拍摄的图像序列，判断当前图像中的场景是否为手指放在阅读文本上，若是则进行步骤2，否则跳过该帧图像，将下一帧图像作为当前图像，进行上述判断和处理；