[发明专利]一种基于级联目标检测的指向文字定位方法

说明书

本发明公开了一种基于级联目标检测的指向文字定位方法，包括以下步骤：步骤S1：数据生成及预处理；步骤S2：创建模型并训练；步骤S3：训练好网络后，利用实际摄像头拍摄的图像，经预处理后输入网络，得出标志物在图像中的位置和大小，以及指向单词文字坐标和大小。与现有技术相比，本发明采用基于级联深度神经网络的目标检测技术，精确地定位指向文字的区域，为字符识别提供可靠的文字区域，大大提高字符识别的精度。

技术领域

本发明属于目标检测和文字识别领域，涉及到基于深度神经网络的目标检测和边框回归(Bounding Box Regression)的精准定位方法，尤其涉及一种基于级联目标检测的指向文字定位方法。

背景技术

目标检测(Object Detection)技术的任务主要是找出图像中所有物体，并确定它们的类别和位置，是计算机视觉的核心问题之一。目前计算机视觉中有四大类别任务，分别是：分类，定位，检测，分割。在涉及文字目标时，只能根据文字内容特征，找到图像中的所有文字内容，再进行自然语言处理。

对于文字内容的识别处理在教育办公领域一直是一个重点，例如“点读笔技术”，它主要利用事先录入设备的文本信息和音频信息，实现对书本内容的发音，这项技术在语言教育领域有着广泛应用并且获得了良好反馈。但是，这项技术的缺点也很明显，受限于录入内容的范围，无法对录入内容，比如课本以外的内容生效，并且录入过程费时费力，在讲究时效性的报刊阅读方面显得无力。

如今计算机视觉和目标检测技术已经逐渐完善，将目标检测和文字识别结合起来，无疑能解决上述点读技术的局限性问题，实现更加自然的交互点读，真正实现指向哪里点读哪里。

发明内容

为了解决现有技术存在的技术问题，实现以计算机视觉的方式实现精准的指向文字定位，本发明引入“标志物”概念，同时在训练模型时采用级联多任务学习策略，第一级在大尺度图像中定位标志物，第二级在小尺度图像中定位标志物指向的单词文字，从而解决传统文字识别技术不能兼顾实现的普适性和准确性的技术问题，能够在大尺度文本图片中准确找到标志物指向的单词。

为了克服现有技术存在的缺陷，本发明的技术方案如下：

一种基于级联目标检测的指向文字定位技术，包括以下步骤：

步骤S1：数据生成及预处理,这一步骤进一步包括：

步骤S11：采用俯视摄像头拍摄的实际指读文本图像，每张图像可能没有标志物，也可能包含一个标志物(手指或者笔头等)，每个标志物指向一个单词文字；

步骤S12：对指读文本图像进行标注，得到标志物位置大小和指向单词文字位置大小两组标签。

步骤S13：建立ground truth数据，预测两个标签的信息需要建立目标出现的位置信息，最后预测是的一个1×5向量，内含标志物的存在概率和位置大小信息，以及一个1×4向量，内含指向单词文字的位置大小信息。

步骤S2：创建模型并训练，这一步骤进一步包括：

步骤S21：建立深度神经网络，采用通用的ResNet-18为主干网络，由若干个残差网络块和池化层组成，最后都由全连接层输出。

步骤S22：将原始高分辨率图像缩放到224×224大小的图像输入网络，第一级通过卷积层、池化层和激活层输出1×5向量，用于预测标志物出现概率、位置和大小，第二级输出是1×4，用于输出指向单词文字的位置大小。

步骤S23：把训练样本和目标真实值不断地输入到网络，使用误差反向传播进行每一层网络参数的调整，不断的迭代训练，最终实现收敛，得到网络模型。

步骤S24：本发明设计的深度神经网络要实现对两类的样本的预测，每种样本对应的损失也是不同的，所以在最后要融合不同类型的损失，再驱动网络更新，最终是让总损失趋于最小，直到损失稳定不动，网络训练结束。