[发明专利]识别分式图像的训练方法与装置、识别方法及装置

说明书

本发明实施例提供识别分式图像的训练方法与装置、识别方法及装置，以提高CRNN模型对上下结构分式的识别准确率。在本发明实施例中，在训练CRNN之前，会对分式图像样本的标注进行映射，得到的映射结果。随后，使用映射结果替换标注后，再对CRNN训练。由于映射结果包括与上下结构的分式的空间特征相符的字符串，因此，使用映射结果作为标注可避免现有方式中，因通用的分式标注中存在与分式空间特征不相符的字符，而导致CRNN模型对上下结构的分式识别准确率较低的问题，采用本实施例所提供的技术方案训练出来的CRNN模型对上下结构分式的识别准确率相对较高。

技术领域

本发明涉及网络技术领域，特别涉及识别分式图像的训练方法与装置、识别方法及装置。

背景技术

随着互联网的普及，数学作业自动批改被越来越多的人所使用。例如：数学教师可批量拍照，使用作业自动批改服务对图像中的内容进行批改，一次完成对多份作业的批改，减轻教师基础性、重复性的批改动作；再例如，学生家长在检查数据作业时，可使用作业自动批改服务进行批改；再例如，学生完成作业后，可通过作业自动批改服务进行自查。

在数学作业自动批改场景中会遇到图像中有数学公式的情况，其中类似于分式这种上下结构的文本，如何进行识别是目前研究的热门。

作为OCR的经典模型之一，CRNN(Convolutional Recurrent Neural Network，卷积循环神经网络)在自然场景的文本识别方面应用很广。

CRNN是一种用于文字识别的网络结构，在预测阶段，向训练好的CRNN模型输入图像，其将输出所输入图像中包含的字符串。举例来讲，向训练好的CRNN模型输入如图1所示的照片，照片中包含文本字符“wind”，训练好的CRNN模型输出字符串“wind”。

在预测之前，需要使用图像样本和相应的标注(即标签)对CRNN模型进行训练，训练好的CRNN模型可用于文字识别。

图像样本所对应的标签的标注内容，是图像中的字符意义。仍以图1为例，若图1作为图像样本，其对应的标注内容是字符串“wind”。

为了使CRNN模型能识别分式，可在训练数据中加入足够的分式图像样本和相应的分式标签，使用分式图像样本及对应的标签对CRNN模型进行训练，令CRNN模型能够学习到分式的特征，从而能在预测阶段(也即正式使用阶段)识别含上下结构的分式。

然而，发明人在实现本发明的过程中发现：传统的分式标注对于CRNN模型的训练并不友好，进而导致CRNN模型对于上下结构分式的识别准确率较低。这是因为：

传统(通用)的分式标注是采用LaTeX字符串进行标注的。以图2所示的一张包含的图片为例，其对应的标注内容是LaTeX字符串“\frac{2}{15}”。

然而，观察图2可知，图2中的数字字符包括“2”、“1”、“5”，但并不存在与LaTeX字符串中的“\frac”相对应的字符，因此，“\frac”这几个字符，在图2所示的图像中并没有相应的空间特征；同理，LaTeX字符串中的括号符号“{”和“}”，在图2所示的图像中也并没有与之对应的空间特征。

因此，使用通用的分式标注进行训练，训练出来的CRNN模型对上下结构分式的识别准确率较低。

发明内容

有鉴于此，本发明实施例提供识别分式图像的训练方法与装置、识别方法及装置，以提高CRNN模型对上下结构分式的识别准确率。

为实现上述目的，本发明实施例提供如下技术方案：

一种识别分式图像的训练方法，包括：

获取带标注的分式图像样本；所述分式图像样本中包括上下结构的分式；所述标注包括表征所述上下结构的分式的字符意义的分式标注字符串；