[发明专利]一种基于Self-Attention的离线数学公式符号识别方法

说明书

本发明公开了一种基于Self‑Attention的离线数学公式识别方法，包括：对输入的数学公式图像进行预处理；编码阶段：对数学公式图像进行特征提取；将提取的特征的隐向量转换为多头的自注意力机制输入所需的维度；对提取的特征的隐向量进行编码，获得特征结果向量；解码阶段：依次输入字符到嵌入层，获得嵌入向量；将特征结果向量以及嵌入向量输入到网络块，获取输入字符的结果向量；获取输入字符的结果向量对应的的概率向量，找出概率向量中最大概率值索引对应的字符作为生成的字符；循环解码阶段，获得数学公式图像对应的latex字符序列。本发明仅仅使用注意力机制，不仅避免了LSTM固有的长距离依赖的问题，而且极大提升了模型的训练效率和识别准确率。

技术领域

本发明涉及计算机领域中的图像识别领域，尤其涉及一种基于Self-Attention的离线数学公式符号识别方法。

背景技术

现存科技文献中的大量数学公式，保存为不容易被再次利用的形式(例如，各种公式手稿的图片)，导致了很多繁杂且容易出错的重复输入工作，为了整合数学公式资源，有必要建立一种有效的机制把现存的数学公式转化成一种通用的形式，这样既可以节省重复输入数学公式的繁琐人工劳动，也能为数学公式的搜索与处理提供进一步的可能。在输入方面，纸质文档和电子文档一般可以分别通过扫描和格式转换方法转换为图片，不失一般性，通常考虑识别以图片为载体的数学公式。在输出方面，识别结果应为简单、规范且通用的数学公式表示。

OCR(Optical Character Recognition，光学符号识别)技术，是通过扫描等光学方式将各种报刊、书籍、文稿及其他印刷品的文字进行输入，再利用文字识别技术将图像信息转化成可以使用的计算机输入技术。OCR技术可以广泛地运用于银行票据、大量文字资料、档案卷宗、文案的录入、处理和检索等领域。

数学公式识别一直是OCR中的一项重要研究内容，目的是将印刷体数学公式转换成可编辑的形式，进而实现数学公式的重用，减少工作者的编辑负担。然而，目前OCR虽然在一般文字识别上达到了较高的水平，但对数学公式的识别效果仍然不好，其主要原因在于数学公式本身结构复杂，符号也有多种变化。例如，数学表达式有上下结构、半包围结构等，公式中不仅包含阿拉伯数字、大小写英文字母和希腊字母，还包括根式、分式、上下标、极限以及矩阵等许多特殊的符号。传统的数学符号识别多采用人工提取符号特征方法，这种方法存在着以下缺点：特征提取不够准确，不能将符号很好的分类；每一次提取的特征往往只能适用于一种字体，针对性较弱，这使得能测试正确的样本的范围小，鲁棒性较差。因此迫切需要一种从多样本的学习中能够实现对图像的高层次抽象，得到数学符号更本质的形状特征，克服人为设计特征造成的不完备性，从而进一步提高公式符号识别率的方法。此外，由于各种原因，数学公式中难免存在粘连字符，粘连符号切分的正确性直接影响公式符号的正确识别。

数学公式作为一种符号化的信息表达方式，在某种角度下也可以看做成一种文字。目前常见的数学公式识别主要有两类：(1)针对印刷体的数学公式识别系统；(2)针对手写体的数学公式识别系统。印刷体数学公式识别系统是把获取到的印刷文档中的数学公式图像进行识别，转换为电子文档中的公式格式；而手写体数学公式识别系统则根据获取到的输入数据分为在线手写体数学公式识别系统和离线手写体数学公式识别系统。在线的识别系统可以获取输入公式的笔画信息，并基于这些笔画信息实时地识别出输入的符号。而离线识别的输入数据则是书写完成后的数学公式图像，旨在对已经完成输入的公式的图像进行识别。

传统的数学公式识别系统包括以下四个主要技术环节：

公式分割，即从输入的公式数据得到各个字符数据的过程，离线形式的输入数据是公式图像，其分割就是把公式图像分成若干个只包含一个字符的子图像，而在线形式的输入数据是笔画序列，其分割就是把属于同一字符的笔画进行组合的过程。

符号识别，即从字符数据中提取特征，并完成识别的结果。而传统的数字符号的识别较少使用结构方法，多使用统计方法。