[发明专利]基于运算符作用域和中心线的数学公式识别方法

说明书

本发明提出了一种基于运算符和中心线的数学公式识别的方法，其主要思路为：对公式图片进行切割；应用卷积神经网络(CNN)网络结构对字符图片进行识别；充分利用公式中不同种类运算符作用域固定的特点将其分为三类，分别是分号、特殊运算符和二元运算符号，其中特殊运算符包括根号、求和符号、积分符号等大符号，这些运算符有多个作用域，先将这些作用域内的子式判别出来并进行识别，将识别结果直接送入运算符的Latex语言表达式；然后基于字符在书写时受四线格约束的情况，提出中心线的概念，将常见字符分类为向上类、向下类、全占类和中心类，依据字符的中心线类别不同计算阈值，判断两个字符之间的上下标的位置关系。最终实现公式识别。

技术领域

本发明涉及多媒体信息处理方向、图像识别的领域，具体涉及公式识别的技术领域。

背景技术

信息技术的发展改变了人们获取信息的方式和途径，人们越来越习惯获取电子类信息。将实体图片承载的信息电子化不仅能够提高工作效率、节约时间，也能为科研工作者提供极大的便利。实现这一目标主要应用的技术是光学字符识别(OCR)，是指利用光学电子设备如扫描仪或数码相机等获取图片后，检测图片上的字符并且确定其形状，然后用字符识别的方法将字符形状转换成计算机文字的过程。

OCR技术的应用十分广泛和常见，根据技术应用场景的不同可以分为两种，分别是自然场景文本识别和页面文本识别。自然场景下OCR技术的应用在我们的日常生活中随处可见。车牌号识别、路标识别都应用了OCR技术，同样交通物流方面的信息化也得益于OCR技术的应用。现代便利、安全和高效的生活与OCR技术在自然场景下识别文本的应用息息相关。OCR技术识别页面图片在我们的生活中也有广泛应用。

书籍页面图片与自然环境下的图片相比，背景干扰与噪声相对较少，页面目标尺寸相对较小，像素特征不如自然环境下的目标丰富。OCR技术实现页面图片识别，主要是实现将实体书籍或文档转换为电子档书籍或文档的工作，与文学作品类书籍不同，数学书籍的页面目标包括文本行、图、表和数学公式等。在科研与教学活动中，数学书籍是主要的知识载体，实现数学书籍的电子化，意味着实现实体数学书籍的可编辑与重用，可以减少科研材料的重复编辑工作，提高工作效率，对于教学和科研具有重要的意义。数学公式作为书籍重要的页面信息，其识别不仅要识别字符还要公式识别结构，一直以来都是页面目标识别的一个难点。

现有的公式识别主要分为两种，分别是多步骤识别法和端到端识别方法。端到端方法将公式识别的问题转换成机器翻译中序列到序列的问题，应用CNN对公式图片提取特征，利用循环神经网络(RNN)将提取到的特征进行解码，再用注意力机制对进行权重分析学习，最后利用光束搜索算法对标签进行匹配。这种方法训练困难，数据集要求较高，但是不需要进行图片切割。

分多步识别数学公式的方法本质的思想是分而治之，首先将公式图片进行切割，得到单个字符图片，应用分类器识别字符种类，之后根据切割得到的字符图片的位置坐标和字符种类，设计规则算法实现数学公式结构识别，最后将识别的结果输出。现有实现公式图片切割的方法有连通域法和投影法。投影法无法实现带有根号的公式图片的切割。连通域切割方法无法实现具有多个连通域的字符图片如“＝”“i”的切割，需要设计具体规则才能够实现多个连通域字符的切割。公式字符识别的方法主要有卷积网络、多层感应机和支持向量机(SVM)等方法。SVM方法需要手动设计提取的特征，计算复杂；多层感应机的本质是后向传播网络，该网络模型将输入的图片变为一维向量，会损失字符图片的特征。字符图片具有种类多、尺寸小和像素信息少的特点，卷积神经网络结构更加适合用来识别字符图片的种类。