[发明专利]一种手写体数学公式离线识别方法及系统

说明书

技术领域

本发明涉及图像处理与模式识别技术领域，尤其涉及一种手写体数学公式离线识别方法及系统。

背景技术

数学公式在教材、科技论文等科技类文档中非常常见，与一维结构的文本行不同，数学公式中字符空间关系复杂，存在着上下、左右、右上、右下、包围等二维结构。由于数学公式结构复杂，把公式输入到电子文档的过程繁琐复杂，而数学公式的识别技术可以方便地把公式图像或手写公式的笔画序列转换为在电子文档中可编辑的公式格式。

目前数学公式识别系统主要分为两类：(1)针对离线(脱机)印刷体的数学公式识别系统；(2)针对在线(联机)手写体的数学公式识别系统。离线印刷体数学公式识别系统可以把印刷的文档中的数学公式转换为电子文档中的公式格式；而在线手写体数学公式识别系统则根据公式的书写过程得到笔画序列，把笔画序列转换为电子文档中的公式格式。

数学公式识别系统包括三个主要技术环节：(1)公式分割，即从输入的公式数据得到各个字符数据的过程，离线形式的输入数据是公式图像，其分割就是把公式图像分成若干个只包含一个字符的子图像，而在线形式的输入数据是笔画序列，其分割就是把属于同一字符的笔画进行组合的过程；(2)字符识别，即从字符数据中提取特征，并完成识别的结果；(3)公式分析，即根据字符的类别和字符间的位置关系对字符的组合进行几何和语义约束，最终将所有字符进行组合，重构出公式的过程。离线印刷体数学公式常用的分割方法有：基于图像分析的直接切分法、基于投影的切分技术以及曲线最短路径分割算法等。在线手写体数学公式常用的分割方法有：Stefan等人提出的基于假设网络的字符笔画组合法、Kenichi等人提出的基于统计笔画间距离的公式分割算法以及Lei等人提出的基于笔画对识别的公式分割算法等。字符识别的主要方法分为：人工提取字符图像特征并使用支持向量机(Support Vector Machine,SVM)、Adaboost等分类器进行识别的传统方法；利用卷积神经网络(Convolutional Neural Network,CNN)自动提取图像特征并完成分类的深度学习方法。当前常用的公式分析方法主要有根据符号本身的类别、大小和符号间的位置关系判断符号空间关系的结构分析法和根据形式文法判断符号的语义和符号间关系的文法分析法。但是，由于手写体的随意性和多样性，使用上述传统的离线印刷体数学公式分割技术对手写数学公式图像进行分割效果往往会比较差，而在线的分割方法又不适合离线公式图像的分割问题；同时，字符识别方法识别率与准确率也较低。

发明内容

本发明的目的是提供一种手写体数学公式离线识别方法及系统，可以提高字符分割正确率，进而提高字符识别准确率，从而便于字符分析，完成公式重构。

本发明的目的是通过以下技术方案实现的：

一种离线手写体数学公式识别方法，包括：

将手写体数学公式按照连通域进行分割，将获得的字符部件序列中的字符部件两两组合为字符部件对，并使用SVM分类器将字符部件对分类，再根据分类结果将属于同一字符的字符部件组合，获得若干字符；

利用基于批量归一化和全局平均池化算法的卷积神经网络进行字符识别，获得字符的类别和字符的位置关系；对于无法识别的字符，看作粘连字符，对粘连字符进行分割操作后再进行字符识别操作；

根据字符的类别和位置关系对字符的组合进行几何和语义约束，再结合CYK算法自下而上的完成公式的重构。

将获得的字符部件序列中的字符部件两两进行组合为字符部件对，并使用SVM分类器将字符部件对分类，再根据分类结果将属于同一字符的字符部件组合的步骤如下：

根据得到的字符部件序列W{W₀,W₁,...,W_n}中字符部件之间的位置关系，将字符部件两两组合为字符部件对p_m＝(W_i,W_j),0≤m≤n-1,0≤i,j≤n,i≠j；

提取字符部件对p_m＝(W_i,W_j)中两个字符部件W_i与W_j之间的几何关系特征，作为字符部件对p_m的特征；其中几何关系特征包括：两字符部件的包围盒中心距离、两字符部件图像质心距离、两字符部件的最短距离、包围盒水平重叠区域和/或竖直重叠区域；