[发明专利]一种手写体数学公式离线识别方法及系统

摘要

本发明公开了一种手写体数学公式离线识别方法及系统，在公式分割阶段，把手写体数学公式图像转换为若干张子图像，每个子图像中包含一个字符，由于考虑了对断裂字符和粘连字符的处理，进一步提高字符分割正确率。在字符识别阶段，针对离线手写体数学字符识别问题设计了一种基于批量归一化和全局平均池化方法并仅使用1×1和3×3大小的卷积核的卷积神经网络模型，可以准确的完成数学字符的识别，提高字符识别准确率。在公式分析阶段，根据字符间的位置关系做几何约束，使用二维随机上下文无关文法进行语义约束，最后从下到上的对字符进行组合，从而完成公式的重构；基于该方案可以通过计算机自动识别笔记、试卷等文档图像中的手写体数学公式。

主权项

一种离线手写体数学公式识别方法，其特征在于，包括：将手写体数学公式按照连通域进行分割，将获得的字符部件序列中的字符部件两两组合为字符部件对，并使用SVM分类器将字符部件对分类，再根据分类结果将属于同一字符的字符部件组合，获得若干字符；利用基于批量归一化和全局平均池化算法的卷积神经网络进行字符识别，获得字符的类别和字符的位置关系；对于无法识别的字符，看作粘连字符，对粘连字符进行分割操作后再进行字符识别操作；根据字符的类别和位置关系对字符的组合进行几何和语义约束，再结合CYK算法自下而上的完成公式的重构。