[发明专利]一种数学公式识别方法、装置

权利要求书

1.一种数学公式识别方法，其特征在于，具体包括以下步骤：

S1.公式编存

将已知公式进行汇总，并构建公式组合模型进行存储定义；

S2.获取图像信息

接收待识别文本图像，包括外接载入和实时获取；

S3.图像处理

使用双线性卷积神经网络模型对图像进行高层语义特征获取，通过迭代训练网络模型中的卷积参数，过滤图像中不相关的背景信息，根据不同的卷积参数采用不同的频数系数分类处理；

S4.非盲去模糊

获取多组同区域聚焦文本图像，收集同种目标物并去除孤立且明亮的像素点，随后进行目标区域的扩大并进行最大值滤波，通过增强放大目标的能量强度以及尺寸，同时去除图像中大部分盲元；

S5.目标提取

根据S2-S4步骤后确定获取的图像像素大小，并对图像进行图像文本提取，对所采集到的图像文本中的目标物进行确定，将提取点分别聚焦于各个目标物上，生成多张聚焦图像，采用增强差分演化方法，求取每张多聚焦图像的最佳分块大小，并将每张多聚焦图像中目标物部分进行标记提取；

S6.糅合对齐与归类

将S5中完成文本图像特征提取的文本进行按序排列组合，并对非公式字符进行隐藏处理，利用数据库存储的公式特征数据与即时提取的文本图像特征数据进行特征匹配，筛选出对应的公式组合，并将筛选出的公式组合与即时提取的文本图像特征数据通过图像特征进行图像对齐；

S7.识别归类

通过基于孪生网络的图像相似度比较判别一致性，未对齐的文本字符直接视作检测不一致区域，标记为超阈区域，其余视作一致文本行图像，标记处的超阈区域基于图像结构化相似度检测比较一致性，像素有区别的图像生成后依次进行二值化、去噪和轮廓检测，通过最小外接矩形标出不一致区域；

S8.结果判定

对文本图像完全对齐的公式文本进行独立呈现，并对单一字符存在超阈区域的进行罗列呈现，其余公式文本自动忽略，完成最终对比判定。

2.根据权利要求1所述的一种数学公式识别方法，其特征在于：所述S1中的公式组合模型包括数学公式的运算数据、运算符号和运算规则。

3.根据权利要求1所述的一种数学公式识别方法，其特征在于：所述S2中的外接载入包括U盘、蓝牙、无线传输和网端连载，所述实时获取通过视觉设备机器进行获取，具体包括：数字图像传感器、CMOS或CCD摄像机。

4.根据权利要求1所述的一种数学公式识别方法，其特征在于：所述S3中的双线性卷积神经网络模型中双线性模型M由一个四元组组成：M=（F_A;F_B;P;C），其中F_A;F_B代表特征提取函数，P是一个池化函数，C是分类函数，在进行分类的过程中通过网络A和网络B互补处理，其中网络A对图像中的物体进行定位，网络B完成对网络A定位到的物体位置进行特征提取。

5.根据权利要求1所述的一种数学公式识别方法，其特征在于：所述S7中的基于孪生网络的图像相似度比较对位系统包括可深度学习且不断迭代的系统。

6.根据权利要求1所述的一种数学公式识别方法，其特征在于：所述S6中的特征匹配包括多源数据分类、多模态语义计算、跨模态样本匹配、跨模态检索、跨模态样本生成以及多模态信息融合。

7.根据权利要求1所述的一种数学公式识别方法，其特征在于，包括一种数学公式识别方法的使用装置：具体包括有处理器和存储器，所述存储器上存储有用于在处理器上执行的计算机程序，其中计算机程序包括该种识别方法。

8.根据权利要求6所述的一种数学公式识别方法，其特征在于：所述一种数学公式识别方法的使用装置还包括有模型构建模块、接收模块、特征提取模块、识别模块和即时获取单元。