[发明专利]公式识别方法、装置、设备及存储介质

说明书

本发明提供一种公式识别方法、装置、设备及存储介质，涉及数据处理技术领域。本发明通过获取公式图像，采用预设分割网络对公式图像进行分割，获取公式图像中所包含的至少一个字符区域，对至少一个字符区域进行识别，获取各字符区域中的字符，并根据各字符区域中的字符，生成公式图像对应的latex格式的公式文本，可以识别得到公式图像中所包含的公式。其中，预设分割网络可以通过采用样本公式图像、以及样本公式图像对应的蒙版所构成的样本公式图像集合对Unet网络进行训练所获取，采用该预设分割网络可以对公式图像中的字符区域进行更准确地分割，有效降低字符之间粘连对分割效果所造成的不确定影响，进而提高公式识别的准确性。

技术领域

本发明涉及数据处理技术领域，具体而言，涉及一种公式识别方法、装置、设备及存储介质。

背景技术

公式识别一般是指对包含有公式的图像进行识别，将图像中包含的公式转换为计算机可识别的表达式的过程，如，可以对数学公式图像进行识别，将数学公式图像中包含的数学公式转化为拉泰赫(latex)格式的数学表达式，以便于计算机可以基于公式进行计算，或者将公式进行存储等。例如，对于一些需要录入数据库进行存储、且包含有公式的文本内容、题目等，则可以通过扫描获取文本内容、题目等的图像，然后基于公式识别算法对图像进行识别，获取其中包含的公式进行存储。

现有技术中，公式识别的方法一般为：通过连通域的方式对公式图像进行字符分割，每个字符是一个连通域，不同字符之间是不同的连通域；然后，可以基于字符分割结果对字符进行识别，从而识别出整个公式。

但是，采用上述现有的公式识别方法，对一些存在粘连字符的公式图像进行识别时，识别准确性不高。例如，对于一些手写表达式的公式图像而言，公式中往往会存在粘连字符，而上述现有的公式识别方法对此类手写表达式并不能进行很好地识别。

发明内容

本发明提供一种公式识别方法、装置、设备及存储介质，可以对公式图像中包含的公式进行更准确地识别。

第一方面，本发明实施例提供一种公式识别方法，该方法包括：

获取公式图像；采用预设分割网络对公式图像进行分割，获取公式图像中所包含的至少一个字符区域；其中，预设分割网络通过采用样本公式图像集合对Unet网络进行训练所获取，样本公式图像集合包括：样本公式图像、以及样本公式图像对应的蒙版；对至少一个字符区域进行识别，获取各字符区域中的字符；根据各字符区域中的字符，生成公式图像对应的拉泰赫latex格式的公式文本。

可选地，所述获取公式图像，包括：

获取包含有公式的图像信息；采用预设的高校场景文本检测网络对图像信息中的公式区域进行定位，得到公式图像。

可选地，所述采用预设分割网络对公式图像进行分割，获取公式图像中所包含的至少一个字符区域之前，该方法还包括：

获取随机生成的样本公式图像、以及样本公式图像对应的蒙版，得到样本公式图像集合；根据样本公式图像集合对Unet网络进行训练，得到预设分割网络。

可选地，所述对至少一个字符区域进行识别，获取各字符区域中的字符之前，该方法还包括：

获取样本字符图像集合，样本字符图像集合包括：样本字符图像、以及样本字符图像对应的字符标签，字符标签用于指示对应的样本字符图像中的字符；根据样本字符图像集合，对卷积神经网络进行训练，得到预设识别网络。

所述对至少一个字符区域进行识别，获取各字符区域中的字符，包括：

对于任一个字符区域：采用预设识别网络对字符区域进行识别，获取字符区域中的字符。

可选地，所述采用预设分割网络对公式图像进行分割，包括：