[发明专利]公式识别方法、装置、电子设备及存储介质

权利要求书

1.一种公式识别方法，包括：

获取包含公式的待识别图像；

基于解码器网络对所述公式进行识别，得到所述公式的树结构以及所述树结构中的节点；

确定下一节点的类型，其中，所述下一节点为通过对所述树结构中的当前节点进行解析得到的节点；

响应于确定所述下一节点的类型为结构节点，基于所述解码器网络的结构分支，确定所述结构节点包括的子树的根节点，其中，所述结构节点与所述公式的树结构对应，用于表征所述公式的树结构在该节点处存在有子树；

基于所述子树的根节点，确定所述子树包括的一个或多个子节点；

基于所述子树包括的一个或多个子节点，确定目标公式；

其中，所述确定下一节点的类型，包括：

对所述待识别图像进行特征提取，得到所述待识别图像的图像特征；

获取预设的起始节点的隐状态信息和字符信息；

利用所述解码器网络中的第一门控神经网络，基于所述待识别图像的图像特征、所述预设的起始节点的隐状态信息以及所述预设的起始节点的字符信息，确定所述下一节点的类型。

2.根据权利要求1所述的方法，其中，所述基于所述待识别图像的图像特征、所述起始节点的隐状态信息以及所述起始节点的字符信息，确定所述下一节点的类型，包括：

利用所述第一门控神经网络，基于所述起始节点的隐状态信息和所述起始节点的字符信息，确定所述起始节点的语义信息；

利用所述解码器网络中的注意力网络，确定所述起始节点的加权图像特征；

基于所述起始节点的语义信息和所述起始节点的加权图像特征，得到下一节点的状态信息；

基于所述下一节点的状态信息，确定所述下一节点的类型。

3.根据权利要求2所述的方法，其中，所述基于所述下一节点的状态信息，确定所述下一节点的类型，包括：

基于所述下一节点的状态信息，利用所述解码器网络的第一全连接层，确定所述下一节点的类型概率值；

响应于确定所述类型概率值小于第一概率阈值，确定所述下一节点的类型为终止节点；

响应于确定所述类型概率值不小于第一概率阈值且不大于第二概率阈值，确定所述下一节点的类型为字符节点，其中，所述第二概率阈值大于所述第一概率阈值；

响应于确定所述类型概率值大于所述第二概率阈值，确定所述下一节点的类型为结构节点。

4.根据权利要求2所述的方法，其中，所述基于所述下一节点的状态信息，确定所述下一节点的类型，包括：

基于所述下一节点的状态信息，利用所述解码器网络的第二全连接层，确定所述下一节点为不同类型的节点的概率值；

将具有最大概率值的类型作为所述下一节点的类型。

5.根据权利要求1-4中任一项所述的方法，其中，所述结构节点包括的子树的根节点存储在所述解码器网络的存储栈中；

并且其中，所述方法还包括：

确定所述一个或多个子节点的类型；

响应于确定当前解析的子节点的类型为终止节点，确定所述存储栈中是否还包括未解析的根节点；

响应于确定所述存储栈包括所述未解析的根节点，对所述未解析的根节点进行解析。

6.根据权利要求5所述的方法，其中，所述对所述未解析的根节点进行解析，包括：

将所述未解析的根节点作为起始节点；

利用所述解码器网络中的第一门控神经网络，基于所述待识别图像的图像特征、该起始节点的隐状态信息以及该起始节点的字符信息，确定下一节点的类型。

7.根据权利要求1-4中任一项所述的方法，其中，所述树结构的节点包括字符节点，所述字符节点与所述公式包括的字符相对应，

并且其中，所述方法还包括：

响应于确定所述下一节点的类型为字符节点，基于所述解码器网络的第三全连接层，确定所述字符节点对应的字符。