[发明专利]识别图像中文本的方法、装置和系统

权利要求书

1.一种识别图像中文本的方法，其特征在于，包括：

根据多种识别方法，获取图像中待识别文本的多个识别结果；

获取各所述识别结果的语义信息；

获取所述图像的特征信息，所述图像的特征信息能够表征所述图像中所述待识别文本周围的信息；

根据所述图像的特征信息以及所述多个识别结果的语义信息，从所述多个识别结果中确定所述待识别文本的目标识别结果。

2.根据权利要求1所述的方法，其特征在于，所述识别结果的语义信息包括：所述识别结果中的命名实体信息以及所述识别结果中所包括的各词之间的语义关联信息。

3.根据权利要求1或2所述的方法，其特征在于，所述获取所述图像的特征信息，包括：

获取所述图像包括的内容在所述图像中的布局特征信息；

获取所述待识别文本在所述图像中的位置特征信息；

根据所述布局特征信息和所述待识别文本在所述图像中的位置特征信息，获取所述图像的特征信息。

4.根据权利要求3所述的方法，其特征在于，所述根据所述布局特征信息和所述待识别文本在所述图像中的位置特征信息，获取所述图像的特征信息，包括：

融合所述布局特征信息和所述待识别文本在图像中的位置特征信息，得到所述图像的初选特征信息；

对所述图像的初选特征信息进行池化处理，得到所述图像的预选特征信息；

合并所述图像的预选特征信息和所述待识别文本在图像中的位置特征信息，得到所述图像的特征信息。

5.根据权利要求1～4任一项所述的方法，其特征在于，所述根据所述图像的特征信息以及所述多个识别结果的语义信息，从所述多个识别结果中确定目标识别结果，包括：

将所述图像的特征信息以及各所述识别结果的语义信息作为基于注意力机制的神经网络模型的输入，经基于注意力机制的神经网络算法后输出目标标签，所述目标标签指示各所述识别结果为所述目标识别结果的概率；

根据所述目标标签与各预设标签之间的相似度，从所述多个识别结果中确定所述待识别文本的目标识别结果，其中，每个预设标签对应一种识别方法得到的识别结果。

6.根据权利要求1～5任一项所述的方法，其特征在于，所述识别结果的语义信息是基于第一机器学习模型获取的；在所述获取各所述识别结果的语义信息之前，还包括：

获取多个第一训练样本以及每个第一训练文本的标签，所述第一训练文本的标签用于指示所述第一训练样本对应的命名实体信息；

根据所述多个第一训练样本、所述多个第一训练样本的标签、多个第一训练样本分别被掩埋部分信息后得到的多个第二训练样本、各所述被掩埋的信息，训练所述第一机器学习模型。

7.根据权利要求6所述的方法，其特征在于，训练所述第一机器学习模型时所采用的损失函数包括第一损失函数与第二损失函数，包括：

所述第一损失函数为与预测所述第一训练样本的命名实体信息相关的损失函数，所述第二损失函数为与预测所述被掩埋的信息相关的损失函数。

8.根据权利要求3所述的方法，其特征在于，所述图像包括的内容在所述图像中的布局特征信息是基于第二机器学习模型得到的，所述第二机器学习模型所对应的神经网络包括如下的至少一种子网络：卷积子网络、空洞卷积子网络、可变形卷积子网络。

9.根据权利要求3或8所述的方法，其特征在于，所述待识别文本在所述图像中的位置特征信息是基于第三机器学习模型得到的，所述第三机器学习模型所对应的神经网络包括：卷积子网络。

10.根据权利要求9所述的方法，其特征在于，所述第三机器学习模型所对应的神经网络还包括空间金字塔池化子网络。