[发明专利]文本识别模型训练方法、文本识别方法、装置及存储介质

权利要求书

1.一种文本识别模型训练方法，包括：

获取第一训练数据和第二训练数据；

将所述第一训练数据输入待训练模型的第一分支，以及将所述第二训练数据输入所述待训练模型的第二分支，所述第一分支和所述第二分支共用一个图像编码器，所述图像编码器用于提取图像特征；

获取所述第一分支基于所述第一训练数据输出的重构图像，以及所述第二分支基于所述第二训练数据输出的预测文本；

基于所述重构图像训练所述第一分支，以及基于所述预测文本与真实文本训练所述第二分支；

基于训练好的所述第一分支和训练好的所述第二分支，得到文本识别模型。

2.根据权利要求1所述的方法，还包括：

获取所述第一分支对应的第一标签和所述第二分支对应的第二标签；

其中，所述将所述第一训练数据输入待训练模型的第一分支，以及将所述第二训练数据输入所述待训练模型的第二分支，包括：

响应于读取到携带有所述第一标签的所述第一训练数据，将所述第一训练数据输入至所述第一分支；以及

响应于读取到携带有所述第二标签的所述第二训练数据，将所述第二训练数据输入至所述第二分支。

3.根据权利要求1所述的方法，其中，所述基于所述重构图像训练所述第一分支，以及基于所述预测文本与真实文本训练所述第二分支，包括：

采用并行训练方式对所述第一分支和所述第二分支进行训练。

4.根据权利要求3所述的方法，其中，所述采用并行训练方式对所述第一分支和所述第二分支进行训练，包括：

基于所述重构图像构建无监督损失函数；

基于所述无监督损失函数训练所述第一分支；以及

基于所述预测文本与所述真实文本构建有监督损失函数；

基于所述有监督损失函数训练所述第二分支。

5.根据权利要求1所述的方法，其中，获取第一训练数据，包括：

收集第一原始图像；

对所述第一原始图像做行级别划分，得到所述第一原始图像的N个图像，N为不小于1的整数，所述第一训练数据包括所述第一原始图像的N个图像。

6.根据权利要求5所述的方法，其中，所述获取第一训练数据，还包括：

对所述N个图像中的S个图像进行掩码处理，所述第一训练数据包括所述第一原始图像的S个经过掩码处理的图像和N-S个未经掩码处理的图像，S为大于0且小于N的整数。

7.根据权利要求1所述的方法，其中，获取第二训练数据，包括：

收集第二原始图像；

识别所述第二原始图像得到所述第二原始图像的真实文本；

对所述第二原始图像做行级别划分，得到所述第二原始图像的M个图像，M为不小于1的整数，所述第二训练数据包括所述第二原始图像的M个图像和所述第二原始图像的真实文本。

8.根据权利要求1至7任一项所述的方法，其中，所述第一分支包括所述图像编码器、第一解码器和第一预测器，所述第一解码器的一端连接所述图像编码器，所述第一解码器的另一端连接所述第一预测器，所述第一解码器用于基于所述图像编码器输出的第一图像特征得到第一重建图像特征，所述第一预测器用于基于所述第一重建图像特征得到所述重构图像；所述第二分支包括所述图像编码器、第二解码器和第二预测器，所述第二解码器的一端连接所述图像编码器，所述第二解码器的另一端连接所述第二预测器，所述第二解码器用于基于所述图像编码器输出的第二图像特征得到第二重建图像特征，所述第二预测器用于基于所述第二重建图像特征输出所述预测文本。