[发明专利]网络模型的训练、文字识别方法、装置和电子设备

权利要求书

1.一种网络模型的训练方法，其特征在于，包括：

获取多个待训练模型和所述多个待训练模型的目标训练样本；

通过每个待训练模型对所述目标训练样本分别进行文字识别处理，得到多个文字识别结果，其中，每个文字识别结果表示目标训练样本中每个待识别字符为各个预设字符的预测概率；

基于所述多个文字识别结果和所述目标训练样本的标签信息确定每个待训练模型的相对熵损失值；其中，所述相对熵损失值用于表征多个文字识别结果之间的差异程度；

通过所述相对熵损失值调整相对应待训练模型的模型参数。

2.根据权利要求1所述的方法，其特征在于，基于所述多个文字识别结果和所述目标训练样本的标签信息确定每个待训练模型的相对熵损失值包括：

在所述多个文字识别结果中确定第一待训练模型的文字识别结果和第二待训练模型的文字识别结果，分别得到第一文字识别结果和第二文字识别结果，其中，所述第一待训练模型为当前时刻所述多个待训练模型中待计算相对熵损失值的模型，所述第二待训练模型为所述多个待训练模型中除所述第一待训练模型之外的其他模型；

计算所述第一文字识别结果和所述第二文字识别结果之间的KL散度，得到目标KL散度值；

基于所述目标KL散度值、所述第一文字识别结果和所述目标训练样本的标签信息确定所述第一待训练模型的相对熵损失值。

3.根据权利要求2所述的方法，其特征在于，所述第二待训练模型的数量为多个；每个第二待训练模型对应一个第二文字识别结果；

计算所述第一文字识别结果和所述第二文字识别结果之间的KL散度包括：计算所述第一文字识别结果和每个第二文字识别结果之间的KL散度，得到多个目标KL散度值；

基于所述目标KL散度值、所述第一文字识别结果和所述目标训练样本的标签信息确定所述第一待训练模型的相对熵损失值包括：基于所述多个目标KL散度值、所述第一文字识别结果和所述目标训练样本的标签信息确定所述第一待训练模型的相对熵损失值。

4.根据权利要求2或3所述的方法，其特征在于，所述标签信息用于表征所述目标训练样本中待识别字符的为各个预设字符的实际概率；

基于所述目标KL散度值、所述第一文字识别结果和所述目标训练样本的标签信息确定所述第一待训练模型的相对熵损失值包括：

对所述第一文字识别结果中每个待识别字符的预测概率和所述标签信息中相对应待识别字符的实际概率进行求和计算，得到每个待识别字符所对应的目标计算结果；

将每个待识别字符所对应的目标计算结果和所述目标KL散度值进行求和计算，得到所述第一待训练模型的相对熵损失值。

5.根据权利要求2所述的方法，其特征在于，计算所述第一文字识别结果和所述第二文字识别结果之间的KL散度包括：

对所述第一文字识别结果进行变换，得到第一logits向量；并对所述第二文字识别结果进行变换，得到第二logits向量；

计算所述第一logits向量和所述第二logits向量之间的KL散度，得到所述目标KL散度值。

6.根据权利要求1所述的方法，其特征在于，所述多个待训练模型包括以下类型的模型：基于注意力机制的神经网络模型、图像分割网络模型。

7.一种网络模型的训练方法，其特征在于，包括：

获取多个待训练模型和所述多个待训练模型的多个目标训练样本组；其中，不同目标训练样本组中样本标签的确定方式不同，且样本标签的确定方式和所述多个待训练模型的类型相关联；

通过上述权利要求1至6中任一项所述的方法，利用每个目标训练样本组分别对每个待训练模型进行训练；

利用目标测试集对训练之后的待训练模型进行测试，得到多个模型测试结果，其中，一个目标训练样本组对应一个模型测试结果；所述模型测试结果用于表征模型进行文字识别的准确率；

基于所述模型测试结果确定所述每个待训练模型的平衡能力指标；其中，所述平衡能力指标用于衡量所述每个待训练模型执行多种操作的能力；

基于所述平衡能力指标对所述每个待训练模型再次进行训练。