[发明专利]基于多任务的模型训练方法、字符识别方法及装置

权利要求书

1.一种字符识别模型的训练方法，其特征在于，包括：

获取训练样本；所述训练样本为包含字符的图片；

对所述训练样本进行预处理；

采用编码器提取训练样本中字符的特征；

将提取到的训练样本的字符特征分别输入到CTC神经网络的时序分类模型和注意力模型中进行解码操作，并获取CTC神经网络的时序类分类模型的损失以及注意力模型的损失；

基于CTC神经网络的时序分类模型的损失以及注意力模型的损失，计算联合损失；

基于联合损失对编码器、CTC神经网络的时序分类模型和注意力模型进行训练。

2.根据权利要求1所述的方法，其特征在于，所述预设的编码器包括：深度卷积神经网络模型和双向长短记忆网络模型；

所述采用预设的编码器提取训练样本中字符的特征信息，包括：

采用卷积神经网络模型提取所述训练样本中第一特征；

将所述第一特征信息输入到双向长短记忆网络模型中，提取第二特征；所述第二特征为保证各字符之间关联关系的特征。

3.根据权利要求1所述的方法，其特征在于，所述基于CTC神经网络的时序分类模型的损失以及注意力模型的损失，计算联合损失，包括：

获取CTC神经网络的时序分类模型的损失以及注意力模型的损失的权重；

基于CTC神经网络的时序分类模型的损失以及注意力模型的损失的权重，计算CTC神经网络的时序分类模型的损失以及注意力模型的损失的加权和。

4.根据权利要求1所述的方法，其特征在于，所述基于联合损失对编码器、CTC神经网络的时序分类模型和注意力模型进行训练，包括：

应用梯度下降方法回传联合损失更新编码器各层的参数；

应用梯度下降方法回传联合损失更新CTC神经网络的时序分类模型各层的参数；

应用梯度下降方法回传联合损失更新注意力模型各层的参数。

5.根据权利要求1所述的方法，其特征在于，还包括：

获取验证样本；所述验证样本与所述待识别的图片类型一致；

将所述验证样本输入到预先训练的初始的字符识别模型中，得到第一预测结果和第二预测结果；所述第一预测结果是基于CTC神经网络的时序分类模型输出的结果，所述第二预测结果是基于注意力模型输出的结果；所述初始的字符识别模型是通过上述权利要求1-5所述的方法训练得到的；

基于第一预测结果和第二预测结果的准确度，确定执行对待识别的图片进行识别操作的任务模型。

6.一种字符识别方法，其特征在于，包括：

获取待识别的图片；

将所述待识别的图片进行预处理；

通过预先训练的字符识别模型识别所述预处理后的图片中的字符；所述字符识别模型是通过上述权利要求1-5所述的方法进行训练得到的。

7.一种字符识别模型的训练装置，其特征在于，包括：

第一获取单元，用于获取训练样本；所述训练样本为包含字符的图片；

第一预处理单元，用于对所述训练样本进行预处理；

特征提取单元，用于采用编码器提取训练样本中字符的特征；

多任务解码单元，用于将提取到的训练样本的字符特征分别输入到CTC神经网络的时序分类模型和注意力模型中进行解码操作，并获取CTC神经网络的时序类分类模型的损失以及注意力模型的损失；

计算单元，用于基于CTC神经网络的时序分类模型的损失以及注意力模型的损失，计算联合损失；

训练单元，用于基于联合损失对编码器、CTC神经网络的时序分类模型和注意力模型进行训练。

8.根据权利要求1所述的方法，其特征在于，所述预设的编码器包括：深度卷积神经网络模型和双向长短记忆网络模型；

所述特征提取单元，包括：

第一特征提取子单元，用于采用卷积神经网络模型提取所述训练样本中第一特征；

第二特征提取子单元，用于将所述第一特征信息输入到双向长短记忆网络模型中，提取第二特征；所述第二特征为保证各字符之间关联关系的特征。