[发明专利]神经网络模型的训练方法及装置

权利要求书

1.一种神经网络模型的训练方法，包括：

基于在上一周期训练后的神经网络模型，分别确定在当前周期待训练的第一模型，以及用于辅助训练所述第一模型的第二模型；

从样本集合中选取一批图片作为当前标定样本，基于当前标定样本以及所述第二模型，对所述第一模型进行训练，训练步骤包括：

将当前标定样本输入所述第一模型，通过所述第一模型的输出得到当前标定样本对应的第一概率分布；其中的每个概率值表征当前标定样本归属于对应图像类别的可能性；

基于所述第一概率分布，确定对应于当前标定样本的预测标签；

将当前标定样本输入所述第二模型，通过所述第二模型的输出得到当前标定样本对应的第二概率分布；

基于当前标定样本的标定标签和所述预测标签，确定第一预测损失；基于所述第一概率分布和所述第二概率分布，确定第二预测损失；

以最小化所述第一预测损失和所述第二预测损失为目标，调整所述第一模型的模型参数；

在基于所述样本集合中的各样本执行所述训练步骤之后，将最后一次调整模型参数后的所述第一模型作为在当前周期训练后的神经网络模型；

其中，在最后一个周期训练后的神经网络模型用于进行基于图像识别的业务处理。

2.根据权利要求1所述的方法，所述基于所述第一概率分布，确定对应于当前标定样本的预测标签，包括：

从所述第一概率分布中进行采样，并基于采样结果确定对应于当前标定样本的预测标签；或者，

从所述第一概率分布中选择最大概率值，并基于所述最大概率值确定对应于当前标定样本的预测标签。

3.根据权利要求1所述的方法，所述基于所述第一概率分布和所述第二概率分布，确定第二预测损失，包括：

计算所述第一概率分布与所述第二概率分布的差异度；其中，所述差异度包括以下任一种：KL散度、交叉熵以及JS散度；

将所述差异度作为所述第二预测损失。

4.根据权利要求1所述的方法，所述以最小化所述第一预测损失和所述第二预测损失为目标，调整所述第一模型的模型参数，包括：

基于所述第一预测损失和所述第二预测损失各自对应的预定权重，对所述第一预测损失和所述第二预测损失进行加权求和，得到综合损失；所述综合损失与所述第一预测损失和所述第二预测损失正相关；

基于所述综合损失，调整所述第一模型的模型参数。

5.根据权利要求1所述的方法，所述神经网络模型包括以下任一种：卷积神经网络CNN、循环神经网络RNN以及语言表征模型BERT。

6.一种神经网络模型的训练装置，包括：

确定单元，用于基于在上一周期训练后的神经网络模型，分别确定在当前周期待训练的第一模型，以及用于辅助训练所述第一模型的第二模型；

训练单元，用于从样本集合中选取一批图片作为当前标定样本，基于当前标定样本以及所述第二模型，对所述第一模型进行训练；

所述训练单元具体包括：

输入子单元，用于将当前标定样本输入所述第一模型，通过所述第一模型的输出得到当前标定样本对应的第一概率分布；其中的每个概率值表征当前标定样本归属于对应图像类别的可能性；

确定子单元，用于基于所述第一概率分布，确定对应于当前标定样本的预测标签；

所述输入子单元，还用于将当前标定样本输入所述第二模型，通过所述第二模型的输出得到当前标定样本对应的第二概率分布；

所述确定子单元，还用于基于当前标定样本的标定标签和所述预测标签，确定第一预测损失；基于所述第一概率分布和所述第二概率分布，确定第二预测损失；

调整子单元，用于以最小化所述第一预测损失和所述第二预测损失为目标，调整所述第一模型的模型参数；

所述确定单元，还用于在基于所述样本集合中的各样本执行训练步骤之后，将最后一次调整模型参数后的所述第一模型作为在当前周期训练后的神经网络模型；

其中，在最后一个周期训练后的神经网络模型用于进行基于图像识别的业务处理。