[发明专利]神经网络模型的训练方法及装置

说明书

本说明书实施例提供一种神经网络模型的训练方法及装置，在训练方法中，基于在上一周期训练后的神经网络模型，分别确定在当前周期待训练的第一模型，以及用于辅助训练第一模型的第二模型。从样本集合中选取当前标定样本，并基于其执行以下步骤：将当前标定样本输入第一模型，得到第一概率分布。基于第一概率分布，确定当前标定样本的预测标签。将当前标定样本输入第二模型，得到第二概率分布。基于标定标签和预测标签，确定第一预测损失。基于第一概率分布和第二概率分布，确定第二预测损失。结合第一预测损失和第二预测损失，调整第一模型的参数。在全部样本选取完之后，将最后一次调整参数后的第一模型作为在当前周期训练后的神经网络模型。

技术领域

本说明书一个或多个实施例涉及计算机技术领域，尤其涉及一种神经网络模型的训练方法及装置。

背景技术

随着人工智能的普遍流行，神经网络模型越来越受到关注。对于神经网络模型，通常需要先对其进行训练，之后，利用训练后的神经网络模型进行业务处理，如，进行基于图像识别的业务处理、基于用户分类的业务处理、基于音频识别的业务处理以及基于文本分析的业务处理等等。

在传统的神经网络模型的训练过程中，通常会先对样本集合中的样本进行划分，如划分为若干份。之后分批次读取各份样本，并且在每次读取到一份样本之后，基于梯度下降方法，训练神经网络模型。然而，由于样本集合中的样本的质量存在差异性，因此，当质量较差的样本排列在后时，可能会出现模型的预测准确率不稳定的情况，也即会出现训练震荡的问题，这就使得训练得到的模型准确性较差。

因此，需要提供一种更可靠地神经网络模型的训练方法。

发明内容

本说明书一个或多个实施例描述了一种神经网络模型的训练方法及装置，可以使训练的神经网络模型更准确。

第一方面，提供了一种神经网络模型的训练方法，包括：

基于在上一周期训练后的神经网络模型，分别确定在当前周期待训练的第一模型，以及用于辅助训练所述第一模型的第二模型；

从样本集合中选取一批标定样本作为当前标定样本，基于当前标定样本以及所述第二模型，对所述第一模型进行训练，该训练步骤包括：

将当前标定样本输入所述第一模型，通过所述第一模型的输出得到当前标定样本对应的第一概率分布；

基于所述第一概率分布，确定对应于当前标定样本的预测标签；

将当前标定样本输入所述第二模型，通过所述第二模型的输出得到当前标定样本对应的第二概率分布；

基于当前标定样本的标定标签和所述预测标签，确定第一预测损失；

基于所述第一概率分布和所述第二概率分布，确定第二预测损失；

以最小化所述第一预测损失和所述第二预测损失为目标，调整所述第一模型的模型参数；

在基于所述样本集合中的各样本执行所述训练步骤之后，将最后一次调整模型参数后的所述第一模型作为在当前周期训练后的神经网络模型。

第二方面，提供了一种神经网络模型的训练装置，包括：

确定单元，用于基于在上一周期训练后的神经网络模型，分别确定在当前周期待训练的第一模型，以及用于辅助训练所述第一模型的第二模型；

训练单元，用于从样本集合中选取一批标定样本作为当前标定样本，基于当前标定样本以及所述第二模型，对所述第一模型进行训练；

所述训练单元具体包括：

输入子单元，用于将当前标定样本输入所述第一模型，通过所述第一模型的输出得到当前标定样本对应的第一概率分布；