[发明专利]一种神经网络训练方法以及装置

说明书

本申请提供一种神经网络训练方法以及装置，用于结合样本的初始标签和伪标签来衡量初始标签的可信程度，并基于初始标签和伪标签对模型进行更新，得到鲁棒性更优的模型。该方法包括：使用训练集对初始模型进行预训练，得到至少两个预训练模型；使用训练集对至少两个预训练模型进行迭代训练，得到训练后的多个第一模型，任意一次迭代训练过程包括：将第一训练集中任意一个样本输入得到每个样本的第一伪标签，通过第一预训练模型得到每个样本的预测标签，根据每个样本的预测标签、初始标签和第一伪标签计算第一损失值，并更新第一预训练模型，得到训练后的第一预训练模型。

技术领域

本申请涉及人工智能领域，尤其涉及一种神经网络训练方法以及装置。

背景技术

在涉及复杂输入模式的大量学习任务中，神经网络已经显现出卓越的性能。这一成就在很大程度上归功于大量的用于训练的准确标记数据。随着相应任务难度的增加，同时为了保证相应的性能表现，大规模数据集也变得越发普遍。然而，要获得广泛的高质量的标签不仅费时而且需要消耗大量的财力，这一瓶颈严重阻碍了神经网络被应用于更多现实场景。通常训练样本可以采用人工添加标签或者预先训练的神经网络来添加标签，通常，标签的数据时常含有不定比例的噪声标签，影响对神经网络的训练。

通常，可以采用置信学习的方式来减少噪声标签对神经网络的影响。如可以识别出噪声标签并删除噪声标签以及相应的样本，使用不具有噪声标签的样本来训练神经网络。然而，删除噪声标签以及相应的样本之后，将影响训练样本中的数据分布，导致数据丢失，从而使神经网络无法完成充分的学习，得到的神经网络输出效果较差。

发明内容

本申请提供一种神经网络训练方法以及装置，用于结合样本的初始标签和伪标签来衡量初始标签的可信程度，并基于初始标签和伪标签对模型进行更新，得到鲁棒性更优的模型。

有鉴于此，第一方面，本申请提供一种神经网络训练方法，包括：

首先，至少两个预训练模型将训练集分为至少两个子集，并使用至少两个子集分别对初始模型进行预训练，得到至少两个预训练模型；

随后，使用训练集对至少两个预训练模型进行迭代训练，得到训练后的至少两个第一模型，其中，在对至少两个预训练模型中的第一预训练模型的任意一次迭代训练过程包括以下步骤：

从训练集确定出第一子集，第一子集中的每个样本携带初始标签，从所述训练集确定出第一子集，所述第一子集中的每个样本携带初始标签至少两个预训练模型；将第一子集中的任意一个样本作为至少两个预训练模型中的第二预训练模型的输入得到样本的第一伪标签；其中，在得到第二预训练模型的预训练过程中未使用任意一个样本；将第一子集中每个样本作为第一预训练模型的输入得到第一子集中每个样本的预测标签；根据第一子集中每个样本的预测标签，初始标签和第一伪标签计算第一损失值；根据第一损失值更新第一预训练模型，得到当前次迭代训练后的第一预训练模型。

因此，本申请实施方式中设置了预训练阶段和噪声处理阶段，在预训练阶段，使用训练集对初始模型进行预训练，得到至少两个预训练模型，相当于得到学习了训练集的至少两个预训练模型。在噪声处理阶段，将预训练模型的输出作为样本的伪标签，伪标签和初始标签的距离可以在一定程度上反映初始标签的可信程度，即初始标签为噪声标签的概率，通常该置信度和该概率呈负相关关系。并通过伪标签和初始标签之间的距离来计算第一损失值，并基于该第一损失值来更新预训练模型，从而可以基于初始标签的可信程度来更新预训练模型，提高模型的输出准确度，优化模型的鲁棒性。可以理解为，本申请提供的训练方式，并不显性地区分样本是否具有噪声标签，而是根据初始标签和伪标签之间的距离来计算损失值，从而完成对模型的更新，提高模型的鲁棒性。并且，相对于删除噪声标签，本申请通过预测标签、伪标签和初始标签来计算损失值，从而使最终得到的模型可以学习到更多的信息，避免因删除而减少学习到的信息。