[发明专利]一种神经网络训练方法以及装置

权利要求书

1.一种神经网络训练方法，其特征在于，包括：

将训练集分为至少两个子集，并使用所述至少两个子集分别对初始模型进行预训练，得到至少两个预训练模型；

使用所述训练集对所述至少两个预训练模型进行迭代训练，得到训练后的至少两个第一模型，其中，在对所述至少两个预训练模型中的第一预训练模型的任意一次迭代训练过程包括以下步骤：

从所述训练集确定出第一子集，所述第一子集中的每个样本携带初始标签；

将所述第一子集中的任意一个样本作为所述至少两个预训练模型中的第二预训练模型的输入得到所述样本的第一伪标签；其中，在得到所述第二预训练模型的预训练过程中未使用所述任意一个样本；

将所述第一子集中每个样本作为所述第一预训练模型的输入得到所述第一子集中每个样本的预测标签；

根据所述第一子集中每个样本的预测标签，初始标签和第一伪标签计算第一损失值；

根据所述第一损失值更新所述第一预训练模型，得到当前次迭代训练后的第一预训练模型。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一损失值更新所述第一预训练模型，得到当前次迭代训练后的第一预训练模型，包括：

将所述训练集的第二子集作为所述第一预训练模型的输入，并根据所述第一预训练模型的输出计算第二损失值；

融合所述第一损失值和所述第二损失值，得到更新后的第一损失值；

根据所述更新后的第一损失值更新所述第一预训练模型，得到当前次迭代训练后的第一预训练模型。

3.根据权利要求2所述的方法，其特征在于，所述将第二子集作为所述第一预训练模型的输入，并根据所述第一预训练模型的输出计算第二损失值，包括：

将所述第二子集中每个样本作为所述至少两个预训练模型针输入，得到所述第二子集中每个样本的第二伪标签；

将所述第二子集中每个样本作为所述第一预训练模型的输入，得到所述第二子集中每个样本的第二预测标签；

根据所述第二预测标签和所述第二伪标签计算所述第二损失值。

4.根据权利要求1-3中任一项所述的方法，其特征在于，所述根据所述第一子集中每个样本的预测标签，初始标签和第一伪标签计算第一损失值，包括：

根据所述第一子集中每个样本的初始标签和第一伪标签之间的距离计算所述第一子集中每个样本的初始标签对应的置信度；

计算所述第一子集中每个样本的所述预测标签和所述初始标签之间的第四损失值，以及所述预测标签和所述第一伪标签之间的第五损失值；

根据所述第一子集中每个样本的初始标签对应的置信度融合所述第一子集中每个样本的所述第四损失值和所述第五损失值，以得到所述第一损失值。

5.根据权利要求4所述的方法，其特征在于，所述第一子集中每个样本的初始标签和第一伪标签之间的距离，与所述第一子集中每个样本的初始标签对应的置信度呈负相关关系。

6.根据权利要求1-4中任一项所述的方法，其特征在于所述将训练集分为至少两个子集，包括：

将所述训练集随机等分为两个子集。