[发明专利]模型训练方法、装置、设备及存储介质

说明书

本申请公开了一种模型训练方法、装置、设备及存储介质，通过获取训练数据集，并利用已标注数据，预设的老师模型进行训练，直至老师模型达到预设的第一收敛条件，得到目标老师模型，以使老师模型学习到更多更深层的模型特征；再对目标老师模型和学生模型进行BN层权重共享，以能够利用目标老师模型指导学生模型进行训练，从而使学生模型能够具备目标老师模型的BN层权重进行训练；最后利用已标注数据和未标注数据，对学生模型和目标老师模型进行联合训练，直至学生模型达到预设的第二收敛条件，得到目标学生模型，以在保持较低模型复杂度时，提高学生模型的表达能力，从而能够有效压缩模型，降低计算资源消耗以及降低人工标注的人力成本。

技术领域

本申请涉及人工智能技术领域，尤其涉及一种模型训练方法、装置、设备及存储介质。

背景技术

随着人工智能的快速发展，卷积神经网络广泛应用于车辆驾驶领域，如车辆检测和车道线检测等。其中，训练卷积神经网络需要大量高质量标注数据，以得到高复杂度模型，从而提高模型准确率。但是大量标注数据需要高额存储空间，训练过程也需要耗费巨额计算资源。

目前，由于成本限制，初级智能辅助驾驶系统往往采用计算力相对较低的计算平台，采用高复杂度模型会带来高延时问题。因此，如何将高复杂度模型压缩至端侧计算平台的可接受程度是亟需解决的问题。

发明内容

本申请提供了一种模型训练方法、装置、设备及存储介质，以解决卷积神经网络存在计算资源消耗大的技术问题。

为了解决上述技术问题，第一方面，本申请实施例提供了一种模型训练方法，包括：

获取训练数据集，训练数据集包括已标注数据和未标注数据；

利用已标注数据，对预设的老师模型进行训练，直至老师模型达到预设的第一收敛条件，得到目标老师模型；

对目标老师模型和学生模型进行BN层权重共享，目标老师模型的模型复杂度大于学生模型的模型复杂度；

利用已标注数据和未标注数据，对学生模型和目标老师模型进行联合训练，直至学生模型达到预设的第二收敛条件，得到目标学生模型，目标学生模型能够用于部署到端侧计算平台。

本实施例通过获取训练数据集，并利用已标注数据，预设的老师模型进行训练，直至老师模型达到预设的第一收敛条件，得到目标老师模型，以使老师模型学习到更多更深层的模型特征；再对目标老师模型和学生模型进行BN层权重共享，以能够利用目标老师模型指导学生模型进行训练，从而使学生模型能够具备目标老师模型的BN层权重进行训练；最后利用已标注数据和未标注数据，对学生模型和目标老师模型进行联合训练，直至学生模型达到预设的第二收敛条件，得到目标学生模型，以能够在保持较低模型复杂度的情况下，提高学生模型的表达能力，从而能够有效压缩模型，进而降低计算资源消耗以及降低人工标注的人力成本。

在一实施例中，目标老师模型和学生模型均有多个BN层，对目标老师模型和学生模型进行BN层权重共享，包括：

将目标老师模型的多级BN层权重共享至学生模型。

本实施例通过多级BN层权重共享，以使学生模型在训练阶段能够高效汲取目标老师模型的特征表达能力，从而有效解决学生模型卷积网络层少而导致表达能力差的问题。

在一实施例中，学生模型和目标老师模型在联合训练时，固定目标老师模型的多级BN层权重和学生模型的多级BN层权重。

本实施例通过固定BN层权重，以避免BN层权重更新对学生模型带来不利影响。

在一实施例中，利用已标注数据和未标注数据，对学生模型和目标老师模型进行联合训练，直至学生模型达到预设的第二收敛条件，得到目标学生模型，包括：

将训练数据集作为学生模型和目标老师模型的输入数据，输出学生模型的第一预测结果和目标老师模型的第二预测结果；

根据第一预测结果和第二预测结果，计算目标损失函数的总损失值；