[发明专利]用于模型蒸馏的方法和装置

说明书

本申请公开了用于模型蒸馏的方法和装置，涉及人工智能技术领域，具体涉及深度学习和计算机视觉技术领域。具体实施方式包括：利用教师模型和学生模型，得到教师模型对应的特征和学生模型对应的特征；确定教师模型对应教师类别中心，并确定学生模型对应的学生类别中心；利用教师类别中心，监督与教师类别中心的类别相同的学生类别中心，得到训练后模型。本申请可以通过教师模型的特征中心，对学生模型的特征中心进行监督，以丰富模型的蒸馏方式。同时，可以提高蒸馏后的模型对不同类别目标的检测精度和检测速度。进一步地，有助于降低执行设备的延时，减少内存等计算资源的占用和消耗。

技术领域

本申请涉及人工智能技术领域，具体涉及深度学习和计算机视觉技术领域，尤其涉及用于模型蒸馏的方法和装置。

背景技术

模型蒸馏技术是采用一个已经训练好的教师模型，监督学生模型进行训练的过程。教师模型通常具有某种预测能力，比如针对某一种目标有很强的预测能力。举例来说，可以是针对人脸的检测能力，或者针对特殊形状的检测能力等等。

这样，通过模型的蒸馏可以让学生模型具有教师模型的预测功能。因此，模型蒸馏技术是一种常用的模型压缩方法。

发明内容

提供了一种用于模型蒸馏的方法、装置、电子设备以及存储介质。

根据第一方面，提供了一种用于模型蒸馏的方法，包括：利用教师模型和学生模型，提取目标图像的特征，得到教师模型对应的特征和学生模型对应的特征；根据教师模型对应的特征中各个类别的特征的特征中心，确定教师类别中心，并根据学生模型对应的特征中各个类别的特征的特征中心，确定学生类别中心；利用教师类别中心，监督与教师类别中心的类别相同的学生类别中心，以训练学生模型，得到训练后模型。

根据第二方面，提供了一种用于模型蒸馏的装置，包括：提取单元，被配置成利用教师模型和学生模型，提取目标图像的特征，得到教师模型对应的特征和学生模型对应的特征；确定单元，被配置成根据教师模型对应的特征中各个类别的特征的特征中心，确定教师类别中心，并根据学生模型对应的特征中各个类别的特征的特征中心，确定学生类别中心；训练单元，被配置成利用教师类别中心，监督与教师类别中心的类别相同的学生类别中心，以训练学生模型，得到训练后模型。

根据第三方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如用于模型蒸馏的方法中任一实施例的方法。

根据第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如用于模型蒸馏的方法中任一实施例的方法。

根据第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如用于模型蒸馏的方法中任一实施例的方法。

根据本申请的方案，可以通过教师模型的特征中心，对学生模型的特征中心进行监督，以丰富模型的蒸馏方式。同时，分别对不同类别进行有针对性的监督，可以让蒸馏后的学生模型对各类目标有准确的预测能力，从而提高蒸馏后的模型对不同类别目标的检测精度和检测速度。进一步地，有助于降低执行设备的延时，减少内存等计算资源的占用和消耗。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本申请一些实施例可以应用于其中的示例性系统架构图；

图2是根据本申请的用于模型蒸馏的方法的一个实施例的流程图；

图3是根据本申请的用于模型蒸馏的方法的一个应用场景的示意图；

图4是根据本申请的用于模型蒸馏的方法的又一个实施例的流程图；

图5是根据本申请的用于模型蒸馏的装置的一个实施例的结构示意图；