[发明专利]模型训练方法、装置、设备和存储介质

说明书

本公开提供了一种模型训练方法、装置、设备和存储介质，涉及人工智能技术领域，具体为深度学习、计算机视觉技术领域，可应用于图像处理、图像检测等场景。模型训练方法包括：基于教师模型输出的第一原始特征图，获取第一分块特征图；基于初始的学生模型输出的第二原始特征图，获取第二分块特征图；基于所述第一分块特征图和所述第二分块特征图，构建总损失函数；基于所述总损失函数，调整所述初始的学生模型的参数，以生成最终的学生模型。本公开可以提高知识蒸馏精度。

技术领域

本公开涉及人工智能技术领域，具体为深度学习、计算机视觉技术领域，可应用图像处理、图像检测等场景，尤其涉及一种模型训练方法、装置、设备和存储介质。

背景技术

知识蒸馏(knowledge distillation)是模型压缩的一种常用方法，不同于模型压缩中的剪枝和量化，知识蒸馏是通过构建一个轻量化的小模型，利用性能更好的大模型的监督信息，来训练这个小模型，以期达到更好的性能和精度。这个大模型称之为教师(teacher)模型，小模型称之为学生(student)模型。来自teacher模型输出的监督信息称之为知识(knowledge)，而student模型学习迁移来自teacher模型的监督信息的过程称之为蒸馏(distillation)。

发明内容

本公开提供了一种图模型训练方法、装置、设备和存储介质。

根据本公开的一方面，提供了一种模型训练方法，包括：基于教师模型输出的第一原始特征图，获取第一分块特征图，所述第一分块特征图包括所述第一原始特征图的多个图像块；基于初始的学生模型输出的第二原始特征图，获取第二分块特征图，所述第二分块特征图包括所述第二原始特征图的多个图像块，其中，所述第一原始特征图和所述第二原始特征图的维度相同，且，所述第一原始特征图的多个图像块与所述第二原始特征图的多个图像块的个数相同；基于所述第一分块特征图和所述第二分块特征图，构建总损失函数；基于所述总损失函数，调整所述初始的学生模型的参数，以生成最终的学生模型。

根据本公开的另一方面，提供了一种模型训练装置，包括：第一获取模块，用于基于教师模型输出的第一原始特征图，获取第一分块特征图，所述第一分块特征图包括所述第一原始特征图的多个图像块；第二获取模块，用于基于初始的学生模型输出的第二原始特征图，获取第二分块特征图，所述第二分块特征图包括所述第二原始特征图的多个图像块，其中，所述第一原始特征图和所述第二原始特征图的维度相同，且，所述第一原始特征图的多个图像块与所述第二原始特征图的多个图像块的个数相同；构建模块，用于基于所述第一分块特征图和所述第二分块特征图，构建总损失函数；生成模块，用于基于所述总损失函数，调整所述初始的学生模型的参数，以生成最终的学生模型。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述任一方面的任一项所述的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据上述任一方面的任一项所述的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据上述任一方面的任一项所述的方法。

根据本公开的技术方案，可以提高知识蒸馏精度。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开第一实施例的示意图；

图2是根据本公开第二实施例的示意图；