[发明专利]模型蒸馏及相关方法、装置和电子设备、存储介质

权利要求书

1.一种模型蒸馏方法，其特征在于，包括：

获取第一模型和第二模型；其中，所述第一模型的第一参数数量多于所述第二模型的第二参数数量；

基于所述第一模型和所述第二模型，得到多个网络模型；其中，所述多个网络模型包括所述第一模型、所述第二模型和预设数值个第三模型，所述第三模型的第三参数数量少于所述第一参数数量且多于所述第二参数数量；

利用样本数据对所述多个网络模型进行模型蒸馏，得到目标模型。

2.根据权利要求1所述的方法，其特征在于，所述多个网络模型按照参数数量依序排列，且相邻所述网络模型的参数数量之间的差值均在预设范围之内。

3.根据权利要求2所述的方法，其特征在于，相邻所述网络模型的参数数量之间的第一差值相同。

4.根据权利要求3所述的方法，其特征在于，所述基于所述第一模型和所述第二模型，得到多个网络模型，包括：

获取所述第一参数数量和所述第二参数数量之间的第二差值，并基于所述第二差值与所述预设数值，得到所述第一差值；

基于所述第三模型在所述多个网络模型中的序位与所述第一差值之积以及所述第一参数数量，得到所述第三模型的第三参数数量。

5.根据权利要求1所述的方法，其特征在于，所述目标模型是在所述模型蒸馏过程中经过若干轮训练得到的，且每一轮训练均优化各个所述网络模型的网络参数。

6.根据权利要求1所述的方法，其特征在于，所述样本数据标注有样本标签，且所述样本标签属于若干预设标签；所述利用样本数据对所述多个网络模型进行模型蒸馏，得到目标模型，包括：

利用所述多个网络模型分别对所述样本数据进行处理，得到所述样本数据关于所述若干预设标签的后验概率；

分别获取若干组模型对之间关于所述后验概率的第一差异，并获取所述若干组模型对的加权因子；

基于所述加权因子对所述第一差异的加权结果，优化所述多个网络模型的网络参数；

响应于所述多个网络模型的训练结果满足预设条件，选择所述网络模型作为所述目标模型。

7.根据权利要求6所述的方法，其特征在于，在所述基于所述加权因子对所述第一差异的加权结果，优化所述多个网络模型的网络参数之前，所述方法还包括：

对于每一所述网络模型，基于所述后验概率与所述样本标签，得到所述网络模型的第一子损失；

统计所述多个网络模型的第一子损失，得到第一损失值；

所述基于所述加权因子对所述第一差异的加权结果，优化所述多个网络模型的网络参数，包括：

利用所述加权因子对所述第一差异进行加权处理，得到第二损失值；

基于所述第一损失值和所述第二损失值，优化所述多个网络模型的网络参数。

8.根据权利要求6所述的方法，其特征在于，所述多个网络模型按照参数数量依序排列，且每组所述模型对包括一对相邻的网络模型。

9.根据权利要求6所述的方法，其特征在于，所述模型对之间关于所述后验概率的第二差异与所述模型对的加权因子正相关。

10.一种数据处理方法，其特征在于，包括：

获取待处理数据；其中，所述待处理数据包括图像数据、音频数据、文本数据中至少一者；

利用目标模型对所述待处理数据进行处理，得到处理结果；

其中，所述目标模型是利用权利要求1至9任一项所述的模型蒸馏方法得到的。