[发明专利]一种模型压缩方法及装置

说明书

本发明实施例公开了一种模型压缩方法及装置，其中方法包括：使用第一模型对第一模型的训练数据进行特征提取，得到所述第一模型分别在所述第一模型中的N个特征提取层输出的特征向量；将所述训练数据和在所述第一模型中的N个特征提取层输出的N个第一特征向量作为所述第二模型对应的N个特征提取层的训练目标，训练所述第二模型。相对于现有技术的方式来说，可以在保证提高目标模型的预测效果的同时，有效降低模型的参数的训练量。另外，由于学习的是特征提取层，第一模型和第二模型的输出类型可以不同，因此，可以扩大学习的模型的泛化能力，提高模型压缩的使用范围。

技术领域

本发明涉及数据处理领域，尤其涉及一种模型压缩方法及装置。

背景技术

在深度学习技术领域中，用户可以通过训练模型得到预测效果较好的深度学习网络模型，然而，预测效果较好的深度学习网络模型通常具有较为复杂的网络结构，从而占据较大的存储空间。相应地，在使用深度学习网络模型对待预测数据进行预测时，由于深度学习网络模型的结构较为复杂，可能会造成计算资源的浪费，使得预测的效率较差。

为了解决这个问题，通常可以对结构较为复杂的深度网络模型进行压缩，得到网络结构相对简单、预测性能较好的深度学习网络模型。知识萃取为一种常用的模型压缩方式，在该方式中，用户可以分别设计多个教师模型和一个学生模型，教师模型的网络结构较为复杂，学生模型的网络结构较为简单，通过使用多个教师模型的输出结果训练学生模型，可以使得学生模型萃取到多个教师模型的知识，提高学生模型的预测效果。然而，在该方式中，多个教师模型对学生模型的指导过程局限于训练数据(即教师模型的输出结果)。因此，需要训练的参数量巨大，训练效率低，且要求老师模型与学生模型的输出类型相同，限制了模型的学习的泛化性。

综上，目前亟需一种模型压缩方法，用以保证预测效果的前提，提高压缩模型(比如学生模型)的训练效率。

发明内容

本发明实施例提供一种模型压缩方法及装置，用以提高模型的训练效率，提高模型的压缩效果。

第一方面，本发明实施例提供的一种模型压缩方法，所述方法包括：

使用第一模型对训练数据进行特征提取，得到所述第一模型分别在所述第一模型中的N个特征提取层输出的特征向量；

将所述训练数据和在所述第一模型中的N个特征提取层输出的N个第一特征向量作为所述第二模型对应的N个特征提取层的训练目标，训练所述第二模型；所述第二模型是所述第一模型的压缩后的模型，所述第二模型的N个特征提取层的节点与所述第一模型的N个特征提取层的节点一一对应。

上述技术方案中，通过采用第一模型输出的特征向量训练第二模型，可以使得第二模型有效地学习到第一模型的输出数据特征，提高第二模型对预测数据的预测能力；并且，由于不需要通过第一模型的输出进行学习，有效降低了学习的参数。也就是说，上述技术方案可以使得压缩之后的目标模型更好地复现第一模型的内容，相对于现有技术的方式来说，可以在保证提高目标模型的预测效果的同时，有效降低模型的参数的训练量。另外，由于学习的是特征提取层，第一模型和第二模型的输出类型可以不同，因此，可以扩大学习的模型的泛化能力，提高模型压缩的使用范围。

一种可能的实现方式，所述第二模型包括M个特征提取层；M大于或等于N；所述将所述训练数据和在所述第一模型中的N个特征提取层输出的N个第一特征向量作为所述第二模型对应的N个特征提取层的训练目标，训练所述第二模型，包括：

根据所述第二模型在第二模型的N个特征提取层中输出的特征向量和所述第一模型在所述第一模型的N个特征提取层中输出的特征向量，确定N个特征提取层中所述第二模型相对于所述第一模型的输出损失；

根据所述N特征提取层中所述第二模型相对于所述第一模型的输出损失，调整所述第二模型的M个特征提取层的参数。