[发明专利]模型优化方法、装置、电子设备及可读存储介质

权利要求书

1.一种模型优化方法，其特征在于，包括：

对当前网络模型进行预设轮数的稀疏约束训练，并依据预设阈值对训练后的第一网络模型进行裁剪，得到第一裁后模型；

对所述第一裁后模型的各层进行等比例扩充，以使扩充后的网络模型的计算量与原始网络模型的计算量一致，并对所述扩充后的网络模型进行非稀疏约束训练，得到训练后的第二网络模型；

迭代执行上述操作，直至得到的第二网络模型满足预设停止规则时，确定迭代完成；其中，所述预设停止规则包括第二网络模型各层的通道数随着迭代次数的增加的变化幅度不超过预设取值范围；迭代过程中，第一次执行上述操作时，所述当前网络模型为所述原始网络模型，非第一次执行上述操作时，所述当前网络模型为上一次得到的第二网络模型；

依据预设裁后计算量，以及迭代过程中得到的第二网络模型，确定第二裁后模型；

依据所述第二裁后模型，对所述原始网络模型进行变权重稀疏约束训练，得到所述原始网络模型对应的稀疏模型，并对所述稀疏模型进行离线裁剪。

2.根据权利要求1所述的方法，其特征在于，所述得到的第二网络模型满足预设停止规则，包括：

迭代过程中，相邻第二网络模型各层的通道数的差值满足预设停止规则。

3.根据权利要求2所述的方法，其特征在于，所述相邻第二网络模型各层的通道数的差值满足预设停止规则，包括：

连续N个第二网络模型中：

相邻第二网络模型各层的通道数的差值的平均值小于第一预设阈值；

或，

相邻第二网络模型各层的通道数的差值的绝对值的平均值小于第二预设阈值；

或，

相邻第二网络模型各层的通道数的差值的平方的平均值小于第三预设阈值；

其中，N≥2。

4.根据权利要求3所述的方法，其特征在于，所述依据预设裁后计算量，以及迭代过程中得到的第二网络模型，确定第二裁后模型，包括：

依据所述连续N个第二网络模型，确定目标第二网络模型；

依据所述预设裁后计算量，以及所述目标第二网络模型，确定第二裁后模型。

5.根据权利要求4所述的方法，其特征在于，所述依据所述预设裁后计算量，以及所述目标第二网络模型，确定确定第二裁后模型，包括：

依据所述预设裁后计算量，对所述目标第二网络模型进行均匀裁剪，得到所述第二裁后模型。

6.一种模型优化装置，其特征在于，包括：

预训练单元，用于对当前网络模型进行预设轮数的稀疏约束训练，并依据预设阈值对训练后的第一网络模型进行裁剪，得到第一裁后模型；对所述第一裁后模型的各层进行等比例扩充，以使扩充后的网络模型的计算量与原始网络模型的计算量一致，并对所述扩充后的网络模型进行非稀疏约束训练，得到训练后的第二网络模型；迭代执行上述操作，直至得到的第二网络模型满足预设停止规则时，确定迭代完成；其中，所述预设停止规则包括第二网络模型各层的通道数随着迭代次数的增加的变化幅度不超过预设取值范围；迭代过程中，第一次执行上述操作时，所述当前网络模型为所述原始网络模型，非第一次执行上述操作时，所述当前网络模型为上一次得到的第二网络模型；

确定单元，用于依据预设裁后计算量，以及迭代过程中得到的第二网络模型，确定第二裁后模型；

处理单元，用于依据所述第二裁后模型，对所述原始网络模型进行变权重稀疏约束训练，得到所述原始网络模型对应的稀疏模型，并对所述稀疏模型进行离线裁剪。

7.根据权利要求6所述的装置，其特征在于，所述得到的第二网络模型满足预设停止规则，包括：

迭代过程中，相邻第二网络模型各层的通道数的差值满足预设停止规则。