[发明专利]模型优化方法、装置、电子设备及可读存储介质

说明书

本申请提供一种模型优化方法、装置、电子设备及可读存储介质，该方法包括：对当前网络模型进行预设轮数的稀疏约束训练，并依据预设阈值对训练后的第一网络模型进行裁剪，得到第一裁后模型；对第一裁后模型的各层进行等比例扩充，并对扩充后的网络模型进行非稀疏约束训练；迭代执行上述操作，直至得到的第二网络模型满足预设停止规则时，确定迭代完成；依据预设裁后计算量，以及迭代过程中得到的第二网络模型，确定第二裁后模型；依据第二裁后模型，对原始网络模型进行变权重稀疏约束训练，得到原始网络模型对应的稀疏模型，并对所述稀疏模型进行离线裁剪。该方法可以实现基于变权重稀疏约束的网络模型自动裁剪。

技术领域

本申请涉及人工智能技术领域，尤其涉及一种模型优化方法、装置、电子设备及可读存储介质。

背景技术

随着人工智能技术的高速发展，依据网络模型执行智能任务，如进行智能检测(如车辆、车牌检测等)的应用越来越普及。由于终端设备的计算资源通常是有限的，若网络模型的结构过于复杂，则其对计算资源的需求会过大，导致终端设备依据该网络模型执行智能任务的速度会比较慢，实时性较差。因此，为了提高终端设备执行智能任务的实时性，可以对终端设备上应用的网络模型进行合理裁剪，而基于稀疏约束的网络模型裁剪是一种较为常用的网络模型裁剪方式。

稀疏约束是通过训练重构模型参数的一种典型方法，通过将每层网络参数分为多组，并在目标函数中添加稀疏约束的方式，减小一些组的范数，从而达到稀疏的目的。

目前，基于稀疏约束对网络模型进行裁剪主要包括两种方案：

1、等权重稀疏约束方案：对网络模型的所有连接使用相同强度的稀疏约束。这种方法的缺点是不能将网络的每一层精确稀疏到指定稀疏度。

2、变权重稀疏约束方案：对网络模型的不同连接使用不同强度的稀疏约束，从而，将网络的每层精确稀疏到指定稀疏度。

然而实践发现，传统变权重稀疏约束方案需要人工设定网络模型各层的裁剪比例，无法实现自动裁剪，导致终端设备依据网络模型执行智能任务的实时性较差。

发明内容

有鉴于此，本申请提供一种模型优化方法、装置、电子设备及可读存储介质，以解决传统变权重稀疏约束方案无法实现网络模型自动裁剪，进而导致终端设备执行智能任务的实时性差的问题。

具体地，本申请是通过如下技术方案实现的：

根据本申请实施例的第一方面，提供一种模型优化方法，包括：

对当前网络模型进行预设轮数的稀疏约束训练，并依据预设阈值对训练后的第一网络模型进行裁剪，得到第一裁后模型；

对所述第一裁后模型的各层进行等比例扩充，以使扩充后的网络模型的计算量与原始网络模型的计算量一致，并对所述扩充后的网络模型进行非稀疏约束训练，得到训练后的第二网络模型；

迭代执行上述操作，直至得到的第二网络模型满足预设停止规则时，确定迭代完成；其中，所述预设停止规则包括第二网络模型各层的通道数随着迭代次数的增加的变化幅度不超过预设取值范围；迭代过程中，第一次执行上述操作时，所述当前网络模型为所述原始网络模型，非第一次执行上述操作时，所述当前网络模型为上一次得到的第二网络模型；

依据预设裁后计算量，以及迭代过程中得到的第二网络模型，确定第二裁后模型；

依据所述第二裁后模型，对所述原始网络模型进行变权重稀疏约束训练，得到所述原始网络模型对应的稀疏模型，并对所述稀疏模型进行离线裁剪。

根据本申请实施例的第二方面，提供一种模型优化装置，包括：