[发明专利]一种神经网络压缩方法、装置、设备及存储介质

说明书

本申请公开了一种神经网络压缩方法，该方法包括以下步骤：通过目标参数共享网络在目标数据上进行前向推理，获得最后一个卷积模块的输出特征图；在该输出特征图中提取通道相关特征；将提取到的通道相关特征与目标约束条件输入到目标元生成网络中；通过目标元生成网络预测目标约束条件下的最优网络结构，获得压缩后的神经网络模型。应用本申请所提供的技术方案，可以减少神经网络结构搜索的性能评价过程的计算量，加快搜索高性能神经网络结构的速度。本申请还公开了一种神经网络压缩装置、设备及存储介质，具有相应技术效果。

技术领域

本申请涉及计算机应用技术领域，特别是涉及一种神经网络压缩方法、装置、设备及存储介质。

背景技术

随着计算机技术的快速发展，神经网络技术逐渐发展起来，神经网络结构搜索(Neural Architecture Search，NAS)受到了越来越多的关注。神经网络结构搜索属于自动机器学习(AutoML)领域的分支，讨论各种神经网络结构的参数优化，例如每层算子类型、卷积核尺寸等结构参数的选择与组合，搜索出限定计算量或有限推理时延等特定要求下性能最佳的网络结构。性能评估是神经网络结构搜索的基础环节，对神经网络结构搜索的搜索过程起引导作用。

目前，多是基于进化算法的神经网络结构搜索，如图1所示，总体流程为：生成候选结构后，参数共享网络推理，筛选结构，优化候选结构，确定是否符合终止条件，如果是，则获得最佳结构，如果否，则重复执行参数共享网络推理。该方法需要迭代多次执行候选网络结构生成、模型推理、候选网络结构筛选与优化等操作，需要消耗大量的计算量，且时延较长，而且根据不同的资源约束要求进行神经网络压缩时都需要执行如此计算密集的神经网络结构搜索处理，不利于模型压缩方法的灵活部署。

发明内容

本申请的目的是提供一种神经网络压缩方法、装置、设备及存储介质，以对神经网络结构搜索的性能评估过程进行优化，减小性能评估过程计算量，实现灵活的神经网络压缩。

为解决上述技术问题，本申请提供如下技术方案：

一种神经网络压缩方法，包括：

通过预先训练获得的目标参数共享网络在目标数据上进行前向推理，获得所述目标参数共享网络的最后一个卷积模块的输出特征图；

在所述目标参数共享网络的最后一个卷积模块的输出特征图中提取通道相关特征；

将提取到的通道相关特征与目标约束条件输入到预先训练获得的目标弱监督元学习框架的目标元生成网络中；

通过所述目标元生成网络预测所述目标约束条件下的最优网络结构，获得压缩后的神经网络模型。

在本申请的一种具体实施方式中，所述目标弱监督元学习框架包括所述目标元生成网络和与所述目标元生成网络连接的目标元评价网络，所述目标元生成网络的监督信息来源于所述目标元评价网络的梯度信息。

在本申请的一种具体实施方式中，通过以下步骤获得所述目标参数共享网络和所述目标弱监督元学习框架：

确定目标神经网络模型和初始弱监督元学习框架，所述初始弱监督元学习框架包括初始元评价网络和初始元生成网络；

控制所述目标神经网络模型在训练阶段进行学习；

控制所述初始元评价网络和所述初始元生成网络在验证阶段进行学习；

重复执行所述控制所述目标神经网络模型在训练阶段进行学习、所述控制所述初始元评价网络和所述初始元生成网络在验证阶段进行学习的步骤，直至达到设定的第一结束条件，获得所述目标参数共享网络和所述目标弱监督元学习框架。

在本申请的一种具体实施方式中，通过以下步骤获得所述目标参数共享网络和所述目标弱监督元学习框架：