[发明专利]一种神经网络压缩方法、装置、设备及存储介质

权利要求书

1.一种神经网络压缩方法，其特征在于，包括：

通过预先训练获得的目标参数共享网络在目标数据上进行前向推理，获得所述目标参数共享网络的最后一个卷积模块的输出特征图；

在所述目标参数共享网络的最后一个卷积模块的输出特征图中提取通道相关特征；

将提取到的通道相关特征与目标约束条件输入到预先训练获得的目标弱监督元学习框架的目标元生成网络中；

通过所述目标元生成网络预测所述目标约束条件下的最优网络结构，获得压缩后的神经网络模型。

2.根据权利要求1所述的方法，其特征在于，所述目标弱监督元学习框架包括所述目标元生成网络和与所述目标元生成网络连接的目标元评价网络，所述目标元生成网络的监督信息来源于所述目标元评价网络的梯度信息。

3.根据权利要求2所述的方法，其特征在于，通过以下步骤获得所述目标参数共享网络和所述目标弱监督元学习框架：

确定目标神经网络模型和初始弱监督元学习框架，所述初始弱监督元学习框架包括初始元评价网络和初始元生成网络；

控制所述目标神经网络模型在训练阶段进行学习；

控制所述初始元评价网络和所述初始元生成网络在验证阶段进行学习；

重复执行所述控制所述目标神经网络模型在训练阶段进行学习、所述控制所述初始元评价网络和所述初始元生成网络在验证阶段进行学习的步骤，直至达到设定的第一结束条件，获得所述目标参数共享网络和所述目标弱监督元学习框架。

4.根据权利要求2所述的方法，其特征在于，通过以下步骤获得所述目标参数共享网络和所述目标弱监督元学习框架：

确定目标神经网络模型和初始弱监督元学习框架，所述初始弱监督元学习框架包括初始元评价网络和初始元生成网络；

对所述目标神经网络模型进行参数共享训练，获得所述目标参数共享网络；

控制所述初始元评价网络和所述初始元生成网络在验证阶段进行学习；

重复执行所述控制所述初始元评价网络和所述元生成网络在验证阶段进行学习的步骤，直至达到设定的第二结束条件，获得所述目标弱监督元学习框架。

5.根据权利要求3或4所述的方法，其特征在于，通过以下步骤控制所述初始元评价网络在所述验证阶段进行学习：

生成一组初始神经网络结构；

通过所述初始元评价网络依据所述初始神经网络结构预测所述目标神经网络模型的最后一个卷积模块的权重参数；

通过所述初始元评价网络为所述目标神经网络模型的最后一个卷积模块构造一个替换卷积模块，所述替换卷积模块以所述初始元评价网络预测的权重参数为权重，以所述目标神经网络模型的最后一个卷积模块的输入数据为输入；

利用所述替换卷积模块的输出特征图，确定损失函数；

通过所述初始元评价网络依据所述损失函数计算梯度，并进行自身的参数更新。

6.根据权利要求5所述的方法，其特征在于，所述利用所述替换卷积模块的输出特征图，确定损失函数，包括：

将所述替换卷积模块的输出特征图输入到所述目标神经网络模型的分类器中，获得分类误差；

计算所述替换卷积模块的输出特征图与所述目标神经网络模型的最后一个卷积模块的输出特征图之间的均方误差；

根据所述分类误差和所述均方误差，确定损失函数。

7.根据权利要求3或4所述的方法，其特征在于，通过以下步骤控制所述初始元生成网络在所述验证阶段进行学习：

通过所述目标神经网络模型进行前向推理，获得所述目标神经网络模型的最后一个卷积模块的输出特征图；

在所述目标神经网络模型的最后一个卷积模块的输出特征图中提取通道相关特征；

将提取到的通道相关特征与当前约束条件输入到所述初始元生成网络中；

通过所述初始元生成网络预测所述当前约束条件下的最优网络结构，并输入到所述初始元评价网络中；

通过所述初始元评价网络获取所述当前约束条件下的最优网络结构的损失函数，反向传递梯度信息，以使所述初始元生成网络基于所述梯度信息进行自身参数的梯度计算和参数更新。