[发明专利]一种基于双流网络的剪枝方法

权利要求书

1.一种基于双流网络的剪枝方法，其特征在于，包括：

预设第一神经网络和第二神经网络，将训练样本分别输入所述第一神经网络和所述第二神经网络，将两神经网络的输出结果之间进行比对，进而调整所述第一神经网络的权重参数，获取神经网络模型；

根据所述权重参数对所述神经网络模型进行剪枝处理，并对剪枝后的模型进行训练获取最终模型。

2.根据权利要求1所述的基于双流网络的剪枝方法，其特征在于，所述第一神经网络的网络层数小于所述第二神经网络的网络层数。

3.根据权利要求1所述的基于双流网络的剪枝方法，其特征在于，所述第一神经网络设置有通道重要性选择模块，所述通道重要性选择模块根据调整后的所述权重参数对各通道的特征进行重新分配组合。

4.根据权利要求2所述的基于双流网络的剪枝方法，其特征在于，所述第一神经网络和/或所述第二神经网络采用残差网络。

5.根据权利要求1所述的基于双流网络的剪枝方法，其特征在于，设置剪枝比例，并根据所述权重参数的大小按所述剪枝比例进行筛选。

6.根据权利要求1所述的基于双流网络的剪枝方法，其特征在于，分别获取所述第一神经网络和所述第二神经网络的输出概率分布，根据二者概率分布的散度调整所述第一神经网络的权重参数。

7.根据权利要求6所述的基于双流网络的剪枝方法，其特征在于，采用相对熵或交叉熵获取所述第一神经网络与所述第二神经网络输出概率分布之间的散度。

8.根据权利要求6所述的基于双流网络的剪枝方法，其特征在于，设置散度阈值，当所述概率分布的散度未达到所述散度阈值时，采用梯度下降法更新所述第一神经网络的所述权重参数。

9.根据权利要求3所述的基于双流网络的剪枝方法，其特征在于，通过所述第一神经网络将所述训练样本的输入特征进行全局池化，获取输入特征表示；

将所述输入特征表示接入全连接层并通过激活函数获取每个输入特征对应的权重值；

通过所述通道重要性选择模块将所述权重值馈入对应的所述输入特征，比较每个所述输入特征，获取每个所述输入特征的重要性，并根据所述重要性将对应的所述输入特征进行重新分配组合。

10.根据权利要求5所述的基于双流网络的剪枝方法，其特征在于，剪枝比例采用0.1-0.5。