[发明专利]一种应用于电力边缘计算的残差神经网络通道剪枝方法

权利要求书

1.一种应用于电力边缘计算的残差神经网络通道剪枝方法，其特征在于：它包括：在残差网络的所有残差块的通道后添加门控单元；根据已训练好的网络模型大小以及目标参数量或计算量，进行迭代通道剪枝。

2.根据权利要求1所述的一种应用于电力边缘计算的残差神经网络通道剪枝方法，其特征在于：所述门控单元的作用是：对于不重要的通道，输出为0，即删除该通道；对于重要的通道，输出为1，代表保留该通道。

3.根据权利要求1所述的一种应用于电力边缘计算的残差神经网络通道剪枝方法，其特征在于：所述门控单元加在所有残差块的通道中，门控单元不能够加在残差连接以及相应的卷积操作后，即保留所有的残差跳跃连接。

4.根据权利要求1所述的一种应用于电力边缘计算的残差神经网络通道剪枝方法，其特征在于：所述门控单元的形式为：在卷积或批标准化层(BatchNormalization)的输出通道上乘上一个可训练参数。

5.根据权利要求1所述的一种应用于电力边缘计算的残差神经网络通道剪枝方法，其特征在于：所述门控单元的定义如下：

上式中，α为系数，IS(α)代表该通道的重要性指标，T为阈值。

6.根据权利要求5所述的一种应用于电力边缘计算的残差神经网络通道剪枝方法，其特征在于：重要性指标IS代表每个通道的重要程度，值越高代表相应通道越重要；IS值的衡量基于移除该通道后损失函数的变化大小来定义，损失函数变化越大代表该通道越重要，根据泰勒一阶展开，重要性指标IS由下式得到，其中L为损失函数，梯度在网络训练中的反向传播过程中取得；

7.根据权利要求1所述的一种应用于电力边缘计算的残差神经网络通道剪枝方法，其特征在于：所述根据已训练好的网络模型大小以及目标参数量或计算量，进行迭代通道剪枝的方法具体包括：

步骤1、在已训练好的模型上添加门控单元，设定每次迭代通道剪枝的比例以及微调训练间隔t次和训练次数p；

步骤2、用训练数据集微调训练模型，并在每次迭代中取得通道重要性指标IS，并从大到小的排序，根据通道剪枝比例，删除重要性最小的通道并重建残差块，

步骤3、重复步骤2直至模型参数量或计算量达到需要值。

8.根据权利要求7所述的一种应用于电力边缘计算的残差神经网络通道剪枝方法，其特征在于：在t次的迭代间隔后进行p次微调训练避免模型精度由于剪枝过多带来的精度损失过大。