[发明专利]一种硬件加速感知的神经网络通道剪枝方法

权利要求书

1.一种硬件加速感知的神经网络通道剪枝方法，它包括：

步骤1、针对部署的目标硬件进行性能分析，遍历神经网络的结构以及结构配置，生成性能指标，作为成对的数据集；

步骤2、设计硬件性能预测网络，利用数据集进行网络训练，形成优化的参数并保存训练完成的预测网络；

步骤3、对目标网络的所有通道后添加门控单元；

步骤4、结合目标网络和的预测网络，构建训练目标函数；通过该目标函数训练完成后的网络，即为最终的网络模型。

2.根据权利要求1所述的一种硬件加速感知的神经网络通道剪枝方法，其特征在于：步骤1所述性能指标为推理时间和功耗。

3.根据权利要求1所述的一种硬件加速感知的神经网络通道剪枝方法，其特征在于：步骤3所述门控单元形式为在卷积或批标准化层(BatchNormalization)的输出通道上乘上一个可训练参数，门控单元的定义如下：

式中θ为可训练参数，代表该通道的重要性指标，0.5为阈值。

4.根据权利要求3所述的一种硬件加速感知的神经网络通道剪枝方法，其特征在于：所述重要性指标代表每个通道的重要程度，值越高代表相应通道越重要，当值低于阈值时，代表该通道不重要，重要性指标值通过网络微调训练中的反向传播进行更新。

5.根据权利要求1所述的一种硬件加速感知的神经网络通道剪枝方法，其特征在于：步骤4所述训练目标函数为：

min L+λR(θ)

R(θ)＝log((f(θ)-T*r)/T+1)

式中：L是原本目标网络的训练损失函数，R(θ)是硬件约束函数，其值为预测网络的输出和预设硬件性能之间的差值，输入是g(θ)构建的网络结构向量，λ是平衡两者的参数。

6.根据权利要求1所述的一种硬件加速感知的神经网络通道剪枝方法，其特征在于：步骤1所述针对部署的目标硬件进行性能分析，遍历神经网络的结构以及结构配置，生成性能指标，作为成对的数据集的方法为：针对目标部署的硬件生成相应的预测网络数据集，输入为目标网络的单位结构，包括卷积网络中的卷积结构、全连接网络的全连接结构中所有可能的结构参数，结构参数包括输入和输出通道数，卷积核大小，卷积步长大小以及输出特征大小，将连接组合为向量作为输入，输出由目标部署的硬件推理得到，形式包括推理时间和功耗，遍历所有可能结构得到输入输出对的数据集。

7.根据权利要求1所述的一种硬件加速感知的神经网络通道剪枝方法，其特征在于：步骤2所述预测网络由若干全连接层和非线性激活函数层组合而成，输入向量对应数据集中的输入，训练目标为尽可能使预测网络的输出和数据集中的输出向量尽可能接近，将训练目标函数设置为回归损失函数或均方误差函数，训练最终得到预测网络并保存。

8.根据权利要求5所述的一种硬件加速感知的神经网络通道剪枝方法，其特征在于：通过该目标函数训练完成后的网络，即为最终的网络模型的方法为：硬件约束函数目标为使预测网络的输出即预测的硬件性能接近预设的硬件性能T*r，其中T为原始的已训练好网络的预测硬件性能，r为预设的目标比例，输入f(θ)是由g(θ)和结构信息构建的网络结构向量，包括输入和输出通道数，卷积核大小，卷积步长大小以及输出特征大小，以通道数为例，表达为该卷积层中所有通道对应的g(θ)之和；输入向量与训练预测网络时的输入向量组合方式相同，λ是平衡两者的参数；通过该目标函数训练完成后的网络，在达到预设硬件性能下保持最佳的网络性能，即为最终的网络模型。