[发明专利]一种硬件加速感知的神经网络通道剪枝方法

说明书

本发明公开了一种硬件加速感知的神经网络通道剪枝方法，它包括：步骤1、针对部署的目标硬件进行性能分析，遍历神经网络的结构以及结构配置，生成性能指标，作为成对的数据集；步骤2、设计硬件性能预测网络，利用数据集进行网络训练，形成优化的参数并保存训练完成的预测网络；步骤3、对目标网络的所有通道后添加门控单元；步骤4、结合目标网络和的预测网络，构建训练目标函数；通过该目标函数训练完成后的网络，即为最终的网络模型；在确保精度不损失的前提下，尽量减少网络的参数量和计算量，降低在实际硬件中的推理时间。

技术领域

本发明涉及嵌入式的数据智能处理以及人工智能技术领域；尤其涉及一种硬件加速感知的神经网络通道剪枝方法。

背景技术

近年来，深度学习被广泛应用于图像和语音等数据处理领域中，其相较于传统算法的卓越性能使人工智能这个概念得到热切的关注，因此神经网络也逐渐被应用于数字电网领域，包括通过图像、语音等识别技术对电网灾害风险进行更准确的评估，利用数据的智能分析辅助输、配电各个环节的精准分析、判断和优化。然而神经网络优越的性能往往伴随着巨大的参数量和计算量，要求较大的存储空间、数据带宽和较长的推理时间，因而深度神经网络难以直接部署于资源受限的电力嵌入式终端中。

神经网络压缩是解决上述问题的一种主要方法，其中剪枝是压缩神经网络的一种有效手段，其通过删除不重要的权重来减少网络参数和计算量，而在剪枝中以通道为单位进行的通道剪枝直接移除整个冗余通道，因而不改变网络的基础结构，也不需要额外的软件库和硬件资源支持额外的操作和结构，是目前最为简单和有效的方法。

目前的剪枝方法均以浮点计算量为压缩目标，如专利CN110619385A以浮点预算量为目标，专利CN109886397A以尽量保持网络性能为目标，缺少具体的压缩目标参数，专利CN111582446A通过测试压缩模型的实际运行速度来决定压缩率，需要较长的迭代周期。然而由于硬件中并行计算的特点，通道的减少无法有效转化为时间加速，导致浮点计算量的减少并不能直接转化为实际的推理时间加速比，再加上实际不同硬件中数据访问、传输的时间消耗，往往推理时间的加速比远低于理论的浮点计算量的压缩比。因此如何在剪枝过程中同时考虑目标硬件部署以及其实际加速约束，在尽量保证精度不下降的前提下，研究一种应用于电力边缘智能计算并且硬件加速感知的高效通道剪枝技术是一个亟待解决的问题。

发明内容

本发明要解决的技术问题：提供一种硬件加速感知的神经网络通道剪枝方法，在确保精度不损失的前提下，尽量减少网络的参数量和计算量，降低在实际硬件中的推理时间。

本发明技术方案：

一种硬件加速感知的神经网络通道剪枝方法，它包括：

步骤1、针对部署的目标硬件进行性能分析，遍历神经网络的结构以及结构配置，生成性能指标，作为成对的数据集；

步骤2、设计硬件性能预测网络，利用数据集进行网络训练，形成优化的参数并保存训练完成的预测网络；

步骤3、对目标网络的所有通道后添加门控单元；

步骤4、结合目标网络和的预测网络，构建训练目标函数；通过该目标函数训练完成后的网络，即为最终的网络模型。

步骤1所述性能指标为推理时间和功耗。

步骤3所述门控单元形式为在卷积或批标准化层(BatchNormalization)的输出通道上乘上一个可训练参数，门控单元的定义如下：

式中θ为可训练参数，代表该通道的重要性指标，0.5为阈值。

所述重要性指标代表每个通道的重要程度，值越高代表相应通道越重要，当值低于阈值时，代表该通道不重要，重要性指标值通过网络微调训练中的反向传播进行更新。

步骤4所述训练目标函数为：