[发明专利]一种深度神经网络的压缩方法、系统及终端设备

权利要求书

1.一种深度神经网络的压缩方法，其特征在于，包括：

输入测试样本数据，获取所述深度神经网络第L层的原特征图，并根据所述第L层的原特征图确定所述第L层的冗余滤波器；其中，L为不小于1的正整数；

根据所述冗余滤波器对所述第L层进行剪枝；

获取第L+1层的原特征图和所述第L层剪枝后的特征图；

将所述第L+1层的原特征图和所述第L层剪枝后的特征图输入到滤波器学习模型中，通过所述滤波器学习模型自动学习并输出所述第L+1层的重构滤波器；

将所述第L层剪枝后的特征图输入所述第L+1层的重构滤波器获取所述第L+1层的目标特征图；

其中，所述输入测试样本数据，获取所述深度神经网络的第L层的原特征图，并根据所述第L层的原特征图确定所述第L层的冗余滤波器，包括：

将测试样本数据输入深度神经网络中，通过所述第L层的滤波器进行处理；

获取各个滤波器的输出结果；

将所述各个滤波器的输出结果进行叠加及转置后得到所述第L层的原特征图；

根据所述第L层的原特征图对所述第L层的特征图进行重构，确定所述第L层的冗余滤波器。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第L层的原特征图对所述第L层的特征图进行重构，确定所述第L层的冗余滤波器，包括：

通过重构目标函数对所述第L层的特征图进行重构，所述重构目标函数具体为：

其中，Y^L表示第L层的原特征图，l为测试样本数据的列向量，μ^L为所述深度神经网络模型的偏置向量，A^L为所述第L层的列一致性参数，λ为正则参数。

3.根据权利要求1所述的方法，其特征在于，所述根据所述冗余滤波器对所述第L层进行剪枝，包括：

根据所述冗余滤波器查找所述冗余滤波器的相应通道；

将所述冗余滤波器从所述第L层的滤波器中裁剪掉；

将所述冗余滤波器的相应通道从所述第L层的原特征图中裁剪掉，得到第L层剪枝后的特征图。

4.根据权利要求1所述的方法，其特征在于，所述滤波器学习模型的目标函数为：

其中，Y^L+1为第L+1层的原特征图，X′为第L层去除冗余滤波器后的特征图，W′为第L+1层的重构滤波器。

5.一种深度神经网络压缩系统，其特征在于，包括：

冗余确定模块，用于输入测试样本数据，获取所述深度神经网络第L层的原特征图，并根据所述第L层的原特征图确定所述第L层的冗余滤波器；其中，L为不小于1的正整数；

剪枝模块，用于根据所述冗余滤波器对所述第L层进行剪枝；

获取模块，用于获取第L+1层的原特征图和所述第L层剪枝后的特征图；

重构模块，用于将所述第L+1层的原特征图和所述第L层剪枝后的特征图输入到滤波器学习模型中，通过所述滤波器学习模型自动学习并输出所述第L+1层的重构滤波器；

生成模块，用于将所述第L层剪枝后的特征图输入所述第L+1层的重构滤波器以生成所述第L+1层的目标特征图；

其中，所述冗余确定模块包括：

输入单元，用于将测试样本数据输入深度神经网络中，通过所述第L层的滤波器进行处理；

输出单元，用于获取各个滤波器的输出结果；

叠加单元，用于将所述各个滤波器的输出结果进行叠加及转置后得到所述第L层的原特征图；

确定单元，用于根据所述第L层的原特征图对所述第L层的特征图进行重构，确定所述第L层的冗余滤波器。

6.根据权利要求5所述的深度神经网络压缩系统，其特征在于，所述剪枝模块包括：

通道查找单元，用于根据所述冗余滤波器查找所述冗余滤波器的相应通道；

滤波器裁剪单元，用于将所述冗余滤波器从所述第L层的滤波器中裁剪掉；

通道裁剪单元，用于将所述冗余滤波器的相应通道从所述第L层的原特征图中裁剪掉，得到第L层剪枝后的特征图。