[发明专利]基于分解和剪枝的卷积神经网络压缩方法、系统、装置

权利要求书

1.一种基于分解和剪枝的卷积神经网络压缩方法，其特征在于，该方法包括以下步骤：

步骤S100，获取待压缩的卷积神经网络，将所述卷积神经网络中每个待压缩的卷积层后面添加一层系数矩阵表示层，作为第一网络；

步骤S200，通过低秩近似分解算法分别对各所述系数矩阵表示层进行稀疏处理，并根据所述系数矩阵表示层稀疏的位置对对应的卷积层的滤波器进行剪枝处理，得到第二网络；

步骤S300，采用结构化稀疏剪枝方法分别对所述第二网络的各系数矩阵表示层进行稀疏处理，并根据所述系数矩阵表示层稀疏的位置对所述系数矩阵表示层的滤波器进行剪枝处理，得到第三网络；

步骤S400，对所述第三网络进行训练，将训练完成的网络作为压缩后的卷积神经网络。

2.根据权利要求1所述的基于分解和剪枝的卷积神经网络压缩方法，其特征在于，所述系数矩阵表示层为卷积核1×1的卷积层，其输入和输出通道数目都与对应的卷积层输出通道数目相同。

3.根据权利要求1所述的基于分解和剪枝的卷积神经网络压缩方法，其特征在于，步骤S200中“通过低秩近似分解算法分别对各所述系数矩阵表示层进行稀疏处理”，其方法为：

将各所述系数矩阵表示层的权重参数分别进行张量展开，得到各所述系数矩阵表示层对应的二维矩阵；

基于L₂₁范数对各所述二维矩阵进行正则化，得到正则项；

将各正则项加入到所述卷积神经网络的损失函数，进行权重参数的更新。

4.根据权利要求3所述的基于分解和剪枝的卷积神经网络压缩方法，其特征在于，“将各正则项加入到所述卷积神经网络的损失函数，进行权重参数的更新”，其方法为：将各正则项加入到所述卷积神经网络的损失函数，通过二次近似算法和迭代阈值收敛算法对权重参数进行更新。

5.根据权利要求3所述的基于分解和剪枝的卷积神经网络压缩方法，其特征在于，步骤S200中“根据所述系数矩阵表示层稀疏的位置对对应的卷积层的滤波器进行剪枝处理”，其方法为：所述系数矩阵表示层稀疏的位置为基于L₂₁范数对各所述二维矩阵进行正则化后列L₂范数为0对应的索引值。

6.根据权利要求3所述的基于分解和剪枝的卷积神经网络压缩方法，其特征在于，步骤S300中“采用结构化稀疏剪枝方法分别对所述第二网络的各系数矩阵表示层进行稀疏处理”，其方法为：

将各所述系数矩阵表示层的权重参数张量展开得到的二维矩阵进行转置，得到转置二维矩阵；

基于L₂₁范数对各所述转置二维矩阵进行正则化，得到正则项；

将各正则项加入到所述卷积神经网络的损失函数，进行权重参数的更新。

7.根据权利要求6所述的基于分解和剪枝的卷积神经网络压缩方法，其特征在于，步骤S300中“根据所述系数矩阵表示层稀疏的位置对所述系数矩阵表示层的滤波器进行剪枝处理”，其方法为：所述系数矩阵表示层稀疏的位置为基于L₂₁范数对各所述转置二维矩阵进行正则化后行L₂范数为0对应的索引值。

8.一种基于分解和剪枝的卷积神经网络压缩系统，其特征在于，该系统包括获取添加模块、低秩近似分解模块、结构化稀疏模块、训练输出模块；

所述获取添加模块，配置为获取待压缩的卷积神经网络，将所述卷积神经网络中每个待压缩的卷积层后面添加一层系数矩阵表示层，作为第一网络；

所述低秩近似分解模块，配置为通过低秩近似分解算法分别对各所述系数矩阵表示层进行稀疏处理，并根据所述系数矩阵表示层稀疏的位置对对应的卷积层的滤波器进行剪枝处理，得到第二网络；

所述结构化稀疏模块，配置为采用结构化稀疏剪枝方法分别对所述第二网络的各系数矩阵表示层进行稀疏处理，并根据所述系数矩阵表示层稀疏的位置对所述系数矩阵表示层的滤波器进行剪枝处理，得到第三网络；

所述训练输出模块，配置为对所述第三网络进行训练，将训练完成的网络作为压缩后的卷积神经网络。