[发明专利]神经网络压缩和加速的方法、存储设备和终端

权利要求书

1.一种神经网络压缩和加速的方法，其特征在于，包括步骤：

对原始神经网络进行剪枝；

对剪枝后的原始神经网络的网络权值进行聚类量化，并对聚类量化后的原始神经网络进行训练，得到目标神经网络；

采用稀疏矩阵存储所述目标神经网络；

将输入特征图转换成输入矩阵；

采用图像处理器GPU计算输出特征图，将所述稀疏矩阵与所述输入矩阵相乘，获得所述输入特征图对应的输出特征图，包括：对稀疏矩阵中每行非零元素的个数做降序排列，优先执行非零元素个数多的行。

2.根据权利要求1所述的神经网络压缩和加速的方法，其特征在于，所述对原始神经网络进行剪枝，包括：

通过L1/2正则化算法对原始神经网络进行剪枝。

3.根据权利要求1所述的神经网络压缩和加速的方法，其特征在于，若采用图形处理器GPU计算输出特征图，所述将输入特征图转换成输入矩阵，包括：

统计所述稀疏矩阵中非零元素所在的列标；

根据统计的列标得到输入矩阵的行数；

将输入特征图转换成所述行数的输入矩阵。

4.根据权利要求1所述的神经网络压缩和加速的方法，其特征在于，若采用图像处理器GPU计算输出特征图，所述将所述稀疏矩阵与所述输入矩阵相乘，获得所述输入特征图对应的输出特征图，包括：

将所述稀疏矩阵与所述输入矩阵相乘，获得输出矩阵，其中，所述输出矩阵的每一行若干列的矩阵元素由块BLOCK中的单个线程计算；

将所述输出矩阵转换成输出特征图。

5.根据权利要求4所述的神经网络压缩和加速的方法，其特征在于，所述稀疏矩阵与所述输入矩阵相乘过程中产生的累加数存入寄存器中，在相乘计算完毕后所述累加数存入所述输出矩阵的全局内存中。

6.根据权利要求1所述的神经网络压缩和加速的方法，其特征在于，若采用图像处理器GPU计算输出特征图，所述将所述稀疏矩阵与所述输入矩阵相乘，获得所述输入特征图对应的输出特征图，包括：

统计所述稀疏矩阵中每行非零元素的个数；

按照个数从大到小的顺序，获得用于指示所述稀疏矩阵各行执行顺序的排序数组；

按照所述排序数组，将每行非零元素分别与所述输入矩阵中对应列的矩阵元素相乘，获得所述输入特征图对应的输出特征图。

7.根据权利要求6所述的神经网络压缩和加速的方法，其特征在于，所述排序数组预先绑定在纹理内存中。

8.根据权利要求1所述的神经网络压缩和加速的方法，其特征在于，若采用图像处理器GPU计算输出特征图，所述将所述稀疏矩阵与所述输入矩阵相乘，获得所述输入特征图对应的输出特征图，包括：

将所述稀疏矩阵中每行非零元素存入对应的共享内存中；

将从所述共享内存中读取的每行非零元素分别与所述输入矩阵中对应列的矩阵元素相乘，获得所述输入特征图对应的输出特征图。

9.一种存储设备，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-8中任意一项所述方法的步骤。

10.一种终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-8中任意一项所述方法的步骤。