[发明专利]一种神经网络压缩方法与装置

权利要求书

1.一种神经网络压缩方法，其特征在于，包括以下步骤：

对用于处理特征值的神经网络执行模型裁剪，以得到稀疏网络；

以将所述稀疏网络中的网络参数的精度压缩到不超过所述特征值的精度的方式，对所述稀疏网络执行权重量化，以得到可用网络；

使用所述可用网络以整数移位计算方式处理所述特征值。

2.根据权利要求1所述的方法，其特征在于，对用于处理所述特征值的所述神经网络执行模型裁剪，以得到所述稀疏网络包括：

训练所述神经网络，获得所述神经网络的层间各神经元的连接权重作为所述网络参数；

裁剪掉所述连接权重值低于指定阈值的所述连接，使得所述神经网络具有稀疏结构；

重新训练所述稀疏结构，获得所述稀疏网络。

3.根据权利要求1所述的方法，其特征在于，对所述稀疏网络执行权重量化，以得到可用网络包括：

将所述稀疏网络中作为所述网络参数的连接权重聚类为量化权重组和重训练权重组；

将所述量化权重组中的所述连接权重根据所述网络参数的精度而量化为2的整数次幂或0；

通过仅修改所述重训练权重组中的所述网络参数且不修改所述量化权重组中的所述网络参数，重新训练量化后的所述稀疏网络，以获得所述可用网络。

4.根据权利要求3所述的方法，其特征在于，将所述量化权重组中的所述连接权重根据所述网络参数的精度而量化为2的整数次幂或0包括：

确定一个不超过所述特征值的精度的所述网络参数的精度；

基于所述网络参数的精度生成量化集合，所述量化集合中包括0、所述(网络参数的精度位数的平方-2)/2个连续的2的正整数次幂、和与所述连续的2的正整数次幂分别相对应的连续的2的负整数次幂；

将所述量化权重组中的每个所述连接权重分别量化为所述量化集合中与所述连接权重最接近的数值。

5.根据权利要求4所述的方法，其特征在于，所述量化集合中还包括不与所述量化权重组中的任何所述连接权重的量化产生对应关系的拓展位。

6.根据权利要求3所述的方法，其特征在于，将所述稀疏网络中作为所述网络参数的所述连接权重聚类为所述量化权重组和所述重训练权重组，包括：

将所述连接权重按照其数值大小聚类为所述量化权重组和所述重训练权重组，其中所述量化权重组的所述连接权重数值较大，所述重训练权重组的所述连接权重数值较小。

7.根据权利要求1所述的方法，其特征在于，使用所述可用网络以整数移位计算方式处理所述特征值包括：根据所述特征值计算卷积。

8.根据权利要求7所述的方法，其特征在于，根据所述特征值计算卷积包括：由所述特征值、膨胀因子根据二进制整数移位计算方式确定所述卷积。

9.根据权利要求1-8中任意一项所述的方法，其特征在于，所述特征值的精度为8位；所述网络参数的精度被压缩到4位。

10.一种神经网络压缩装置，其特征在于，包括：

处理器；和

存储器，存储有处理器可运行的程序代码，所述程序代码在被运行时执行如权利要求1-9中任意一项所述的方法。