[发明专利]用于压缩神经网络的方法和装置

权利要求书

1.一种用于压缩神经网络的方法，包括：

获取待压缩的经训练后的神经网络，其中，所述神经网络的占用空间超出占用空间阈值；

从所述神经网络的各层中选取至少一层作为待压缩层；

按照待压缩层在所述神经网络中所处的层级的层级数由大到小的顺序，依次对每个待压缩层执行以下处理步骤：基于指定数目，对该待压缩层中的参数进行量化，并利用机器学习方法，基于预置的训练样本对经量化后的神经网络进行训练；

将对选取出的各个待压缩层进行所述处理步骤后所得的神经网络确定为经压缩后的神经网络，并存储所述经压缩后的神经网络；

其中，所述基于指定数目，对该待压缩层中的参数进行量化，包括：

基于该待压缩层中的参数的参数值，确定包含所述指定数目个映射值的映射值集合；对该待压缩层中的参数进行量化以将该参数置为所述映射值集合中的映射值。

2.根据权利要求1所述的方法，其中，所述从所述神经网络的各层中选取至少一层作为待压缩层，包括：

若所述神经网络包括卷积层和全连接层，则选取至少一个卷积层和/或至少一个全连接层作为待压缩层。

3.根据权利要求1所述的方法，其中，所述利用机器学习方法，基于预置的训练样本对经量化后的神经网络进行训练，包括：

执行以下量化训练操作：利用机器学习方法，基于所述训练样本对经量化后的神经网络进行训练；如果当前经训练后的神经网络的精度不低于预设精度，则停止执行所述量化训练操作；

如果当前经训练后的神经网络的精度低于所述预设精度，则扩大所述指定数目，并重新执行所述量化训练操作。

4.根据权利要求3所述的方法，其中，所述基于该待压缩层中的参数的参数值，确定包含所述指定数目个映射值的映射值集合，包括：

按照参数值大小对该待压缩层中的参数进行排序，将经排序后的参数划分成所述指定数目个参数序列；

对于每个参数序列，基于该参数序列中的参数的参数值，确定与该参数序列对应的映射值；

将所确定的与所述指定数目个参数序列分别对应的映射值生成映射值集合。

5.根据权利要求4所述的方法，其中，所述基于该参数序列中的参数的参数值，确定与该参数序列对应的映射值，包括：

若该参数序列中的参数的数量为奇数，则将该参数序列中的处于中间位置的参数的参数值确定为与该参数序列对应的映射值。

6.根据权利要求4所述的方法，其中，所述基于该参数序列中的参数的参数值，确定与该参数序列对应的映射值，还包括：

确定该参数序列中的参数的参数值的平均值，将所述平均值确定为与该参数序列对应的映射值。

7.根据权利要求4所述的方法，其中，所述对该待压缩层中的参数进行量化以将该参数的参数值置为所述映射值集合中的映射值，包括：

对于该待压缩层中的每个参数，在所述指定数目个参数序列中确定该参数所在的目标参数序列，将该参数置为所述映射值集合中的与所述目标参数对应的映射值。

8.根据权利要求3所述的方法，其中，所述扩大所述指定数目，包括：

将所述指定数目增加预设值。