[发明专利]基于灵敏度剪枝及量化压缩神经网络的方法与介质

权利要求书

1.一种基于灵敏度剪枝及量化压缩神经网络的方法，其特征在于，包括以下步骤：

S100、输入神经网络，基于灵敏度对所述神经网络进行剪枝，存储剪枝后的神经网络；

S200、训练所述剪枝后的神经网络，然后返回S100，直到所述剪枝后的神经网络的精度变化处于设定范围内；

S300、基于K-means++算法计算所述剪枝后的神经网络每一层权值的聚类中心，用得到的聚类中心来表示所述剪枝后的神经网络的各层权重值；

S400、量化所述剪枝后的神经网络并输出量化后的神经网络。

2.根据权利要求1所述的基于灵敏度剪枝及量化压缩神经网络的方法，其特征在于，所述S100包括：

S110、计算每个输入节点对于整个神经网络的灵敏度；

S120、对每个输入节点的灵敏度求其各对应分量的平均值，作为平均灵敏度；

S130、将低于所述平均灵敏度的最小分量值的对应输入节点删除。

3.根据权利要求1所述的基于灵敏度剪枝及量化压缩神经网络的方法，其特征在于，所述S100还包括：

S140、将所述剪枝后的神经网络的权值按行存储CSR的格式存储。

4.根据权利要求1所述的基于灵敏度剪枝及量化压缩神经网络的方法，其特征在于，所述S200包括：

采用全局训练的方式，将剪枝之后的参数作为下一次训练的初始参数，进行所有参数的更新和微调。

5.根据权利要求1所述的基于灵敏度剪枝及量化压缩神经网络的方法，其特征在于，所述S300包括：

S310、从多个输入权值数据中随机的选择一个点作为聚类中心；

S320、对所述权值数据中的每一个点，计算与其最近的所述聚类中心的距离D(x)；

S330、基于概率p设置下一个聚类中心，其中所述概率p的计算公式为：

S340、返回步骤S320，直到聚类中心的个数达到阈值；

S350、基于所述聚类中心来执行K-means算法。

6.根据权利要求5所述的基于灵敏度剪枝及量化压缩神经网络的方法，其特征在于，步骤S330包括：

从权值矩阵中随机选择多个点作为种子点，计算每个点与最近的种子点的距离D(x)存储在一个数组中，然后将这些距离进行求和得到Sum(D(x))中的随机值C_i，计算公式如下：

C_i＝Sum(D(x))×λ

其中，λ取0到1的随机数。

7.根据权利要求1所述的基于灵敏度剪枝及量化压缩神经网络的方法，其特征在于，所述S400包括：

对每个权重32bit长度的浮点型牺牲精度。

8.根据权利要求1所述的基于灵敏度剪枝及量化压缩神经网络的方法，其特征在于，所述S400包括：

将每层的原始权值用得到的聚类中心表示，每层的多个连接权值共享同一个权重；

每一个权重通过一个索引存储在权值共享的表中。

9.根据权利要求1所述的基于灵敏度剪枝及量化压缩神经网络的方法，其特征在于，所述S400包括：

所述聚类中心存储在码本里。

10.一种计算机可读存储介质，其上储存有程序指令，所述程序指令被处理器执行时实施如权利要求1至9中任一项所述的方法。