[发明专利]一种深度神经网络的量化方法及装置

权利要求书

1.一种深度神经网络的量化方法，其特征在于，包括：

针对深度神经网络待量化的网络层，进行量化初始化；

根据量化模式，对待量化网络层的权值进行量化操作；

根据量化后的权值进行网络的迭代训练，并更新权值直到深度神经网络收敛。

2.如权利要求1所述一种深度神经网络的量化方法，其特征在于，所述的量化初始化是计算待量化网络层的每个通道的权值均值。

3.如权利要求2所述一种深度神经网络的量化方法，其特征在于，所述的每个通道权值均值的计算方法为：

首先求取所有|w_i|的累加和，然后在每个通道内，根据当前通道权值的个数Size求平均值。

4.如权利要求3所述一种深度神经网络的量化方法，其特征在于，所述的Var表示单个通道待量化矩阵的均值，Size表示待量化网络层单个通道内权值的数目，w_i表示待量化网络层单个通道内对应的第i个权值的大小，fabs表示求取绝对值。

5.如权利要求1所述一种深度神经网络的量化方法，其特征在于，所述的量化模式是根据量化位宽分为1bits、2bits、3bits三种模式，每种模式有对应的量化方式进行权值量化操作。

6.如权利要求5所述一种深度神经网络的量化方法，其特征在于，所述的三种模式的量化操作的方式为：

当BW＝1bit时，根据权值w的大小，量化权值为Var、-Var；

当BW＝2bits时，根据权值w的大小，量化权值为0、Var、-Var；

当BW＝3bits时，根据权值w的大小，量化权值为0、Var、-Var、Var/2、-Var/2、Var/4、-Var/4。

7.如权利要求1所述一种深度神经网络的量化方法，其特征在于，所述的根据量化后的权值进行网络的迭代训练的方法为：

前向运算过程中，对于需要量化的网络层，在权值完成量化操作以后，使用量化后的权值按对应运算方式计算该网络层的输出，直至完成整个深度神经网络的运算；

反向运算过程中，按照神经网络的运算方式，结合量化后的权值更新网络层的权值参数；

重复上诉操作，直至整个网络收敛，得到量化后的网络模型。

8.一种深度神经网络的量化装置，其特征在于，包括：

预处理模块，用于计算待量化网络层权值的均值；

量化模块，用于根据不同量化模式，选择对应的量化方式，对待量化网络层的权值进行量化计算；

权值更新模块，根据深度神经网络的运算方式，更新量化权值直至网络收敛。