[发明专利]一种网络参数处理方法及装置

权利要求书

1.一种网络参数处理方法，其特征在于，所述方法应用于终端处理器，所述方法包括：

获取神经网络不同网络层的网络参数，所述网络参数为所述终端处理器所利用的用于执行计算任务的神经网络的参数，其中，所述计算任务包括为图像处理或语音识别；

分别对所述不同网络层的网络参数进行量化，所述终端处理器基于所述网络参数量化后的神经网络执行所述计算任务；

其中，所述分别对所述不同网络层的网络参数进行量化包括：

在确定所述网络层中具有多个卷积核的情况下，分别确定所述多个卷积核的数据分布范围；

根据所述多个卷积核的数据分布范围，将所述多个卷积核划分成至少一个分组，其中，所述多个卷积核均来自于同一网络层；

分别对所述至少一个分组内的卷积核进行统一量化。

2.根据权利要求1所述的网络参数处理方法，其特征在于，所述根据所述多个卷积核的数据分布范围，将所述多个卷积核划分成至少一个分组，包括：

确定所述多个卷积核的数据分布范围之间的相似度；

将相似度大于预设阈值的卷积核划分至同一分组。

3.根据权利要求1所述的网络参数处理方法，其特征在于，所述分别对所述不同网络层的网络参数进行量化包括：

确定所述网络层中网络参数的数据分布范围；

根据所述数据分布范围确定系数指数值，以二为底数、以所述系数指数值为指数的数值被设置为量化系数；

基于所述量化系数对所述网络层中的网络参数进行量化。

4.根据权利要求3所述的网络参数处理方法，其特征在于，所述基于所述量化系数对所述网络层中的网络参数进行量化，包括：

所述网络参数的量化公式包括：

FP_Tensor＝2ⁿscale_factor(N_Tensor+FP_bias)

其中，FP_Tensor为量化前的浮点网络参数，N_Tensor为量化之后的N比特的定点网络参数，n为系数指数值，scale_factor为比例因子，FP_bias为偏置。

5.根据权利要求3所述的网络参数处理方法，其特征在于，所述确定所述网络层中网络参数的数据分布范围包括：

确定所述网络层的网络层类型；

基于所述网络层类型对所述网络层中网络参数的分布进行校准，确定所述网络层中网络参数的数据分布阈值。

6.一种网络参数处理装置，其特征在于，所述装置应用于终端处理器，所述装置包括：

参数获取模块，用于获取神经网络不同网络层的网络参数，所述网络参数为所述终端处理器所利用的用于执行计算任务的神经网络的参数，其中，所述计算任务包括为图像处理或语音识别；

量化模块，用于分别对所述不同网络层的网络参数进行量化，所述终端处理器基于所述网络参数量化后的神经网络执行所述计算任务；

其中，所述量化模块包括：

分布确定子模块，用于在确定所述网络层中具有多个卷积核的情况下，分别确定所述多个卷积核的数据分布范围；

分组划分子模块，用于根据所述多个卷积核的数据分布范围，将所述多个卷积核划分成至少一个分组，其中，所述多个卷积核均来自于同一网络层；

统一量化子模块，用于分别对所述至少一个分组内的卷积核进行统一量化。

7.根据权利要求6所述的网络参数处理装置，其特征在于，所述分组划分子模块包括：

相似度确定单元，用于确定所述多个卷积核的数据分布范围之间的相似度；

卷积核划分单元，用于将相似度大于预设阈值的卷积核划分至同一分组。

8.根据权利要求6所述的网络参数处理装置，其特征在于，所述量化模块包括：

分布确定子模块，用于确定所述网络层中网络参数的数据分布范围；

系数确定子模块，用于根据所述数据分布范围确定系数指数值，以二为底数、以所述系数指数值为指数的数值被设置为量化系数；

参数量化子模块，用于基于所述量化系数对所述网络层中的网络参数进行量化。