[发明专利]数据驱动的深度神经网络量化方法、系统、介质和设备

权利要求书

1.一种数据驱动的深度神经网络量化方法，其特征在于，所述方法包括下列步骤：

S1，准备校准数据集，其中，所述校准数据集是用于对所述深度神经网络进行推理的数据集的至少一部分；

S2，选择所述深度神经网络的需要量化的层；

S3，针对所选择的层，以校准数据的误差函数最小为目标，以scale和zero_point值为变量，使用最优化算法逐层进行迭代，从而获得最佳的scale和zero_point值；

S4，基于所述最佳的scale和zero_point值对所述深度神经网络进行量化。

2.根据权利要求1所述的数据驱动的深度神经网络量化方法，其特征在于，在步骤S3之前，所述方法还包括：选择需要量化的参数；

步骤S3具体包括：针对所选择的层以及需要量化的参数，以校准数据的误差函数为最优化目标，以scale和zero_point值为变量，使用最优化算法逐层进行迭代，从而获得所述需要量化的参数的最佳截断值并因此获得最佳的scale和zero_point值。

3.根据权利要求2所述的数据驱动的深度神经网络量化方法，其特征在于，在步骤S3之前、选择需要量化的参数之后，所述方法还包括：针对所述需要量化的参数选择搜索域；

“使用最优化算法逐层进行迭代”的步骤具体包括：逐层在所选择的搜索域内使用最优化算法进行迭代。

4.根据权利要求3所述的数据驱动的深度神经网络量化方法，其特征在于，所述搜索域的范围通过下列方式中的至少一种确定：

人工设置；

采用min-max截断法确定最大值，并以0作为最小值。

5.根据权利要求2至4中任一项所述的数据驱动的深度神经网络量化方法，所述需要量化的参数是feature map和weight中的至少一种。

6.根据权利要求1至4中任一项所述的数据驱动的深度神经网络量化方法，其特征在于，所述误差函数根据所述深度神经网络的类型进行选择。

7.一种数据驱动的深度神经网络量化系统，其特征在于，所述系统包括：

校准数据模块，其用于提供校准数据集，所述校准数据集是用于对所述深度神经网络进行推理的数据集的至少一部分；

量化层选择模块，其用于选择所述深度神经网络的需要量化的层；

最优化模块，其用于针对所述量化层选择模块所选择的层，以校准数据的误差函数最小为目标，以scale和zero_point值为变量，使用最优化算法逐层进行迭代，从而获得最佳的scale和zero_point值；

量化模块，其基于所述最优化模块确定的最佳的scale和zero_point值对所述深度神经网络进行量化。

8.根据权利要求7所述的数据驱动的深度神经网络量化系统，其特征在于，所述系统还包括：量化参数选择模块，其用于选择需要量化的参数；

所述最优化模块针对所选择的层以及需要量化的参数使用最优化算法逐层进行迭代。

9.根据权利要求8所述的数据驱动的深度神经网络量化系统，其特征在于，所述系统还包括：搜索域选择模块，其用于针对所述需要量化的参数选择搜索域；

所述最优化模块针对所选择的层逐层在所述搜索域模块所选择的搜索域内使用最优化算法进行迭代。

10.根据权利要求8或9所述的数据驱动的深度神经网络量化系统，其特征在于，所述需要量化的参数是feature map和weight中的至少一种。

11.一种计算机可读存储介质，其特征在于，所述存储介质中存储有多条程序代码，所述程序代码适用于由处理器加载并运行以执行权利要求1至6中任一项所述的数据驱动的深度神经网络量化方法。

12.一种计算机设备，该计算机设备包括处理器和存储装置，所述存储装置中存储有多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行权利要求1至6中任一项所述的数据驱动的深度神经网络量化方法。