[发明专利]一种深度神经网络量化方法及系统及装置及介质

权利要求书

1.一种深度神经网络量化方法，其特征在于，所述方法包括：

获得第一深度神经网络，所述包括n个神经网络层，所述神经网络层分为量化层和非量化层，所述的准确率为，设定量化深度神经网络最高可接受的准确率损失阈值；

基于所述和所述，使用二分法从所述n个神经网络层中查找获得所有量化层，将获得的量化层进行量化。

2.根据权利要求1所述的深度神经网络量化方法，其特征在于，所述基于所述和所述，使用二分法从所述n个神经网络层中查找获得所有量化层，将获得的量化层进行量化，具体包括：

定义q_i表示所述中第1至第i层所述神经网络层之间的量化层集合，将所述中的第i至第j层以及所述q_i对应的所述神经网络层均量化后获得第二深度神经网络，表示所述第二深度神经网络的准确率；

设定初始条件并执行预设查找步骤查找所述中第i至第j层所述神经网络层之间的量化层，初始条件为，；

所述预设查找步骤包括：

步骤1：若，则所述中第i至第j层所述神经网络层之间的量化层查找结果为空；若，且，则所述中第i至第j层所述神经网络层之间的量化层查找结果为第i层；若，且，则所述中第i至第j层所述神经网络层之间的量化层查找结果为空；

步骤2：若，且，则所述中第i至第j层所述神经网络层之间的量化层查找结果为第i至第j层；若，且，则令，并执行步骤3；

步骤3：更新所述初始条件，令，，并返回执行步骤1，获得所述第一神经网络在第i至第mid层之间的第一量化层集合，并执行步骤4；

步骤4：更新所述初始条件，令，，并返回执行步骤1，获得所述第一神经网络在第mid+1层至第j层之间的第二量化层集合；

步骤5：基于所述第一量化层集合和所述第二量化层集合，获得所述中第i至第j层所述神经网络层之间的量化层查找结果；

步骤6：将所述中第i至第j层所述神经网络层之间的量化层查找结果中的所有量化层均量化。

3.根据权利要求2所述的深度神经网络量化方法，其特征在于，量化前所述中每个所述神经网络层的参数均采用32位浮点型数据表示。

4.根据权利要求3所述的深度神经网络量化方法，其特征在于，将所述量化层量化具体为：将量化层的参数采用8位整数型数据表示。

5.根据权利要求2所述的深度神经网络量化方法，其特征在于，本方法中深度神经网络的准确率获取方式为：利用测试集数据测试深度神经网络，获得深度神经网络的准确率。

6.根据权利要求5所述的深度神经网络量化方法，其特征在于，本方法在图形处理器端使用所述在所述测试集上进行推理得到所述。

7.根据权利要求5所述的深度神经网络量化方法，其特征在于，所述的获得方式为：

从所述测试集中随机选择若干批次数据对所述第二深度神经网络的激活层定标以确定每一个激活层的量化尺度，利用所述测试集对所述第二深度神经网络进行多次推理分别获得多个推理准确率，求取所述多个推理准确率的平均值获得所述。

8.一种深度神经网络量化系统，其特征在于，所述系统包括：

网络准确率及准确率损失阈值获得单元，用于获得第一深度神经网络，所述包括n个神经网络层，所述神经网络层分为量化层和非量化层，所述的准确率为，设定量化深度神经网络最高可接受的准确率损失阈值；

量化单元，用于基于所述和所述，使用二分法从所述n个神经网络层中查找获得所有量化层，将获得的量化层进行量化。

9.一种深度神经网络量化装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7中任意一个所述深度神经网络量化方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任意一个所述深度神经网络量化方法的步骤。