[发明专利]一种深度神经网络的量化方法、装置、电子设备及介质

权利要求书

1.一种深度神经网络的量化方法，其特征在于，包括：

获取预训练生成的深度神经网络的浮点型模型；

计算所述深度神经网络中各量化单元的重要性评估值；所述量化单元的类型包括所述深度神经网络的权重参数通道和/或隐含层，所述权重参数通道作为量化单元时用于进行权重参数量化，所述隐含层作为量化单元时用于进行激活输出量化；

确定各个所述量化单元分别对应的量化位数；所述量化位数与各个所述量化单元的所述重要性评估值正向变化；

根据所述量化位数对所述浮点型模型进行量化；

其中，当所述量化单元的类型为所述深度神经网络的权重参数通道时，所述计算所述深度神经网络中各量化单元的重要性评估值包括：计算各权重参数通道中的滤波器权重参数的目标范数的平均值，将所述平均值作为对应权重参数通道的所述重要性评估值；

所述确定各个所述量化单元分别对应的量化位数包括：确定各个权重参数通道分别对应的通道量化位数；

当所述量化单元的类型为所述深度神经网络的隐含层时，所述计算所述深度神经网络中各量化单元的重要性评估值，包括：将标定图片输入至所述浮点型模型中运行以计算各隐含层的特征图；计算各隐含层的特征图与上一层网络的特征图的相似度；将所述相似度取反后作为对应隐含层的所述重要性评估值；

所述确定各个所述量化单元分别对应的量化位数包括：确定各个隐含层分别对应的层量化位数。

2.根据权利要求1所述的深度神经网络的量化方法，其特征在于，所述确定各个权重参数通道分别对应的通道量化位数，包括：

判断所述平均值是否高于第一预设重要性阈值；

若是，则将对应权重参数通道的通道量化位数确定为第一位数；

若否，则将对应权重参数通道的通道量化位数确定为第二位数；

其中，所述第一位数大于所述第二位数。

3.根据权利要求1所述的深度神经网络的量化方法，其特征在于，所述确定各个隐含层分别对应的层量化位数，包括：

判断所述重要性评估值是否大于第二预设重要性阈值；

若是，则将对应隐含层的层量化位数确定为第三位数；

若否，则将对应隐含层的层量化位数确定为第四位数；

其中，所述第三位数大于所述第四位数。

4.根据权利要求1所述的深度神经网络的量化方法，其特征在于，所述计算各隐含层的特征图与上一层网络的特征图的相似度，包括：

计算各隐含层的特征图与上一层网络的特征图的直方图相似度。

5.一种深度神经网络的量化装置，其特征在于，包括：

训练模块，用于预先训练生成深度神经网络的浮点型模型；

计算模块，用于计算所述深度神经网络中各量化单元的重要性评估值；所述量化单元的类型包括所述深度神经网络的权重参数通道和/或隐含层，所述权重参数通道作为量化单元时用于进行权重参数量化，所述隐含层作为量化单元时用于进行激活输出量化；

确定模块，用于确定各个所述量化单元分别对应的量化位数；所述量化位数与各个所述量化单元的所述重要性评估值正向变化；

量化模块，用于根据所述量化位数对所述浮点型模型进行量化；

其中，所述计算模块包括第一计算单元，用于当所述量化单元的类型为所述深度神经网络的权重参数通道时，计算各权重参数通道中的滤波器权重参数的目标范数的平均值，将所述平均值作为对应权重参数通道的所述重要性评估值；

所述确定模块包括第一确定单元，用于确定各个权重参数通道分别对应的通道量化位数；

所述计算模块包括第二计算单元，用于当所述量化单元的类型为所述深度神经网络的隐含层时，将标定图片输入至所述浮点型模型中运行以计算各隐含层的特征图；计算各隐含层的特征图与上一层网络的特征图的相似度；将所述相似度取反后作为对应隐含层的所述重要性评估值；

所述确定模块包括第二确定单元，用于确定各个隐含层分别对应的层量化位数。

6.一种电子设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序以实现如权利要求1至4任一项所述的深度神经网络的量化方法的步骤。

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用以实现如权利要求1至4任一项所述的深度神经网络的量化方法的步骤。