[发明专利]一种深度神经网络的量化方法、装置、电子设备及介质

说明书

本申请公开了一种深度神经网络的量化方法、装置、电子设备及计算机可读存储介质，该方法包括：获取预训练生成的深度神经网络的浮点型模型；计算深度神经网络中各量化单元的重要性评估值；量化单元的类型包括深度神经网络的权重参数通道和/或隐含层，权重参数通道作为量化单元时用于进行权重参数量化，隐含层作为量化单元时用于进行激活输出量化；确定各个量化单元分别对应的量化位数；量化位数与各个量化单元的重要性评估值正向变化；根据量化位数对浮点型模型进行量化。本申请为不同权重参数通道和/或隐含层分别设置了与信息重要性相关变化的量化位数，在保障精度的同时进行了最大限度地量化压缩，减少了数据处理量并加快了计算。

技术领域

本申请涉及人工智能技术领域，特别涉及一种深度神经网络的量化方法、装置、电子设备及计算机可读存储介质。

背景技术

随着人工智能技术的不断发展，人工智能技术已逐渐应用于我们的生活中。在人工智能技术领域，深度学习是较典型的技术之一。虽然深度神经网络在图像分类，检测等方面的能力已接近或超越人类，但在实际部署中，仍然存在模型大，计算复杂度高等问题，对硬件成本要求较高。而在实际应用中多将神经网络部署于一些终端设备或者边缘设备上，而终端设备或边缘设备一般只有较低的计算能力，而且内存和电量消耗也都受限。因此真正实现深度神经网络模型的部署，在保证模型精度不变的情况下将模型变小，使其推理更快、耗电更低是非常有必要的，深度神经网络的训练后量化由此得到了推广应用。

但是，现有技术中在对深度神经网络进行训练后量化时，并未考虑到训练生成的网络结构本身所存在的冗余信息，这些冗余信息对最终推理结果的影响不大，但却增大了计算处理复杂度和速度。

鉴于此，提供一种解决上述技术问题的方案，已经是本领域技术人员所亟需关注的。

发明内容

本申请的目的在于提供一种深度神经网络的量化方法、装置、电子设备及计算机可读存储介质，以便在保障深度神经网络精确度的基础上有效简化训练后量化的处理速度和计算量。

为解决上述技术问题，第一方面，本申请公开了一种深度神经网络的量化方法，包括：

获取预训练生成的深度神经网络的浮点型模型；

计算所述深度神经网络中各量化单元的重要性评估值；所述量化单元的类型包括所述深度神经网络的权重参数通道和/或隐含层，所述权重参数通道作为量化单元时用于进行权重参数量化，所述隐含层作为量化单元时用于进行激活输出量化；

确定各个所述量化单元分别对应的量化位数；所述量化位数与各个所述量化单元的所述重要性评估值正向变化；

根据所述量化位数对所述浮点型模型进行量化。

可选地，当所述量化单元的类型为所述深度神经网络的权重参数通道时，

所述计算所述深度神经网络中各量化单元的重要性评估值包括：计算各权重参数通道中的滤波器权重参数的目标范数的平均值，将所述平均值作为对应权重参数通道的所述重要性评估值；

所述确定各个所述量化单元分别对应的量化位数包括：确定各个权重参数通道分别对应的通道量化位数。

可选地，所述确定各个权重参数通道分别对应的通道量化位数，包括：

判断所述平均值是否高于第一预设重要性阈值；

若是，则将对应权重参数通道的通道量化位数确定为第一位数；

若否，则将对应权重参数通道的通道量化位数确定为第二位数；

其中，所述第一位数大于所述第二位数。

可选地，当所述量化单元的类型为所述深度神经网络的隐含层时，所述计算所述深度神经网络中各量化单元的重要性评估值，包括：