[发明专利]模型量化训练方法、装置、机器可读存储介质及电子设备

说明书

本申请公开了一种模型量化训练方法、装置、机器可读存储介质及电子设备，所述方法包括：针对待量化模型中的每个待量化层，获取该待量化层的网络参数，网络参数为网络中的权重值或激活值；判断待量化层的网络参数中的最大值和最小值是否相等，或者最大值是否小于预设的参数阈值；如果待量化层的网络参数中的最大值和最小值相等，或者最大值小于参数阈值，则将最大值与预设数值之和作为新的最大值；根据待量化层中参数的最大值和最小值进行网络量化，获得目标模型。本方案能够解决量化训练过程中某一层为0、某一层的值完全相等或者某一层的值非常接近0时，没法训练的问题，使得待量化模型可以正常的量化训练。

技术领域

本申请涉及神经网络技术领域，具体而言，涉及一种模型量化训练方法、装置、机器可读存储介质及电子设备。

背景技术

随着深度学习的快速发展，深度学习模型的精度不断地得到提高。然而，精度越高的深度学习模型，往往需要依赖高性能的GPU得到。这些深度学习模型在应用时，也需要消耗巨大的硬件资源，不适用于移动终端等。目前，为了解决在移动终端上应用高精度的深度学习模型，通常会采用对模型进行量化的方法来获得可以在移动终端上使用的模型，然而，目前的模型量化方法会出现模型中某一层的网络参数相等，例如都等于0，或者某一层的参数都十分接近0时，会出现模型不能量化的情况。

发明内容

为了至少克服现有技术中的上述不足，本申请的目的之一在于提供一种模型量化训练方法，所述方法包括：

针对待量化模型中的每个待量化层，获取该待量化层的网络参数，所述网络参数为网络中的权重值或激活值；

判断所述待量化层的网络参数中的最大值和最小值是否相等，或者所述最大值是否小于预设的参数阈值；

如果所述待量化层的网络参数中的最大值和最小值相等，或者所述最大值小于所述参数阈值，则将所述最大值与预设数值之和作为新的最大值；

根据所述待量化层中参数的最大值和最小值进行网络量化，获得目标模型。

可选地，根据所述待量化层中参数的最大值和最小值进行网络量化，获得目标模型的过程包括：

根据所述最大值和所述最小值计算映射的斜率；

根据所述斜率将所述待量化层的网络参数映射为预设数值区间内的整数；

根据所述斜率将所述整数反映射为浮点数，获得目标模型。

可选地，所述根据所述最大值和所述最小值计算映射的斜率的方法为：

其中，a为待量化层中网络参数的最小值，b为待量化层中网络参数的最大值，n为预设数值区间内整数的个数，s(a，b，n)为映射的斜率。

可选地，当所述待量化层的网络参数中的最大值和最小值相等，或者所述最大值小于所述参数阈值时，所述根据所述斜率将所述待量化层的参数映射为预设数值区间内的整数q(r，a，b，n)的方法为：

clamp(r；a,b)：＝min(max(r,a),b)

b＝a+m

当所述待量化层的网络参数中的最大值和最小值不相等，且所述最大值大于或者等于所述参数阈值时，所述根据所述斜率将所述待量化层的参数映射为预设数值区间内的整数的方法为：

clamp(r；a,b)：＝min(max(r,a),b)

其中，r待量化层中的网络参数，clamp(r；a，b)为截断函数，q(r，a，b，n)为r映射到预设数值区间后的网络参数，n为预设数值区间内整数的个数，s(a，b，n)为映射的斜率。