[发明专利]模型量化方法、装置、设备、存储介质及程序产品

说明书

本申请实施例公开了一种模型量化方法、装置、设备、存储介质及计算机程序产品，其中，所述方法包括：获取第一网络模型对校准数据集进行处理后第一网络模型中至少一个第一网络子结构的第一输出数据；利用对第一网络模型进行量化后得到的第二网络模型，基于第二网络模型中至少一个第二网络子结构的激活量化标识，对校准数据集进行处理，得到每一第二网络子结构的第二输出数据；针对每一第一网络子结构，基于该第一网络子结构的第一输出数据，和与该第一网络子结构对应的第二网络子结构的第二输出数据，对该第二网络子结构的参数进行调整；在确定满足预设条件的情况下，将调整后的第二网络模型确定为第三网络模型。

技术领域

本申请涉及但不限于信息技术领域，尤其涉及一种模型量化方法、装置、设备、存储介质及计算机程序产品。

背景技术

现代深度学习技术通过消耗更大的内存和算力来追求更高的性能。虽然大模型可以在云端进行训练，但由于计算资源(包括延迟、能源和内存消耗)有限，将模型直接部署在边缘设备是非常困难的。通过模型量化、剪枝、蒸馏、轻量级网络设计和权重矩阵分解等技术，可以加速深度模型的推理，其中，模型量化可以将神经网络中的权值和激活值从原始的浮点类型量化到低位宽(如8比特、4比特、3比特、2比特等)整型。模型量化后得到的量化神经网络模型所需要的储存空间降低了，计算形式也从原始的浮点型运算变为了代价更小的低位宽整型数据的计算。

相关技术中的模型量化方案中，量化后的模型存在精度不够高的问题，尤其是在采用低比特位宽(如3比特、2比特等)进行模型量化的情况下，模型的精度会大幅下降，无法满足应用需求。

发明内容

有鉴于此，本申请实施例提供一种模型量化方法、装置、设备、存储介质及计算机程序产品。

本申请实施例的技术方案是这样实现的：

一方面，本申请实施例提供一种模型量化方法，所述方法包括：

获取第一网络模型中至少一个第一网络子结构的第一输出数据；其中，每一所述第一输出数据是利用所述第一网络模型对校准数据集进行处理得到的；

利用第二网络模型，基于所述第二网络模型中至少一个第二网络子结构的激活量化标识，对所述校准数据集进行处理，得到每一所述第二网络子结构的第二输出数据；其中，所述第二网络模型是对所述第一网络模型进行量化后得到的，每一所述第二网络子结构的激活量化标识表征是否对所述第二网络子结构的激活值进行量化；

针对每一所述第一网络子结构，基于所述第一网络子结构的第一输出数据，和所述第二网络模型中与所述第一网络子结构对应的第二网络子结构的第二输出数据，对所述第二网络子结构的参数进行调整；

在确定满足预设条件的情况下，将调整后的所述第二网络模型确定为第三网络模型。

另一方面，本申请实施例提供一种模型量化装置，所述装置包括：

第一获取模块，用于获取第一网络模型中至少一个第一网络子结构的第一输出数据；其中，每一所述第一输出数据是利用所述第一网络模型对校准数据集进行处理得到的；

处理模块，用于利用第二网络模型，基于所述第二网络模型中至少一个第二网络子结构的激活量化标识，对所述校准数据集进行处理，得到每一所述第二网络子结构的第二输出数据；其中，所述第二网络模型是对所述第一网络模型进行量化后得到的，每一所述第二网络子结构的激活量化标识表征是否对所述第二网络子结构的激活值进行量化；

调整模块，用于针对每一所述第一网络子结构，基于所述第一网络子结构的第一输出数据，和所述第二网络模型中与所述第一网络子结构对应的第二网络子结构的第二输出数据，对所述第二网络子结构的参数进行调整；

第一确定模块，用于在确定满足预设条件的情况下，将调整后的所述第二网络模型确定为第三网络模型。