[发明专利]模型量化方法、装置、设备、存储介质及程序产品

权利要求书

1.一种模型量化方法，其特征在于，所述方法包括：

获取第一网络模型中至少一个第一网络子结构的第一输出数据；其中，每一所述第一输出数据是利用所述第一网络模型对校准数据集进行处理得到的；

利用第二网络模型，基于所述第二网络模型中至少一个第二网络子结构的激活量化标识，对所述校准数据集进行处理，得到每一所述第二网络子结构的第二输出数据；其中，所述第二网络模型是对所述第一网络模型进行量化后得到的，每一所述第二网络子结构的激活量化标识表征是否对所述第二网络子结构的激活值进行量化；

针对每一所述第一网络子结构，基于所述第一网络子结构的第一输出数据，和所述第二网络模型中与所述第一网络子结构对应的第二网络子结构的第二输出数据，对所述第二网络子结构的参数进行调整；

在确定满足预设条件的情况下，将调整后的所述第二网络模型确定为第三网络模型。

2.根据权利要求1所述的方法，其特征在于，所述利用第二网络模型，基于所述第二网络模型中至少一个第二网络子结构的激活量化标识，对所述校准数据集进行处理，得到每一所述第二网络子结构的第二输出数据，包括：

将所述校准数据集确定为所述第二网络模型中的第一个第二网络子结构的输入数据；

针对所述第二网络模型中的每一第二网络子结构，利用所述第二网络子结构，基于所述第二网络子结构的权重值和激活量化标识，对所述第二网络子结构的输入数据进行处理，得到所述第二网络子结构的第二输出数据，并将所述第二输出数据作为下一个第二网络子结构的输入数据。

3.根据权利要求2所述的方法，其特征在于，所述基于所述第二网络子结构的权重值和激活量化标识，对所述第二网络子结构的输入数据进行处理，得到所述第二网络子结构的第二输出数据，包括：

基于所述第二网络子结构中权重值的取整方式和第一量化参数，对所述第二网络子结构的权重值进行量化，得到量化后的权重值；

基于所述量化后的权重值和所述第二网络子结构的激活量化标识，对所述第二网络子结构的输入数据进行处理，得到所述第二网络子结构的第二输出数据。

4.根据权利要求3所述的方法，其特征在于，

在所述第二网络子结构的激活量化标识为第一标识的情况下，在对所述第二网络子结构的输入数据进行处理的过程中，所述第二网络子结构中的激活值是基于第二量化参数进行量化处理的；

和/或，在所述第二网络子结构的激活量化标识为第二标识的情况下，在对所述第二网络子结构的输入数据进行处理的过程中，所述第二网络子结构中的激活值未进行量化处理。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述方法还包括：

针对所述第二网络模型中的每一第二网络子结构，基于设定的概率分布参数，对所述第二网络子结构的激活量化标识进行随机赋值。

6.根据权利要求5所述的方法，其特征在于，所述基于设定的概率分布参数，对所述第二网络子结构的激活量化标识进行随机赋值，包括以下至少之一：

在所述概率分布参数包括量化概率的情况下，基于所述量化概率，对所述第二网络子结构的激活量化标识进行随机赋值；其中，所述量化概率表征所述第二网络子结构的激活量化标识赋值为第一标识的概率，所述第一标识表征对对应的第二网络子结构的激活值进行量化；

在所述概率分布参数包括量化失活概率的情况下，基于所述量化失活概率，对所述第二网络子结构的激活量化标识进行随机赋值；其中，所述量化失活概率表征所述第二网络子结构的激活量化标识赋值为第二标识的概率，所述第二标识表征不对对应的第二网络子结构的激活值进行量化。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述基于所述第一网络子结构的第一输出数据，和所述第二网络模型中与所述第一网络子结构对应的第二网络子结构的第二输出数据，对所述第二网络子结构的参数进行调整，包括：

基于所述第一输出数据和所述第二输出数据，确定所述第二网络子结构的损失值；

基于所述损失值，对所述第二网络子结构的参数进行调整。