[发明专利]深度学习模型的推理方法、装置、设备及存储介质

权利要求书

1.一种深度学习模型的推理方法，其特征在于，包括：

获取待推理的数据集；

将所述待推理的数据集输入到推理卷积内核，得到浮点型的数据推理结果；

获取所述待推理的数据集对应的输出缩放因子；其中，所述输出缩放因子根据所述数据推理结果中的元素的最大值确定；

计算所述数据推理结果与所述输出缩放因子的乘积，得到量化结果；

根据所述量化结果继续深度学习模型的推理。

2.根据权利要求1所述的深度学习模型的推理方法，其特征在于，所述获取所述待推理的数据集对应的输出缩放因子，包括：

从所述数据推理结果的各个元素中，确定最大元素；

计算预设值与所述最大元素的商，得到所述输出缩放因子；其中，所述预设值为所述待推理的数据集的数据类型对应的取值范围的上限值。

3.根据权利要求1或2所述的深度学习模型的推理方法，其特征在于，所述将所述待推理的数据集输入到推理卷积内核，得到浮点型的数据推理结果，包括：

获取所述待推理的数据集对应的第一缩放因子；

获取所述推理卷积内核对应的权重及所述权重对应的第二缩放因子；

获取所述推理卷积内核的偏置；

根据所述待推理的数据集、所述第一缩放因子、所述权重、所述第二缩放因子和所述偏置，计算所述浮点型的数据推理结果。

4.根据权利要求3所述的深度学习模型的推理方法，其特征在于，所述根据所述待推理的数据集、所述第一缩放因子、所述权重、所述第二缩放因子和所述偏置，计算所述浮点型的数据推理结果，包括：

计算所述待推理的数据集与所述权重的乘积，得到第一中间结果；

利用所述第一中间结果除以所述第一缩放因子和所述第二缩放因子，得到所述第二中间结果；

计算所述第二中间结果和所述偏置的和，得到所述浮点型的数据推理结果。

5.根据权利要求3所述的深度学习模型的推理方法，其特征在于，所述获取所述待推理的数据集对应的第一缩放因子，包括：

获取所述待推理的数据集对应的浮点型的输入数据集；

利用所述待推理的数据集除以所述浮点型的输入数据集，得到所述第一缩放因子。

6.根据权利要求1所述的深度学习模型的推理方法，其特征在于，所述获取待推理的数据集，包括:

从目标视频中，确定当前视频帧对应的待推理的数据集；

所述获取所述待推理的数据集对应的输出缩放因子，包括：

判断所述当前视频帧相对于上一视频帧是否发生场景切换，得到判断结果；

根据所述判断结果，确定所述待推理的数据集对应的所述输出缩放因子。

7.根据权利要求6所述的深度学习模型的推理方法，其特征在于，所述根据所述判断结果，确定所述待推理的数据集对应的所述输出缩放因子，包括：

如果所述判断结果指示发生场景切换，则从所述数据推理结果的各个元素中，确定最大元素；计算预设值与所述最大元素的商，得到所述输出缩放因子；其中，所述预设值为所述待推理的数据集的数据类型对应的取值范围的上限值；

如果所述判断结果指示未发生场景切换，则将所述待推理的数据集的上一个输入数据集对应的输出缩放因子，作为所述待推理的数据集的输出缩放因子。

8.一种深度学习模型的推理装置，其特征在于，包括：

第一获取模块，用于获取待推理的数据集；

第一推理模块，用于将所述待推理的数据集输入到推理卷积内核，得到浮点型的数据推理结果；

第二获取模块，用于获取所述待推理的数据集对应的输出缩放因子；其中，所述输出缩放因子根据所述数据推理结果中的元素的最大值确定；

量化模块，用于计算所述数据推理结果与所述输出缩放因子的乘积，得到量化结果；

第二推理模块，用于根据所述量化结果继续深度学习模型的推理。