[发明专利]深度学习模型的推理方法、装置、设备及存储介质

说明书

本申请涉及一种深度学习模型的推理方法、装置、设备及存储介质，其中，所述方法包括：获取待推理的数据集；将所述待推理的数据集输入到推理卷积内核，得到浮点型的数据推理结果；获取所述待推理的数据集对应的输出缩放因子；其中，所述输出缩放因子根据所述数据推理结果中的元素的最大值确定；计算所述数据推理结果与所述输出缩放因子的乘积，得到量化结果；根据所述量化结果继续深度学习模型的推理。本申请用以解决现有技术的模型性能优化过程中，量化导致整体误差较大的技术问题。

技术领域

本申请涉及深度学习网络技术领域，尤其涉及一种深度学习模型的推理方法、装置、设备及存储介质。

背景技术

目前，深度学习已经广泛应用到各行各业，在传统算法难以解决的领域，取得了巨大的成果。但目前深度学习应用推广的一个问题在于，它的运行成本巨大，即使在如今GPU(图形处理器，graphics processing unit)的算力有较大提高的情况下，参数量逐年提升的深度学习模型也吃掉了GPU性能提升的红利。因此，对于模型本身的性能优化，是能否在大规模生产过程中应用深度学习的一个关键。

在模型性能优化过程，量化是其中的一个方法。量化的一个关键在于将浮点float32的精度的输入转换为整型int8的形式。而这个转换过程会引入相应的误差，如今的解决方案，大多不能实时对误差进行调整，导致整体误差较大，从而影响了最终的产品指令。

发明内容

本申请提供了一种深度学习模型的推理方法、装置、设备及存储介质，用以解决现有技术的模型性能优化过程中，量化导致整体误差较大的技术问题。

第一方面，本申请提供了一种深度学习模型的推理方法，包括：

获取待推理的数据集；

将所述待推理的数据集输入到推理卷积内核，得到浮点型的数据推理结果；

获取所述待推理的数据集对应的输出缩放因子；其中，所述输出缩放因子根据所述数据推理结果中的元素的最大值确定；

计算所述数据推理结果与所述输出缩放因子的乘积，得到量化结果；

根据所述量化结果继续深度学习模型的推理。

可选的，所述获取所述待推理的数据集对应的输出缩放因子，包括：

从所述数据推理结果的各个元素中，确定最大元素；

计算预设值与所述最大元素的商，得到所述输出缩放因子；其中，所述预设值为所述待推理的数据集的数据类型对应的取值范围的上限值。

可选的，所述将所述待推理的数据集输入到推理卷积内核，得到浮点型的数据推理结果，包括：

获取所述待推理的数据集对应的第一缩放因子；

获取所述推理卷积内核对应的权重及所述权重对应的第二缩放因子；

获取所述推理卷积内核的偏置；

根据所述待推理的数据集、所述第一缩放因子、所述权重、所述第二缩放因子和所述偏置，计算所述浮点型的数据推理结果。

可选的，所述根据所述待推理的数据集、所述第一缩放因子、所述权重、所述第二缩放因子和所述偏置，计算所述浮点型的数据推理结果，包括：

计算所述待推理的数据集与所述权重的乘积，得到第一中间结果；

利用所述第一中间结果除以所述第一缩放因子和所述第二缩放因子，得到所述第二中间结果；

计算所述第二中间结果和所述偏置的和，得到所述浮点型的数据推理结果。

可选的，所述获取所述待推理的数据集对应的第一缩放因子，包括：