[发明专利]神经网络量化精度评估方法、装置、电子设备及存储介质

说明书

本申请涉及一种神经网络量化精度评估方法、装置、电子设备及存储介质，其中，方法包括：获取原始onnx模型，并调用onnx_graphsurgeon的应用程序编程接口API，将原始onnx模型中所有onnx算子设置为输出节点，生成各onnx算子的量化用阈值，并将各onnx算子的量化用阈值与未量化用阈值分别转化为第一目标trt文件和第二目标trt文件，并基于预设的TensorRT环境和输出节点，得到量化模型中各onnx算子的第一输出tensor和未量化模型中各onnx算子的第二输出tensor，并得到各onnx算子的量化精度，并生成最终评估结果。由此，可以快速准确地确定各算子量化后的精度损失。

技术领域

本申请涉及人工智能技术领域，特别涉及一种神经网络量化精度评估方法、装置、电子设备及存储介质。

背景技术

对于训练出的模型，需要一种评估方法直观地了解其性能。

相关技术中，提供一种量化精度的确定方法，通过根据神经网络在处理设备中执行时使用的数据格式信息，在神经网络的执行过程中进行处理数据的量化操作，得到神经网络的网络输出结果，并将网络输出结果与基准输出结果进行比较，得到神经网络在处理设备中执行对应的量化精度，基准输出结果是神经网络对未量化的处理数据进行处理得到的输出结果，实现了对神经网络的硬件量化实现的量化精度的测量。

然而，相关技术只能对模型的输出层进行精度评估，无法获得模型中每个算子的量化精度。

发明内容

本申请提供一种神经网络量化精度评估方法、装置、电子设备及存储介质，以解决相关技术无法评估模型中每个算子的量化精度的问题，可以快速准确地确定各算子量化后的精度损失，可以帮助模型开发人员及量化部署人员准确定位量化精度较低的算子，从而采取措施对应处理。

本申请第一方面实施例提供一种神经网络量化精度评估方法，包括以下步骤：获取原始onnx(Open Neural Network Exchange，开放神经网络交换)模型，并调用onnx_graphsurgeon的应用程序编程接口API(Application Program Interface，应用程序界面)，将所述原始onnx模型中所有onnx算子设置为输出节点；根据各onnx算子的输出tensor(张量)量化前后分布的相对熵生成所述各onnx算子的量化用阈值，并将所述各onnx算子的量化用阈值转化为第一目标trt文件，将所述各onnx算子的未量化用阈值转化为第二目标trt文件；以及基于预设的TensorRT环境和所述输出节点，加载所述第一目标trt文件和所述第二目标trt文件，得到量化模型中所述各onnx算子的第一输出tensor和未量化模型中所述各onnx算子的第二输出tensor，根据所述第一输出tensor和所述第二输出tensor得到所述各onnx算子的量化精度，根据所述各onnx算子的量化精度生成最终评估结果。

根据上述技术手段，本申请可以解决相关技术无法评估模型中每个算子的量化精度的问题，可以快速准确地确定各算子量化后的精度损失，可以帮助模型开发人员及量化部署人员准确定位量化精度较低的算子，从而采取措施对应处理。

可选地，在一些实施例中，在根据所述第一输出tensor和所述第二输出tensor得到所述各onnx算子的量化精度之后，还包括：基于所述各onnx算子的量化精度，筛选出小于预设量化精度的待处理onnx算子；根据所述待处理onnx算子生成目标处理策略。

根据上述技术手段，本申请可以筛选出不符合精度要求的算子，并给出处理策略，方便开发人员针对性维护。

可选地，在一些实施例中，所述量化精度由第一指标和第二指标表征，其中，所述第一指标为相对误差，所述第二指标为所述第一输出tensor和所述第二输出tensor的余弦值。

根据上述技术手段，本申请可以通过输出tensor的余弦值判断量化精度的高低，并筛选出不符合精度要求的量子。