[发明专利]神经网络量化精度评估方法、装置、电子设备及存储介质

权利要求书

1.一种神经网络量化精度评估方法，其特征在于，包括以下步骤：

获取原始onnx模型，并调用onnx_graphsurgeon的应用程序编程接口API，将所述原始onnx模型中所有onnx算子设置为输出节点；

根据各onnx算子的输出tensor量化前后分布的相对熵生成所述各onnx算子的量化用阈值，并将所述各onnx算子的量化用阈值转化为第一目标trt文件，将所述各onnx算子的未量化用阈值转化为第二目标trt文件；以及

基于预设的TensorRT环境和所述输出节点，加载所述第一目标trt文件和所述第二目标trt文件，得到量化模型中所述各onnx算子的第一输出tensor和未量化模型中所述各onnx算子的第二输出tensor，根据所述第一输出tensor和所述第二输出tensor得到所述各onnx算子的量化精度，根据所述各onnx算子的量化精度生成最终评估结果。

2.根据权利要求1所述的方法，其特征在于，在根据所述第一输出tensor和所述第二输出tensor得到所述各onnx算子的量化精度之后，还包括：

基于所述各onnx算子的量化精度，筛选出小于预设量化精度的待处理onnx算子；

根据所述待处理onnx算子生成目标处理策略。

3.根据权利要求2所述的方法，其特征在于，所述量化精度由第一指标和第二指标表征，其中，所述第一指标为相对误差，所述第二指标为所述第一输出tensor和所述第二输出tensor的余弦值。

4.根据权利要求1所述的方法，其特征在于，在根据所述各onnx算子的输出tensor量化前后分布的相对熵生成所述各onnx算子的量化用阈值之后，还包括：

将所述量化用阈值输出为目标calib文件，其中，所述calib文件以16进制保存所述各onnx算子的输出tensor的截断阈值。

5.根据权利要求1所述的方法，其特征在于，在将所述原始onnx模型中所有onnx算子设置为输出节点之后，还包括：

将所述所有onnx算子的输出tenor放置于graph的outputs列表。

6.一种神经网络量化精度评估装置，其特征在于，包括：

获取模块，用于获取原始onnx模型，并调用onnx_graphsurgeon的应用程序编程接口API，将所述原始onnx模型中所有onnx算子设置为输出节点；

转化模块，用于根据各onnx算子的输出tensor量化前后分布的相对熵生成所述各onnx算子的量化用阈值，并将所述各onnx算子的量化用阈值转化为第一目标trt文件，将所述各onnx算子的未量化用阈值转化为第二目标trt文件；以及

生成模块，用于基于预设的TensorRT环境和所述输出节点，加载所述第一目标trt文件和所述第二目标trt文件，得到量化模型中所述各onnx算子的第一输出tensor和未量化模型中所述各onnx算子的第二输出tensor，根据所述第一输出tensor和所述第二输出tensor得到所述各onnx算子的量化精度，根据所述各onnx算子的量化精度生成最终评估结果。

7.根据权利要求6所述的装置，其特征在于，在根据所述第一输出tensor和所述第二输出tensor得到所述各onnx算子的量化精度之后，所述生成模块，还包括：

基于所述各onnx算子的量化精度，筛选出小于预设量化精度的待处理onnx算子；

根据所述待处理onnx算子生成目标处理策略。

8.根据权利要求7所述的装置，其特征在于，所述量化精度由第一指标和第二指标表征，其中，所述第一指标为相对误差，所述第二指标为所述第一输出tensor和所述第二输出tensor的余弦值。

9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-5任一项所述的电子设备的位置姿态状态估计方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-5任一项所述的电子设备的位置姿态状态估计方法。