[发明专利]量化模型的测试方法、装置、设备、存储介质及程序产品

说明书

本申请提供的一种量化模型的测试方法、装置、设备、存储介质及程序产品。该方法包括：通过确定待测试的量化模型、以及量化模型的输入数据，然后获取第一输出数据、以及第二输出数据，其中，第一输出数据为预设平台通过量化模型对输入数据进行处理得到的，第二输出数据为终端设备通过量化模型对输入数据进行处理得到的，然后确定第一输出数据和第二输出数据之间的误差信息，根据误差信息确定量化模型在终端设备中的测试结果。对于待测试的量化模型，本申请以预设平台的输出数据作为基准，对终端设备的输出数据进行对比，可以实现对量化模型在终端设备上的数值稳定性的测试，提高了可靠性。

技术领域

本申请涉及物联网技术领域，尤其涉及一种量化模型的测试方法、装置、设备、存储介质及程序产品。

背景技术

模型的量化是指在减小神经网络模型计算量、以及缩减该模型大小的同时保障精度基本不变，得到量化后的模型(以下称为量化模型)，可以应用于手机等小型终端设备上。对于部署到终端设备上的量化模型，需要对量化模型进行测试，以避免量化模型在终端设备中无法正常的使用。

目前，对于量化模型的测试，通常是先构建一个测试的数据集，对数据集进行预处理后，在预设平台中使用量化模型计算出结果，然后根据该结果去计算相应的模型评价指标，比如对于分类任务的模型，则计算准确率，对于超分任务的模型，则计算峰值信噪比(Peak Signal to Noise Ratio，PSNR)等，通过模型评价指标来衡量量化模型在预设平台上的数值稳定性。

但是，由于硬件设备条件的限制等原因，量化模型在不同的平台上的测试结果均有所不同，基于上述测试结果来描述量化模型在终端设备上的数值稳定性，可靠性较低。

发明内容

本申请提供一种量化模型的测试方法、装置、设备、存储介质及程序产品，用以解决通过预设平台的测试测试结果来描述量化模型在终端设备上的数值稳定性可靠性较低的问题。

第一方面，本申请提供一种量化模型的测试方法，包括：

确定待测试的量化模型、以及所述量化模型的输入数据；

获取第一输出数据，所述第一输出数据为预设平台通过所述量化模型对所述输入数据进行处理得到的；

获取第二输出数据，所述第二输出数据为终端设备通过所述量化模型对所述输入数据进行处理得到的；

确定所述第一输出数据和所述第二输出数据之间的误差信息；

根据所述误差信息确定所述量化模型在所述终端设备中的测试结果。

在一种可能的实现方式中，所述第一输出数据中包括多个第一子数据，所述第二输出数据中包括多个第二子数据；

所述确定所述第一输出数据和所述第二输出数据之间的误差信息，包括：

在所述多个第二子数据中确定各第一子数据对应的第二子数据；

确定所述多个第一子数据与对应的第二子数据之间的多个差值；

根据所述多个差值，确定所述误差信息；

其中，所述误差信息包括加权平均误差值、正态性指标和变异度指标，所述正态性指标用于指示所述多个差值分布的正态性，所述变异度指标用于指示所述第一输出数据和所述第二输出数据的相对离散程度。

在一种可能的实现方式中，若所述误差信息中包括加权平均误差值，根据所述多个差值，确定所述第一输出数据和所述第二输出数据之间的加权平均误差值，包括：

获取每个差值对应的权重；

根据所述多个差值、以及每个差值对应的权重，确定所述加权平均误差值。