[发明专利]模型测试的方法及装置

权利要求书

1.一种模型测试的方法，包括：

从测试样本集中获取样本，所述测试样本集中的样本为图像；

将所述样本输入模型集包括的多个待测试模型中，以获得各个待测试模型的输出结果，其中，所述多个待测试模型包括至少一个神经网络模型；所述多个待测试模型用于进行图像识别，所述多个待测试模型针对图像的识别功能相同或不同；

根据所述输出结果确定测试结果，所述测试结果包括第一测试结果和第二测试结果中的至少一项，所述第一测试结果包括各个待测试模型的输出结果的准确性，所述第二测试结果包括所述至少一个神经网络模型的神经元覆盖率；

在所述测试结果未满足用于检测模型测试是否完成的预定条件的情况下，按照预先设定的像素范围和/或RGB值范围，对所述样本的特征进行扰动，从而生成新样本，并将所述新样本加入所述测试样本集；

在所述第一测试结果中各个测试模型针对所述样本输出结果的准确度大于设定阈值的情况下，将所述样本从测试样本集中删除；同时，

在存在至少满足以下一项的待测试模型的情况下，将相应待测试模型从所述模型集剔除：相应准确度大于预设准确度阈值；相应神经元覆盖率大于预设覆盖率阈值。

2.根据权利要求1所述的方法，其中，在所述测试结果包括第一测试结果的情况下，所述根据所述输出结果确定测试结果包括：

对所述多个待测试模型中包括的功能相同的待测试模型，投票确定正确输出结果，其中，票数最多的输出结果为正确输出结果；

确定输出结果为所述正确输出结果的待测试模型输出结果准确。

3.根据权利要求1所述的方法，其中，所述模型集中包括标准模型；以及

所述根据所述输出结果确定测试结果包括：

基于标准模型的输出结果，确定与所述标准模型功能相同的待测试模型的正确输出结果；

确定输出结果为所述正确输出结果的待测试模型的输出结果准确。

4.根据权利要求1所述的方法，其中，在所述测试结果包括第二测试结果的情况下，所述根据所述输出结果确定测试结果包括：

根据所述至少一个神经网络模型中各个神经元的输出是否满足输出条件，统计各个神经网络模型的神经元覆盖数，其中，所述神经元覆盖数包括，测试过程中满足过输出条件的神经元个数；

基于所述神经元覆盖数确定各个神经网络模型的神经元覆盖率，其中，所述神经元覆盖率和以下比值正相关：所述神经元覆盖数与总神经元个数的比值。

5.根据权利要求4所述的方法，其中，所述预定条件包括：

所述至少一个神经网络模型的神经元覆盖率均大于预设覆盖率阈值。

6.根据权利要求5所述的方法，其中，所述预定条件还包括：

所述多个待测试模型的输出结果准确度均大于预设准确度阈值。

7.根据权利要求1所述的方法，其中，所述按照预先设定的像素范围和/或RGB值范围，对所述样本进行扰动，从而生成新样本包括：

按照所述像素范围和/或RGB值范围，为所述样本的像素和/或RGB值生成随机扰动项；

为所述样本的像素和/或RGB值添加相应随机扰动项，从而生成新样本。

8.根据权利要求1所述的方法，所述方法还包括：

在模型集中加入新的待测试模型。