[发明专利]更新测试样本集的方法及装置

权利要求书

1.一种更新测试样本集的方法，包括：

从测试样本集中获取样本，所述测试样本集中的样本为图像样本；

将所述样本输入模型集包括的多个待测试模型中，以获得各个待测试模型的输出结果，其中，单个待测试模型用于图像识别；

根据所述输出结果确定测试结果；

在所述测试结果未满足预定条件的情况下，按照预先设定的像素范围和/或RGB值范围，对所述样本进行扰动，从而生成新样本，并将所述新样本加入所述测试样本集，所述预定条件用于检测模型测试是否完成；

在所述测试结果中各个测试模型针对所述样本输出结果的准确度大于设定阈值的情况下，将所述样本从测试样本集中删除。

2.根据权利要求1所述的方法，其中，在所述测试结果包括各个待测试模型的输出结果的准确性的情况下，所述根据所述输出结果确定测试结果包括：

对所述多个待测试模型中包括的功能相同的待测试模型，投票确定正确输出结果，其中，票数最多的输出结果为正确输出结果；

确定输出结果为所述正确输出结果的待测试模型输出结果准确。

3.根据权利要求1所述的方法，其中，所述模型集中包括标准模型；在所述测试结果包括各个待测试模型的输出结果的准确性的情况下，所述根据所述输出结果确定测试结果包括：

基于标准模型的输出结果，确定与所述标准模型功能相同的待测试模型的正确输出结果；

确定输出结果为所述正确输出结果的待测试模型的输出结果准确。

4.根据权利要求2或3所述的方法，其中，所述预定条件还包括：

所述多个待测试模型的输出结果准确度均大于预设准确度阈值。

5.根据权利要求1所述的方法，其中，在所述多个待测试模型包括至少一个神经网络模型，所述测试结果包括所述至少一个神经网络模型的神经元覆盖率的情况下，所述根据所述输出结果确定测试结果包括：

根据所述至少一个神经网络模型中各个神经元的输出是否满足输出条件，统计各个神经网络模型的神经元覆盖数，其中，所述神经元覆盖数包括，测试过程中满足过输出条件的神经元个数；

基于所述神经元覆盖数确定各个神经网络模型的神经元覆盖率，其中，所述神经元覆盖率和以下比值正相关：所述神经元覆盖数与总神经元个数的比值。

6.根据权利要求5所述的方法，其中，所述预定条件包括：

所述至少一个神经网络模型的神经元覆盖率均大于预设覆盖率阈值。

7.根据权利要求1所述的方法，其中，所述按照预先设定的像素范围和/或RGB值范围，对所述样本进行扰动，从而生成新样本包括：

按照所述像素范围和/或RGB值范围，为所述样本的像素和/或RGB值生成随机扰动项；

为所述样本的像素和/或RGB值添加相应随机扰动项，从而生成新样本。

8.根据权利要求1所述的方法，所述方法还包括以下中的一项或多项：

剔除模型集中测试结果满足所述预定条件的待测试模型；

在模型集中加入新的待测试模型。

9.一种更新测试样本集的装置，包括：

获取单元，配置为从测试样本集中获取样本，所述测试样本集中的样本为图像样本；

测试单元，配置为将所述样本输入模型集包括的多个待测试模型中，以获得各个待测试模型的输出结果，其中，单个待测试模型用于图像识别；

确定单元，配置为根据所述输出结果确定测试结果；

生成单元，配置为在所述测试结果未满足预定条件的情况下，按照预先设定的像素范围和/或RGB值范围，对所述样本进行扰动，从而生成新样本，并将所述新样本加入所述测试样本集，所述预定条件用于检测模型测试是否完成；

在所述第一测试结果中各个测试模型针对所述样本输出结果的准确度大于设定阈值的情况下，将所述样本从测试样本集中删除。