[发明专利]更新测试样本集的方法及装置

说明书

本说明书实施例提供一种模型测试的方法和装置，根据该方法，首先从测试样本集中获取图像样本，接着将样本输入模型集包括的多个待测试模型中，以获得各个待测试模型的输出结果，然后根据输出结果确定测试结果，进一步地，在该测试结果未满足预定条件的情况下，按照预先设定的像素范围和/或RGB值范围，对所述样本进行扰动而生成新样本，并将所生成的新样本加入测试样本集，另一方面，在各个测试模型针对样本输出结果的准确度大于设定阈值的情况下，将该样本从测试样本集中删除。如此，在该模型测试的方法被循环执行的情况下，不断更新测试样本集中的图像样本，提高测试样本集的有效性。

本申请为2018年05月10日提交的、申请号201810443821.0的发明专利申请“模型测试的方法及装置”的分案申请。

技术领域

本说明书一个或多个实施例涉及计算机技术领域，尤其涉及通过计算机进行更新测试样本集的方法和装置。

背景技术

随着计算机和人工智能技术的发展，人工神经网络(ANN)的应用越来越多，例如模式识别、自动控制、信号处理、辅助决策等等。人工神经网络是一种运算模型，由大量的处理单元，或称神经元，之间相互连接构成。每个处理单元代表一种特定的输出函数，称为激励函数(activation function)。神经网络模型的性能测试往往通过生成神经网络模型的系统的代码覆盖率，或者其在样本集上的输出正确率以及在样本难易覆盖的特殊情况(如某地气温零下70摄氏度)下的输出结果准确性来衡量。

常规技术中，为了对模型的测试更充分，通常需要收集大量的训练样本；为了提高模型的准确性，也往往需要收集更多的训练样本来训练模型，对模型参数进行调节和优化。然而，这样的方式通过人工收集样本，浪费人力，同时，收集的训练样本毕竟是有限的，并不能保证对模型的充分测试，对模型准确性的提高也是有限的。例如，某地气温从来没有低到过零下70摄氏度，所采集的样本再多也无法覆盖到气温为零下70摄氏度的情况。特别地，在一些特殊情况下，例如无人驾驶车辆面对白色背景的卡车，如果所收集的测试样本中没有这样的情况，则可能判定为天空背景，影响决策，从而可能造成不可挽回的损失。

因此，希望能有改进的方案，通过产生更多差异化的样本，有效的进行更新测试样本集，既能避免人工收集样本造成的人力浪费，又可以通过产生的这些差异化样本对模型进行进一步的测试，以及用于训练模型从而提升模型的准确性。

发明内容

本说明书一个或多个实施例描述了一种方法和装置，可以产生更多差异化的样本，有效的更新测试样本集，既能避免人工收集样本造成的人力浪费，又可以通过产生的这些差异化样本对模型进行进一步的测试，以及用于训练模型从而提升模型的准确性。

根据第一方面，提供了一种更新测试样本集的方法，包括：从测试样本集中获取样本，所述测试样本集中的样本为图像样本；将所述样本输入模型集包括的多个待测试模型中，以获得各个待测试模型的输出结果，其中，单个待测试模型用于图像识别；根据所述输出结果确定测试结果；在所述测试结果未满足预定条件的情况下，按照预先设定的像素范围和/或RGB值范围，对所述样本进行扰动，从而生成新样本，并将所述新样本加入所述测试样本集，所述预定条件用于检测模型测试是否完成；在所述测试结果中各个测试模型针对所述样本输出结果的准确度大于设定阈值的情况下，将所述样本从测试样本集中删除。

在一个实施例中，在所述测试结果包括各个待测试模型的输出结果的准确性的情况下，所述根据所述输出结果确定测试结果包括：对所述多个待测试模型中包括的功能相同的待测试模型，投票确定正确输出结果，其中，票数最多的输出结果为正确输出结果；确定输出结果为所述正确输出结果的待测试模型输出结果准确。

在一个实施例中，所述模型集中包括标准模型；在所述测试结果包括各个待测试模型的输出结果的准确性的情况下，所述根据所述输出结果确定测试结果包括：基于标准模型的输出结果，确定与所述标准模型功能相同的待测试模型的正确输出结果；确定输出结果为所述正确输出结果的待测试模型的输出结果准确。