[发明专利]模型测试的方法及装置

说明书

本说明书实施例提供一种模型测试的方法和装置，根据该方法，首先从测试样本集中获取样本，接着将样本输入模型集包括的多个待测试模型中，以获得各个待测试模型的输出结果，然后根据输出结果确定测试结果，进一步地，在该测试结果未满足预定条件的情况下，按照预定规则，基于上述样本生成新样本，并将所生成的新样本加入测试样本集。如此，在该模型测试的方法被循环执行的情况下，一方面对待检测模型的准确性和/或测试充分程度进行评估，另一方面将基于原样本生成的、与原样本具有差异化的新样本，提高模型测试的有效性。

技术领域

本说明书一个或多个实施例涉及计算机技术领域，尤其涉及通过计算机进行模型测试的方法和装置。

背景技术

随着计算机和人工智能技术的发展，人工神经网络(ANN)的应用越来越多，例如模式识别、自动控制、信号处理、辅助决策等等。人工神经网络是一种运算模型，由大量的处理单元，或称神经元，之间相互连接构成。每个处理单元代表一种特定的输出函数，称为激励函数(activation function)。神经网络模型的性能测试往往通过生成神经网络模型的系统的代码覆盖率，或者其在样本集上的输出正确率以及在样本难易覆盖的特殊情况(如某地气温零下70摄氏度)下的输出结果准确性来衡量。

常规技术中，为了对模型的测试更充分，通常需要收集大量的训练样本；为了提高模型的准确性，也往往需要收集更多的训练样本来训练模型，对模型参数进行调节和优化。然而，这样的方式通过人工收集样本，浪费人力，同时，收集的训练样本毕竟是有限的，并不能保证对模型的充分测试，对模型准确性的提高也是有限的。例如，某地气温从来没有低到过零下70摄氏度，所采集的样本再多也无法覆盖到气温为零下70摄氏度的情况。特别地，在一些特殊情况下，例如无人驾驶车辆面对白色背景的卡车，如果所收集的测试样本中没有这样的情况，则可能判定为天空背景，影响决策，从而可能造成不可挽回的损失。

因此，希望能有改进的方案，通过产生更多差异化的样本，有效的进行模型测试，既能避免人工收集样本造成的人力浪费，又可以通过产生的这些差异化样本对模型进行进一步的测试，以及用于训练模型从而提升模型的准确性。

发明内容

本说明书一个或多个实施例描述了一种方法和装置，可以产生更多差异化的样本，有效的进行模型测试，既能避免人工收集样本造成的人力浪费，又可以通过产生的这些差异化样本对模型进行进一步的测试，以及用于训练模型从而提升模型的准确性。

根据第一方面，提供了一种模型测试的方法，包括：

从测试样本集中获取样本；

将所述样本输入模型集包括的多个待测试模型中，以获得各个待测试模型的输出结果，其中，所述多个待测试模型包括至少一个神经网络模型；

根据所述输出结果确定测试结果，所述测试结果包括第一测试结果和第二测试结果中的至少一项，所述第一测试结果包括各个待测试模型的输出结果的准确性，所述第二测试结果包括所述至少一个神经网络模型的神经元覆盖率；

在所述测试结果未满足预定条件的情况下，按照预定规则，基于所述样本生成新样本，并将所述新样本加入所述测试样本集。

根据一方面的实施方式，在所述测试结果包括第一测试结果的情况下，所述根据所述输出结果确定测试结果包括：

对所述多个待测试模型中包括的功能相同的待测试模型，投票确定正确输出结果，其中，票数最高的输出结果为正确输出结果；

确定输出结果为所述正确输出结果的待测试模型输出准确。

在一个可能的设计中，所述模型集中包括标准模型，以及，所述根据所述输出结果确定测试结果包括：

基于标准模型的输出结果，确定与所述标准模型功能相同的待测试模型的正确输出结果；

确定输出结果为所述正确输出结果的待测试模型输出准确。