[发明专利]面向图像分类器的蜕变测试方法和系统

说明书

本发明公开了面向图像分类器的蜕变测试方法和系统，包括将原始训练集和原始测试集分别结合预先构造的蜕变关系得到衍生训练集和衍生测试集；根据原始训练集、原始测试集、以及衍生训练集和衍生测试集对预先构建的蜕变关系进行正确性判定；当判定结果为蜕变关系正确时，则通过执行变异算子得到变异图像分类器，利用原始训练集和衍生训练集、衍生训练集和衍生测试集，面向图像分类器对正确的蜕变关系进行有效性判定。本发明通过对预先构建的面向机器学习图像分类器的蜕变关系进行正确性和有效性的判定，解决了利用蜕变测试技术解决了机器学习图像分类器测试判定问题。

技术领域

本发明涉及一种软件测试方法，特别是面向图像分类器的蜕变测试方法和系统。

背景技术

软件测试是保证软件可靠性和软件质量的重要手段，是评估软件能否满足设计需求的过程。软件测试旨在检测现有行为与预想行为之间的差异。软件测试是一种可以揭露软件问题并有助于软件的可信度的有效的方式。机器学习(Machine Learning)在计算机视觉、语音识别和自然语言处理等实际应用中已经取得了显著的成功。图像分类已经成为计算机视觉的一个最为重要的分支。因此对于研究机器学习图像分类器的测试就十分有意义。传统的测试技术构建了一组测试用例(输入，输出)。测试人员将该输入放入到待测程序中执行并且检查从待测程序中得到的输出是否和预期的输出一致。这种利用预期输出与实际输出做比较的技术对于软件测试而言是十分普遍的。然而，当测试人员测试基于机器学习的应用程序时，通过(输入，输出)对验证机器学习应用程序很大程度上是不可行的。这是因为：

(1)这个待测程序需要大量的输入；

(2)在许多情况下，输入的预期输出是未知的或者太昂贵而无法构建；

(3)与传统应用程序的测试不同，找到一个或一些机器学习系统错误分类的实例并不表示存在错误。

当机器学习算法输出不正确时(例如对特定输入进行错误分类)，可能存在多种潜在原因。这些包括：缺乏训练数据、使用不恰当的机器学习框架、学习算法存在实现错误；在当前实验阶段，几乎所有的不正确的输出都归因于缺乏训练数据，并敦促开发人员收集更多不同的训练数据。但是如果学习算法本身实现就存在错误，那么收集更多的训练数据将无济于事。正如Davis和Weyuker所说，机器学习图像分类器本身就是用来解决疑难问题的程序，这类程序的输出就是疑难问题的答案。如果答案已知，那么这种程序也就没有存在的价值。这导致了机器学习图像分类器的测试面临着测试判定问题。

为了缓解测试判定问题，香港中文大学的T.Y.Chen提出了蜕变测试技术(Metamorphic Testing,MT)。该技术针对程序在预期输出难以获取的情况下，将检查程序的实际输出是否符合预期输出转变为检查程序的多个输入所对应的执行结果之间是否满足某特性关系，这种关系被称为“蜕变关系”。蜕变测试以原始输入为基础，以蜕变关系为判断准则，当测试用例之间满足一定的输入关系时，检查所对应的输出之间是否符合相应的蜕变关系，若不满足，则可以认为软件存在缺陷，这就为缓解测试判定问题提供了一种有效途径。显然，蜕变测试开展的基础就是蜕变关系的正确性，即需要事先确定蜕变关系一定是程序的必要关系。这样在难以判定测试结果是否正确的情况下，就可以应用蜕变关系提供测试判定。但是目前机器学习图像分类器的蜕变关系的测试判断较为困难，需要提出一种适用于机器学习图像分类器的蜕变测试方法和测试系统。

发明内容

发明目的是解决机器学习图像分类器的测试判定问题，同时为了减少人为因素对测试过程的干扰，规范蜕变测试流程，提出了适用于机器学习图像分类器的蜕变测试方法和测试系统。

为实现上述技术目的，本发明采用了以下技术方案：

一方面，本发明提供面向图像分类器的蜕变测试方法，其特征在于，包括以下：

将原始训练集和原始测试集分别结合预先构造的蜕变关系得到衍生训练集和衍生测试集；