[发明专利]基于可变强度组合测试的深度神经网络测试充分性方法

说明书

本发明公开了一种基于可变强度组合测试的深度神经网络测试充分性方法，利用可变强度组合测试技术，根据模型权重对深度神经网络中的神经元进行关系抽取，提取不同强度的神经元组合，根据神经元组合中神经元激活状态，评估神经网络中的神经元激活状态覆盖情况；根据计算出的覆盖率来评估模型测试充分性。本发明既有效缩减了神经元状态空间，还根据不同的作用关系抽取对应的神经元组合，进行覆盖率计算。如果测试用例可以达到较高的覆盖率，那么测试用例的充分性便可以得到更好的证明，也就可以提升测试准则的科学性和可信度。

技术领域

本发明提出一种基于可变强度组合测试的深度神经网络测试充分性准则，用于评价深度神经网络的测试充分性。本发明涉及深度学习测试的技术领域。

背景技术

深度学习是机器学习中的一种对数据进行表征学习的方法，它通过多层非线性处理单元的级联来进行特征的提取和数据的转换。深度学习自2016年被正式提出，使得人工智能产生了革命性的突破。近些年来，深度学习发展迅速并且已经被运用到很多安全攸关的领域，例如自动驾驶，智能医疗等等。但是由于缺乏有效的测试技术，使得安全事故频发。

以深度学习为核心的系统具有高维输入、多隐藏层、低维输出的特点，这些导致深度学习系统与传统软件系统大为不同，传统软件测试技术也无法在深度学习中应用。基于深度神经网络的模型还具有应用多样性，使用场景复杂及数据量大的特性，使得在对这类系统进行测试时面临很多挑战，例如：合适且高效的测试方法少，测试数据不足以及测试数据的质量不敢等等。

目前深度学习系统很难通过常规的训练达到100％的准确率，面向深度神经网络的测试也仍然处于早期阶段。由于深度神经网络与传统的软件不同，传统软件测试技术中的覆盖准则都不发应用于深度神经网络模型，所以对于深度神经网络来说，缺乏评估测试充分性的覆盖准则。

发明内容

发明目的：为了克服现有技术中存在的不足，本发明提供一种基于可变强度组合测试的深度神经网络测试充分性方法，用于更加全面地保证测试用例的充分性，提高深度学习测试的可信度。深度神经网络的特点在于深度深，神经元数量多。在对深度神经网络测试时，大量神经元组成的状态空间集过于庞大，致使无法对其进行充分的测试。并且由于权重不同，上下层神经元之间交互作用关系也各不相同。所以如何有效减少神经元状态和如何确定可变强度关系是设计可变强度组合测试的深度神经网络测试充分性准则的重点问题。

技术方案：为实现上述目的，本发明采用的技术方案为：

一种基于可变强度组合测试的深度神经网络测试充分性方法，包括以下步骤：

步骤1)、提取深度神经网络模型权重：在深度神经网络中，输入测试用例后，神经元将会以实数值的形式向后传播，提取前层神经元与后层神经元两两之间的模型权重。

步骤2)、根据步骤1)得到的模型权重对神经元进行关系抽取，提取不同强度的神经元组合，其方法如下：

步骤2.1)、最大单一神经元影响组合关系抽取方法：在深度神经网络中，根据每一个神经元选取与其相连并且权重大于阈值a的其前层神经元组合。

步骤2.2)、二维加强组合关系抽取方法：在深度神经网络中，先抽取所有的二元神经元组合，并对特定神经元，即与后层所有相连神经元权重之和大于阈值b的神经元施加更高强度的组合。

步骤2.3)、最大总量影响组合关系抽取方法：在深度神经网络中，抽取所有的二元、三元和四元的神经元组合，并根据对所有组合进行打分后选取分数大于阈值c的组合。

步骤3)、提取测试用例的神经元状态，在深度神经网络中，输入测试用例后，神经元将会以实数值的形式将测试用例向后传播，每个神经元都对应一个实数值。设置激活函数的阈值，将实数值转化为判断是否激活的布尔值。获取每个神经元的输出布尔值作为神经元输出。