[发明专利]基于有导向模型变异的深度学习库测试方法

说明书

本发明公开了一种基于有导向模型变异的深度学习库测试方法，该方法的技术方案包括三点：(1)模型变异规则；(2)基于启发式搜索策略的变异模型生成；(3)基于差异测试的深度学习库测试预言进行不一致性缺陷计算、缺陷定位。本发明首次利用模型变异和启发式搜索策略有导向地生成大量结构不同的深度学习模型，利用差异测试的思想来对深度学习库进行测试，实现了新颖的深度学习库测试技术LEMON。与现有技术相比，本发明能够为揭露DL库的缺陷提供助益。

技术领域

本发明涉及深度学习应用和深度学习库测试领域，特别是涉及一种深度学习库自动化测试方法。

背景技术

深度学习(Deep Learning，简称DL)模型由多层组成，每层由一定数量的神经元构成。不同层之间的神经元依据不同的权重进行连接，该权重通过训练输入数据获得。深度神经网络(Deep Neural Network，简称DNN)中的层可以对输入数据进行特定类型的转换，例如卷积和池化。在DNN中同一类型的层可以在多处被重复调用，处于不同位置的层的性能可能会有所不同，其具体效果取决于该层神经元权重的数值大小。目前DL领域存在两种主流的DNN架构，即卷积神经网络(CNN)和循环神经网络(RNN)。卷积神经网络中包含卷积计算，通常用于处理图像等具有网格状拓扑结构的数据，例如VGG19、Xception等。循环神经网络则使用循环来保留学习到的状态信息，并且主要用于处理自然语言文本，语音等序列数据，例如LSTM、GRU等。

DL平台通常提供高层级和低层级的库。开发人员通过使用高层级库的应用程序编程接口(Application Programming Interface，简称API)，来调用低层级库中实现的DL算法，以实现其源程序。不同的低层级库基于不同的基础结构，并具有不同的输入格式和API。高层级库可以隐藏低层级库之间的差异，提供有关模型构建和训练的一致的API调用方式。与传统库相似，不同的DL低层级库针对相同的算法/规范提供了不同的实现。开发人员通过调用高层级库来实现源程序，高层级库又调用低层级库来完成各种转换操作和训练过程。Keras是目前最广泛使用的高层级库之一并已应用于各种关键领域，其可作为TensorFlow，CNTK，Theano和MXNet四个流行的低层级库的前端。将上述四种主流的低层级库作为测试对象，并采用Keras作为调用它们的高层级库，检测上述四种DL低层级库中的缺陷。

DL库测试指标：差异测试是传统软件测试领域常用的测试方法，它的主要思想是通过比对相同输入在基于相同规约的多个实现下的输出是否相同来判定软件系统是否存在缺陷。目前，差异测试也已经被应用于DL库测试的研究中。现有工作提出了各种度量标准来衡量DL库之间检测到的差异，如D_CLASS和D_MAD。D_CLASS应用于分类模型，其通过计算输入数据的真实类别(该输入数据对应的真实标签类别)在模型预测类别序列(由分类模型针对该输入得到的预测概率向量转码而来)中的位置信息的差异来表示不同DL库输出的差异。假定输入i的真实类别在DL库Y下的预测类别序列中的排序为r_G，Y。公式1-2表示了D_CLASS的计算过程。在公式1中，当r_G，Yk，即输入的真实类别在输出中的排序落在前k位之外时，δ_G，Y的值为0。

D_MAD则可同时应用于分类和回归模型，它考虑输出向量中的所有元素以计算输出向量与事实向量(根据输入的真实类别转码后得到的向量)的距离。给定事实向量G＝(g₁，g₂，......，g_m)，模型在DL库J和DL库K下输出的预测概率向量分别为O_J和O_K，D_MAD的值可基于公式(3)-公式(4)计算。