[发明专利]满足指定神经网络分类器属性的图像的自动生成

说明书

描述了一种自动生成满足特定图像属性的图像的系统。使用代码解析部件产生深度神经网络代码的张量表达式中间表示(IR)。对以固定形式句法描述一组图像属性的规格进行解析。将张量表达式IR和规格输入到重写与分析引擎中。重写与分析引擎查询外部求解器，以获得满足规格的像素值。当能够在固定时间段内找到满足所述规格的像素值时，重写与分析引擎将像素值组合到满足规格的图像中，并且输出所述图像。

相关申请的交叉引用

本申请是于2018年11月1日在美国提交的、名称为“Automatic Generation ofImages Satisfying Specified Neural Network Classifier Properties”的美国临时申请No.62/754,344的非临时申请，其全部内容通过引用并入本文。

背景技术

(1)技术领域

本发明涉及自动生成满足所提供的约束的图像的系统，并且更具体地涉及基于代码分析和自动求解技术来自动生成满足所提供的约束的图像的系统。

(2)相关技术的描述

基于神经网络的技术被广泛用于先进的计算机视觉和其它应用中。这种计算机视觉任务的最简单的形式之一是对图像进行分类。也就是说，向各个输入图像i分配来自可能标签的固定集合中的标签c(i)。例如，美国国家标准与技术研究所(MNIST)手写图像数据集由手写数字0至9的总共70,000个28×28灰度图像组成，并且分类器c针对每个图像i返回整数0≤c(i)≤9。注意，分类器的意图应是要推广至实际目标数据集之外的图像，因此，在这种情况下，应对一般的28×28灰度图像进行分类。基于神经网络的图像分类器具有许多重要的实际应用(从身份验证到自动驾驶汽车的路标识别)。

到现在为止，众所周知，神经网络分类器通常是脆弱的，因为它们会对人类很容易正确分类的图像进行误分类，即使在这些图像与用于训练分类器的数据集中的图像很接近时(无论是非形式(informal)意义上的还是技术意义上)。最近存在各种各样的研究致力于生成这种所谓的对抗性(adversarial)示例。例如，参见并入的参考文献列表中的参考文献4、6和7。用于生成这种示例的技术本身涉及来自机器学习工具箱中的工具，并且通常是从现有已知图像开始并执行对最近决策边界(空间中所有图像的阈值，超过该阈值图像的分类发生变化)的梯度跟踪。

该现有技术的主要缺点有三重。首先，现有技术集中于产生以下图像示例的受限问题：这些图像被神经网络误分类但是不会被合理的人类观察者误分类。其次，现有技术在大多数情况下需要潜在的大量输入数据(图像)以便能够起作用。最后，现有技术无法针对图像的复杂逻辑属性(相反，它或多或少地直接集中在扰动图像上)。现有技术的最后缺点部分地与以下事实有关：这些方法依赖于函数的连续性(continuity)和可微性(differentiability)属性，而在考虑任意逻辑属性时，该连续性和可微性可能不成立。

因此，持续需要一种不需要机器学习工具而自动生成满足所提供的约束的图像的方法。

发明内容

本发明涉及用于自动生成满足所提供的约束的图像的系统，并且更具体地涉及基于代码分析和自动求解技术来自动生成满足所提供的约束的图像的系统。该系统包括非暂时性计算机可读介质和一个或更多个处理器，该非暂时性计算机可读介质上编码有可执行指令，使得在所述可执行指令被执行时，一个或更多个处理器执行多个操作。该系统使用代码解析部件产生深度神经网络代码的张量表达式中间表示(IR)形式的张量表达式。对以固定形式句法描述一组图像属性的规格进行解析。将张量表达式IR和规格输入到重写与分析引擎中。重写与分析引擎查询外部求解器，以获得满足规格的像素值。当能够在固定时间段内找到满足所述规格的像素值时，重写与分析引擎将像素值组合到满足规格的图像中，并且输出所述图像。

在另一方面，张量表达式IR被实现成归纳数据类型(inductive datatype)，使得张量表达式IR能够被递归地遍历。