[发明专利]基于降维的自动驾驶神经网络鲁棒性验证方法及系统

说明书

本发明公开了一种基于降维的自动驾驶神经网络鲁棒性验证方法及系统，包括：基于输入的图像数据生成超矩形的输入集合；根据给定的宽度限制δ，分割输入集合在神经网络第一层的仿射变换下的像集，并在其中搜索是否存在不满足鲁棒性要求的子集；如果不存在，则认为自动驾驶神经网络是安全的；否则，认为自动驾驶神经网络不安全。本发明方法能够有效减少神经网络鲁棒性验证的时间复杂度，提高运行的速度和效率。

技术领域

本发明涉及可信人工智能技术领域，尤其涉及一种基于降维的自动驾驶神经网络鲁棒性验证方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

目前神经网络得到了广泛的应用，如自然语言处理、语音识别、图像识别、自动驾驶、恶意软件检测、医疗领域等。特别是自动驾驶对安全性有着极高的要求。据调查显示，自动驾驶在世界各地引发了多起交通事故，导致了多人受伤甚至身亡。这种安全性的缺陷引起了广泛的关注和是否应该继续发展自动驾驶技术的讨论，这严重阻碍了自动驾驶的进一步应用。研究表明，神经网络对于扰动非常敏感，这是导致自动驾驶事故多发的主要原因。当对正常的数据进行微小的扰动时，神经网络可能会对其产生错误的分类，而对人类驾驶员来说这样的扰动不会影响他的判断。

由于神经网络在实际使用中存在着安全隐患，因此，在实际应用之前要验证其鲁棒性，来提高神经网络可信程度。鲁棒性能够保证在正常输入的某个邻域内的所有输入的分类都是相同的，具有鲁棒性的神经网络能够有效地抵抗上述扰动导致的误分类。然而，我们在对现有的验证方法的研究中，在验证一类满足每层的结点数不大于前一层的结点数的神经网络时，这些算法存在着冗余的计算量，导致验证方法效率低下。

发明内容

本发明的目的在于针对一类满足输入层的结点数大于第一层的结点数的神经网络，提出一种基于降维的自动驾驶神经网络鲁棒性验证方法及系统，能够有效减少时间复杂度，提高神经网络的验证速度。

在一些实施方式中，采用如下技术方案：

一种基于降维的自动驾驶神经网络鲁棒性验证方法，包括：

基于输入的图像数据生成超矩形的输入集合；

根据给定的宽度限制δ，分割输入集合在神经网络第一层的仿射变换下的像集，并在其中搜索是否存在不满足鲁棒性要求的子集；

如果不存在，则认为自动驾驶神经网络是安全的；否则，认为自动驾驶神经网络不安全。

进一步地，基于输入的图像数据生成超矩形的输入集合，具体包括：

将输入的图像数据重组为一个k₀维向量并进行归一化；

确定允许的误差，根据归一化后的向量c和所述允许的误差r生成输入集合；所述输入集合为由|x-c|≤r确定的超矩形。

进一步地，根据给定的宽度限制δ，分割输入集合在神经网络第一层的仿射变换下的像集，并在其中搜索是否存在不满足鲁棒性要求的子集，具体包括：

将像集分割成若干子集，并确保每个子集的最大宽度小于给定的宽度限制δ，然后在这些子集中搜索不鲁棒的子集，所述不鲁棒的子集的输出可达集合估计不满足输出限制。

进一步地，具体过程包括：

根据输入集合和神经网络第一层的仿射变换，计算包含输入集合在第一层的像集的最小的超矩形；

根据给定的宽度限制δ＞0，将上一步中计算得到的最小的超矩形分割成若干互不相交的小超矩形，即分块；并且每个分块的宽度都不大于δ；

对每一个分块，判断它是否是多余的；

对非多余的分块，判断每个分块是否是鲁棒的。