[发明专利]使用与激活路径差分有关的信息对神经网络的对抗训练

说明书

本发明涉及使用与激活路径差分有关的信息对神经网络的对抗训练。在一个示例中，一种装置包括存储器和处理器，所述处理器要：从第一深度神经网络（DNN）模型创建第一多个DNN模型；生成被所述第一多个深度神经网络（DNN）模型错误分类的对抗示例的第一集合；确定所述第一多个对抗示例之间的激活路径差分的第一集合；从激活路径差分的所述第一集合生成至少一个合成对抗示例，所述至少一个合成对抗示例并入有在对抗示例的所述第一集合中的至少两个对抗示例之间共享的至少一个交集关键路径；以及使用所述至少一个合成对抗示例以生成用于DNN模型的后续训练迭代的输入的集合。可以描述其他示例。

背景技术

本文描述的主题总体上涉及机器学习的领域，并且更具体地涉及在神经网络内使用与激活路径差分有关的信息对神经网络的对抗训练。

机器学习涉及开发可从输入数据中学习且基于输入数据进行预测的模型和算法。机器学习算法依赖于深度神经网络（DNN），深度神经网络（DNN）可以利用人工神经元的许多层的级联，其可以被实现为非线性处理单元，其中每一个接续层使用前一层的输出作为输入。

神经网络的一些示例易受潜意识信号在输入数据中的存在的攻击，该存在可能通过影响神经网络认知功能而造成严重损害。这种信号可以以各种方式制作，这些方式诸如例如是对输入数据（例如，图像、话音和自然语言数据）的低强度扰动，并且，这种信号可能经过而未被人类察觉。这种信号可能使神经网络对其输入作出错误分类和/或从环境中学习错误事情。受这种信号扰动的输入常被称作对抗示例。对抗示例可以用于控制对手方向处的模型预测。

相应地，用于保护神经网络免于对抗示例的攻击的技术可以找到效用。

附图说明

参考附图来描述具体实施方式。

图1是根据一些示例的可以用于使用与激活路径差分有关的信息实现对神经网络的对抗训练的操作环境的示意性图示。

图2A-2B是根据一些示例的可以用于使用与激活路径差分有关的信息实现对神经网络的对抗训练的操作环境的示意性图示。

图3A-3B是根据一些示例的可以用于使用与激活路径差分有关的信息实现对神经网络的对抗训练的操作环境的示意性图示。

图4是根据一些示例的可以用于使用与激活路径差分有关的信息实现对神经网络的对抗训练的操作环境的示意性图示。

图5是根据一些示例的用于使用与激活路径差分有关的信息实现对神经网络的对抗训练的技术的高级概览的示意性图示。

图6是根据一些示例的用于使用与激活路径差分有关的信息实现对神经网络的对抗训练的技术的高级概览的示意性图示。

图7-10是图示了根据一些示例的用于使用与激活路径差分有关的信息实现对神经网络的对抗训练的方法中的操作的流程图。

图11-12是根据一些示例的用于使用与激活路径差分有关的信息实现对神经网络的对抗训练的方法中利用的组件的示意性图示。

图13是根据一些示例的用于确定神经网络中的激活路径的伪代码的图示，该伪代码可以被用在用于使用与激活路径差分有关的信息实现对神经网络的对抗训练的方法中。

图14是根据一些示例的使用与激活路径差分有关的信息对神经网络的训练的示例应用的图示。

图15是根据一些示例的可被适配成使用与激活路径差分有关的信息实现对神经网络的对抗训练的计算架构的示意性图示。

图16图示了根据一个实施例的机器学习软件栈。

图17A是根据一些示例的神经网络层的示意性图示。

图17B是根据一些示例的与神经网络层相关联的计算级的示意性图示。

具体实施方式