[发明专利]用于检测对抗性攻击的系统和方法

说明书

用于检测对抗性攻击的系统和方法。计算机实现的方法涉及训练机器学习系统检测对抗性攻击，包括基于第一序列包括传感器数据未扰动版本的第一预测将第一序列分类为属于指示标称序列的第一类，基于第二序列包括传感器数据扰动版本的第二预测将第二序列分类为属于指示对抗性序列的第二类。组合损失数据针对序列集合而生成并基于相对于第一类不正确分类的第一平均损失和相对于第二类不正确分类的第二平均损失。基于组合损失数据更新机器学习系统参数。一旦训练，机器学习系统可操作来生成第一标签以指示输入序列被分类为属于第一类，并生成第二标签以指示输入序列被分类为属于第二类，使控制系统能以基于第一类的标称方式和基于第二类的防御方式操作。

技术领域

本公开一般涉及机器学习系统，并且更具体地，涉及检测对抗性数据序列。

背景技术

一般而言，机器学习系统、特别是深度神经网络易受到攻击。这些对抗性攻击可以包括：黑盒攻击，其涉及基于机器学习系统的预期输出的知识的攻击；和/或白盒攻击，其涉及基于机器学习系统的内部工作的知识的攻击。作为示例，机器学习系统可能经由其输入受到攻击。这样的对抗性攻击在输入上发现扰动，所述扰动引起对机器学习系统的输出数据的改变。这些对抗性攻击通常通过如下方式来执行：基于反馈更新输入数据上的扰动，直到机器学习系统做出被这些扰动破坏的确定，使得生成不正确的输出数据（例如，输入数据的错误分类），从而导致负面后果和影响。

发明内容

下文是下面详细描述的某些实施例的概述。呈现所描述的方面仅仅是为了向读者提供这些特定实施例的简要概述，并且这些方面的描述没有限制本公开范围的意图。实际上，本公开可以涵盖下面可能没有明确阐述的各种方面。

根据至少一个方面，一种计算机实现的方法涉及训练机器学习系统来检测对抗性攻击。所述方法包括获得序列集合。序列集合至少包括第一序列和第二序列。所述方法包括基于第一序列包括传感器数据的未扰动版本的第一预测，将第一序列分类为属于指示标称序列的第一类。所述方法包括基于第二序列包括传感器数据的扰动版本的第二预测，将第二序列分类为属于指示对抗性序列的第二类。所述方法包括基于如下各项生成组合损失数据：（i）第一平均损失，其牵涉到第一类相对于来自序列集合的第一组序列的不正确分类，其中第一组序列内的每个序列是标称序列，以及（ii）第二平均损失，其牵涉到第二类相对于来自序列集合的第二组序列的不正确分类，其中第二组序列内的每个序列是对抗性序列。所述方法包括基于组合损失数据更新机器学习系统的参数。

根据至少一个方面，一种非暂时性计算机可读介质包括计算机可读数据，当由处理器执行时，所述计算机可读数据引起处理器执行一种方法。所述方法包括获得序列集合。序列集合至少包括第一序列和第二序列。所述方法包括基于第一序列包括传感器数据的未扰动版本的第一预测，将第一序列分类为属于指示标称序列的第一类。所述方法包括基于第二序列包括传感器数据的扰动版本的第二预测，将第二序列分类为属于指示对抗性序列的第二类。所述方法包括基于如下各项生成组合损失数据：（i）第一平均损失，其牵涉到第一类相对于来自序列集合的第一组序列的不正确分类，其中第一组序列内的每个序列是标称序列，以及（ii）第二平均损失，其牵涉到第二类相对于来自序列集合的第二组序列的不正确分类，其中第二组序列内的每个序列是对抗性序列。所述方法包括基于组合损失数据更新机器学习系统的参数。

根据至少一个方面，一种计算机实现的方法涉及防御对抗性攻击。所述方法包括获得到第一机器学习系统的输入序列。所述方法包括基于输入序列是传感器数据的多个帧的扰动版本的统计确定，生成对抗性标签以将输入序列分类为对抗性。所述方法包括基于输入序列标识由第一机器学习系统生成的输出数据序列。所述方法包括基于对抗性标签过滤出输出数据序列，以防止致动器系统基于输出数据序列而被控制。

根据附图在以下详细描述中讨论本发明的这些和其他特征、方面和优点，贯穿附图，同样的字符表示相似或同样的部分。

附图说明

图1是根据本公开示例实施例的包括检测器和对抗性防御系统的系统示例的图。