[发明专利]检测与来自计算机协助或自主驾驶交通工具的一个或多个相机的图像数据相关联的异常图像

说明书

实施例包括用于检测与来自计算机协助或自主驾驶(CA/AD)交通工具的一个或多个相机的图像数据相关联的异常图像的用于计算机协助或自主驾驶(CA/AD)系统的设备、系统、和方法。实施例可以包括用于从一个或多个相机接收图像数据流的设置在CA/AD交通工具中的传感器接口，该图像数据流包括由一个或多个相机捕获的单个视图图像数据或由一个或多个相机中的多个相机协作地捕获的多视图图像数据。在实施例中，设置在CA/AD交通工具中的一致性分析单元耦合到传感器接口，以使用单个视图或多视图几何方法对像素级数据执行一致性检查，以确定图像数据是否包括异常图像。也可描述和要求保护其他实施例。

技术领域

本发明的实施例总体上涉及计算机协助或自主驾驶(CA/AD)交通工具的领域，并且更具体地涉及检测与从CA/AD交通工具的一个或多个相机接收的图像数据相关联的异常图像。

背景技术

本文中所提供的背景描述是出于总体上呈现本公开的上下文的目的。在此背景技术部分所述的程度上的当前提及的发明人的工作以及在递交时可不以其他方式作为现有技术的描述的各方面既不明确地又不隐含地被承认为是对于本公开的现有技术。除非在本文中另外指出，否则在此部分中描述的方法不是对于本公开中的权利要求的现有技术，并且也不会因为被包含在此部分中而被承认是现有技术。

专家预测，在未来几年内，约有1000万辆计算机协助或自主驾驶(CA/AD)交通工具可能在路上行驶。自主驾驶交通工具通常具有用于感测交通工具周围的环境的多个相机。在自主驾驶交通工具中，相机用于“看”世界，并且该信息被发送到“大脑”，即用于进行处理的算法/计算块。由于相机对于自主驾驶交通工具的运行至关重要，因此相机的图像流中的任何异常都可能是有问题的，甚至是灾难性的。由于其在自主驾驶中的重要性，因此相机系统变得高度容易受到恶意代理(例如黑客)的攻击，该恶意代理可以改变图像流的内容，从而导致自主驾驶系统的不正确行为。在其他情况下，相机子系统可能会无意间出现故障，并提供不正确的图像。此外，神经网络容易受到对抗示例(即，接近自然输入但被不正确地分类的输入)的攻击是已知的。例如，已经表明，以故意欺骗深度神经网络(DNN)的意图通过对输入图像的较小的扰动巧妙地制作出的对抗示例，可能会导致具有高置信度的误分类。例如，可以将扰动设计为使得可能从分段输出中移除特定类别(例如，从道路上移除行人或汽车)。这类安全攻击将会导致自驾驶交通工具和关键的真实世界系统中的问题性的结果，甚至是灾难性的结果。因此，确定DNN是否受到威胁可能至关重要。因此，重要的是在分类之前解析输入图像，以通过查找像素级异常来检测对抗示例以及检测由故障硬件或软件导致的异常。

附图说明

通过以下结合附图的详细描述，将容易地理解实施例。为了便于该描述，相同的附图标记指示相同的结构元件。通过示例方式而非通过限制的方式在附图的各图中示出各实施例。

图1图示了根据各实施例的与驾驶交通工具的计算机协助或自主驾驶(CA/AD)系统相关联的一致性分析单元150以及用于实现驾驶交通工具的CA/AD系统的环境100。

图2是图示根据各实施例的由图1执行或与图1相关联的过程200的流程图200。

图3是进一步详细图示根据各实施例的与图1和图2的一致性分析技术相关联的实施例的道路300的图和相应流程图350。

图4是进一步详细图示根据各实施例的与图1和图2的一致性分析技术相关联的附加的实施例的图400。

图5是根据各实施例的包括与多视图几何方法相关联的实施例的过程500。

图6图示了根据各实施例的实现基于视差的度量的过程600的实施例。

图7是图示根据各实施例的与执行一致性检查相关联的附加实施例的过程700的流程图。

图8是根据各实施例的图800。

图9是根据各实施例的一致性分析单元和耦合的组件的软件组件视图。