[发明专利]通过使用神经网络图像处理的、作为3D限界框的直接载具检测

说明书

通过使用神经网络处理来检测和追踪成像系统的视场中的一个或多个载具的系统和方法。电子控制器从在主载具上所装配的相机接收输入图像。所述电子控制器应用神经网络，所述神经网络被配置成至少部分地基于输入图像来输出三维限界框的限定。所述三维限界框指示在输入图像的视场中的所检测到的载具的尺寸和定位。所述三维限界框包括第一四边形形状和第二四边形形状，所述第一四边形形状描画所检测到的载具的后面或前面，所述第二四边形形状描画所检测到的载具的侧面。

相关申请

本申请要求2017年4月4日提交的、题为“DIRECT VEHICLE DETECTION AS 3D BOUNDINGBOXES USING NEURAL NETWORK IMAGE PROCESSING”、申请号为62/481,346的美国临时申请的优先权，所述申请的全部内容通过引用被并入本文中。

背景技术

本发明涉及对其它载具的存在的检测。载具检测对于各种系统、包括例如全自动化或部分自动化的驾驶系统而言是有用的。

发明内容

在一个实施例中，本发明提供用于通过使用卷积神经网络来检测和追踪载具的系统和方法。捕获与主载具邻近的区域的图像。电子处理器应用卷积神经网络来处理作为给卷积神经网络的输入的所捕获的图像，并且直接输出三维边界框（或“限界框”），其指示在所捕获的图像中所有所检测到的载具的位置。在一些实施例中，卷积神经网络的输出将三维边界框限定为第一四边形和第二四边形，所述第一四边形指示所检测到的载具的后面或前面，所述第二四边形指示所检测到的载具的侧面。在一些实施例中，卷积神经网络的输出将所述第一四边形和第二四边形限定为六个点的集合。此外，在一些实施例中，所述系统被配置成显示由相机所捕获的图像与被叠覆到所检测到的载具上的三维边界框。然而，在其它实施例中，所述系统被配置成利用与如通过三维限界框所指示的所检测到的载具的尺寸、定位、定向等等相关的信息，而不在屏幕上向载具的操作者显示限界框。

在另一实施例中，本发明提供一种用于检测和追踪在主载具附近的载具的方法。电子控制器从在主载具上所装配的相机接收输入图像。所述电子控制器应用神经网络，所述神经网络被配置成至少部分地基于输入图像来输出三维限界框的限定。所述三维限界框指示在输入图像的视场中的所检测到的载具的尺寸和定位。所述三维限界框包括第一四边形形状和第二四边形形状，所述第一四边形形状描画所检测到的载具的后面或前面，所述第二四边形形状描画所检测到的载具的侧面。

在又一实施例中，本发明提供一种载具检测系统。所述系统包括：被定位在主载具上的相机、显示屏、被配置成控制主载具的移动的载具系统、电子处理器、和存储器。存储器存储指令，所述指令当被处理器执行的时候提供载具检测系统的某个功能性。具体地，所述指令使得所述系统从相机接收输入图像，所述输入图像具有视场，所述视场包括主载具在其上运作的道路表面，并且神经网络被应用到所述输入图像。所述神经网络被配置成提供输出，所述输出限定多个三维限界框，所述三维限界框各自对应于在输入图像的视场中所检测到的多个载具中不同的一个载具。每个三维限界框由神经网络的输出限定为经结构化的点的集合，其限定第一四边形形状和第二四边形形状，所述第一四边形形状被定位成围绕所检测到的载具的后面或前面，所述第二四边形形状被定位成围绕所检测到的载具的侧面。所述第一四边形形状与所述第二四边形形状相邻使得所述第一四边形形状和第二四边形形状共享一边缘。所述系统此外被配置成在显示屏上显示输出图像。所显示的输出图像包括输入图像的至少一部分以及被叠覆到输入图像上的所述多个三维限界框中的每一个。所述系统还被配置成操作载具系统以至少部分地基于所述多个三维限界框来自动地控制主载具相对于所述多个载具的移动。

通过考虑详细描述和附图，本发明的其它方面将变得显而易见。

附图说明

图1是由被装配到主载具的相机所捕获的道路场景的图像的截屏。

图2是图1的图像的截屏，其中在道路上运作的载具被检测到，并且在显示屏上通过使用二维边界框来被指示。