[发明专利]实时场景理解系统

说明书

实时场景理解系统，其采用对象检测模块，具有用于对图像中的对象进行定位和分类的算法，以及语义分割模块，具有用于对图像中的各个像素进行分类的算法，其中，该系统还包括编码器模块，可在输入图像上操作以提取所述输入图像中的显著特征，一个或多个注意模块，用于赋予由编码器提供的输入图像中的每个显著特征一个权重值，这些显著特征也存在于根据输入图像重建的输出图像之中，以及用于使用显著特征重建输出图像的解码器模块，其中重建的输出图像可用于带有对图像中对象进行定位和分类的算法的对象检测模块和带有用于对图像中各个像素进行分类的算法的语义分割模块。

相关申请的交叉引用

本申请要求于2019年3月20日提交的美国临时专利申请No.62/821,365、2019年7月26日提交的美国临时专利申请No.62/878,984以及2019年10月24日提交的美国专利申请No.16/662,381的优先权和权益，其说明书和权利要求通过引用纳入本文。

技术领域

本发明实施方案涉及一种实时场景理解系统，其采用具有用于对图像中的对象进行定位和分类的算法的对象检测模块，以及具有用于对图像中的各个像素进行分类的算法的语义分割模块。

背景技术

场景理解是自动驾驶和地图绘制(mapping)的核心前提之一。但是，这是一个非常复杂的问题，需要大量的资源。通过将此问题划分为一组子任务来解决此复杂性，这些子任务包括对象定位和分类(检测)、语义分割和实例分割。

给定一组预定义的对象类别，例如在自动驾驶环境中常见的汽车、行人、卡车、公共汽车，交通标志等，对象检测算法的任务是对图像内的重要对象进行定位和分类，从而提供对象的大致位置以及场景中对象类别的精确分类。

另一方面，语义分割算法接收输入图像并对输入图像中的各个像素的类别进行分类，从而还提供了更宽泛的图像解析能力，这进而可以导致更好地评估场景。

迄今为止，用于导航和地图绘制的自动场景感知通常是单独解决的。但是，场景感知算法在现实世界的自动驾驶场景中还面临许多其他挑战。例如，由于在通常的驾驶场景中存在大量遮挡，因此只能部分地观察驾驶环境，从而提供对场景的大致了解。此外，使用低功耗嵌入式设备的上述感知算法的实时性能是自动驾驶汽车中的可行部署的关键要求。

如前所述，在基于感知的任务(例如对象检测和语义分割)中实现实时性能是关键要求。此外，还期望可以使用自动驾驶汽车中可行部署的低功率嵌入式设备来执行该任务。

对低功率设备本身的实时性能的综合要求对基于人工智能AI的解决方案提出了重大挑战。当要在嵌入式设备上同时执行多个感知任务时，尤其是当目标解决方案努力实现关键任务(例如可靠的自动驾驶)所需的高精度水平时，问题变得更加严重。此外，尽管存在各种“噪声”元素，例如在行驶场景中经常遇到的重要对象被部分遮挡，但仍需要高精度的检测和分割水平。

通常，计算机视觉领域有两种主要方法来一次解决多于一个的任务：a)通过分别针对每个任务的任务特定模块，或b)通过多任务学习，其中某些模块被多个任务共享。前一种方法不是资源优化的，因为场景信息是由每个模型分别感知的，从而导致独立的预测。这转而会导致本就不足的资源池中出现重复和冗余，尤其是在低功率嵌入式设备上。另一方面，尽管后一种方法尝试共享资源，但是现有技术水平的技术并未得到充分优化以用于实时场景。

本发明实施方案的一个方面旨在提供一种解决上述问题的方案。为此，根据一个或多个所附权利要求的特征，提出了一种实时场景理解系统。

发明内容