[发明专利]提供用于通过传感器数据在车辆中直接验证环境地图的神经网络的方法

说明书

本公开涉及一种提供用于通过传感器数据在车辆中直接验证环境地图的神经网络的方法。该方法包括：提供来自地图数据和传感器数据的特征表示中的有效环境数据；提供来自地图数据和传感器数据的特征表示中的无效环境数据；以及利用有效环境数据和无效环境数据来训练神经网络。

技术领域

本公开涉及提供用于通过传感器数据在车辆中直接验证环境地图的神经网络的方法和系统、用于通过传感器数据在车辆中直接验证环境地图的方法、用于执行该方法的存储介质、以及具有这种存储介质的车辆。本公开特别是涉及基于预定环境地图的自动驾驶车辆的导航。

背景技术

现代车辆包括各种不同的传感器系统，例如激光雷达系统、雷达系统、摄像头和超声波系统。这种传感器系统可以用于各种不同的应用，例如用于自动驾驶的驾驶员辅助系统。自动驾驶可以涉及例如在高速公路上较长时间的驾驶或者在泊入或调整车辆时在有限时间内的驾驶。此外，自动驾驶可以发生在城市地区，即在城市交通中。这种驾驶员辅助系统使用地图数据和传感器系统的数据来控制车辆。在此重要的是，明确且尽可能精确地确定车辆的周围环境。

发明内容

本公开的一个目的是提出一种提供用于通过传感器数据在车辆中直接验证环境地图的神经网络的方法和系统、一种用于通过传感器数据在车辆中直接验证环境地图的方法、一种用于执行该方法的存储介质、以及一种具有这种存储介质的车辆，其使得能够可靠地使用预定环境地图。本发明的一个目的特别是在于安全可靠地运行用于自动驾驶的驾驶员辅助系统。

该目的通过独立权利要求的主题来实现。在从属权利要求中提出了有利的设计方案。

根据本公开的一个独立方面，提出了一种提供用于通过传感器数据在车辆中直接验证环境地图的神经网络的方法。该方法包括：提供来自地图数据和传感器数据的特征表示中的有效环境数据；提供来自地图数据和传感器数据的特征表示中的无效环境数据；以及利用有效环境数据和无效环境数据来训练神经网络，例如借助于有效环境数据和无效环境数据在共同表示中的表示。这可以借助于深度学习、特别是表示学习来进行。

在本公开的范畴中，术语“特征表示(Feature-Darstellung)”是指不同来源的输入(例如HD地图数据和传感器数据)被表示在低维特征空间、例如公共隐藏空间(“jointlatent space”)中。

地图数据为预定的地图数据，并且特别是HD地图数据，其给定了通常存储在车辆中并且例如用于运行自动驾驶的驾驶员辅助系统的数字地图。在一些实施方式中，数字地图例如可以在线后续加载和/或更新。

传感器数据例如是摄像头的图像数据。可以借助于测量车辆记录传感器数据，以训练神经网络。

根据本发明，借助于深度学习训练神经网络，利用该神经网络可以在车辆的持续运行中直接验证预定环境地图，而无需例如首先从传感器数据创建环境模型。为了生成训练数据，例如可以在测试行程期间记录车辆的地图信息和不同的传感器模式。然后可以将其转换为图像表示。具有相同记录时间的数据对可以被指示为有效环境数据。通过比较具有不同时间戳的地图图像和传感器图像，可以生成无效的环境数据。以这种方式训练的神经网络可以在车辆的持续运行中直接且可靠地验证预定环境地图。

有效环境数据和无效环境数据的提供优选地包括通过使用第一卷积神经网络(“Convolutional Neural Network”，CNN)和第二卷积神经网络生成相应的特征表示，其中第一卷积神经网络使用地图数据作为输入，并且第二卷积神经网络使用传感器数据作为输入。由此可以将地图数据(即，对应于环境地图的数据)和传感器数据(例如摄像头的图像数据)传送到公共隐藏空间(“joint latent space”)，从而可以进行比较。

有效环境数据和无效环境数据优选地基于图像数据，例如来自例如测量车辆的至少一个摄像头。然而，本公开不限于摄像头数据并且可以使用允许成像的其他类型的传感器。