[发明专利]基于场景的激光数据和雷达数据进行场景中的对象检测的方法及装置

说明书

本公开涉及基于场景的激光雷达数据和雷达数据在场景中进行对象检测的概念：激光雷达数据和雷达数据被变换到公共坐标系。从雷达数据中提取不同的雷达点簇。从激光雷达数据中提取不同的激光雷达点簇并将每个激光雷达点簇与目标对象相关联。基于连续激光雷达图像之间相应激光雷达点簇的移动，估计目标对象的速度。将估计的目标对象的速度与对应的雷达点簇的速度信息进行比较，以识别对应的雷达点簇和激光雷达点簇。

技术领域

本公开一般而言涉及环境传感器的技术领域，并且更具体地，涉及基于不同传感器的融合传感器数据的对象检测和/或分类。

背景技术

例如，自主汽车依靠各种传感器来感知其环境。为了建立其周围环境的一致模型(需要该模型以在其中进行安全操作)，可以融合不同传感器的数据。每种类型的传感器都有其自身的优点和缺点。例如，相机可以感知世界的颜色和纹理信息，并且擅长对对象进行分类。但是，它们的检测范围(range)是有限的，并且它们在有限的照明或不利的天气条件下表现不佳。LiDAR(光检测和测距)提供精确的距离(distance)信息，范围可以超过100m，并且能够检测小对象。它们在夜间也能很好地工作，但不提供颜色信息，并且它们的性能在大雨时会下降。雷达(无线电检测和测距)提供了精确的距离和速度信息，并且在恶劣的天气条件下也能很好地工作，但分辨率较低。

传感器融合大致可分为三个主要类别：低级传感器融合(LLF)、中级融合(MLF)和高级传感器融合(HLF)。HLF使用每个传感器单独地检测对象，并且随后融合这些检测。因此，利用有限的可用信息在本地进行对象检测。HLF一直是汽车OEM(原始设备制造商)最流行的融合技术，这主要是因为HLF使用了供应商提供的传感器对象列表并将它们集成到环境模型中。但是，由于传感器彼此之间未进行校准，因此该方法会引起振铃、像差和重复对象。防止发生这些问题的一种方法是融合原始传感器数据。这称为LLF。LLF本质上很复杂，并且面临一些挑战。需要对传感器进行准确的外部校准，以正确覆盖其对环境的感知。此外，传感器读数需要进行时间同步、速度同步以及自我运动补偿。传感器还具有不同的视野，并且需要使用多模式输入数据来训练模型，并且融合和检测算法需要能够实时运行。图1中的(a)和(b)示意性地示出了HLF和LLF数据融合体系架构。在HLF中，检测算法在每个传感器上运行以生成对象列表，然后将其馈送到融合模块中，在该融合模块中融合对象列表。在LLF中，将来自传感器的原始数据融合到融合模块中。之后，对融合数据进行检测。MLF是位于LLF之上的抽象，其中融合了从多个传感器数据中提取的特征。

鉴于这种背景，期望改进现有的用于融合传感器数据的对象检测概念。

发明内容

根据本公开的第一方面，提供了一种在由测距传感器的深度数据和相机的图像数据表示的场景中进行对象检测的方法。为了覆盖不同传感器对场景的感知，该方法包括将深度数据投影到图像数据上以生成投影深度数据。投影深度数据被编码为多通道信息以生成经编码的投影深度数据。然后，图像数据和经编码的投影深度数据被馈送到一个或多个卷积神经网络中，该卷积神经网络被配置为基于图像数据和经编码的投影深度数据来检测或分类场景中的对象。

在一些示例中，该方法包括将图像数据和经编码的投影深度数据馈送到卷积神经网络的一个或多个公共卷积层中以学习图像特征。然后将学得的图像特征馈送到卷积神经网络的一个或多个完全连接的层中，以检测或分类场景中的对象。这样的示例涉及LLF方法，其中多个通道的融合的混合数据被馈送到卷积神经网络中以学习特征，并且然后馈送通过完全连接的层以检测和分类对象(类分数)并预测对象的相应边界框。

在一些示例中，该方法包括将图像数据和经编码的投影深度数据馈送到相应的单独的卷积神经网络中以学习单独的特征、联接(例如，通过级联、求和、求平均等)学得的单独的特征，以及将联接的特征馈送到公共卷积神经网络中以检测或分类场景中的对象。这样的示例涉及MLF方法，其中每种数据类型的融合的混合数据被馈送到独立的卷积神经网络中以学习特征，并且然后学得的特征被级联并经由卷积神经网络馈送通过完全连接的层以检测和分类对象(类分数)并预测对象的相应边界框。