[发明专利]相机帧和雷达帧的早期融合

说明书

公开了用于融合相机帧和雷达帧以在一个或多个空间域中执行对象检测的技术。在一个方面，主车辆的车载计算机从主车辆的相机传感器接收多个相机帧；从主车辆的雷达传感器接收多个雷达帧；对多个相机帧中的第一相机帧执行相机特征提取过程，以生成第一相机特征图；对多个雷达帧中的第一雷达帧执行雷达特征提取过程，以生成第一雷达特征图；将第一相机特征图和/或第一雷达特征图转换到公共空间域；将第一雷达特征图和第一相机特征图连接起来，以在公共空间域中生成第一连接特征图。

相关申请的交叉引用

本专利申请要求2018年11月30日提交的名称为“EARLY FUSION OF CAMERA ANDRADAR FRAMES”的美国临时申请第62/774，020号和2019年11月27日提交的名称为“EARLYFUSION OF CAMERA AND RADAR FRAMES”的美国非临时申请第16/698,601号的权益，该两个申请都转让给了本申请的受让人，并且其全部内容通过引用明确地并入本文。

技术领域

本公开的各方面总体涉及相机帧和雷达帧的早期融合。

背景技术

雷达传感器和相机传感器通常用于车辆上，使系统增强车辆安全性，例如自适应巡航控制(ACC)、前方碰撞警告(FCW)、通过自动制动减轻或避免碰撞、预碰撞功能(例如气囊启动或预激活)以及车道偏离警告(LDW)。采用雷达传感器和相机传感器的系统可以提供高水平的主动安全能力，越来越多地用于生产型车辆。

安装在车辆上的一个或多个相机传感器捕获车辆前方的场景图像，也可能捕获车辆后方和侧方的场景图像。然后，车辆内的数字信号处理器(DSP)尝试识别捕获图像内的对象。这种对象可以是其他车辆、行人、路标、行进道路内的对象等。雷达系统也可以用来检测行进道路上的对象。雷达系统利用无线电波来确定道路上对象的距离、高度、方向和/或速度。发射器发射无线电波脉冲，这些脉冲会从其路径上的对象上反射回来。从对象上反射的脉冲将一小部分无线电波能量返回到通常与发射器位于同一位置的接收器。

雷达系统在各种天气条件下提供相当精确的对象距离和速度测量。然而，雷达系统通常没有足够的分辨率来识别被检测对象的特征。而相机传感器通常具有足够的分辨率来识别对象特征。从捕获的图像中提取的对象形状和外观的线索可以为不同对象的分类提供足够的特征。基于两个传感器的互补属性，来自两个传感器的数据可以在单个系统中组合(称为“融合”)以提高性能。

雷达-视觉融合方法主要在融合级别上有所不同。早期融合将若干个原始数据源结合起来，以产生预计比单独的任何一个输入都能更直接地提供信息的输出。在早期融合中，各种特征，如边缘、角、线条、纹理参数等，被组合成特征图，再将特征图用于进一步处理阶段。在高级融合中，每个输入源产生一个决策，再将决策融合。

发明内容

下文呈现了与本文公开的一个或多个方面相关的简化概述。以下概述不应被视为与所有预期方面相关的广泛概述，也不应被视为标识与所有预期方面相关的关键或重要元素或描述与任何特定方面相关的范围。因此，以下概述的唯一目的是在下面给出的具体实施方式之前，以简化的形式给出与在此公开的机制的有关的一个或多个方面相关的某些概念。

在一个方面，一种融合相机帧和雷达帧以在一个或多个空间域中执行由主车辆的车载计算机执行的对象检测的方法，包括：从主车辆的相机传感器接收多个相机帧；从主车辆的雷达传感器接收多个雷达帧；对多个相机帧中的第一相机帧执行相机特征提取过程，以生成第一相机特征图；对多个雷达帧中的第一雷达帧执行雷达特征提取过程，以生成第一雷达特征图；将第一相机特征图和/或第一雷达特征图转换到公共空间域；将第一雷达特征图和第一相机特征图连接起来，以在公共空间域中生成第一连接特征图；以及检测第一连接特征图中的一个或多个对象。