[发明专利]相机帧和雷达帧的早期融合

权利要求书

1.一种融合相机帧和雷达帧以在一个或多个空间域中执行由主车辆的车载计算机执行的对象检测的方法，包括：

从所述主车辆的相机传感器接收多个相机帧；

从所述主车辆的雷达传感器接收多个雷达帧；

对所述多个相机帧中的第一相机帧执行相机特征提取过程，以生成第一相机特征图；

对所述多个雷达帧中的第一雷达帧执行雷达特征提取过程，以生成第一雷达特征图；

将所述第一相机特征图和/或所述第一雷达特征图转换到公共空间域；

将所述第一雷达特征图和所述第一相机特征图连接起来，以在公共空间域中生成第一连接特征图；以及

检测所述第一连接特征图中的一个或多个对象。

2.根据权利要求1所述的方法，其中所述公共空间域是所述雷达传感器的空间域。

3.根据权利要求1所述的方法，其中将所述第一相机特征图转换成所转换的第一相机特征图包括：对所述第一相机特征图执行显式逆透视映射变换。

4.根据权利要求1所述的方法，其中将所述第一相机特征图转换成所转换的第一相机特征图发生在执行所述相机特征提取过程之前或执行所述相机特征提取过程的期间。

5.根据权利要求1所述的方法，还包括：

对所述第一相机帧的多个块进行散列化，以识别在所述多个相机帧的前一相机帧和所述第一相机帧之间没有改变的一个或多个块；以及

将所述前一相机帧的第二相机特征图的特征图值复制到所述第一特征图的对应特征图值。

6.根据权利要求1所述的方法，还包括：

基于封装所述一个或多个对象中的每一个的所述第一相机帧中的边界框来估计所述一个或多个对象的宽度和长度。

7.根据权利要求6所述的方法，其中所述一个或多个对象的宽度和/或长度至少部分基于所述一个或多个对象的构造和/或型号来估计。

8.根据权利要求1所述的方法，还包括：

对所述多个相机帧中的第二相机帧执行所述相机特征提取过程，以生成第二相机特征图；

对所述多个雷达帧中的第二雷达帧执行所述雷达特征提取过程，以生成第二雷达特征图；

将所述第二相机特征图和/或所述第二雷达特征图转换到公共空间域；以及

将转换后的第二雷达特征图和转换后的第二相机特征图连接起来，以生成第二连接特征图，

其中检测所述一个或多个对象进一步基于所述第二连接特征图。

9.根据权利要求1所述的方法，其中所述雷达传感器和所述相机传感器并置在所述主车辆中。

10.根据权利要求1所述的方法，还包括：

基于检测到所述一个或多个对象来执行自主驾驶操作。

11.根据权利要求10所述的方法，其中所述自主驾驶操作是制动、加速、转向、调节巡航控制设置或发信号中的一个或多个。

12.一种融合相机帧和雷达帧以在一个或多个空间域中执行由主车辆的车载计算机执行的对象检测的方法，包括：

从所述主车辆的相机传感器接收多个相机帧；

从所述主车辆的雷达传感器接收多个雷达帧；

在所述第一相机帧上应用编码器-解码器网络，以在所述第一雷达帧的空间域中生成第一相机特征图；

组合所述第一雷达帧和所述第一相机特征图，以在所述第一雷达帧的空间域中生成第一组合特征图；以及

检测所述第一组合特征图中的一个或多个对象。

13.根据权利要求12所述的方法，还包括：

向神经网络提供所述第一组合特征图。

14.根据权利要求12所述的方法，还包括：

基于检测到所述一个或多个对象来执行自主驾驶操作。