[发明专利]一种车路协同端到端3D目标检测方法、系统、设备、存储介质

说明书

本发明公开了一种车路协同端到端3D目标检测方法、系统、设备、存储介质，其中方法包括：当检测到车辆进入某个监控区域内时，获得当前车端监控图像、当前路端监控图像及对应的深度图；将当前车辆监控图像与当前路侧监控图像输入深度对齐神经网络，获得隐式对齐特征图；将当前路端监控图像及对应的深度图输入深度特征提取神经网络，得到对应的路端视角特征图；将获得隐式对齐特征图与路端视角特征图融合后，输入坐标转换网络进行坐标转换，得到车端视角特征图；将车端视角特征图输入3D目标检测网络，得到第一3D目标检测信息。本发明节省了车辆的硬件成本，也减少在车辆端进行非必要场景的深度信息处理过程，有效的提升自动驾驶系统的稳定性。

技术领域

本发明涉及自动驾驶技术领域，更具体的，涉及一种车路协同端到端3D目标检测方法、系统、设备、存储介质。

背景技术

目前，现有的车路协同三维目标检测方法，采用传统算法进行位置对齐，或者需要在车辆上安装对应的深度图获取设备并进行标定。然而，使用传统算法进行位置对齐，导致无法完成端到端的结果输出，且存在随着时间变化，位置预测误差也会变大的缺陷。在车辆上安装对应的深度图获取设备并进行标定，这不仅提高了车辆的软硬件成本，而且还增加了很多非必要场景的深度信息处理过程。

实际上，在汽车的自动驾驶过程中，只需要在一些关键行驶区域获取目标的3D信息即可大幅提升自动驾驶系统的鲁棒性。

发明内容

本发明为了解决以上现有技术在车辆上安装对应的深度图获取设备，存在增加车辆的软硬件成本，且存在非必要场景的深度信息处理过程的问题，提供了一种车路协同端到端3D目标检测方法、系统、设备、存储介质。

为了实现上述目的，本发明采用的技术方案如下：

一种车路协同端到端3D目标检测方法，所述方法包括步骤如下：

当检测到车辆进入某个监控区域内时，向路端请求获取当前路端监控图像、及所述当前路端监控图像对应的深度图，并获取当前车端监控图像；

将当前车辆监控图像与当前路侧监控图像输入训练好的深度对齐神经网络，获得隐式对齐特征图；

将当前路端监控图像、及当前路端监控图像对应的深度图输入训练好的深度特征提取神经网络，得到对应的路端视角特征图；

将隐式对齐特征图与路端视角特征图融合后，输入训练好的坐标转换网络进行坐标转换，得到车端视角特征图；

将车端视角特征图输入训练好的3D目标检测网络，得到基于车端视角的第一3D目标检测信息。

优选地，检测车辆是否进入某个监控区域内，具体地，当检测到车辆当前位置与监控摄像头的距离小于预设的第一距离阈值时，判断车辆进入对应监控摄像头的监控区域。

优选地，所述隐式对齐特征图为车端与路端的坐标对齐关系。

优选地，所述第一3D目标检测信息包括车端视角的目标的3D位置、离车辆的距离、角度。

优选地，所述隐式对齐特征图与路端视角特征图的尺寸大小相同，将隐式对齐特征图与路端视角特征图在通道上拼接，合并成一个的特征图，然后输入到坐标转换网络进行坐标转换。

优选地，所述深度对齐神经网络、深度特征提取神经网络、坐标转换网络、3D目标检测网络均为深度神经网络。

进一步地，根据数据流向将深度对齐神经网络、深度特征提取神经网络、坐标转换网络、3D目标检测网络组成一个3D目标检测模型；对3D目标检测模型进行预训练如下：

将训练用的车端监控图像、路端监控图像及路端监控图像对应的深度图输入到3D目标检测模型，得到第二3D目标检测信息；