[发明专利]一种车路协同端到端3D目标检测方法、系统、设备、存储介质

权利要求书

1.一种车路协同端到端3D目标检测方法，其特征在于：所述方法包括步骤如下：

当检测到车辆进入某个监控区域内时，向路端请求获取当前路端监控图像、及所述当前路端监控图像对应的深度图，并获取当前车端监控图像；

将当前车辆监控图像与当前路侧监控图像输入训练好的深度对齐神经网络，获得隐式对齐特征图；

将当前路端监控图像、及当前路端监控图像对应的深度图输入训练好的深度特征提取神经网络，得到对应的路端视角特征图；

将隐式对齐特征图与路端视角特征图融合后，输入训练好的坐标转换网络进行坐标转换，得到车端视角特征图；

将车端视角特征图输入训练好的3D目标检测网络，得到基于车端视角的第一3D目标检测信息。

2.根据权利要求1所述车路协同端到端3D目标检测方法，其特征在于：检测车辆是否进入某个监控区域内，具体地，当检测到车辆当前位置与监控摄像头的距离小于预设的第一距离阈值时，判断车辆进入对应监控摄像头的监控区域。

3.根据权利要求1所述车路协同端到端3D目标检测方法，其特征在于：所述隐式对齐特征图为车端与路端的坐标对齐关系。

4.根据权利要求1所述车路协同端到端3D目标检测方法，其特征在于：所述第一3D目标检测信息包括车端视角的目标的3D位置、离车辆的距离、角度。

5.根据权利要求1所述车路协同端到端3D目标检测方法，其特征在于：所述隐式对齐特征图与路端视角特征图的尺寸大小相同，将隐式对齐特征图与路端视角特征图在通道上拼接，合并成一个的特征图，然后输入到坐标转换网络进行坐标转换。

6.根据权利要求1所述车路协同端到端3D目标检测方法，其特征在于：所述深度对齐神经网络、深度特征提取神经网络、坐标转换网络、3D目标检测网络均为深度神经网络。

7.根据权利要求6所述车路协同端到端3D目标检测方法，其特征在于：根据数据流向将深度对齐神经网络、深度特征提取神经网络、坐标转换网络、3D目标检测网络组成一个3D目标检测模型；对3D目标检测模型进行预训练如下：

将训练用的车端监控图像、路端监控图像及路端监控图像对应的深度图输入到3D目标检测模型进行训练，得到第二3D目标检测信息；

计算第二3D目标检测信息与标签数据的真实3D目标检测信息之间的损失，然后通过梯度反向传播更新3D目标检测模型的参数。

8.一种车路协同端到端3D目标检测系统，其特征在于：包括：

检测模块，用于检测到车辆是否进入某个监控区域内；

获取模块，当车辆进入某个监控区域内时，向路端请求获取当前路端监控图像、及所述当前路端监控图像对应的深度图，并获取当前车端监控图像；

深度对齐神经网络模块，用于对输入的当前车辆监控图像与当前路侧监控图像进行处理，获得隐式对齐特征图；

深度特征提取神经网络模块，用于对输入的当前路端监控图像、及当前路端监控图像对应的深度图进行提取，得到对应的路端视角特征图；

融合模块，用于对隐式对齐特征图与路端视角特征图进行融合；

坐标转换网络模块，用于对融合后的隐式对齐特征图与路端视角特征图进行坐标转换，得到车端视角特征图；

3D目标检测网络模块，用于对输入的车端视角特征图进行处理，得到基于车端视角的第一3D目标检测信息。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。