[发明专利]雷达与相机的数据融合方法、装置、电子设备及存储介质

说明书

本发明公开了一种雷达与相机的数据融合方法、装置、电子设备及存储介质，该方法包括：确定雷达连续采集的至少两帧目标雷达数据与相机连续采集的至少两帧候选相机数据，所述雷达的采集频率低于所述相机的采集频率；从所述至少两帧候选相机数据中确定与所述目标雷达数据匹配的目标相机数据，所述目标相机数据与所述目标雷达数据之间的目标采集时间差小于参考时间差；将所述目标雷达数据与所述目标相机数据进行融合处理，本方法，能够将不同时间维度的目标相机数据和目标雷达数据进行融合，从而提高了融合准确率，为雷达与视觉融合提供了数据基础。

技术领域

本发明涉及多元传感器数据融合技术领域，尤其涉及一种雷达与相机的数据融合方法、装置、电子设备及存储介质。

背景技术

环境感知是智能识别中的关键技术，比如雷达障碍物识别、视觉摄像头识别等感知识别。

相关方案中，大多是基于单一维度的数据实现感知识别，比如通过相机能从视觉角度感知丰富的图像信息，通过雷达能在一定程度上克服因环境因素(比如光线、雾霾等)造成的感知识别不准确问题，但却无法获知丰富的图像信息，导致无法进行很好的感知。此外，由于相机与雷达的采集频率并不一致，造成数据融合时无法匹配，出现融误差。因此，如何充分利用雷达与相机的数据进行较好地融合变得尤为重要。

发明内容

本发明提供了一种雷达与相机的数据融合方法、装置、电子设备及存储介质，以解决毫米波雷达和相机视频识别数据不在同一时刻，造成同时采集的两类数据时空误差大而导致的标定和融合难的问题。

根据本发明的一方面，提供了一种雷达与相机的数据融合方法，该方法包括：

确定雷达连续采集的至少两帧目标雷达数据与相机连续采集的至少两帧候选相机数据，所述雷达的采集频率低于所述相机的采集频率；

从所述至少两帧候选相机数据中确定与所述目标雷达数据匹配的目标相机数据，所述目标相机数据与所述目标雷达数据之间的目标采集时间差小于参考时间差，所述参考时间差为所述至少两帧候选相机数据中剩余相机数据与所述目标雷达数据之间的采集时间差；

将所述目标雷达数据与所述目标相机数据进行融合处理。

根据本发明的另一方面，提供了一种雷达与相机的数据融合装置，该装置包括：

采集数据确定模块，用于确定雷达连续采集的至少两帧目标雷达数据与相机连续采集的至少两帧候选相机数据，所述雷达的采集频率低于所述相机的采集频率；

相机与雷达匹配模块，用于从所述至少两帧候选相机数据中确定与所述目标雷达数据匹配的目标相机数据，所述目标相机数据与所述目标雷达数据之间的目标采集时间差小于参考时间差，所述参考时间差为所述至少两帧候选相机数据中剩余相机数据与所述目标雷达数据之间的采集时间差；

融合处理模块，用于将所述目标雷达数据与所述目标相机数据进行融合处理。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的雷达与相机的数据融合方法。

根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的雷达与相机的数据融合方法。