[发明专利]雷达视频数据的融合方法及相关设备

说明书

本申请公开了一种雷达视频数据的融合方法、电子设备及计算机可读存储介质，融合方法包括：进行视频数据采集和雷达数据采集，获取视频帧和雷达帧；确定与当前视频帧的时间最接近的雷达帧，将所确定的雷达帧作为匹配雷达帧；对当前视频帧和匹配雷达帧进行融合。本申请能够提高雷达数据和视频数据的时间同步性。

技术领域

本申请涉及数据处理领域，特别是涉及一种雷达视频数据的融合方法、电子设备及计算机可读存储介质。

背景技术

在很多电子化应用领域，都涉及到对数据的融合处理。例如在视频监控领域，存在多维感知，即除了对场景的视频采集进行图像感知，还需要对目标进行测距、测速等雷达数据的感知。继而会涉及到多维数据的融合。

不同数据采集的频率不同，因而在进行融合时会出现时间不同步的问题。

发明内容

本申请提供一种雷达视频数据的融合方法、电子设备及计算机可读存储介质，可以解决现有技术中雷达帧和视频帧时差较大，融合后的数据处理难度大的问题。

为达到上述目的，本申请提供一种雷达视频数据的融合方法，该方法包括：进行视频数据采集和雷达数据采集，获取视频帧和雷达帧；确定与当前视频帧的时间最接近的雷达帧，将所确定的雷达帧作为匹配雷达帧；对所述当前视频帧和所述匹配雷达帧进行融合。

其中，所述确定与当前视频帧的时间最接近的雷达帧，包括：确定与所述当前视频帧的时间最接近，且时间差小于或等于时间阈值的雷达帧，所述时间阈值为最大雷达帧间隔的一半。

其中，所述进行视频数据采集和雷达数据采集，获取视频帧和雷达帧，包括：进行视频数据采集和雷达数据采集，获取视频帧和视频帧时间戳，以及雷达帧和雷达帧时间戳；所述确定与所述当前视频帧的时间最接近，且时间差小于或等于时间阈值的雷达帧，包括：获取所述当前视频帧的视频帧时间，所述视频帧时间为视频帧时间戳减采集时间延迟；获取与所述当前视频帧的时间最接近的雷达帧的雷达帧时间，所述雷达帧时间为雷达帧时间戳减帧率波动时间偏差；计算所述视频帧时间和所述雷达帧时间的差值；若所述差值小于等于时间阈值，则确定与所述当前视频帧的时间最接近雷达帧为匹配雷达帧。

其中，若差值大于时间阈值；则先执行对所述当前视频帧进行处理，再执行所述获取与当前视频帧的时间最接近的雷达帧的雷达帧时间；其中，所述视频帧时间为视频帧时间戳减采集时间延迟，并减处理时间。

其中，所述先执行对所述当前视频帧进行处理，再执行所述获取与当前视频帧的时间最接近的雷达帧的雷达帧时间，包括：对所述视频帧进行编码处理；判断编码处理时间与时间阈值的关系；若编码处理时间大于或等于时间阈值，则执行所述获取与当前视频帧的时间最接近的雷达帧的雷达帧时间；若编码处理时间小于时间阈值，则再对所述视频帧进行业务处理，业务处理后再执行所述获取与当前视频帧的时间最接近的雷达帧的雷达帧时间。

其中，所述若编码处理时间小于时间阈值，则再对所述视频帧进行业务处理，业务处理后再执行所述获取与当前视频帧的时间最接近的雷达帧的雷达帧时间，包括：若编码处理时间小于时间阈值，且与时间阈值的差值小于或等于预设差值，则再对所述视频帧进行业务处理，业务处理后再执行所述获取与当前视频帧的时间最接近的雷达帧的雷达帧时间；若编码处理时间小于时间阈值，且与时间阈值的差值大于预设差值，则调整雷达帧率。

其中，所述融合方法还包括：在所述确定与当前视频帧的时间最接近的雷达帧的步骤同时，对雷达帧进行雷达算法分析，得到雷达计算帧；对所述当前视频帧进行处理，得到视频处理帧；所述对所述当前视频帧和所述匹配雷达帧进行融合，包括：对所述雷达计算帧和所述视频处理帧进行融合。

其中，所述确定与当前视频帧的时间最接近的雷达帧，将所确定的雷达帧作为匹配雷达帧，包括：确定与当前视频帧的时间最接近的雷达帧，并获取所确定的雷达帧的雷达帧号；所述对所述雷达计算帧和所述视频处理帧进行融合，包括：根据所述雷达帧号寻找所述雷达计算帧；将找到的所述雷达计算帧和所述视频处理帧进行融合。