[发明专利]一种路况监测方法及装置和系统

权利要求书

1.一种路况监测方法，包括：

对视频数据和毫米波雷达数据进行时间域对齐；

利用单应性矩阵对时间域对齐后的视频数据和毫米波雷达数据进行空间域对齐，所述对时间域对齐后的视频数据和毫米波雷达数据进行空间域对齐包括：分别获取预设时间段内的毫米波雷达数据和视频数据，计算毫米波雷达数据中目标的坐标信息、视频数据中目标的坐标信息；利用单应性矩阵构建毫米波雷达数据中目标的坐标信息和视频数据中目标的坐标信息之间的目标坐标的映射关系；

对对齐处理后的视频数据和毫米波雷达数据进行特征处理，获取路况监测结果，所述获取路况监测结果包括：将所述对齐处理后的视频数据输入图像特征层提取基础图像特征，将所述对齐处理后的毫米波雷达数据输入雷达特征层提取基础毫米波雷达特征；根据所述映射关系叠加提取的基础图像特征和基础毫米波雷达特征后输入融合层以提取融合特征信息；将融合特征信息输入检测层以检测出所述路况监测结果；

其中，所述毫米波雷达数据还包括：毫米波雷达数据适配的权重图，与毫米波雷达数据适配的权重图同步参与到深度学习中的卷积处理。

2.根据权利要求1所述的路况监测方法，其中，所述对视频数据和毫米波雷达数据进行时间域对齐，包括：

根据所述毫米波雷达数据、所述视频数据中携带的时间戳信息，获取在时间上同步的毫米波雷达数据与视频数据对。

3.一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令被处理器执行时用于实现如权利要求1~权利要求2任一项所述的路况监测方法。

4.一种实现路况监测的设备，包括存储器和处理器，其中，存储器中存储有以下可被处理器执行的指令：用于执行权利要求1~权利要求2任一项所述的路况监测方法的步骤。

5.一种路况监测系统，用于实现如权利要求1~权利要求2任一项所述的路况监测方法，包括：多个摄像装置、多个毫米波雷达、第一处理装置、第二处理装置；其中，

摄像装置，用于采集获得视频数据；

毫米波雷达，用于采集获得毫米波雷达数据；

第一处理装置，用于对视频数据和毫米波雷达数据进行时间域对齐；

利用单应性矩阵对时间域对齐后的视频数据和毫米波雷达数据进行空间域对齐；

第二处理装置，用于对对齐处理后的视频数据和毫米波雷达数据进行特征处理，获取路况监测结果。