[发明专利]基于路侧监控视角车辆三维包围框检测系统及方法

说明书

一种基于路侧监控视角车辆三维包围框检测系统及方法，包括：灭点检测模块、车辆轮廓检测模块和包围框构建模块，其中：灭点检测模块基于路侧监控视角视频流计算监控视频的三个灭点，车辆检测模块基于实例分割网络和Mask R‑CNN网络，根据输入的图像信息，输出车辆掩膜，根据车辆掩膜搜索像素边缘得到车辆轮廓；包围框构建模块根据第一至第三灭点以及车辆轮廓，通过车辆三维包围框存在的空间几何约束以及图像焦距得到辅助交点，进而得到车辆三维包围框。本发明能够实高精度、高鲁棒性、高适应性、高可扩展性的车辆三维包围框检测。

技术领域

本发明涉及的是一种图像处理领域的技术，具体是一种基于路侧监控视角车辆三维包围框检测系统及方法。

背景技术

车辆数字化技术中的关键操作，即车辆三维包围框检测目前大多通过单目图像实现，通过基于自动驾驶视角数据集(如KITTI数据集)进行神经网络训练，达到预测目标。但自动驾驶视角与路侧探头视角像素特征差别明显，使用上述神经网络应用于路侧图像与视频效果极差。此外，无公开的路侧探头视角的车辆三维包围框数据集可供训练使用。存在的零星的路侧探头视角下的三维包围框检测研究工作，普遍存在精度差，鲁棒性差，无法适应复杂场景等不足。

发明内容

本发明针对现有技术存在的上述不足，提出一种基于路侧监控视角车辆三维包围框检测系统及方法，能够实高精度、高鲁棒性、高适应性、高可扩展性的车辆三维包围框检测。

本发明是通过以下技术方案实现的：

本发明涉及一种基于路侧监控视角车辆三维包围框检测系统，包括：灭点检测模块、车辆轮廓检测模块和包围框构建模块，其中：灭点检测模块基于路侧监控视角视频流计算监控视频的三个灭点，车辆检测模块基于实例分割网络和Mask R-CNN网络，根据输入的图像信息，输出车辆掩膜，根据车辆掩膜搜索像素边缘得到车辆轮廓；包围框构建模块根据第一至第三灭点以及车辆轮廓，通过车辆三维包围框存在的空间几何约束以及图像焦距得到辅助交点，进而得到车辆三维包围框。

所述的灭点检测模块包括：第一灭点检测单元、第二灭点检测单元和第三灭点计算单元，其中：第一灭点检测单元基于路侧监控视角视频流，进行每帧图片的特征点提取，应用KLT特征追踪算法(Kanade Lucas Tomasi Feature Tracker)进行特征点追踪，将相邻帧间同一特征点的两个匹配像素形成的矢量定义为特征点的运动矢量，将运动矢量模长大于阈值的特征点定义为动态特征点并将动态特征点的运动矢量所在直线视为第一灭点候选直线，将第一灭点候选直线通过菱形空间变换得到第一灭点；第二灭点检测单元基于路侧监控视角视频流，进行背景过滤得到动态车辆特征点，对动态车辆特征点进行平行空间变换以进行直线检测，得到第二灭点候选直线，再对候选直线进行条件过滤，最后将候选直线通过菱形空间变换得到第二灭点；第三灭点计算单元根据第一灭点、第二灭点、第三灭点与相机主点间存在的几何关系，计算第三灭点。

技术效果

相比现有基于直线的灭点检测在复杂的交通场景下易受噪声直线干扰，无法检测到正确的候选直线，即无法得到正确的灭点，本发明基于动态特征点的第一灭点检测单元和基于背景过滤的第二灭点检测，在复杂的交通环境，能够更加精确，稳定地进行灭点检测。

附图说明

图1为本发明流程示意图；

图2为实施例直角坐标系区域划分示意图；

图3为正交灭点几何约束示意图；

图4为灭点与轮廓切线示意图；

图5～图8为三维包围框构建示意图。

具体实施方式

如图1所示，为本实施例涉及一种基于上述系统的路侧监控视角车辆三维包围框检测方法，包括以下步骤：