[发明专利]基于路侧监控视角车辆三维包围框检测系统及方法

权利要求书

1.一种基于路侧监控视角车辆三维包围框检测系统，其特征在于，包括：灭点检测模块、车辆轮廓检测模块和包围框构建模块，其中：灭点检测模块基于路侧监控视角视频流计算监控视频的三个灭点，车辆检测模块基于实例分割网络和Mask R-CNN网络，根据输入的图像信息，输出车辆掩膜，根据车辆掩膜搜索像素边缘得到车辆轮廓；包围框构建模块根据第一至第三灭点以及车辆轮廓，通过车辆三维包围框存在的空间几何约束以及图像焦距得到辅助交点，进而得到车辆三维包围框。

2.根据权利要求1所述的基于路侧监控视角车辆三维包围框检测系统，其特征是，所述的灭点检测模块包括：第一灭点检测单元、第二灭点检测单元和第三灭点计算单元，其中：第一灭点检测单元基于路侧监控视角视频流，进行每帧图片的特征点提取，应用KLT特征追踪算法进行特征点追踪，将相邻帧间同一特征点的两个匹配像素形成的矢量定义为特征点的运动矢量，将运动矢量模长大于阈值的特征点定义为动态特征点并将动态特征点的运动矢量所在直线视为第一灭点候选直线，将第一灭点候选直线通过菱形空间变换得到第一灭点；第二灭点检测单元基于路侧监控视角视频流，进行背景过滤得到动态车辆特征点，对动态车辆特征点进行平行空间变换以进行直线检测，得到第二灭点候选直线，再对候选直线进行条件过滤，最后将候选直线通过菱形空间变换得到第二灭点；第三灭点计算单元根据第一灭点、第二灭点、第三灭点与相机主点间存在的几何关系，计算第三灭点。

3.一种基于权利要求1或2所述系统的路侧监控视角车辆三维包围框检测方法，其特征在于，包括以下步骤：

步骤1、基于路侧监控视角视频流计算监控视频的三个灭点，基于Mask R-CNN神经网络，根据单帧图像信息，输出车辆掩膜，再根据车辆掩膜搜索像素边缘即得到车辆轮廓；

步骤2、根据第一灭点、第二灭点、第三灭点以及车辆轮廓，通过车辆三维包围框存在的空间几何约束以及图像焦距得到辅助交点，进而得到车辆三维包围框；

所述的计算监控视频的三个灭点是指：

步骤1.1)基于路侧监控视角视频流，提取每帧图片的特征点提取，应用KLT特征追踪算法进行特征点追踪，将相邻帧间同一特征点的两个匹配像素形成的矢量定义为特征点的运动矢量，将运动矢量模长大于阈值的特征点定义为动态特征点并将动态特征点的运动矢量所在直线视为第一灭点候选直线，将第一灭点候选直线通过菱形空间变换得到第一灭点；

步骤1.2)基于路侧监控视角视频流，进行背景过滤得到动态车辆特征点，对动态车辆特征点进行平行空间变换以进行直线检测，得到第二灭点候选直线，再对候选直线进行条件过滤，最后将候选直线通过菱形空间变换得到第二灭点；

步骤1.3)根据第一灭点、第二灭点、第三灭点与相机主点间存在的几何关系，计算第三灭点。

4.根据权利要求3所述的路侧监控视角车辆三维包围框检测方法，其特征是，所述的菱形空间变换，具体为：通过将已知的多直线经由坐标变换，转换到菱形空间坐标系中，并在菱形空间中进行累计，得到累计值最高的点，再将之转换为像素坐标，即第一灭点。

5.根据权利要求3所述的路侧监控视角车辆三维包围框检测方法，其特征是，所述的条件过滤是指：第一灭点到候选直线距离应大于距离阈值、候选直线斜率应在[-τ，τ]间，其中：τ为可调参数。