[发明专利]一种基于毫米波雷达和视频融合的目标检测方法及系统

权利要求书

1.一种基于毫米波雷达和视频融合的目标检测方法，其特征在于，通过毫米波雷达和摄像机检测同一场景下目标；

包括如下步骤：

从所述毫米波雷达获取雷达检测数据，从所述雷达检测数据中提取动态的雷达有效目标；从所述摄像机获取视频检测数据，从所述视频检测数据中提取动态的视频有效目标；

对所述毫米波雷达和摄像机的检测结果进行时空同步，将所述视频有效目标投影到雷达扫描平面，与所述雷达有效目标进行目标匹配，实现多传感器数据融合，转换公式为其中，Z_c表示点在摄像机坐标系下的纵坐标；(u，v)表示在像素坐标系下投影点的坐标；d_x、d_y表示像素点在图像坐标系下x轴和y轴上的单位长度；(u₀，v₀)表示摄像机主点偏移量；f为焦距；R、t分别表示旋转矩阵和平移向量；M为投影矩阵；

基于扩展卡尔曼滤波算法进行目标存在性验证；

通过融合目标决策，输出融合目标检测结果；

为每个雷达有效目标以检测点为中心，建立矩形包围框，对所述矩形包围框内的目标，

根据目标检测交并比融合进行所述目标匹配，包括：

用视觉检测框标注所述雷达扫描平面上的视频有效目标，以所述视觉检测框的底边中点作为目标位置点，获得视频有效目标的位置信息；

用雷达检测框标注所述雷达扫描平面上的雷达有效目标，以所述雷达检测框的底边中点作为目标位置点，获得雷达有效目标的位置信息；

设针对某一目标的雷达检测框和视觉检测框分别为D_r、D_c，交并比k1＝(D_r∩D_c)/(D_r∪D_c)，判断k1值是否处于k1∈[0.3，1]，若是，说明雷达和摄像机共同识别出该目标，得到匹配目标；否则，说明毫米波雷达和摄像机无法进行目标匹配，则进行第二次目标匹配；

采用全局最近邻数据关联算法进行第二次目标匹配，包括：

设毫米波雷达和摄像机剩余有效目标个数分别为m和n，毫米波雷达和摄像机剩余有效目标到坐标原点的距离分别为将雷达检测值作为航迹i，摄像机检测值作为量测j；

设V_ij(k)为k时刻航迹i与量测j的残差，其计算公式为V_ij(k)＝V_j(k)-HR_i(k)，其中H表示状态转移矩阵，航迹i与量测j的归一化距离表示为其中：表示v_ij(k)的协方差矩阵；

设Gi表示航迹i的门限值，当满足时，认为量测j落入航迹i的门限内，进行匹配，同时航迹和量测的匹配需满足以下约束条件：

即每个航迹最多匹配一个量测，每个量测对应一个航迹；

代价函数定义为其中C_ij表示代价，计算公式为

通过上述公式可得出全局最近邻数据关联算法的代价函数，即可得到剩余毫米波雷达和摄像机的匹配目标；

对所述匹配目标位置进行加权处理，将加权后的目标位置和毫米波雷达检测的其他信息综合后输出，加权策略为其中δcx和δrx、δcy和δry分别表示视频有效目标的位置和雷达有效目标的位置在x、y方向的平均误差；

所述融合目标决策，包括：

1)从所述匹配目标中选定目标A进行跟踪；

2)判断目标A在预设监测范围内的连续出现次数是否达到第一阈值，若是，则输出目标A；若否，则转至3)；

3)继续跟踪目标A，判断目标A是否丢失，若是，则对目标A丢失次数累加1次；若否，则转至2)；

4)判断目标A丢失次数是否达到第二阈值，若是，则停止跟踪，丢失次数清零；若否，则转至2)。