[发明专利]三维激光雷达点云和红外图像融合的目标检测及定位方法

权利要求书

1.一种三维激光雷达点云和红外图像融合的目标检测及定位方法，其特征在于，包括：

步骤一：建立红外相机与三维激光雷达的坐标转换关系；

步骤二：红外相机采集红外图像，采用聚类的方式进行图像分割，获得红外图像目标候选区域；

所述步骤二包括：

步骤1)、选取多个场景图像，统计每个场景中灰度直方图的峰值和谷值，峰值均值作为聚类中心上界限thres_u，谷值均值作为聚类中心下界限thres_d；设迭代初始值s＝1；

步骤2)、给定聚类类别数C，图像像素点总数N，设定迭代停止阈值ε；

步骤3)、用值在[thres_d,thres_u]之间随机数初始化聚类中心c_i，i＝1,…,C,用值在[0,1]之间的随机数初始化C×N的隶属度矩阵U；

步骤4)、更新隶属度矩阵U^(s+1)：

其中，μ_ik∈[0,1]是隶属度矩阵U中第i行第k列的元素，表示第k个像素点x_k属于第i类的隶属度，为高斯核函数，σ为核函数带宽，m为加权指数；上角标s和s+1表示迭代轮次；

步骤5)、更新聚类中心矩阵c^(s+1)：

其中，c_i表示聚类中心矩阵c中第i个元素；

步骤6)若||c^(s+1)-c^(s)||ε，终止迭代，跳转到步骤7)，否则令s自加1，返回步骤4)继续迭代；

步骤7)利用迭代完成后获得的隶属度矩阵U和聚类中心c，得到分割后的图像，获得图像目标候选区域；

步骤三：利用三维激光雷达采集雷达数据，使用激光雷达点云层次聚类，获得雷达目标候选区域，以及每个区域中心点坐标；步骤二和步骤三不分先后；

步骤四：利用步骤一得到的坐标转换关系将所述雷达目标候选区域投影到红外图像中，得到雷达聚类目标区域；将红外图像目标候选区域与雷达聚类目标区域进行匹配融合，将交并比达到设定门限的红外-雷达公共区域作为最终目标区域保留下来，最终目标区域对应的雷达聚类目标区域的中心点坐标即为目标定位信息；

步骤五：从保留的最终目标区域中提取区域长宽比R、最大温度T_max和温度离散度D_Feature组成聚合多特征输入分类器对红外目标进行分类，分类结果结合所述目标定位信息，得到红外目标检测及定位结果；

所述最大温度T_max为融合区域内像素值最大的n个点的平均像素值对应的相机温度T_max，温度离散度D_Feature为融合区域灰度直方图的方差D_Feature。

2.如权利要求1所述的方法，其特征在于，所述步骤一为：以可见光相机作为标定的中间变量，分别标定红外相机与可见光相机、三维激光雷达与可见光相机，获得红外相机和可见光相机的坐标转换关系、三维激光雷达和可见光相机的坐标转换关系；利用这两个坐标转换关系得到红外相机与三维激光雷达的坐标转换关系为：

其中，空间点在红外相机坐标系下的坐标为P_Cr＝(x_Cr，y_Cr，z_Cr)，在激光雷达坐标系下对应点的坐标为(x_l,y_l,z_l)，R_T为红外相机到可见光相机的旋转矩阵，T_T为红外相机到可见光相机的平移矩阵，R_c与T_c分别为激光雷达坐标系到可见光相机坐标系下的转换矩阵和平移向量。

3.如权利要求1所述的方法，其特征在于，步骤四确定最终目标区域及其目标定位信息的过程为：

第一步：设红外图像目标候选区域有n_i个，记为R_1i，i＝1,2,…,n_i；激光雷达聚类目标区域有n_l个，记为R_2j，每个区域中心点的坐标(x，y，z)记为P_j，j＝1,2,…,n_l；针对每个红外图像目标候选区域R_1i，分别计算该区域与各激光雷达聚类目标区域R_2j的面积交并比，并取最大值，记为r_i；

第二步：保留r_i值大于设定阈值的红外-雷达目标公共区域作为最终目标区域，最终目标区域对应的激光雷达聚类目标区域的中心点坐标即为目标的定位信息。