[发明专利]基于环视的自动泊车车位识别全景环视图像实时拼接方法

权利要求书

1.基于环视的自动泊车车位识别全景环视图像实时拼接方法，其特征在于，包括如下步骤：

1)通过安装在汽车车身的四路鱼眼相机获取图像数据；

2)对获得的四路鱼眼图像进行畸变矫正，得到畸变矫正后的鱼眼图像；

3)将畸变矫正后的四路鱼眼图像进行逆透视变换，得到汽车车身前、后、左、右四张鸟瞰图；采用基于自动标定点法的算法，求解图像的单应性矩阵，并对畸变矫正后的四路鱼眼相机图像进行逆透视变换，具体包括：

在汽车车身前、后、左、右四个方向分别放置一个黑白棋盘格，在前、后、左、右四个方向的棋盘格中，通过基于自动标定点法的算法自动寻找角点，每个方向分别选取4个点，共计16个点，分别测量各个方向的4个点的像素坐标，并测量每个像素点对应的世界坐标；

在汽车车身前、后、左、右四个方向上，通过每个方向上的四对坐标点的映射关系，求出每个方向的单应性矩阵；

通过每个方向的单应性矩阵分别对前、后、左、右方向的图像进行逆透视变换，得到汽车车身前、后、左、右四个方向的鸟瞰图；

4)对得到的四张鸟瞰图进行拼接，得到一张汽车车身周围360度全景环视图像；

5)采用融合算法对图像拼接缝进行优化，得到车身周围360度全景环视图像；

6)将所得到的汽车车身周围360度全景环视图像输入深度学习目标检测模型YOLOV3，用于基于深度学习的自动泊车车位识别和可行驶区域识别。

2.根据权利要求1所述的拼接方法，其特征在于，在步骤1)中，四路鱼眼相机的安装位置分别为汽车左、右后视镜最外端、汽车引擎盖和进气格栅交界线中心以及后车牌下边缘中心处，固定好安装位置后，分别对四路鱼眼相机进行标定；采用两阶段标定法，首先采用球面透视投影法进行鱼眼相机标定，得到畸变矫正系数，将畸变矫正之后的鱼眼图像再用张正友标定法进行二次标定，并得到鱼眼相机的内、外参。

3.根据权利要求1所述的拼接方法，其特征在于，在步骤2)中，采用多项式模型矫正法对四路鱼眼图像进行畸变矫正。

4.根据权利要求1所述的拼接方法，其特征在于，在步骤4)中，采用基于掩膜裁剪的方法对畸变矫正后的四路鱼眼图像进行拼接，在四路鱼眼的相对位置完全固定的条件下，分别设置前、后、左、右四张鱼眼图的掩膜，对图像进行裁剪，基于统一坐标系，将裁减之后的四幅鸟瞰图进行坐标变换，再进行实时拼接。

5.根据权利要求1所述的拼接方法，其特征在于，在步骤5)中，采用距离三角函数加权平均融合算法对图像拼接缝进行融合，具体包括采用图像像素点到图像重合区域边界距离的三角函数值作为权重值，对图像重合部分进行加权平均，达到图像融合的效果，算法公式为：

I(i,j)＝cos²θI₁(i,j)+(1-cos²θ)I₂(i,j)

式中，d_i为像素点到区域I₁边界的距离，d为重合区域的距离大小，I₁(i,j)为非重叠区域I₁中像素点的灰度值，I₂(i,j)为非重叠区域I₂中的像素点的灰度值，I(i,j)为融合后的像素点的灰度值，θ为以像素点到重合区域边界距离的三角函数值。

6.根据权利要求1所述的拼接方法，其特征在于，在步骤6)中，将拼接后的360度全景环视图像实时输入到深度学习目标检测模型，进行自动泊车车位识别以及可行驶区域识别。