[发明专利]一种针对大型卡车的全景式辅助驾驶系统及方法

权利要求书

1.一种基于大型卡车的全景式辅助驾驶系统的辅助驾驶方法，其特征在于，所述大型卡车的全景式辅助驾驶系统包括：第一摄像头、第二摄像头、第三摄像头、第四摄像头、第五摄像头、第六摄像头、第一摄像处理智能单元、第二摄像处理智能单元、第三摄像处理智能单元、第四摄像处理智能单元、第五摄像处理智能单元、第六摄像处理智能单元、交换机、主控处理模块、预警模块、显示屏、车辆接口模块、电源模块；

所述第一摄像头与所述第一摄像处理智能单元连接；所述第二摄像头与所述第二摄像处理智能单元连接；所述第三摄像头与所述第三摄像处理智能单元连接；所述第四摄像头与所述第四摄像处理智能单元连接；所述第五摄像头与所述第五摄像处理智能单元连接；所述第六摄像头与所述第六摄像处理智能单元连接；所述交换机分别与所述的第一摄像处理智能单元、第二摄像处理智能单元、第三摄像处理智能单元、第四摄像处理智能单元、第五摄像处理智能单元、第六摄像处理智能单元通过网线依次连接；所述交换机与所述主控处理模块连接；所述主控处理模块与所述预警模块连接；所述主控处理模块与所述显示屏连接；所述主控处理模块与所述车辆接口模块连接；所述电源模块分别与所述的第一摄像头、第二摄像头、第三摄像头、第四摄像头、第五摄像头、第六摄像头、第一摄像处理智能单元、第二摄像处理智能单元、第三摄像处理智能单元、第四摄像处理智能单元、第五摄像处理智能单元、第六摄像处理智能单元、交换机、主控处理模块、预警模块、显示屏、车辆接口模块连接；

所述第一摄像头安装在卡车车头标志处，所述第二摄像头安装在卡车尾部中心处，所述第三摄像头安装在卡车左侧后视镜的下方，所述第四摄像头安装在卡车右侧后视镜的下方，所述第五摄像头安装在车头与车身牵引处车身顶部左侧，所述第六摄像头安装在车头与车身牵引处车身顶部右侧；

所述第一摄像头至所述第六摄像头均为鱼眼摄像头对卡车周围360°视野进行实时图像采集，并分别传输至第一摄像处理智能单元至第六摄像处理智能单元；所述第一摄像头安装在卡车车头标志处，用于采集卡车前方的路况信息；所述第二摄像头安装在卡车尾部中心处，用于采集卡车尾部路况信息；所述第三摄像头安装在卡车左侧后视镜的下方，用于采集车头左侧的路况信息；所述第四摄像头安装在卡车右侧后视镜的下方，用于采集车头右侧的路况信息；所述第五摄像头安装在车头与车身牵引处车身顶部左侧，用于采集车身左侧的路况信息；所述第六摄像头安装在车头与车身牵引处车身顶部右侧，用于采集车身右侧的路况信息；在所述第一摄像处理智能单元至所述第六摄像处理智能单元中，结合预先标定的所述第一摄像头至所述第六摄像头参数对采集的畸变图像进行矫正，再通过投影变换技术将采集的六路图像转换成俯视视角的图像，并将俯视视角的图像高速传给所述主控处理模块，所述主控处理模块对俯视视角的图像进行解码、融合拼接、亮度校正处理，将处理后全景图像用于行人、车辆障碍物检测；若在全景图像中检测出有障碍物，则在显示屏中用边界框将障碍物框出来，并通过预警模块发出报警响声，提醒驾驶员安全驾驶；卡车会根据运行情况，结合方向盘的转向信号和卡车的挂挡信号，自动切换到单路摄像头画面或多路摄像头画面；电源模块用于系统供电；

所述辅助驾驶方法包括以下步骤：

步骤1：通过第一摄像头至第六摄像头分别进行图像采集以及标定，获取每个摄像头的内参数和外参数，通过内参数和外参数对第一摄像头至第六摄像头采集的图像进行矫正，建立采集图像与校正后图像映射模型；

步骤2：对采集的第一摄像头至第六摄像头鱼眼图像进行仿射变换，透视变换，缩放变换得到俯视图像；

步骤3：用加速稳健特征配准算法对俯视图像进行图像匹配得到局部特征点；

步骤4：根据局部特征点进行图像拼接融合；

步骤5：对拼接后全景图像进行中值滤波去躁、Gamma亮度校正、自动颜色均衡算法来对颜色进行均一化处理后得到预处理后全景图像；

步骤6：在主控处理模块中，根据车辆行驶状态对预处理后全景图像进行障碍物检测；

步骤7：主控处理模块根据车辆接口模块获得车辆状态，根据车辆状态中方向盘的转向信号和卡车的挂挡信号，自动切换到单路摄像头画面或多路摄像头画面，根据障碍物检测结果预警；

步骤1中所述标定为：

将安装好的六个摄像头分别对准一个W×H的棋盘格进行拍摄，通过固定的旋转中心将棋盘格旋转一周，采集六组，每组m张棋盘格图像，所采集的图像为：

I_i，j(x_i，j，y_i，j)(1≤i≤6，1≤j≤L，1≤x_i，j≤U，1≤y_i，j≤V)

其中，I_i，j为第i个摄像头第j次采集的图像，在棋盘格整个旋转过程中，摄像头的位置和角度固定不变，I_i，j为L行N列的图像，x_i，j为I_i，j中(x_i，j，y_i，j)点的横坐标，y_i，j为I_i，j中(x_i，j，y_i，j)点的纵坐标，(x_i，j，y_i，j)为I_i，j的像素坐标；

步骤1中所述获取每个摄像头的内参数和外参数为：

输入I_i，j，对第一摄像头至第六摄像头进行标定，以获得每个摄像头的4个内参数，记为(i∈[1，6])，5个畸变系数，记为(k_1，i，k_2，i，p_1，i，p_2，i，k_3，i)(i∈[1，6])，具体过程如下：

q_i，j＝M_iQ_i，j，其中

(1≤i≤6，1≤j≤L，1≤x_i，j≤U，1≤y_i，j≤V，w_ij＞0)

其中，为第i个摄像头的宽度方向焦距，为第i个摄像头的高度方向焦距，表示第i个摄像头的光心位置的横坐标值，表示第i个摄像头的光心位置的纵坐标值，M_i为表示第i个摄像头的相机矩阵，q_i，j(x_i，j，y_i，j，w_i，j)为像素坐标(x_i，j，y_i，j)的图像坐标，Q_i，j点(X_i，j，Y_i，j，Z_i，j)为q_i，j的三维空间坐标点，X_i，j为(X_i，j，Y_i，j，Z_i，j)点的横坐标，Y_i，j为(X_i，j，Y_i，j，Z_i，j)点的纵坐标，Z_i，j为(X_i，j，Y_i，j，Z_i，j)点的垂直坐标，w_i，j＝Z_i，j，点q_i，j(x_i，j，y_i，j，w_i，j)是齐次坐标形式，齐次坐标把维数为n投影空间上的点用(n+1)维向量，其额外限制是任何两点的交比不变，w_i，j表示一个非零数平面；

径向畸变数学模型：

x′_i，j＝x_i，j(1+k₁r_i，j²+k₂r_i，j⁴+k₃r_i，j⁶)

y′_i，j＝y_i，j(1+k₁r_i，j²+k₂r_i，j⁴+k₃r_i，j⁶)

(1≤i≤6，1≤j≤L，1≤x_i，j≤U，1≤y_i，j≤V)

其中，r_i，j²＝x_i，j²+y_i，j²，r_i，j为I_i，j的畸变半径，图像边缘处的径向畸变较大，k₁是第一径向形变系数，k₂第二径向形变系数，k₃第三径向形变系数，(x_i，j，y_i，j)为I_i，j的像素坐标，(x′_i，j，y′_i，j)是(x_i，j，y_i，j)校正后坐标；

切向畸变数学模型：

x′_i，j＝x_i，j+[2p₁y_i，j+p₂(r_i，j²+2x_i，j²)]

y′_i，j＝y_i，j+[p₁(r_i，j²+2y_i，j²)+2p₂x_i，j]

(1≤i≤6，1≤j≤L，1≤x_i，j≤U，1≤y_i，j≤V)

(1≤i≤6，1≤j≤L，1≤x′_i,j≤U，1≤y′_i,j≤V)

其中，p₁为第一切向形变系数，p₂为第二切向形变系数，r_i，j为I_i，j的畸变半径，(x_i，j，y_i，j)为I_i，j的像素坐标，(x′_i，j，y′_i，j)是(x_i，j，y_i，j)校正后坐标；步骤1中所述采集图像与校正后图像映射模型为：

dst(x′_i，j，y′_i，j)＝src(a₀₀x_i，j+a₀₁y_i，j+b₀a₁₀x_i，j+a₁₁y_i，j+b₁)

其中，(x_i，j，y_i，j)为I_i，j的像素坐标，(x′_i，j，y′_i，j)是(x_i，j，y_i，j)校正后坐标，a₀₀，a₀₁，a₁₀，a₁₁为多项式系数，b₀，b₁为多项式常数项；

步骤4中所述根据局部特征点进行图像拼接融合：

根据步骤3中所述局部特征点的位置，找出需要匹配的图像之间的重合区域；

对重合区域进行像素级图像融合，有相同信息区域的图像进行对应像素点取像素平均值，其它非相同信息区域分别取各自的像素值，其融合公式为：

(1≤i≤6，1≤j≤L，1≤x″″″_i,j≤U，1≤y″″″_i,j≤V)

其中，P(x″″″_i，j，y″″″_i,j)是拼接后图像坐标为(x″″″_i,j，y″″″_i，j)处的像素值，P₁(x″″′_i，j，y″″′_i，j)，P₂(x″″′_i，j，y″″′_i，j)分别指第一以及第二输入图像在(x″″′_i，j，y″″′_i,j)处的像素值，I₁，I₀，I₂分别是拼接图像的第一输入图像区域，重合区域，第二输入图像区域；

通过融合拼接后得到拼接后全景图像，拼接好的全景图像为P′_γ(x″″″_i，j，y″″″_i，j)，Y表示主控单元进行第Y次拼接后得到的第Y幅全景图像；

(1≤i≤6，1≤j≤L，1≤x″″″_i,j≤U，1≤y″″″_i,j≤V，γ≥0)；

步骤6中所述根据车辆行驶状态对预处理后全景图像进行障碍物检测为：

主控处理模块通过车辆接口模块获得车辆行驶状态；

当车辆行驶状态为车辆静止时，预处理后全景图像通过方向梯度直方图和支持向量分类器算法检测障碍物，若障碍物存在时用边界框框出障碍物；

当车辆行驶状态为车辆运动时，用深度学习的方法对障碍物进行识别；对预处理后全景图像P″_γ(x″″″_i，j，y″″″_i，j)进行网格划分，划分为π(π≥1)个图像，分别为相应的，创建π个线程，每个线程处理一个图像块将这些图像块作为比对训练集D_n；采用无监督学习算法K-Means聚类对比对训练集D_n进行训练以获得图像特征，也即η个特征点(10≤η≤20)，与从ImageNet标准数据集上挑选的车辆及行人图像特征点P″′(x₀，y₀)，P″′(x₀，y₀)∈C，x₀为图像特征点的横坐标值，y₀为图像特征点的纵坐标值，C表示图像特征点范围，也即C＝(B_dt∪B_gt)，x₀∈[0，x_Δ]，y₀∈[0，y_Δ]，x_Δ为B_dt∪B_gt中最大的x值，y_Δ为B_dt∪B_gt中最大的y值，当特征点重合度也即置信度confidence≥0.8时，设置相应的行人或车辆的标签，并用边界框将其框出，置信度计算公式为：

confidence＝Pr(Object)×IOU

其中，area表示计算面积，B_gt为训练的参考标准框用K-Means聚类对比对训练集D_n进行训练在获得图像特征时的预测框，B_dt为检测边界框将点和P″′(x₀，y₀)点完全重合的点所包含的部分全部框出的边界框，Pr(Object)为边界框包含物体的概率，若边界框包含物体，则Pr(Object)＝1；否则Pr(Object)＝0；IOU为边界框与物体真实区域的面积交并比，IOU最大值对应的物体即为当前检测边界框框出障碍物；

L表示采集时刻的数量，U表示图像的行数，V表示图像的列数；

Q_i，j为第i个摄像头第j次采集的图像的空间坐标向量。