[发明专利]一种基于深度学习的车辆行车车道检测方法

权利要求书

1.一种基于深度学习的车辆行车车道检测方法，其特征在于：该方法包括以下步骤：

S1：数据采集模块布设；

S2：视频数据处理；

S3：音频数据处理；

S4：建立长短期记忆网络LSTM进行训练及测试；

所述步骤S1具体为：

设摄像头C投影在路面F的点为O，OC为摄像机架杆G，AB是摄像头C能够检测的路面区域在路面的投影截面边缘点，拾音器I D以及拾音器II E设置在AB上，AB的中点和DE的中点重合；车辆行驶为B到A，AB之间的间距为20m，拾音器I D和拾音器II E之间间隔为0.2m；同步启动摄像头和拾音器，采集一段时间内的道路数据；

所述步骤S2具体为：

S21将视频转化为图像

设一辆车的行驶速度100km/h=27.8m/s，摄像头拍摄一辆车的有效时间为0.7s，视频1s有24帧，占据视频中的24*0.7=16.8帧，试取3张图片，视频中每隔4帧将视频转成图像，即帧数取5i,5(i+1),5(i+2),…, 5(i+5)，i=1,2,3…；

S22进行图像识别

首先对图像进行二值化和灰度处理，边缘检测方法采用Canny，然后是进行开运算，消除细小物体，并在纤细处分离物体和平滑较大物体边界的作用，接着是分析每个区域的图像特征参数，找出提取目标值的区域，得出识别结果；

S23对识别的图像进行标签标注

分析前后图片中目标物的坐标值，确定其为车道占用情况的类别，对不同类别进行编号标记；

所述步骤S3具体为：

S31图像处理结果与音频数据进行数据配对

通过对图像识别得出车道占用情况，对一段时间的图像数据标记对应的车道占用情况标签信息，返回此时的帧数5i，确定此时的时间为(5i/24)s；摄像头拍摄同一时段车辆经过的有效时间为0.7s，经过DE中点的时间为[(5i/24)-0.35]s，取[(5i/24)-0.7]~[(5i/24)]s的音频数据，得到的图像标签数据与音频数据形成一一对应的关系；

S32音频数据数字化

获取的音频数据是模拟信号时间段，进行AD转换变成数字信号D1和D2；采用将两段音频数据拼接的方式作为样本信息数据D，D=D1+D2；在每一秒时间按照平均采样的方法取样100条数据，那么输入数据的大小K_size=0.7*100*2=140，将类别分为9类，即输出结果的大小为L_size=9；

所述步骤S4具体为：

S41基于LSTM模型的车辆车道检测训练学习

利用预处理的数据搭建合适的深度网络模型，已经获取到音频数据和图像标签数据，深度学习模型采用的是长短期记忆网络LSTM；输入层单元数大小是140，采用多个节点数相同的隐藏层，设置隐藏层单元数为80，输出层单元数是9，输入层与隐藏层之间的权重矩阵的大小为140*80；隐藏层与输出层之间权重矩阵的大小为80*9；隐藏层自身的权重矩阵的大小为80*80；

输入的数据利用权重矩阵提取特征，通过激活函数非线性化映射，最后利用softmax分类器进行分类；分类器给出一个9位数的矢量，其中矢量的每一位分别对应车辆行车车道占用情况的概率，将实际概率与真实值之间的误差进行反向传播来修正权重，进行大量带标签的训练，最后得到的是稳定的权重矩阵；

S42基于LSTM模型的车辆车道检测的实现

训练时采用固定长度的音频时间段进行训练，在分类的时候首先是判断触发条件，通过设定阈值的方式产生触发，一旦接收到的音频信号产生触发，将触发信息发送给控制器产生触发中断，此时控制器接收音频此后固定长度的音频时间的数据，然后通过数据处理，处理过程和训练数据音频处理方法一样，将处理后的数据输入到训练好的LSTM模型中进行分类输出，输出编码结果，对应不同的车辆车道占用情况，实现车辆车道的检测。