[发明专利]一种基于CNN-LSTM的自动驾驶控制方法

权利要求书

1.一种基于CNN-LSTM的自动驾驶控制方法，其特征在于，包括以下步骤：

S1：通过实车驾驶或行车录像或模拟驾驶系统与驾驶台架结合的方式，以相同的采样频率，采集图像数据和驾驶员的驾驶信息；

S2：基于c++，python语言，结合openCV库，利用Tensorflow框架编写程序自动将图像数据提取到感兴区域，并规范为统一尺寸，驾驶图像数据整理为N×4的二维张量,并作为训练标签Label

Label＝[[ac₀ br₀ st₀ ge₀]

…

…

[ac_n br_n st_n ge_n]]

其中，ac代表油门开度,br代表制动踏板开度,st代表方向盘转角,ge代表挡位,n代表样本序号；

S3：搭建CNN-LSTM神经网络，利用google Tensorflow框架,根据参数搭建模型，其中，CNN部分由5个卷积层，4个池化层，2个全连接层组成；LSTM部分由10-300个LSTM单元组成；

S4：将驾驶图像数据作为输入，司机驾驶信息数据作为Label，进行CNN-LSTM神经网络模型训练，采用均方误差函数MSE作为损失函数，设置指数衰减学习率Lr，利用梯度下降优化器，直至均方误差函数收敛；

S5：将训练好的模型嵌入到实车或模拟驾驶系统中，根据摄像头采集到的图像，输出驾驶命令，完成控制；

所述S1的相同采用频率为10-30Hz或根据实验条件选取更合适的频率，所述S1图像数据为以帧为单位的图片；所述驾驶员的驾驶信息为油门踏板开度，制动踏板开度，方向盘转角以及挡位信息；

所述S3的参数表示为：

输入图像：统一尺寸，3通道

卷积层1：卷积核3×3,步长2，相同填充，ReLU激活；

池化层1：2×2,步长2；

卷积层2：卷积核3×3,步长1，相同填充，ReLU激活；

池化层2：2×2,步长2；

卷积层3：卷积核3×3,步长1，相同填充，ReLU激活；

池化层3：2×2,步长2；

卷积层4：卷积核3×3,步长1，相同填充，ReLU激活；

池化层4：2×2,步长2；

卷积层5：卷积核3×3,步长1，相同填充，ReLU激活；

全连接层1：4096个神经元，tanh激活；

全连接层2：1024个神经元，tanh激活；

且各层均设置随机遗忘，遗忘率0.8，以防止过拟合；

LSTM：10-300个LSTM单元，步长10-300；

输出层：2维张量，1×4,分别为预测的油门踏板开度ac，制动踏板开度br，方向盘转角st,以及挡位信息ge；

所述S4的均方误差函数MSE的计算公式为

Lr_epo＝Lr₀*Decay^epo-1

式中，Pred为训练过程中的预测结果，是与Label相同大小的2维张量，i,j为行列的坐标；n为批量大小；Lr₀为初始学习率，Lr_epo为当前学习率，Decay为衰减率，epo为迭代次数，训练过程中的衰减,之后开始迭代训练，次数设定为100。