[发明专利]一种基于时空特征融合递归神经网络的智能车端到端决策方法

说明书

本发明公开了一种基于时空特征融合递归神经网络的智能车端到端决策方法，包括建立时空特征融合递归神经网络、建立时空特征融合递归神经网络训练模型和时空特征融合递归神经网络模型测试等三个步骤，在深度神经网络中，特征融合方法能够融合两种甚至多种不同的特征，促进网络收敛，本发明探索了时空特征相加、时空特征相减、时空特征相乘和时空特征级联四种特征融合方法对决策网络的影响，设计了一种基于时空特征融合的智能车决策网络实验证明了在智能车方向盘转角预测问题上，时空特征相加方法优于其它三种特征融合方法，并从反向传播求导的角度详细分析了四种特征融合方法的优劣。

技术领域

本发明涉及无人驾驶汽车决策领域，特别涉及一种基于时空特征融合递归神经网络的智能车端到端决策方法。

背景技术

智能车决策模块根据系统的输入量计算决策值，保证智能车辆安全稳定地行驶。传统的智能车决策方法利用车辆感知模块计算的车道线信息、车辆信息计算决策值，其决策好坏很大程度上依赖于输入信息。将智能车决策过程分解为车道线检测、车辆检测、根据检测的可行驶区域做决策等部分并不能保证整个系统获得最优解。而基于深度神经网络的端到端决策方法根据输入图像直接计算决策量，将感知认知过程统一到决策过程中；在深度神经网络中，特征融合方法能够融合两种甚至多种不同的特征，促进网络收敛，不同的特征融合方式会形成不同的融合特征，有的融合特征能够促进网络的学习，有的则会抑制网络的学习，那么探索出什么样的特征融合方法能够帮助网络学习，什么样的特征融合方法会抑制网络的学习，找出适合智能车决策网络的特征融合方法，通过特征融合，可以增加网络前面的神经层和后面的神经层之间的联系，这使得特征信息能够更加快速地在网络中流动，会帮助我们更准确地预测决策量。

发明内容

本发明的目的在于克服现有技术的不足，在时空约束网络的基础上提供一种基于时空特征融合递归神经网络的智能车端到端的决策方法，使用时空特征相加的方法融合成新特征，能够促进网络学习，能更精确地预测方向盘转角值。

本发明的目的是通过以下技术方案来实现的：

一种基于时空特征融合递归神经网络的智能车端到端决策方法，包括以下步骤：

S1、建立时空特征融合递归神经网络，所述时空特征融合递归神经网络包括卷积层、LSTM层、Pooling池化层、Merge合并层和全连接层，所述卷积层提取空间位置特征向量与LSTM层提取时间上下文特征向量后通过Pooling池化层进行特征池化方法以减少网络参数，所述Merge合并层将所述空间位置特征向量和时间上下文特征向量分别通过时空特征相加、时空特征相减、时空特征相乘和时空特征级联四种特征融合方法生成四种新的融合特征向量，将所述四种新的融合特征向量传给所述全连接层进行信息提取整合得到决策量；

S2、建立时空特征融合递归神经网络训练模型，输入决策量数据建立Comma.ai数据集和Udacity数据集,所述数据集包括训练集和测试集，所述训练集用于训练所述四种特征融合方法形成的决策网络，记录校验损失函数值并保存每一步的模型权重值，画出loss损失函数曲线，找到校验损失函数值最小时的迭代步数和模型权重值，使用交叉验证的方法调整模型的超参数，找出最好的模型；

S3、时空特征融合递归神经网络模型测试，在测试集上测试所述决策网络的权重值，预测智能车方向盘转角的效果，比较预测值与基准值之间的差距，计算测试场景中预测值与基准值之间的均方误差根，均方误差根越低代表预测曲线与基准曲线越接近，比较预测曲线与基准曲线的相似程度，相似程度越高说明决策网络的预测行为越接近熟练驾驶员的驾驶习惯，选出均方误差根最小和相似程度最高的预测曲线作为最终模型权重。

进一步地，所述特征池化方法采用Global Average Pooling池化方法，计算公式如下：