[发明专利]一种基于时空特征融合递归神经网络的智能车端到端决策方法

权利要求书

1.一种基于时空特征融合递归神经网络的智能车端到端决策方法，其特征在于，包括以下步骤：

S1、建立时空特征融合递归神经网络，所述时空特征融合递归神经网络包括卷积层、LSTM层、Pooling池化层、Merge合并层和全连接层，所述卷积层提取空间位置特征向量与LSTM层提取时间上下文特征向量后通过Pooling池化层进行特征池化方法以减少网络参数，所述Merge合并层将所述空间位置特征向量和时间上下文特征向量分别通过时空特征相加、时空特征相减、时空特征相乘和时空特征级联四种特征融合方法生成四种新的融合特征向量，将所述四种新的融合特征向量传给所述全连接层进行信息提取整合得到决策量；

S2、建立时空特征融合递归神经网络训练模型，输入决策量数据建立Comma.ai数据集和Udacity数据集,所述数据集包括训练集和测试集，所述训练集用于训练所述四种特征融合方法形成的决策网络，记录校验损失函数值并保存每一步的模型权重值，画出loss损失函数曲线，找到校验损失函数值最小时的迭代步数和模型权重值，使用交叉验证的方法调整模型的超参数，找出最好的模型；

S3、时空特征融合递归神经网络模型测试，在测试集上测试所述决策网络的权重值，预测智能车方向盘转角的效果，比较预测值与基准值之间的差距，计算测试场景中预测值与基准值之间的均方误差根，均方误差根越低代表预测曲线与基准曲线越接近，比较预测曲线与基准曲线的相似程度，相似程度越高说明决策网络的预测行为越接近熟练驾驶员的驾驶习惯，选出均方误差根最小和相似程度最高的预测曲线作为最终模型权重。

2.根据权利要求1所述的基于时空特征融合递归神经网络的智能车端到端决策方法，其特征在于：所述特征池化方法采用Global Average Pooling池化方法，计算公式如下：

其中表示长和宽都为k的矩形区域的池化输出值，i和j分别表示输入像素的横坐标和纵坐标，最大值池化是取一个区域中像素最大的那个作为输出，平均值池化是取一个区域中所有像素的平均值作为输出。

3.根据权利要求2所述的基于时空特征融合递归神经网络的智能车端到端决策方法，其特征在于：所述四种特征融合方法加上是否去掉空间位置约束形成的八个决策网络，所述八个网络分别是时空特征相加网络、无空间位置约束的时空特征相加网络、时空特征相减网络、无空间位置约束的时空特征相减网络、时空特征相乘网络、无空间位置约束的时空特征相乘网络、时空特征级联网络和无空间位置约束的时空特征级联网络。

4.根据权利要求3所述的基于时空特征融合递归神经网络的智能车端到端决策方法，其特征在于：所述全连接层是对输入矩阵做矩阵乘法对特征空间进行变换，把提取整合有用信息，所述全连接层的计算公式如下：

y＝Wx+b

其中，x表示输入向量或矩阵，W表示输入权重矩阵，b表示偏置。

5.根据权利要求2所述的基于时空特征融合递归神经网络的智能车端到端决策方法，其特征在于：所述卷积层后面连接第一全连接层和第二全连接层，所述第一全连接层将卷积层输出的特征图降维成256维的特征向量，第二全连接层将输出向量降维为128，LSTM层的特征向量维度为258，通过全连层将特征向量降维到128，得到与空间位置特征尺寸相同的特征向量。

6.根据权利要求5所述的基于时空特征融合递归神经网络的智能车端到端决策方法，其特征在于，所述第一全连接层和第二全连接层之间设置Dropout层，所述Dropout层中的概率参数设置为0.5。

7.根据权利要求1所述的基于时空特征融合递归神经网络的智能车端到端决策方法，其特征在于：所述Pooling池化层包括卷积池化、后池化、慢池化、局部池化和时间域池化五种池化结构。