[发明专利]一种基于变分自编码器和强化学习的自动驾驶控制器及训练方法

权利要求书

1.一种基于变分自编码器和强化学习的自动驾驶控制器，其特征在于，包括变分自编码器和强化学习网络两部分；所述变分自编码器包括编码器和解码器；编码器的输入为带时序信息的环境状态量s_t，输出为潜在变量特征z_t；解码器的输入为潜在变量特征z_t，输出为预测的下一时刻特征；所述强化学习网络的输入为潜在变量特征z_t和实时奖励r_t，输出为具体的动作a_t。

2.根据权利要求1所述的一种基于变分自编码器和强化学习的自动驾驶控制器，其特征在于，所述实时奖励r_t包括环境实时反馈的奖励r'_t和附加奖励B(s_t)，具体表达式为：

r_t＝r'_t+B(s_t)

其中，附加奖励B(s_t)的表达式为：

B(s_t)＝-γlog(p(s_t))

γ为比例因子，-log(p(s_t))为状态量的信息量，p(s_t)表示为状态量s_t的稠密程度。

3.根据权利要求1所述的一种基于变分自编码器和强化学习的自动驾驶控制器，其特征在于，所述动作a_t包括方向盘转角和刹车油门开度。

4.根据权利要求1所述的一种基于变分自编码器和强化学习的自动驾驶控制器，其特征在于，所述编码器包括卷积模块和循环神经网络模块，卷积模块处理第m时刻的前视摄像头图片、雷达点云图和地图，提取特征f_m，卷积模块每次共处理连续四个时刻的前视摄像头图片、雷达点云图和地图，提取的特征分别为f₁、f₂、f₃和f₄，将连续的四个时刻特征处理为时序特征组，输入到循环神经网络模块；循环神经网络模块最后将带有四个时刻的特征的时序特征组进一步提取出潜在变量。

5.根据权利要求4所述的一种基于变分自编码器和强化学习的自动驾驶控制器，其特征在于，所述的卷积模块包括三层卷积层，两层池化层和三层全连接层，具体构造如下：

输入层将3个256*256*3的矩阵合并为256*256*9的矩阵；卷积层Conv1由(3*3*9)*32，步长stride＝2的卷积核组成，其输入是输入层的输出，为256*256*9的矩阵，其输出为128*128*32的特征；池化层Pool1由(2*2)、步长stride＝2的池化核组成，其输入是卷积层Conv1的输出，为128*128*32的特征，其输出为64*64*32的特征；卷积层Conv2由(3*3*32)*64，步长stride＝2的卷积核组成，其输入是池化层Pool1的输出，为64*64*32的特征，其输出为32*32*128的特征；池化层Pool2由(2*2)，步长stride＝2的池化核组成，其输入是卷积层Conv2的输出，为32*32*128的特征，其输出为16*16*128的特征；卷积层Conv3由(3*3*128)*128，步长stride＝2的卷积核组成，；其输入是池化层Pool2的输出，为16*16*128的特征，其输出为8*8*128的特征；全连接层FC的尺寸为(8*8*128)*512，其输入是卷积层Conv3的输出，为8*8*128的特征，其输出为1*1*512的特征f。

6.根据权利要求4所述的一种基于变分自编码器和强化学习的自动驾驶控制器，其特征在于，所述的循环神经网络模块为LSTM长短时记忆网络，输入是带有四个时刻的特征的时序特征组，为卷积模块提取的4个连续时刻1*1*512的特征f，输出为1*1*512的特征。