[发明专利]一种自动驾驶商用车紧急转向控制策略网络模型、训练方法、建模方法及仿真方法

权利要求书

1.一种自动驾驶商用车紧急转向控制策略网络模型，其特征在于，策略网络π_θ(z,p)包括卷积特征提取网络和全连接网络两部分，其中z为策略网络的输入状态量，包括时序鸟瞰图矩阵和自车的当前位置；p为策略网络的输出，即商用车的导航点p＝(x_i,y_i)；θ为网络的权重和偏置参数；所述策略网络具体包括一层卷积层和三层全连接层，所述的卷积层Conv1由大小为2*2的卷积核组成，卷积核的个数为9*32，步长stride＝1，激活函数为ReLU；所述的第一层全连接为全连接层FC1和全连接层FC1-σ，全连接层FC1处理展平后的卷积层Conv1输出结果，大小为2*2*9*32，激活函数为ReLU；全连接层FC1-σ输出为自车过去几个时刻的历史轨迹信息，大小为1024*1，激活函数为ReLU；所述的第二全连接为全连接层FC2，处理全连接层FC1和全连接层FC1-σ的拼接状态量，大小为4096*1，激活函数为ReLU；所述的第三层全连接为全连接层FC3，处理全连接层FC2输出的状态量，大小为1024*1，激活函数为Tanh，最终全连接层FC3输出状态特征z。

2.根据权利要求1所述的自动驾驶商用车紧急转向控制策略网络模型，其特征在于，所述策略网络的状态量为三维时序鸟瞰图；所述的三维时序鸟瞰图矩阵的尺寸为(40，400，80)，其中第一维40表示参考线左右各10m的横向范围，横向位移间隔为0.5m；第二维400表示以自车为原点向前纵向200m的范围，纵向位移间隔为0.5m，第三维80表示未来8s内的时间范围，时间间隔为1s，当时序鸟瞰图矩阵中的点[α,β,γ]为-1，表示该点在时空间中存在障碍物或为不可行驶区域，当时序鸟瞰图矩阵中的点[α,β,γ]为0，表示该点在时空间中为可行驶区域，当时序鸟瞰图矩阵中的点[α,β,γ]]为1，表示该点为参考线的一个点。

3.根据权利要求1所述的自动驾驶商用车紧急转向控制策略网络模型的训练方法，其特征在于，包括横向控制训练；具体如下：

以所导航点的坐标(x_i,y_i)、航向偏差和控制车辆的车速v、加速度为状态量：

s^lane_keep为智能体进行车道保持训练时所获得的状态量；

动作为方向盘转角a_steer∈[-1,1]，此部分的奖励函数的设计以车辆当前坐标的横向误差x₀和航向角偏差作为评价指标：

λ₁、λ₂为奖励函数两部分所占权重；

如果自动驾驶车辆在进行训练的过程中当前位置的横向偏差大于设定的最大横向偏差阈值x_0m则结束当前回合的迭代训练进行下一回合的训练。

4.根据权利要求3所述的自动驾驶商用车紧急转向控制策略网络模型的训练方法，其特征在于，还包括纵向控制训练，具体如下：

纵向轨迹跟踪控制任务以当前车辆的车速v、加速度前方车辆的车速v_l、加速度与前车的距离d和当前车辆的期望车速v_des为状态量：

s^acc为智能体进行纵向跟车控制训练时所获得的状态量；

智能体的输出动作a_acc∈[-1,1]，包括油门动作a_throttle和刹车动作a_brake：

针对纵向控制任务，奖励函数设计为：

其中，d为与前车的实时距离，d_des为与前车的期望距离，d_safe为与前车的安全距离，当智能车与前方车辆的距离小于安全距离，奖励为-100，同时停止当前的交互开始下一回合交互，在进行纵向训练时，每回合都随机给定前方车辆的车速v_l和当前车辆的期望车速v_des，以便训练的模型可以泛化到更多复杂的情况。