[发明专利]一种自动驾驶商用车紧急转向控制策略网络模型、训练方法、建模方法及仿真方法

说明书

本发明公开了一种自动驾驶商用车紧急转向控制策略网络模型、训练方法、建模方法及仿真方法，使用多任务划分的训练方法，同时结合可变高斯安全场模型以提高决策的安全性。使得在前方有障碍物，自身车辆又无法完成制动目标的情况下完成自动紧急转向，避免追尾或碰撞事故。本发明针对商用车的紧急制动转向问题，利用Matlab建模，并与Carla进行联合仿真的方法，解决了在无模型的强化学习中无法体现商用车重心高，易侧翻，质量大难制动等问题，保证了仿真实验的可靠性。本发明使用了多任务划分的强化学习方法，大大提高了训练效率。同时引入可变高斯安全场策略，保证了在决策和控制时，车辆控制具有较高的稳定性和避障安全性。

技术领域

本发明属于人工智能中的自动驾驶领域，涉及一种基于深度强化学习的自动驾驶商用车紧急转向控制(AES)策略网络模型、训练方法、建模方法及仿真方法。

背景技术

汽车已经成为当今世界不可或缺的交通工具，但车辆带来机动性的同时，也会带来风险。随着人工智能和汽车技术的快速发展，人们期望自动驾驶汽车能够承担驾驶员更多的负担和压力，从而提高安全性。当前，具有固定路线的商用车自动驾驶具有落地部署的可行性，但由于商用车体积大，重量大，驾驶员视野盲区大等特点，在紧急避让前方障碍物时容易出现失稳、翻车等问题，引发严重交通事故。所以如何解决商用车在紧急避障时易侧翻的问题成为了一个重要的课题。

当前基于模型的控制算法(如MPC)的计算量非常大，当MPC试图优化每个控制周期的控制行为的成本函数时，庞大的计算量会导致较长的决策时间，这是不安全的。同时，在Carla模拟器中进行仿真时，商用车不具有特殊的动力学特性，使仿真效果不具很强的说服力。在原有的Carla仿真环境的基础上，如何构建具备商用车体积大，重心高等动力学特性的模型，是一个亟待解决的问题。

发明内容

针对上述问题，本发明将提出一种基于深度强化学习的商用车自动紧急转向控制方案。虽然深度强化学习(DRL)的训练计算量也比较大，但推理过程的权重较轻，与其他方法相比，可以在短时间内计划复杂的动作。本发明采用了多任务划分的强化学习方法，对决策和控制任务进行了划分训练。同时，加入了可变高斯安全场，作为决策的依据，并根据可变高斯安全场改进设计奖励函数。最后，在Matlab中进行商用车的动力学建模，并结合Carla进行联合仿真。

本发明的目的是提供一种基于深度强化学习的商用车自动紧急转向控制(AES)的策略网络模型、训练方法、建模方法及仿真方法，使用多任务划分的训练方法，同时结合可变高斯安全场模型以提高决策的安全性。使得在前方有障碍物，自身车辆又无法完成制动目标的情况下完成自动紧急转向，避免追尾或碰撞事故。

为实现上述目的，本发明采用如下技术方案：

第一部分：自动驾驶商用车建模

步骤1：在Matlab中进行商用车建模，本发明所设计的商用车类型为三轴商用车。

车辆的侧向运动方程为：

横摆运动方程：

其中，m为车辆质量，u为车辆质心前进速度，β为车辆质心侧偏角，ω_r为横摆角速度，B为两主销中心线与地面交点之间的距离，I_z为横摆惯性力矩，δ_i为轮胎转向角,i＝1,2,3分别表示三轴商用车的前、中、后轴，F_yi为地面对轮胎侧偏力,i＝1,2,3,4,5,6分别表示三轴商用车的6个轮胎。a,b,c为前、中、后轴到质心距离，F_yij表示第j轴对第i轴取轮胎侧偏力矩。

计算三轴商用车各车轮垂直载荷，分为静态载荷和动态载荷两部分：

(1)静态载荷

车辆动力学模型的数学方程为：