[发明专利]基于策略梯度在线学习算法的巡航控制系统及设计方法

说明书

本发明属于汽车先进智能辅助驾驶系统设计及汽车安全技术领域，具体的说是一种基于策略梯度在线学习方法设计的巡航控制系统及方法。本发明将基于策略梯度的强化学习方法，针对车辆系统控制问题的需求，设计了一种基于策略梯度在线学习方法设计的自适应巡航控制系统。该系统适用于L2级别自动驾驶车辆，目标是通过在线学习有效提高系统对不同环境的适应能力，在不同环境下得到一致的控制性能。本发明进一步地对学习框架进行改进，以提高学习算法的效率及稳定性，使得在实际问题中，车辆可以快速地适应变化的环境。

技术领域

本发明属于汽车先进智能辅助驾驶系统设计及汽车安全技术领域，具体的说是一种基于 策略梯度在线学习算法的巡航控制系统及设计方法。

背景技术

随着智能驾驶辅助技术的不断发展，越来越多的先进控制方法被应用于车辆智能辅助 驾驶系统(ADAS)的系统设计中，其中在纵向智能辅助驾驶系统-自适应巡航控制系统的设 计开发中，PID、模糊控制、线性二次型优化控制，模型预测控制等先进控制方法先后被应 用，但随着系统功能设计进一步完善，在系统设计中更多的设计要求被提出以获得更好的 系统性能。车辆驾驶过程中，道路环境会不断发生变化。如不同路段的道路坡度不同，不 同路面的道路附着系数不同。不同的驾驶员，期望的驾驶风格亦会有所不同。而这些不同 的环境变化，在系统设计阶段很难被完整的设计进入系统中。因此，对于自适应巡航系统 进一步地提出了自学习的系统要求。近年来，机器学习方法在世界范围内得到了广泛关注，其中强化学习方法，具有序列控制特性，且可基于环境反馈在线进行学习调整，可通 过设计很好的应用于车辆控制中，满足自适应巡航系统对于多变驾驶环境的适应性学习。 在强化学习算法类中，多为基于离散状态及动作空间的方法，基于策略梯度的方法因可使 用神经网络等非线性函数逼近器在连续的状态及动作空间中进行学习，更适用于车辆系统的控制问题。

发明内容

本发明将基于策略梯度的强化学习方法，针对车辆系统控制问题的需求，设计了一种基 于策略梯度在线学习方法设计的巡航控制系统及方法。该系统适用于L2级别自动驾驶车辆， 目标是通过在线学习有效提高系统对不同环境的适应能力，在不同环境下得到一致的控制性 能，解决了现有技术中存在的上述问题。

本发明技术方案结合附图说明如下：

一种基于策略梯度在线学习算法的巡航控制系统，该系统包括智能感知信号处理模块A、 模式切换模块B、学习模块C和车辆执行控制模块D；

所述智能感知信号处理模块A，用于获得当前车辆和前方车辆行驶状态信息并进行信号 处理；

所述模式切换模块B，用于对学习系统中不同模式进行切换，基于规则方法设计模式切 换策略；

所述学习模块C，用于学习跟车策略并根据环境进行在线更新；

所述车辆执行控制模块D，用于对实际控制量进行跟踪控制，采用双层前馈加反馈PID 控制器实现；

所述智能感知信号处理模块A与模式切换模块B、学习跟车模块C以及执行控制模块D 相连；所述模式切换模块B与学习跟车模块C相连；所述学习跟车模块C与执行控制模块D 相连。

一种基于策略梯度在线学习算法的巡航控制系统的设计方法，该方法包括以下步骤：

步骤一、通过智能感知信号处理模块A获得车辆控制算法所需的状态信息，包括：借助 车载智能感知模块中的车载摄像头、雷达环境感知元件确认前方待跟随车辆，并得到当前车 辆和前方车辆行驶状态信息；并且根据前车车速通过计算得到加速状态；

步骤二、通过模式切换模块B切换学习系统中的不同模式，基于规则方法设计模式切换 策略，用于切换上层控制器中的不同控制模式，其中这些控制模式有：启停模式，非跟车模 式，跟车学习模式，测试模式，恢复模式；