[发明专利]基于深度强化学习的驾驶员纵向跟车行为模型构建方法

说明书

基于深度强化学习的驾驶员纵向跟车行为模型构建方法，属于汽车智能安全与自动驾驶领域。基于中国实际道路工况，采集符合中国道路特征的驾驶员驾驶车辆行驶过程中的车辆状态信息和周围环境信息，统计分析采集的数据，给出驾驶员跟车行驶过程的行为特性及其影响因素。确定表征驾驶员在某个时刻所采取动作的基准信息，建立描述驾驶员跟车行为状态迭代关系的数学模型。设计基于竞争Q网络构架的驾驶员纵向跟车行为模型的神经网络结构。设计基于竞争Q网络构架的神经网络的驾驶员纵向跟车行为学习流程。设计基于深度强化学习的驾驶员纵向跟车行为模型的训练方法。可准确地描述不同工况下驾驶员的跟车行为特性，实现对驾驶员跟车行为的复现能力。

技术领域

本发明属于汽车智能安全与自动驾驶领域，特别是涉及一种基于深度强化学习的驾驶员纵向跟车行为模型构建方法。

背景技术

在未来的一段时间内，驾驶员将在智能汽车的驾驶任务中担任重要的角色。为降低驾驶员的驾驶负担，提高驾驶员的驾驶能力以及对智能驾驶系统的接受程度，需要对驾驶员的驾驶习性进行深入研究。建立准确反映驾驶员跟车行为的驾驶员模型对于智能驾驶系统控制策略的开发具有重要的意义。

近年来，从不同角度出发，如交通工程角度、人因工程角度等，或基于不同的理论、采用不同的研究方法对驾驶员跟车行为模型进行了研究。文献1(C.Lu,J.W.Gong,C.Lv, etal.A Personalized Behavior Learning System for Human-Like Longitudinal SpeedControl of Autonomous Vehicles,Sensors,19(2019)3672.)通过驾驶模拟器采集驾驶员跟车行驶数据，并使用人工神经网络学习驾驶员的速度规划行为,但是驾驶员模拟器采集的数据和实际道路的数据之间的误差较大，难以准确描述驾驶员的驾驶行为。文献2(Y.Q.Sun, H.Ge,R.H.Cheng.An extended car-following model under V2Vcommunication environment and its delayed-feedback control[J].Physica A:Statistical Mechanics and its Applications,508(2018)349-358)提出了最优速度模型，并引入一个反映驾驶员特性的参数以体现不同驾驶员的期望跟车距离。然而，该模型利用跟车行驶状态信息进行线性或非线性拟合而成，这种形式较难真实反应驾驶员跟车行为的随机性、复杂性。

深度强化学习是一种更接近人类思维方式的智能方法，其优势在于同时具有深度学习的感知能力以及强化学习的决策能力。因此，为更好的描述符合中国道路特征的驾驶员跟车行为特性，本发明从中国实际道路采集的自然驾驶数据中学习驾驶员的跟车行为，利用数据驱动对驾驶员行为进行学习，采用深度强化学习理论模拟并构建驾驶员跟车行为模型，通过模型实现对驾驶员跟车行为的复现能力。

发明内容

本发明的目的针对现有技术中存在的上述难点问题，提供可有效解决驾驶员跟车行为过程中连续动作空间上的决策问题，实现驾驶员纵向跟车行为模型的验证与评估的一种基于深度强化学习的驾驶员纵向跟车行为模型构建方法。

本发明包括以下步骤：

步骤1：基于中国实际道路工况，采集符合中国道路特征的驾驶员驾驶车辆行驶过程中的车辆状态信息和周围环境信息，统计分析采集的自然驾驶数据，给出驾驶员跟车行驶过程的行为特性及其影响因素。

步骤2：确定表征驾驶员在某个时刻t所采取动作的基准信息，建立描述驾驶员跟车行为状态迭代关系的数学模型。

步骤3，设计基于竞争Q网络构架的驾驶员纵向跟车行为模型的神经网络结构。

步骤4：设计基于竞争Q网络构架的神经网络的驾驶员纵向跟车行为学习流程，实现对驾驶员纵向跟车行为的模拟。