[发明专利]基于深度逆强化学习的模拟驾驶风格的跟车系统及方法

说明书

本发明属于智能驾驶技术领域，公开了一种基于深度逆强化学习的模拟驾驶风格的跟车系统及方法，该跟车系统包括：采集自车与前车的间距、自车与前车的侧向距离、相对速度、方位角信息的毫米波雷达，采集自车车速的车速采集装置，以及车载工控机；车载工控机内的跟车数据处理器对毫米波雷达、车速采集装置采集的信息进行处理，提取满足跟车模型训练所需的跟车数据片段，并对其进行跟车模型训练得到跟车策略模型；该跟车系统结构简单，通过深度逆强化学习方法从驾驶人历史跟车数据中学习奖励函数，并利用奖励函数及强化学习方法求解驾驶人的跟车策略，得到的跟车模型能模拟不同驾驶人的驾驶风格，理解驾驶人跟车过程中的偏好，生成拟人化的跟车行为。

技术领域

本发明涉及智能驾驶技术领域，具体涉及基于深度逆强化学习的模拟驾驶风格的跟车系统及方法。

背景技术

跟车是指驾驶人驾驶车辆跟随前车行驶，是日常驾驶最为常见的一种情况。在城市交通情况下，驾驶人跟车所占的时间比例一般大于50％。为了实现交通仿真、驾驶辅助系统测试以及自动驾驶，有大量研究针对驾驶人跟车行为构建了跟车模型。

跟车模型的作用是模拟驾驶人的跟车行为及特点，使车辆能够按照驾驶人的驾驶风格跟随前车行驶。当前，已有的跟车模型包括两种类型：一种是传统模型，其特点是采用显式的数学关系式来描述跟车过程，在模型公式中一般设有多个参数用以代表驾驶人的驾驶风格。另一种是数据驱动模型，这类模型无显式的数学关系式，一般采用神经网络，利用驾驶人的跟车数据学习表示驾驶人的跟车特性。在这两种模型中，数据驱动模型被发现相比传统模型有更好的跟车模拟准确性及泛化能力。

在数据驱动模型中，一般采用深度最大熵逆强化学习方法训练跟车模型，深度最大熵逆强化学习方法属于模仿学习，模仿学习的目的是学习模仿人类的行为，获取跟车过程中驾驶人的策略函数，即车辆运动状态s与驾驶人控制车辆动作a之间的函数关系π(a|s)。在模仿学习中，一类方法被称为行为克隆，其原理是采用神经网络或其它数据驱动模型来表示π(a|s)，通过梯度下降方法训练神经网络的参数，训练得到的神经网络模型可以模拟人的行为及特点。行为克隆方法已证明可在数据量充足的条件下较为准确地实现行为模拟，然而当数据量不足时，行为克隆会导致出现复合误差问题，即当数据量不足时，模型拟合较差，其预测结果会有一定误差，在仿真过程中误差会进行累积，最终使模型面对一些训练数据中未包含的状态，在这种情况下，模型会输出更差的预测结果。

发明内容

针对现有技术中存在的问题，本发明的目的在于提供一种基于深度逆强化学习的模拟驾驶风格的跟车系统及方法，该跟车系统结构简单，易于实现；其方法属于数据驱动方法，相比传统跟车模型具有更好的跟车行为模拟准确性；相比现有的数据驱动跟车模型，本方法是通过深度逆强化学习方法从驾驶人历史跟车数据中学习驾驶人跟车过程中的奖励函数，进而利用奖励函数及强化学习方法求解驾驶人的跟车策略，本方法得到的跟车模型能模拟不同驾驶人的驾驶风格，理解驾驶人跟车过程中的偏好，生成拟人化的跟车行为。

为了达到上述目的，本发明采用以下技术方案予以实现。

(一)一种基于深度逆强化学习的模拟驾驶风格的跟车系统，包括：毫米波雷达、车速采集装置、车载工控机；其中，所述车载工控机内集成有跟车数据处理器和数据存储硬盘；

所述毫米波雷达用于采集自车与前车的间距、自车与前车的侧向距离、相对速度、方位角信息，并将采集的自车与前车的间距、自车与前车的侧向距离、相对速度、方位角信息储存在所述车载工控机相对应的数据存储硬盘中；

所述车速采集装置用于采集自车车速信息，并将采集的自车车速信息储存在所述车载工控机相对应的数据存储硬盘中；

所述跟车数据处理器用于对所述毫米波雷达、车速采集装置采集的信息进行处理，自动筛选并提取满足跟车模型训练所需的跟车数据片段，并将提取的跟车数据片段存储在相对应的数据存储硬盘中；

所述跟车数据处理器还用于对所述提取的跟车数据片段进行跟车模型训练，得到跟车策略模型。