[发明专利]基于深度逆强化学习的模拟驾驶风格的跟车系统及方法

权利要求书

1.一种基于深度逆强化学习的模拟驾驶风格的跟车系统，其特征在于，包括：毫米波雷达、车速采集装置、车载工控机；其中，所述车载工控机内集成有跟车数据处理器和数据存储硬盘；所述车速采集装置为车速传感器；

所述毫米波雷达用于采集自车与前车的间距、自车与前车的侧向距离、相对速度、方位角信息，并将采集的自车与前车的间距、自车与前车的侧向距离、相对速度、方位角信息储存在所述车载工控机相对应的数据存储硬盘中；

所述车速采集装置用于采集自车车速信息，并将采集的自车车速信息储存在所述车载工控机相对应的数据存储硬盘中；

所述跟车数据处理器用于对所述毫米波雷达、车速采集装置采集的信息进行处理，自动筛选并提取满足跟车模型训练所需的跟车数据片段，并将提取的跟车数据片段存储在相对应的数据存储硬盘中；

所述跟车数据处理器还用于对所述提取的跟车数据片段进行跟车模型训练，得到跟车策略模型；

基于该跟车系统的跟车方法包括以下步骤：

步骤1，数据采集

毫米波雷达实时采集自车与前车的间距h、自车与前车的侧向距离d、相对速度Δv、方位角θ信息，并将采集的自车与前车的间距h、自车与前车的侧向距离d、相对速度Δv、方位角θ信息传递给车载工控机内部的跟车数据处理器；

车速采集装置实时采集自车车速v信息，并将采集的自车车速v信息传递给车载工控机内部的跟车数据处理器；

步骤2，跟车数据筛选

车载工控机内部的跟车数据处理器根据毫米波雷达、车速采集装置采集的行车数据信息进行处理，得到跟车模型训练所需的跟车数据；

步骤3，跟车策略模型实现

车载工控机内部的跟车数据处理器对得到的所述跟车模型训练所需的跟车数据采用深度逆强化学习方法进行跟车模型训练，得到跟车策略模型；

在所述步骤3中，所述深度逆强化学习方法包含以下子步骤：

子步骤3.1，建立跟车环境，包括跟车离散状态空间S、离散动作空间A及状态转移方程T；其中，状态空间S中包含有自车车速v、自车与前车的间距h、相对速度Δv三种类型的状态，动作空间A包含加速度a；

设定t时刻下状态s_t下采用动作a(t)，s_t＝{v(t)，Δv(t)，h(t)}，则利用所述状态转移方程T即可得到下一时刻状态s_t+1，s_t+1＝{v(t+1)，Δv(t+1)，h(t+1)}；其中，所述状态转移方程T为：

v(t+1)＝v(t)+a(t)*Δt

Δv(t+1)＝v_lead(t+1)-v(t+1)

其中，v_lead(t+1)为跟车过程中前车在t+1时刻下的车速，Δt为时间间隔；

子步骤3.2，利用Tensorflow深度学习环境创建神经网络，神经网络的输入为表征驾驶人跟车中车辆控制目标的特征N₂为特征的总数，神经网络的输出为驾驶人的奖励r；

子步骤3.3，对所述驾驶人的奖励r进行跟车模型训练，得到最终的奖励及策略函数；

步骤4，重复执行步骤1-2，获取更多的跟车模型训练所需的跟车数据；间隔某一时间段T₁后，重新执行步骤3，对跟车策略模型进行重新训练，获得更为准确的跟车策略模型；

步骤5，将步骤4得到的跟车策略模型存储于所述车载工控机相对应的数据存储硬盘中。

2.根据权利要求1所述的基于深度逆强化学习的模拟驾驶风格的跟车系统，其特征在于，步骤2包含以下子步骤：

子步骤2.1，将毫米波雷达、车速采集装置采集的行车数据信息每间隔15s作为一个待选数据片段；其中，第i₁个待选数据片段记为N₁为片段总数；

子步骤2.2，对每个待选数据片段中的方位角θ按如下条件进行判定，若满足该条件，则保留该待选数据片段并进行子步骤2.3；否则，删除该D_i片段：

子步骤2.3，对满足子步骤2.2的片段按如下条件进一步筛选，若满足该条件，则保留该待选数据片段并存储于车载工控机相对应的数据存储硬盘中，得到满足跟车模型训练所需数据集否则，删除该D_i片段：