[发明专利]基于神经网络的驾驶员行为建模方法

说明书

本发明公开了一种基于神经网络的驾驶员行为建模方法，包括：特征提取器，提取构建回报函数特征；回报函数生成器，获取构建驾驶策略所需的回报函数；之后的驾驶策略获取器采用神经网络的方法来搭建，输入来自回报函数生成器的回报函数以及来自特征提取器的状态特征，通过优化最终得到生成驾驶策略的驾驶策略获取器。

技术领域

本发明涉及一种建模方法，具体说是一种基于神经网络的驾驶员行为建模方法。

背景技术

现有基于强化学习理论的驾驶员行为建模方法主要有两种思路：思路一，采用传统强化学习的方法，其回报函数的设置依赖研究人员对于场景的分析、整理、筛选和归纳，进而获得到一系列驾驶决策有关的特征，如：车前距、是否远离路缘、是否远离行人、合理速度、变道频率等；再根据驾驶场景需求，设计一系列的实验来求取这些特征在对应场景环境下的回报函数中的权重占比，最后完成对于回报函数的整体设计，而作为描述驾驶员驾驶行为的模型。思路二，基于概率模型建模方法，采用最大熵逆向强化学习求解驾驶行为特征函数。首先假定存在潜在的、特定的一个概率分布，产生了驾驶的示范轨迹；进而，需要来找到一个能够拟合驾驶示范的概率分布，而求取这个概率分布的问题可转化为非线性规划问题，即：

max-p log p

∑P＝1

P代指的就是示范轨迹的概率分布，通过上面的式子求解得到概率分布后，由

求取得到相关参数，即可求得回报函数r＝θ^Tf(s_t)。

传统的驾驶员驾驶行为模型，利用已知驾驶数据分析、描述和推理驾驶行为，然而以采集的驾驶数据并不能完全覆盖无穷无尽的驾驶行为特征，更不可能获取全部状态对应动作的情况。在实际驾驶场景下，因为天气、场景、物体的不同，驾驶状态有着众多可能，遍历全部的状态是不可能的事情。因此传统驾驶员驾驶行为模型泛化能力弱，模型假设条件多，鲁棒性差。

其次，在实际的驾驶问题中，仅凭研究人员设置回报函数的方法，需要平衡太多对于各种特征的需求，只依赖研究人员的经验设置，反复手动调解，耗时耗力，更致命的是过于主观。在不同场景和环境下，研究人员则需要面对太多的场景状态；同时，即使是针对某一个确定的场景状态，需求的不同，也会导致驾驶行为特征的变化。为了准确描述该驾驶任务就要分配一系列权重以准确描述这些因素。现有方法中，基于概率模型的逆向强化学习主要从现有的示范数据出发，把示范数据作为已有数据，进而寻求对应当前数据的分布情况，基于此才能求取对应状态下的动作选取。但已知数据的分布并不能表示全部数据的分布，正确获取分布，需要获取全部状态对应动作的情况。

发明内容

为解决驾驶员建模泛化性弱的问题，即现有技术中所存在的对于驾驶场景不在示范数据的情况下，无法建立对应的回报函数来进行驾驶员行为建模的技术问题，本申请提供了一种基于神经网络的驾驶员行为建模方法，可以对于新的状态场景进行适用，来获得其对应动作，大大提高了建立的驾驶员行为模型的泛化能力，适用场景更广，鲁棒性更强。

为了实现上述目的，本发明方案的技术要点是：一种基于神经网络的驾驶员行为建模方法，具体包括如下步骤：

S1，构建驾驶环境特征提取器，用于提取构建回报函数的特征，具体实施方法为：

S11.在车辆行驶过程中，利用放在车辆挡风玻璃后面的摄像机对驾驶视频进行采样，获得N组不同车辆驾驶环境道路情况的图片；同时对应驾驶操作数据，即该道路环境下的转向角情况，联合构建起来训练数据；

S12.对收集来的图片进行平移、裁剪、变更亮度操作，以模拟不同光照和天气的场景；