[发明专利]基于神经网络的驾驶员行为建模方法

权利要求书

1.一种基于神经网络的驾驶员行为建模方法，其特征在于，包括如下步骤：

S1，构建驾驶环境特征提取器，用于提取构建回报函数的特征，具体实施方法为：

S11.在车辆行驶过程中，利用放在车辆挡风玻璃后面的摄像机对驾驶视频进行采样，获得N组不同车辆驾驶道路环境道路情况的图片；同时对应驾驶操作数据，即在该道路的环境下的转向角情况，联合构建起来训练数据；

S12.对收集来的图片进行平移、裁剪、变更亮度操作，以模拟不同光照和天气的场景；

S13.构建卷积神经网络，将经过处理后的图片作为输入，对应图片的操作数据作为标签值，进行训练，采用基于Nadam优化器的优化方法对均方误差损失求最优解来优化神经网络的权重参数；新的卷积神经网络包括1个输入层、3个卷积层、3个池化层、4个全连接层；输入层依次连接第一个卷积层、第一个池化层，然后连接第二个卷积层、第二个池化层，再连接第三个卷积层、第三个池化层，最后依次连接第一个全连接层、第二个全连接层、第三个全连接层、第四个全连接层；

S14.将训练完成后的卷积神经网络的网络结构和权值保存，以建立新的一个卷积神经网络，完成状态特征提取器；

步骤S2，构建回报函数生成器，用于驾驶策略的获取，具体实施方法为：

S21.获得专家的驾驶示范数据：驾驶示范数据来自对于示范驾驶视频数据的采样提取，按照一定频率对一段连续的驾驶视频进行采样，得到一组轨迹示范；一个专家示范数据包括多条轨迹，总体记做：

D_E＝{(s₁,a₁),(s₂,a₂),...,(s_M,a_M)}其中D_E表示整体的驾驶示范数据，(s_j,a_j)表示对应状态j和该状态对应决策指令构成的数据对，M代表总共的驾驶示范数据的个数，N_T代表驾驶示范轨迹数目，L_i代表第i条驾驶示范轨迹中包含的状态-决策指令对(s_j,a_j)的个数；

S22.求取驾驶示范的特征期望值；

首先将驾驶示范数据D_E中的各个描述驾驶环境情况的状态s_t输入S1中的状态特征提取器中，获得对应状态s_t下的特征情况f(s_t,a_t)，f(s_t,a_t)代指一组对应s_t的影响驾驶决策结果的驾驶环境场景特征值，然后基于下述公式计算出来驾驶示范的特征期望值：

其中γ为折扣因子，根据问题的不同，对应进行设置；

S23.求取贪婪策略下的状态-动作集；

S24.求取回报函数的权值，其具体步骤是：

首先基于下面公式，构建目标函数：

代表损失函数，即依据当前状态-动作对是否存在于驾驶示范之中，若存在则为0，否则为1；为上面所记录的对应状态-动作值；为S22中求取的驾驶示范特征期望和回报函数的权值θ的乘积；为正则项；

借助梯度下降法最小化该目标函数，即t＝min_θJ(θ)，获取令该目标函数最小化的变量θ，该θ即所求取的所需的回报函数的权值；

S25.基于获得的对应回报函数权值θ，根据公式r(s,a)＝θ^Tf(s,a)构建回报函数生成器。

2.根据权利要求1所述一种基于神经网络的驾驶员行为建模方法，其特征在于，步骤S14中的训练完成后的卷积神经网络不包括输出层。