[发明专利]基于策略迭代的智能汽车转向控制方法

权利要求书

1.一种基于策略迭代的智能汽车转向控制方法，其特征在于包括：

采集车辆的行驶状态数据和车辆控制量；

转向控制网络模型依据当前采集时刻的行驶状态数据和车辆控制量，预测下一采集时刻的行驶状态数据；所述转向控制网络模型为经预设的训练数据集离线训练后的神经网络模型；

依据预设时间长度内采集得到的各行驶状态数据与转向控制网络模型预测的对应的下一采集时刻的行驶状态数据，计算对比函数值；

若所述对比函数值大于预设的阈值，则将所述预设时间长度内采集得到的行驶状态数据和车辆控制量加入所述预设的训练数据集，并基于该训练数据集对转向控制网络模型进行在线训练；

以转向控制网络模型作为被控制对象，基于评价网络和执行网络实现策略迭代的自适应动态算法，获得优化后的执行网络；

基于执行网络输出的车辆控制量控制所述智能汽车的转向；

其中，“依据预设时间长度内采集得到的各行驶状态数据与转向控制网络模型预测的对应的下一采集时刻的行驶状态数据，计算对比函数值”的步骤包括，按照下式所示的对比函数，计算对比函数值E：

其中，x_s为采集得到的行驶状态数据，x为转向控制网络模型预测的行驶状态数据，c为行驶状态数据的标号，a为设置的对比数列的长度，b为比对数据标号。

2.根据权利要求1所述的基于策略迭代的智能汽车转向控制方法，其特征在于，所述转向控制网络模型，其在线训练的步骤包括：

步骤S101：基于训练数据集中的行驶状态数据和车辆控制量，转向控制网络模型预测对应的下一采集时刻的行驶状态数据；

步骤S102：计算转向控制网络模型预测结果与设定期望的误差；

步骤S103：利用误差反向传播算法优化转向控制网络模型的权值；

步骤S104：重复步骤S101-S103，直到达到最大的迭代次数或转向控制网络模型预测结果与设定期望的误差在一定范围内。

3.根据权利要求2所述的基于策略迭代的智能汽车转向控制方法，其特征在于，评价网络的效能函数为：

其中，Q＝I，R＝0.5I，I为单位矩阵，T为转置符，x_k为实际的行驶状态数据，u_k为实际的车辆控制量；

基于评价网络评估当前采集时刻的性能指标函数为：

其中，V(x_k)为当前采集时刻性能指标函数，υ_i(x_k+l)为当前采集时刻的车辆控制量，x为车辆的行驶状态数据，k为当前采集时刻的标签，l为时刻标签，当l→∞时，车辆行驶方向与道路方向平行，U(x_k+l,υ_i(x_k+l))→0。

4.根据权利要求3所述的基于策略迭代的智能汽车转向控制方法，其特征在于，在利用评价网络和执行网络实现策略迭代的自适应动态算法过程中，基于下式所示的函数对执行网络进行优化：

V_i(x_k)＝U(x_k,υ_i(x_k))+V_i(x_k+1)

其中，V_i(x_k)为控制策略下的性能指标函数，U(x_k,υ_i(x_k))为当前采集时刻的效能函数，V_i(x_k+1)为对控制网络迭代后的性能指标函数，υ_i(x_k)为当前采集时刻的当前控制策略下的车辆控制量，υ_i+1(x_k)为当前采集时刻控制网络迭代后的车辆控制量，u_k为实际的车辆控制量，υ_k为当前采集时刻的车辆控制量，i为迭代次数，x_k为实际的行驶状态数据，F(x_k,u_k)为转向控制网络模型的抽象函数。