[发明专利]基于策略迭代的智能汽车转向控制方法

说明书

本发明属于车辆自动驾驶技术领域，具体涉及一种基于策略迭代的智能汽车转向控制方法，旨在解决如何提高无人驾驶智能汽车在转向控制上的在线自主学习能力的问题。为此目的，本发明中基于策略迭代的智能汽车转向控制方法包括：采集车辆的行驶状态数据和车辆控制量；转向控制网络模型依据当前采集时刻的行驶状态数据和车辆控制量，预测下一采集时刻的行驶状态数据；基于判断机制控制转向控制网络模型的在线训练；以转向控制网络模型作为被控制对象，基于评价网络和执行网络实现策略迭代算法，得到优化后的执行网络；基于执行网络输出的车辆控制量控制智能汽车的转向。本方法提高了模型训练的实时性以及对当前环境的适应性。

技术领域

本发明属于车辆自动驾驶技术领域，具体涉及一种基于策略迭代的智能汽车转向控制方法。

背景技术

智能汽车无人驾驶是包括环境感知，路径规划并自主实现车辆控制的技术。研究表明，在增强高速公路安全、缓解交通拥堵、减少空气污染等领域，无人驾驶会带来颠覆性的改善。无人汽车通过传感器感知道路的环境变化以及车辆行驶状态，利用车辆的无人控制技术，根据车辆行驶状态与道路环境给出车辆最优控制。智能汽车的研究将降低由于驾驶员疏忽大意发生交通事故的概率，同时将驾驶员从长时间的驾驶专注状态中解放出来。目前，国外在无人驾驶汽车方面已经取得了长足发展，国内的研究机构与高校已经开始了相关研究，并取得一定成果，但相比国外无人驾驶技术有一定差距。

车辆的在道路上的自主转向属于无人驾驶等级中的L2级半自动驾驶的研究内容之一，如何根据探测器感知车辆行驶的道路环境以及车辆行驶状态计算转角信息，进而控制汽车内部的转向执行器调节车辆转向，是自主转向的主要研究内容之一。汽车转向控制具有强烈的动态非线性，神经网络则是性能良好可实现非线性影射的工具，训练神经网络需要大量的数据，且往往需要遍历整个样本-动作空间的数据才能得到较好的模型网络。模型网络训练方式包括离线训练与在线训练两种。神经网络在线训练模式通过不断采集汽车的转向控制信息，训练车辆的转向模型，该方式的缺点在于，在初始阶段，由于缺乏数据，很难初始化对汽车的转向控制，同时训练数据的不断增加，将影响建立神经网络模型的实时性。离线训练模式，则由于网络训练数据固定，面对变化复杂的环境有时无法做出有效的控制，为得到较好的训练效果，需要保证样本尽可能遍历整个样本-动作网络空间，这意味着付出较大的训练代价。

发明内容

为了解决现有技术中的上述问题，即为了解决如何提高无人驾驶智能汽车在转向控制上的在线自主学习能力的问题，本发明提供了一种基于策略迭代的智能汽车转向控制方法，包括：

采集车辆的行驶状态数据和车辆控制量；

转向控制网络模型依据当前采集时刻的行驶状态数据和车辆控制量，预测下一采集时刻的行驶状态数据；所述转向控制网络模型为经预设的训练数据集离线训练后的神经网络模型；

依据预设时间长度内采集得到的各行驶状态数据与转向控制网络模型预测的对应的下一采集时刻的行驶状态数据，计算对比函数值；

若所述对比函数值大于预设的阈值，则将所述预设时间长度内采集得到的行驶状态数据和车辆控制量加入所述预设的训练数据集，并基于该训练数据集对转向控制网络模型进行在线训练；

以转向控制网络模型作为被控制对象，基于评价网络和执行网络实现策略迭代的自适应动态算法，获得优化后的执行网络；

基于执行网络输出的车辆控制量控制所述智能汽车的转向。

进一步地，“依据预设时间长度内采集得到的各行驶状态数据与转向控制网络模型预测的对应的下一采集时刻的行驶状态数据，计算对比函数值”的步骤包括，按照下式所示的对比函数E，计算对比函数值：

其中，x_s为采集得到的行驶状态数据，x为转向控制网络模型预测的行驶状态数据，c为行驶状态数据的标号，a为设置的对比数列的长度，b为比对数据标号。