[发明专利]城市环境下智能驾驶车辆环境自适应汇入方法

说明书

本发明公开了一种城市环境下智能驾驶车辆环境自适应汇入方法，包括提取初始状态向量；根据贪心策略计算动作变量，执行汇入动作的同时更新汇入场景，动作变量如果采取随机动作，则以均匀概率选取汇入间隙和汇入动作，如果采用智能方法，候选间隙包括前车、后随车与汇入车辆，比较所有候选间隙的最大动作值函数，选择其中最大值函数，从中挑选最大值对应的间隙和动作，返回目标汇入间隙和智能汇入动作；感知下一时刻的状态向量；根据环境反馈信息计算奖励值；将初始状态向量、动作变量、下一时刻的状态向量、奖励值存入样本集，达到足够样本后根据LSQ方法进行评估和改进；重复上述步骤直至汇入成功。本发明样本集、学习时间低于Q学习算法，成功率高。

技术领域

本方法涉及一种在复杂城市环境下，综合考虑目标间隙选择与期望汇入时机的环境自适应汇入方法。

背景技术

无人驾驶车辆作为未来交通发展趋势，在解决交通安全以及治理道路拥堵等问题上极具潜力。作为无人驾驶车辆的“大脑”，决策系统体现了其智能化水平，提高决策系统在复杂城市环境下的泛化和适应能力，对于研制能实际上路行驶的无人驾驶汽车至关重要。而传统基于规则学习的无人驾驶车辆只能适应单一的驾驶环境，不能面对复杂多变的真实场景，做出的决策可能不满足鲁棒性和灵活性的要求。城市环境下快速路汇入要求在短时间和有限的空间等多约束条件下做出安全有效的决策，给无人驾驶车辆的决策系统提出了更高的要求。

在汇入行为策略研究方面，Yang提出了纵向的控制算法，引导无人车汇入主线并根据距目标间隙的距离提供了速度策略。Liu等利用改进后的博弈论框架对高速公路匝道的汇入行为进行建模。Ran等人关注汇入车辆如何在高速公路匝道驶入期望的汇入位置，并通过将车辆的加减速模型量化彼此之间的交互作用。上述研究都集中在告诉公路环境，高密度的城市环境少有涉及，并且大多研究考虑的是换道的战术决策，较少研究描述换道的连续性过程。

在强化学习在驾驶行为决策中的应用方面，Abbeel和吴恩达考虑车辆与周边环境的交互，利用逆向强化学习，学习车辆操纵，利用奖励函数反应环境对行为操纵的影响，建立环境影响因素与车辆运动之间的函数关系映射。国防科大徐昕研究团队提出了基于近似策略迭代KLSPI算法处理智能车辆在高速公路连续状态空间下的避障与导航问题。Shalev-Shwartz讨论了一种保证安全的强化学习方法，其将策略网络分成了两个部分，并分别学习驾驶的安全性和舒适性，但是模型有效性只在简单的模拟环境中进行了验证。

上述方法在考虑汇入仅考虑了几个的指标，无法模拟人为驾驶的自动汇入驾驶体验。

发明内容

1、发明目的。

本发明综合考虑了安全性、舒适性以及时效性等评价指标，建立了现行加权的综合奖励值模型，同时动作空间设定包含二维变量，即纵向速度决策变量和横向速度决策变量，解耦无人驾驶车辆的横、纵向运动，实现汇入过程的连续性控制，提高了无人驾驶车辆在汇入过程中对动态环境的适应能力。

2、本发明所采用的技术方案。

本发明提出了一种城市环境下智能驾驶车辆环境自适应汇入方法，其特征在于包括如下步骤：

提取初始状态向量；

根据贪心策略计算动作变量，执行汇入动作的同时更新汇入场景，动作变量如果采取随机动作，则以均匀概率选取汇入间隙和汇入动作，

如果采用智能选取动作，候选间隙包括前车、后随车与汇入车辆，比较所有候选间隙的最大动作值函数，选择其中最大值函数，从中挑选最大值对应的间隙和动作，返回目标汇入间隙和智能汇入动作；

感知下一时刻的状态向量；

根据环境反馈信息计算奖励值；

将初始状态向量、动作变量、下一时刻的状态向量、奖励值存入样本集，达到足够样本后根据LSQ方法对策略进行评估和改进；