[发明专利]一种无信号交叉口自动驾驶汽车通行协同决策控制方法

说明书

本发明公开了一种无信号交叉口自动驾驶汽车通行协同决策控制方法，相较于现有技术，通过V2X技术获得全局的交叉口车辆行驶信息，通行策略考虑车辆群体的通行性能；计算开销成本低，控制实时性较好；算法可以根据道路实际环境的差异进行个性化的优化，获得更加适合当前交叉口拓扑结构的通行策略；加入了基于交规的形式化验证与规约，保证自动驾驶汽车在交叉口行驶的绝对安全。

技术领域

本发明涉及交通决策相关领域，具体是一种无信号交叉口自动驾驶汽车通行协同决策控制方法。

背景技术

近年来随着我国经济的快速发展，汽车保有量逐年快速增加，造成的交通拥堵问题日益严重，尤其是在无信号交叉口区域，汽车从各个方向驶来，汇集，交错和分离，产生了大量的行驶冲突，导致了大量的行驶延误和交通事故，对城市交通系统的安全和效率产生了负面的影响。

目前用于无信号交叉口自动驾驶汽车通行决策控制的算法可分为集中式控制和分布式控制，集中式控制指汽车行驶到交叉口时，把当前车辆行驶状态和在交叉口的期望行驶方向等信息发送给路侧单元，路侧单元对所有车辆发来的信息进行接收，并计算通行策略，再把控制指令发送给每辆车，各车严格按照指令行驶通过交叉口；集中式算法大多是基于固定的通行策略，传统的数学模型或强化学习展开的，典型的固定通行策略如先到先服务(FCFS)，路权制定等通常无法保证在所有交通流量工况下均实现良好的控制效果；传统的数学模型如MPC，MILP等算法通常需要基于大量的实时数据，设定特定的目标函数，进行最大值/最小值求解，得到最优解或局部最优解，计算效率较低；深度强化学习方法利用神经网络模型来进行车辆的通行决策，通过建立合理的状态空间，动作空间和奖励函数将交叉口车辆通行问题转变为深度强化学习问题，利用车辆行驶状态信息作为神经网络的输入，以车辆的控制指令作为神经网络的输出；将神经网络在仿真环境中训练，通过在当前策略下控制汽车行驶得到的奖励值来优化神经网络参数，从而完成一次迭代，进行多次迭代得到最优控制策略；由于算法在环境中不断探索、尝试，因此通常较难保证汽车行驶绝对安全；分布式控制指没有路侧单元做集中调度，各车之间直接通信，决策出车辆在交叉口的通行方案；现有研究中的控制方法大多是集中式，因为分布式较难控制交叉口车辆群体的通行效率，且难以保证交通的公平性。

因此，为了解决道路交叉口车辆通行决策现有的计算效率低，优化性能不佳，安全性能欠缺的问题，本发明提出了一种集中式的无信号交叉口自动驾驶汽车协同决策规划方法，来协调多辆自动驾驶汽车在无信号交叉口的行驶，从全局的角度出发，考虑车辆群体的通行性能，在保证汽车行驶安全的同时，获得良好的通行效率和行驶舒适性。

发明内容

本发明的目的在于提供一种无信号交叉口自动驾驶汽车通行协同决策控制方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种无信号交叉口自动驾驶汽车通行协同决策控制方法，包含以下步骤：

通过设定合理的状态空间、动作空间以及奖励函数进行马尔可夫建模，所述状态空间表征智能体所处环境的所有状态的集合，所述动作空间表征智能体在环境中可以采取的所有动作的集合，所述奖励函数表征智能体在某一状态下采取某一动作的对应结果；

基于actor-critic架构建立策略网络以及价值网络，所述策略网络用于基于当前环境状态选择智能体需要采取的动作，所述价值网络用于评估当前动作采取后的对应结果；

通过V2X技术对车辆数据进行实时采集与控制，获取车辆的位置、速度以及在交叉口的期望行驶方向信息，并判断获取车辆与交叉口的距离、车辆间是否存在路径冲突以及冲突点距离，通过预设的路侧单元计算获取控制指令并输出至各车辆；

利用近端策略优化PPO进行决策规划，以智能体所处环境状态为输入，智能体根据当前策略选择采取的动作，进而获得下一时间步的环境状态，并对经历的状态及动作轨迹进行搜集，用于神经网络训练迭代，结合搜集的轨迹及价值网络对策略进行评估，计算获取策略网络与价值网络的损失函数并用于策略更新。