[发明专利]自动驾驶车辆无信号交叉口协调通行控制系统

权利要求书

1.一种自动驾驶车辆无信号交叉口协调通行控制系统，其特征在于，包括：车辆智能体VA和交叉口智能体IA；

车辆智能体VA设置在无人驾驶车辆上，用于检测自身所在的无人驾驶车辆是否进入无灯交叉路口区域，若是进入无灯交叉路口区域，与对应的无灯交叉路口区域的交叉口智能体IA建立无线通信连接，并向交叉口智能体IA发送通过请求信号和车辆的实时状态信息；

所述交叉口智能体IA设置在无灯交叉路口区域内，与发送通过请求信号的车辆智能体VA建立无线通信连接，并接收车辆智能体VA的实时状态信息；

交叉口智能体IA还用于根据交叉口几何信息、交通法规信息和每辆请求通过无人驾驶车辆的实时状态信息，利用经过深度Q学习的方式训练的全连接深度神经网络，确定每辆请求通过的无人驾驶车辆下一时刻的速度、加速和方向盘转角控制信号，并将获取的控制信号发送至对应车辆智能体VA；

所述车辆智能体VA，还用于将接收的速度、加速和方向盘转角控制信号转发至车辆的自动控制系统，实现对无人驾驶车辆的控制，将更新后的实时状态信息发送至交叉口智能体IA，直至无人驾驶车辆驶出所述无灯交叉路口区域。

2.根据权利要求1所述的一种自动驾驶车辆无信号交叉口协调通行控制系统，其特征在于，车辆的实时状态信息包括：当前无人驾驶车辆的位置、速度、行驶方向、车辆宽度和车辆的优先通行等级。

3.根据权利要求2所述的一种自动驾驶车辆无信号交叉口协调通行控制系统，其特征在于，车辆的优先通行等级：普通车辆的优先级设置为常数1，公交车辆优先级设置为常数3，应急救援车辆设置为常数10。

4.根据权利要求1所述的一种自动驾驶车辆无信号交叉口协调通行控制系统，其特征在于，全连接深度神经网络的输入为每辆请求通过自动驾驶车辆的状态向量按照时间和优先通行等级排列构成状态矩阵。

5.根据权利要求4所述的一种自动驾驶车辆无信号交叉口协调通行控制系统，其特征在于，所述每辆自动驾驶车辆的状态向量包括当前位置的x坐标和y坐标、速度、宽度、长度、通过方向和优先通行等级。

6.根据权利要求5所述的一种自动驾驶车辆无信号交叉口协调通行控制系统，其特征在于，深度Q学习方式的奖励函数为：

其中，r(s,a)为待通过的无人驾驶车辆在状态S时采用决策动作a的实时奖励收益，a为决策动作，S无人驾驶汽车的实时状态。

7.根据权利要求6所述的一种自动驾驶车辆无信号交叉口协调通行控制系统，其特征在于，深度Q学习的方式训练的全连接深度神经网络过程为：

步骤一、基于∈-greedy策略，给定状态转换样本s,a,r,s′；

步骤二、利用所述状态转换样本s,a,r,s′计算当前状态s下，策略动作a对应的预期总收益Q值；

步骤三、执行Q值最大的策略动作a，自动驾驶车辆的环境状态转换至状态s′，计算状态s′下的策略动作a′对应的预期总收益Q值；

步骤四、将s′,a′,r,s″作为状态转换样本s,a,r,s′，返回执行步骤二，直至预期总收益Q值收敛。

8.根据权利要求7所述的一种自动驾驶车辆无信号交叉口协调通行控制系统，其特征在于，策略动作a对应的预期总收益Q值的计算公式为：

Q(s，a)＝r(s，a)+max_a′Q(s′，a′)

其中，Q(s,a)为状态s下，选择策略动作a的预期总收益，max_a′Q(s′，a′)为输入状态为s′时，选择策略动作a′的最大预期总收益。

9.根据权利要求1所述的一种自动驾驶车辆无信号交叉口协调通行控制系统，其特征在于，交叉口智能体IA与车辆智能体VA通过无线电信号、GSM、WI-FI、4G或5G建立无线通信。