[发明专利]多路口协同控制方法、装置、电子设备及存储介质

权利要求书

1.一种面向网联自动驾驶的多路口协同控制方法，其中，包括：

获取目标路口的当前时刻的状态信息，所述状态信息包括所述目标路口的实时交通信息、往所述目标路口行驶的目标车辆的车辆状态和目标路口的占用信息；所述实时交通信息包括所述目标车辆的位置信息；所述车辆状态包括所述目标车辆的速度信息；所述目标路口的占用信息包括驶出所述目标路口的目标车辆的车辆轨迹与驶出相邻路口的其它车辆的车辆轨迹的相交情况；

根据所述状态信息确定目标车辆的最大通行速度；

利用深度Q学习网络确定在所述状态信息下所述目标车辆通过所述目标路口的目标行驶顺序；

根据所述最大通行速度规划多个所述目标车辆按照所述目标行驶顺序通过所述目标路口的目标速度；所述目标速度为所述目标车辆在不超过所述最大通行速度、且不与其它车辆发生碰撞的情况下通过所述目标路口的速度；

将所述目标速度发送至所述目标车辆，以控制所述目标车辆按照所述目标速度行驶；

其中，所述深度Q学习网络采用卷积神经网络，所述方法还包括：

获取所述目标路口对应的一个或多个相邻路口在上一时刻的对应的目标Q值，以及利用所述深度Q学习网络得到所述目标行驶顺序的回报值；

根据所述目标Q值以及所述回报值对所述卷积神经网络的神经元参数进行更新；

通过如下Q值更新公式对所述神经元参数进行更新：

其中，θ_i为卷积神经网络的神经元参数，a(t)和γ为预设的衰减因子，θ_i′为更新后的卷积神经网络的神经元参数，J为所有相邻路口的集合，ω_i,j为相邻路口j的Q值对目标路口i的Q值的转换系数，Ω为惩罚函数。

2.根据权利要求1所述的方法，其中，还包括：

将所述状态信息添加到所述深度Q学习网络的记忆库中，在所述记忆库长度存满的情况下，通过覆盖所述记忆库中最早一条记录的方式存储所述状态信息。

3.根据权利要求1或2所述的方法，其中，利用深度Q学习网络确定在所述状态信息下所述目标车辆通过所述目标路口的行驶顺序，包括：

利用所述深度Q学习网络预测多个所述目标车辆在不同的候选行驶顺序对应的Q值；

将所述Q值最大的所述候选行驶速度确定为所述目标行驶顺序。

4.根据权利要求1-2任一项所述的方法，其中，根据所述状态信息确定多个所述目标车辆的最大通行速度，包括：

在第一时间早于第二时间时，调整第一速度，使得所述第一时间晚于所述第二时间；所述第一时间为当前的所述目标车辆按照所述状态信息下的所述第一速度通过所述目标路口时的时间，第二时间为前一辆目标车辆按照所述状态信息下的第二速度通过所述目标路口时的时间；

将调整后的所述第一速度确定为所述最大通行速度。

5.根据权利要求1-2任一项所述的方法，其中，根据所述最大通行速度规划多个所述目标车辆按照所述目标行驶顺序通过所述目标路口的目标速度，包括：

在当前的所述目标车辆之前行驶的其他目标车辆未完成速度规划时，则确定当前的所述目标车辆的目标速度等于所述最大通行速度；

在当前的所述目标车辆之前行驶的所有其他目标车辆已完成速度规划，且所述最大通行速度小于或等于最小值时，确定当前的所述目标车辆的目标速度等于所述最大通行速度；

在当前的所述目标车辆之前行驶的所有其他目标车辆已完成速度规划，且所述最大通行速度大于所述最小值时，确定所述目标车辆以初始规划速度行驶至所述目标路口后是否会与其它车辆发生冲突；在不发生冲突时确定当前的所述目标车辆的目标速度等于所述初始规划速度，在会发生冲突时，降低所述初始规划速度，并调整至确定降低后的所述初始规划速度是否小于或等于所述最小值的步骤。