[发明专利]一种基于分布式群智学习的多车协同规划方法

权利要求书

1.一种基于分布式群智学习的多车协同规划方法，在道路交通网络中部署边缘计算节点，在道路侧部署接入点，在车辆上配置辅助驾驶系统；所述方法包括：

步骤1：接入点收集车辆信息发送给边缘计算节点，边缘计算节点预测路口周围的交通态势；车辆信息包括车辆的位置、速度和路由决策；

边缘计算节点中设置多车路由规划决策汇聚模块和预测路口周边交通态势模块；多车路由规划决策汇聚模块将多车路由规划建模成一个种群博弈模型，根据车辆的位置及目的地将车辆划分到不同的种群中，每辆车作为种群博弈中的一个代理，利用演化博弈中的最优回应动态得到种群博弈的纳什均衡状态，获得车辆的路由决策；预测路口周边交通态势模块根据所获得的多车的路由决策，预测路口周围的交通态势；

步骤2：车辆上的辅助驾驶系统接收边缘计算节点下发的路口周围的交通态势预测报告，计算最优路由决策，同时与周围车辆进行信息交互，获取路口通行驾驶决策；

在车辆的辅助驾驶系统中设置基于演化博弈的路由规划决策模块以及路口通行驾驶决策模块；基于演化博弈的路由规划决策模块根据接收的路口周围的交通态势预测报告，利用演化博弈中的最优回应动态计算出当前最优路由决策，调整自身的路由策略并发送出去；路口通行驾驶决策模块将车辆视野范围内的交通态势和与其他车辆交互得到的交通态势输入训练好的神经网络模型Actor中，输出车辆驾驶决策的概率分布，选取概率最大的驾驶策略；

其中，Actor网络先通过注意力机制对输入的交通态势处理得到车辆交互关系权重图，利用该权重图来对交互车辆输入的交通态势进行融合，再由神经网络进行驾驶决策；

步骤3：预先在交通环境仿真器下，利用全局车辆路由规划信息对路口通行驾驶决策模块中的Actor网络进行训练。

2.根据权利要求1所述的方法，其特征在于，所述的步骤1中，根据车辆当前所处的道路和车辆目的地的方向，将车辆划分到对应的种群中，建立种群博弈模型如下：

种群博弈模型G＝(P,A)，P为种群的集合，A为动作集；

每个种群p包含一组代理V^p，p∈P；种群p的动作集种群p的状态集其中，表示种群p中选择动作的车辆数；

G的社会状态表示为X＝{X¹,X²,…,X^|P|}；

利用演化博弈中的最优回应动态得到种群博弈的纳什均衡状态；纳什均衡状态用公式表示为：其中，F表示种群博弈的收益函数，F_i^p(x)表示在社会状态x下种群p中的动作i的收益，表示在社会状态x下种群p中的动作j的收益。

3.根据权利要求1所述的方法，其特征在于，所述的步骤3中，采用强化学习决策训练方法对路口通行驾驶决策模块中的神经网络模型进行训练，在训练时，将全局路由信息和车辆观察的交通态势输入Critic网络，对全局路由信息利用多层感知机预处理后，再利用平行的多个线性层提取路由信息的特征，将不同线性层提取的特征作用于Critic网络的多层感知机的输入和各层的神经节点的参数，最终输出动作值函数Q；利用Critic网络的输出进行Actor的训练；将训练完成后得到的Actor网络部署在车辆上。