[发明专利]基于深度强化学习的自动驾驶车辆交叉口无冲突合作方法

权利要求书

1.基于深度强化学习的自动驾驶车辆交叉口无冲突合作方法，其特征在于：包括如下步骤：

步骤1：交叉口问题马尔可夫建模，综合考虑安全约束马尔可夫决策(constrainedMarkov decision process,CMDP)与马尔可夫博弈(Markov Game,MG)理论，将道路交叉口环境转化为为符合强化学习算法要求的模型；

步骤2：单策略网络与双价值网络更新过程设计，设计单策略-双评论家(Actor-Critic1-Critic2)网络架构，以满足高随机动态道路交叉口环境中对安全性的需求：

步骤3：马尔可夫形式数据搜集，实时搜集当前环境中所有车辆离开道路交叉口的距离、预期转向、车速以及当前环境中存在的车辆作为强化学习算法的状态空间；

步骤4：强化学习训练，训练单策略-双评论家(Actor-Critic1-Critic2)神经网络，通过CMDP环境信息来不断更新神经网络，最终使策略收敛，在高动态的环境中也能实时输出安全、高效、舒适的策略；

步骤5：强化学习测试，在仿真器Carla中实际测试该强化学习算法的性能，并与传统MPC方法对比，重点测试公开的策略在计算实效性、安全性、舒适性与通行效率等方面相对于传统方法的优势。

2.根据权利要求1所述的基于深度强化学习的自动驾驶车辆交叉口无冲突合作方法，其特征在于：所述步骤2中，策略网络用于输出控制行为，价值网络critic1用于评估全局环境的安全、高效与舒适性，critic2用于专门评估全局环境的安全性。

3.根据权利要求1所述的基于深度强化学习的自动驾驶车辆交叉口无冲突合作方法，其特征在于：所述步骤3中，在车辆与环境不断交互的过程中搜集全局奖励函数与安全函数，将搜集到的信息组合形成轨迹以作为神经网络的输入。