[发明专利]一种基于强化学习的交通信号灯控制方法及系统

权利要求书

1.一种基于强化学习的交通信号灯控制方法，其特征在于，包括以下几个步骤：

步骤1：建立信号灯控制Agent模型；

步骤2：建立包含道路交叉口、道路、信号灯的路网模型；

步骤3：构建基于强化学习的交通信号灯控制三要素状态空间State，动作空间Action以及奖励函数Reward；

所述状态空间State包含车辆位置、速度和当前信号灯相位；所述动作空间Action表示信号灯控制Agent模型执行的信号控制动作集合；所述奖励函数Reward表示信号灯控制Agent执行信号控制动作，按照设置的信号灯切换策略进行信号灯相位切换后得到的奖励函数值R；

步骤4：构建基于DQN的信号灯控制网络模型；

输入信息为路网当前状态，输出信息为两种动作的Q值；所述Q值是指基于Q-Learning算法对所述Agent执行动作得到的奖励值的评估值；

步骤5：基于DQN的信号灯控制网络模型；

所述基于DQN的信号灯控制模型利用Q值的计算值与Q值的预估值之间的均方差作为损失函数，利用回放Replay机制和目标网络对所述卷积神经网络中的参数进行训练与更新；

步骤6：信号灯控制Agent选择Q值较大的动作，决策信号灯相位，输出交通信号灯的信号控制策略。

2.根据权利要求1所述的方法，其特征在于，基于当前时刻所述Agent的状态空间s_t和执行动作a_t，以及Agent执行完动作a_t得到的Q值，按照以下公式获得下一个时刻的Q值的计算值Q(s_t+1,a')和预估值TargetQ；

Q(s_t+1,a')＝Q(s_t,a_t)+α[r_t+γ×max_a'{Q(s_t+1,a'；θ')}-Q(s_t,a_t)]

TargetQ＝r_t+γ×max_a'{Q(s_t+1,a'；θ')}

其中，r_t是t时刻的真实奖励，γ是折扣因子，表示未来动作对当前的状态的影响程度；a'是Agent学习中下个时刻执行的某个动作；s_t+1是Agent执行动作a'之后环境进入的新状态；Q值的初始值为0，θ'是Agent基于当前时刻所述Agent的状态s_t和执行动作a_t进行自我学习后，基于DQN的信号灯控制网络模型的参数向量。

3.权利要求1所述的基于强化学习的交通信号灯控制方法，其特征在于：所述交通信号灯相位设有8个，分别为：p₁仅南北通行，南北向的左转与直行信号灯均为绿灯；p₂仅南北通行，南北向的左转信号灯为绿灯，直行信号灯为黄灯；p₃仅南北通行，南北向的左转信号灯为绿灯，直行信号灯为红灯；p₄仅南北通行，南北向的左转信号灯为黄灯，直行信号灯为绿灯；p₅仅东西通行，东西向的左转与直行信号灯均为绿灯；p₆仅东西通行，东西向的左转信号灯为绿灯，直行信号灯为黄灯，p₇仅东西通行，左转绿灯直行红灯；p₈仅东西通行，东西向的左转信号灯为黄灯，直行信号灯为绿灯。