[发明专利]一种同时考虑行程时间和公平性的交通灯控制方法及系统

说明书

本发明提供一种同时考虑行程时间和公平性的交通灯控制方法及系统，其中方法包括：将行程时间策略Q网络的结果值输入至行程时间策略Q网络的交通仿真环境，将公平性策略Q网络的结果值输入至公平性策略Q网络的交通仿真环境，得到每个路口的奖励以及下一步的状态；通过DQN算法，根据行程时间策略Q网络的元组型数据缓存器中的数据对行程时间策略Q网络进行更新，根据公平性策略Q网络的元组型数据缓存器中的数据对公平性策略Q网络进行更新；建立中心Q网络，并将更新完成的行程时间策略Q网络和更新完成的公平性策略Q网络蒸馏至中心Q网络。本发明同时考虑路网中车辆的平均行程时间以及公平性，达到在行程时间相同下，公平性更好的效果。

技术领域

本发明涉及交通灯控制技术领域，特别是涉及一种同时考虑行程时间和公平性的交通灯控制方法及系统。

背景技术

交通灯控制的目的是为了减少交通拥堵问题，交通拥堵问题不仅影响驾驶人乘车人的心情，浪费时间，浪费燃料，车辆等待时候的多排出的CO2、尾气也会影响环境，此外，该问题也会影响城市面貌；再进一步，人们通勤时间的增加也会影响所在企业的生产效率。现有的交通灯控制方法可以分为两大类：传统方法和基于深度强化学习的方法。

传统方法分为定时控制、感应控制和自适应控制。定时控制：交通信号根据预设的配时方案运行。感应控制：事先设定好相位顺序，每个相位先持续预设的相位绿灯最短时间，而后根据车道车辆状态来决定是否继续延长绿灯时间(多次延长不能超过预设的最大值)。自适应控制：根据检测到交通流状态，对信号配时进行调整，按照自适应程度不同，可分为多方案切换自适应控制和实时自适应控制，多方案切换的自适应控制根据不同的交通状态预先计算多组信号灯配时方案，而后根据实时监测到的交通流状态来判定下一周期运行哪组方案；实时自适应控制则根据实时监测到的交通流状态，重新计算最新的交通信号灯配时方案，而后在下一周期运行。

但是，现实中的交通情况可能受很多其他因素的影响，例如驾驶员的偏好，受行人，骑行的人的行为影响，天气和道路本身的特点也会影响交通情况。固定配时和感应控制等方法无法合理应对这样的变化。自适应控制方法虽然能够根据交通状况调整信号灯方案，但是其引入了很强的假设条件，与现实交通情况不一致，因此也无法更好地优化交通状况。并且传统的方法没有考虑每辆车之间的公平性。

基于深度强化学习的方法：该类方法将交通信号灯控制建模成强化学习问题，将路口看作智能体，智能体的动作是交通灯相位，状态是路口目前的交通状况(各车道的车辆数，排队长度等)。智能体根据当前时刻的状态选择一个动作，持续运行一段时间，得到奖励(由优化的目标决定)，根据奖励来改进自身的策略。如IntelliLight采用DQN算法，状态为本路口每个车道的车辆数，排队长度，图像表示；动作为是否切换到下一相位；奖励为进口道上排队长度，等待时间，延迟等指标的加权和。Colight采用DQN算法+图神经网络，状态为本路口以及周围4个路口每个车道的车辆数，动作为下一相位，奖励为进口道上排队长度的相反数。

但是，现有的基于深度强化学习的方法通常只优化单个目标，即车辆的平均行程时间，没有考虑每辆车之间的公平性。

发明内容

针对城市路网中的交通灯控制问题，本发明提供一种同时考虑行程时间和公平性的交通灯控制方法及系统，同时考虑路网中车辆的平均行程时间以及公平性，使得让每辆车延误时间占总行程时间的比例尽量接近。

本发明第一方面提供一种同时考虑行程时间和公平性的交通灯控制方法，包括：

建立行程时间策略Q网络的交通仿真环境、公平性策略Q网络的交通仿真环境、行程时间策略Q网络的元组型数据缓存器及公平性策略Q网络的元组型数据缓存器；

通过DQN算法分别对所述行程时间策略Q网络及所述公平性策略Q网络进行迭代处理，分别得到行程时间策略Q网络的结果值及公平性策略Q网络的结果值；