[发明专利]交通信号控制方法、系统及介质

权利要求书

1.一种交通信号控制方法，其特征在于，包括：

数据生成步骤：生成专家数据；

网络结构搭建步骤：构建行为策略评价网络结构；

评价方法构造步骤：构造行为策略评价方法；

网络损失函数构造步骤：构造行为策略损失函数；

获取步骤：获取到行为策略信息；

评价网络损失函数构造步骤：构造评价网络损失函数；

时序差分值获取步骤：根据评价网络损失函数，计算得到时序差分值；

行为更新步骤：根据时序差分值，对行为策略进行更新；

预测结果计算步骤：得到预测结果并运用到交通中。

2.根据权利要求1所述的交通信号控制方法，其特征在于，所述数据生成步骤包括：

根据自组织交通信号灯控制方法生成专家数据；

所述网络结构搭建步骤包括：

搭建行为策略神经网络结构，定义行为策略神经网络结构中的网络层类别及层的参数；

搭建评价神经网络结构，定义评价神经网络结构中的网络层类别及层的参数；

行为策略评价网络结构包括行为策略神经网络结构和评价神经网络结构；

行为策略神经网络结构和评价神经网络结构均有双层全连接网络结构，隐层神经单元数为20。

3.根据权利要求1所述的交通信号控制方法，其特征在于，所述评价方法构造步骤包括：

构造一个新的值函数，对值函数进行优化；得到一个新的优势函数；

公式依次如下：

其中，Q^π和π分别由θ_Q和θ_π决定，θ_π为行为策略网络参数，θ_Q为评价网络参数；

s表示：状态集合

a表示：动作决策集合；

st表示：t时刻的状态集合。

4.根据权利要求3所述的交通信号控制方法，其特征在于，所述网络损失函数构造步骤包括：

在离散的行为空间中，根据Gumbel-Softmax构建行为策略网络损失函数；

公式如下：

a_soft＝softmax((gi+π)/τ))

l_actor(θ_π)＝Cross-Entropy(a_soft,a_D)

其中，g＝-log(-log(u)),u～Uniform(0,1),a_D是demos的行为；

asoft表示：经过softmax函数处理的动作决策概率；

gi表示：i时刻的g函数；

Cross-Entropy表示交叉商函数。

5.根据权利要求3所述的交通信号控制方法，其特征在于，所述获取步骤包括：

根据行为策略神经网络结构中的网络层类别及层的参数，计算得到softmax值；

所述评价网络损失函数构造步骤包括：

评价网络使用行为克隆损失函数包括：1-step时序差分损失、n步时序差分损失、大余量分类损失和L2损失。

6.根据权利要求5所述的交通信号控制方法，其特征在于，所述评价网络损失函数中的1-step时序差分损失如下：

y＝R(s,a)+γQ(s′,a′)

其中，s'为下一个状态，由环境采取行动a和下一个行动a'决定，关系为a'～π(a|s')；

梯度为：

y表示：算法模型计算出的此时刻的动作决策的奖励值；

γ表示：奖励的折算系数；

R(s，a)表示：奖励函数。