[发明专利]高速匝道入口合流的控制方法

权利要求书

1.一种高速匝道入口合流的控制方法，其特征在于，包括：

步骤S1：搭建高速匝道入口合流场景，即将高速匝道入口合流场景划分为至少两个控制区域和一个合流区域；

步骤S2：基于所述控制区域和所述合流区域建立车辆运动控制方程，即以车辆i的位移p_i(t)、速度v_i(t)、加速度u_i(t)及加速度变化率j_i(t)为参数构建所述车辆运动控制方程；其中，i表示车辆的身份编号，车辆进入所述控制区域后被给予一个身份编号i，该身份编号i即表示该车辆进入所述控制区域的先后顺序，i∈n(t)∈n (2)，n(t)即表示在时刻t所述控制区域内车辆的总数，n则表示所述控制区域内的车辆总数；

步骤S3：基于所述车辆运动控制方程构建多智能体马尔科夫决策；

步骤S4：基于所述多智能体马尔科夫决策构建多智能体Q-learning算法，根据所述多智能体Q-learning算法求解车辆合流的最优轨迹，实现车辆合流；

其中，所述控制区域的交接处形成所述合流区域，所述合流区域的长度为d，d＝2×d_safe+l_v (1)；式(1)中，d_safe表示同一车道上前后车辆之间的安全距离，l_v表示单个车辆的平均长度；

所述步骤S2中，所述车辆运动控制方程包括：

v_i(t)＝dp_i(t)/dt (3)；

u_i(t)＝dv_i(t)/dt (4)；

j_i(t)＝du_i(t)/dt (5)；

其中，

分别表示控制区域内允许的车辆的最小速度、最大速度，分别表示控制区域内允许的车辆的最小加速度、最大加速度，分别表示控制区域内允许的车辆的最小加速度变化率、最大加速度变化率；表示车辆i进入控制区域的时刻，表示车辆i离开合流区域的时刻；

所述步骤S3中，所述多智能体马尔科夫决策包括：＜n,S,U,P,R,γ＞(9)；

其中，S表示控制区域内所有车辆的状态集合，S＝{s_i}，s_i表示车辆i的状态，该状态包括车辆i的位移p_i(t)和速度v_i(t)；U表示控制区域内所有车辆采取的动作集合，U＝{u_i}，u_i表示车辆i的加速度u_i(t)；P表示状态转移概率，则P＝{p_i:＝s_i^k→s_i^k+1}∈[0,1]表示车辆i从状态s^k到状态s^k+1的状态转移概率；R表示奖励函数，则R＝{r_i:＝s_i^k→s_i^k+1}表示车辆i从状态s^k到状态s^k+1所获得的奖励函数；γ表示折扣因子，γ∈[0,1]；k表示时间步，i∈{1,2,...,n}；

所述步骤S4中，所述多智能体Q-learning算法具体包括：

S41：初始化Q表及学习总次数N，即

S42：获取车辆i在时间步为k时的状态

S43：根据贪心算法选择时间步为k时的动作，即符合要求的加速度

S44：更新车辆i在时间步为(k+1)时的状态为

S45：判断车辆i是否满足安全约束若满足则执行步骤S46，若不满足则返回步骤S42；

S46：计算车辆i从状态s^k到状态s^k+1所获得的奖励函数R＝{r_i:＝s^k→s^k+1}的奖励值，并根据该奖励值更新Q表；

S47：判断当前的时间步k是否达到学习总次数，若k≥N，则执行步骤S48，否则返回步骤S42；

S48：获得车辆i的最优轨迹，算法终止。