[发明专利]一种基于强化学习的车辆泊位预测方法

权利要求书

1.一种基于强化学习的车辆泊位预测方法，其特征在于：按下述步骤进行：

a、获取目标停车场的停车泊位历史数，并对所述停车泊位历史数进行归一化处理形成数据集，以数据集中60-90％的数据作为训练集，以数据集中10-40％的数据作为测试集；

b、基于强化学习理论构建停车场泊位预测模型，将训练集输入至停车场泊位预测模型进行训练；

c、利用训练后的停车场泊位预测模型进行目标停车场的车辆泊位预测，以测试集验证停车场泊位预测模型的预测准确性。

2.根据权利要求1所述的基于强化学习的车辆泊位预测方法，其特征在于：所述步骤a中停车泊位历史数为某一时间段的目标停车场的泊位数，对所述停车泊位历史数进行归一化处理，将其压缩为0到1之间的实数，其归一化处理的公式如下：

其中，d为归一化处理之前的原始数据，d^*为归一化处理后的数据，d_max为原始数据各字段中数据最大值，d_min为原始数据各字段中数据最小值。

3.根据权利要求2所述的基于强化学习的车辆泊位预测方法，其特征在于：所述停车场泊位预测模型采用基于Actor-Critic架构的PPO算法；所述Actor-Critic架构包括Actor网络和Critic网络；所述Critic网络通过值函数反馈给Actor网络用于反馈训练的好坏；

Critic网络的计算过程如下：

h_c,1＝relu(x_j*w_c,1+b_c,1)

h_c,2＝relu(h_c,1*w_c,2+b_c,2)

h_c,5＝relu(h_c,4*w_c,5+b_c,5)

L_critic_j＝relu(h_c,5*w_c,out+b_c,out)

Actor网络的计算过程如下：

h_a,1＝relu(x_j*w_a,1+b_a,1)

h_a,2＝relu(h_a,1*w_a,2+b_a,2)

h_a,5＝relu(h_a,4*w_a,5+b_a,5)

L_actor_j＝relu(h_a,5*w_a,out+b_a,out)

其中，x_j为输入序列第j个数据，w_c,i和b_c,i分别是Critic网络的权重和偏置，i＝1,2,...,5，w_c,out和b_c,out相应的为Critic网络输出层的权重和偏值，L_critic_j作为判定Actor网络训练好坏的值函数，w_a,i和b_a,i分别是Actor网络的权重和偏置，i＝1,2,...,5，w_a,out和b_a,out相应的为Critic网络输出层的权重和偏值；

选择relu为激活函数，L_actor_j为模型预测输出，r_t(θ)为当前t时刻模型新旧策略的比值，在此处该新旧策略即为模型训练前后的状态值，θ表示策略参数更新的向量，表征一种映射关系，为策略更新的优势，ε为PPO算法的超参数，ε取均值0.2，L^CLIP(θ)表示通过截断概率比，将概率比r_t(θ)处于区间[1-ε,1+ε]之外的激励消除，最后取截断目标和未截断目标中的最小值的均值，并将该均值的最小值作为模型损失函数loss。