[发明专利]一种基于深度强化学习的全自动停车场调度方法

权利要求书

1.一种基于深度强化学习的全自动停车场调度方法，称为带全局环境模型的深度确定性策略梯度算法GDDPG（Global-model based Deep Deterministic Policy Gradient），其特征在于：所述方法包括如下步骤：步骤1：建立全自动停车场的环境模型；步骤2：建立智能体的模型，包括状态、动作和回报函数；步骤3：为每个智能体搭建网络模型；步骤4：初始化经验池；步骤5：根据算法进行训练，直到模型精度达到预设阈值，得到多智能体协同路径规划的最优方案；步骤6：模型收敛后，停止训练。

2.根据权利要求1所述的全自动停车场的环境模型，其特征在于，包括以下步骤：将停车场的功能区域进行栅格化，其中，每个出口和入口占据一个栅格，每个车位一个栅格；车道按照车位大小划分为不同数量的栅格，白色栅格表示可行区域，黑色栅格表示障碍物；从地图左上角栅格开始，依次对栅格进行编号，以N_x×N_y的地图为例，编号为i的栅格对应的行列坐标(x_i,y_i)为：，其中%表示取余运算，/表示求商运算，⌈∙⌉为向上取整运算。

3.根据权利要求1所述的智能体模型，其特征在于：智能体状态定义为：，其中 为智能体i的状态，N是允许同时处于活动状态的智能体数量，即泊车和提车总数之和；智能体i，时刻t的状态定义为：，其中 为智能体i在时刻t的位置，即在栅格地图上的编号；为智能体i的目标点位置，即分配的目标车位在栅格地图上的编号；为智能体i在时刻t的线速度，归一化为[0,1]区间；即智能体i在时刻t的角速度，归一化为[-1,1]范围内。

4.根据权利要求1所述的智能体模型，其特征在于：每个智能体可执行的动作定义为线速度和角速度的控制指令，即 。

5.根据权利要求1所述的智能体模型，其特征在于：智能体i在时刻t，状态X_t下，采取行为a_t的回报函数定义为： ,其中第一行是到达奖励，智能体与目标点的距离小于阈值D_arrive则视为到达目标点；第二行是碰撞惩罚，智能体与障碍物的距离小于安全阈值D_collsion，则视为即将碰撞；第三行是引导智能体向目标点行驶，每个智能体i衡量在时刻t-1与自己目标点的距离 ，以及在时刻t与自己目标点的距离 ，如果在时刻t与距离自己目标点更远了，则实施惩罚，否则给予奖励。