[发明专利]一种基于深度强化学习的全自动停车场调度方法

说明书

本发明公开一种基于深度强化学习的全自动停车场调度方法，将全自动停车场的调度问题视作多智能体协作下的全局最优协作问题。步骤包括：1.建立停车场环境的状态模型；2.建立智能体的模型，包括状态、动作和回报函数；3.初始化经验池；4.提出一种带全局模型的深度确定性策略梯度算法GDDPG（Global‑model based Deep Deterministic Policy Gradient），为每个智能体搭建网络模型并进行训练，直到模型精度达到预设阈值，得到多智能体协同路径规划的最优方案。本发明通过建立停车场的状态模型，形式化描述适用于全自动停车场的先验知识和约束；基于深度强化学习算法，训练GDDPG网络。二者结合，为每个智能体规划一条泊车路径，并满足全局最优化目标，实现了全自动停车场的智能性。

技术领域

本发明涉及智能泊车技术领域，具体涉及一种基于深度强化学习的全自动停车场的调度方法。

背景技术

随着我国车辆的保有量不断增加，停车场所停放的车辆越来越多，对于车辆的停放需要更加智能化的管理，社会对全自动化无人停车场的需求应运而生，希望司机行驶至停车场入口后，由智能停车场将车运送至空闲车位；司机取车时，停车场将车运送至停车场司机所在出口。目前全自动停车场一般采用泊车机器人等自动化运送装置，将车辆从一位置转移至另一位置，实现自动化停车/取车。但在同一时间同一路线上大多只允许一辆车进行自动泊车，导致自动泊车的效率较低。如果多辆同时进行泊车的，在控制过程当中可能发送碰撞事故。因此如何高效而安全地解决自动泊车的调度问题，是目前全自动停车场需要首先解决的问题。

目前强化学习在机器人导航、智能交通等领域得到了广泛应用，可以将其应用到全自动停车场。多智能体协作系统有两种架构：集中式强化学习和分布式强化学习。集中式强化学习指由一个中央学习单元负责训练和学习，输入是所有智能体状态的拼接，输出是所有智能体的联合动作。这种方式中学习维数和计算量将随着智能体数量的增加而指数级增长，不适合大型停车场。分布式强化学习中，每个智能体独立进行训练，把其他智能体视为环境的一部分，而智能体之间的协作通过共享数据或者共享策略等通信手段来实现。这种方式中神经网络输入维度不会随着智能体数量增长而剧增，但是需要大量通信过程。

为此，本发明基于停车场的应用场景和特点，提出了一种带全局环境模型的分布式强化学习算法，既避免了维度增加，也不会增加智能体之间的通讯，同时在不增加训练复杂度的情况下，保证了智能体之间的信息共享和协作。

发明内容

本发明所要解决的技术问题是提供一种无人自动停车场的调度方法和系统，令一个泊车机器人定义为智能体（Agent），泊车行为定义为从车库入口到达空余车位的路径规划，提车行为定义为从当前车位到车库出口的路径规划，则全自动停车场内的调度方法转化为多智能体的协同导航问题。

为达到上述目的，本发明创造的技术方案是这样实现的：将自动无人停车场的调度问题视作多智能体协作下的全局最优协作问题。现假设系统环境中存在N个智能体，每个智能体到达一个目标车位时任务完成。则全局最优解定义为:1）为每个智能体输出一条路径，且所有路径不冲突; 2）每个智能体能够避开障碍物; 3）所有当前活动智能体到达目标点的距离总和尽可能的短。

为解决此最优化问题，本发明提出一种带全局环境模型的深度确定性策略梯度算法GDDPG（Global-model based Deep Deterministic Policy Gradient）。即加入环境空间模型，使得整个搜索空间减小，加快收敛速度，更快得到最优动作。该方法步骤如下：