[发明专利]一种基于强化学习的运动规划与自动泊车方法

说明书

本发明公开一种基于强化学习的运动规划与自动泊车方法，其主要包括几个问题：1、通过传感器获取并绘制停车场邻近区域的图像，包括道路、可停泊区域和道路标识等。2、然后通过本发明算法识别道路标识、绘制车辆停泊的轨迹。3、通过本发明算法规划出的运动轨迹操作车辆准确停泊入指定位置，从而实现自动泊车。这即为整个自动泊车的过程，但本发明的算法需要经过强化学习的训练才能运行，本发明的训练过程主要分为几个部分：包括数据集收集、深度学习框架搭建与参数设置、模型训练和模型应用。本发明通过结合了传统的基于规划的自动泊车系统和基于强化学习的自动驾驶的方法的优点来完成自动泊车，提高了自动泊车过程中的速度与效率。

技术领域

本发明涉及自动驾驶技术领域。具体涉及一种基于强化学习的运动规划与自动泊车方法。

背景技术

随着汽车保有量迅速增加，停车位紧张的现象逐渐加剧，由此引发了较多泊车事故，近年来为缓解此类泊车事故的发生，提高人们出行安全，自动泊车系统应运而生。目前关于自动泊车控制策略的研究方向有两个：1.基于经验的泊车运动控制策略；2.基于路径规划与路径跟踪的泊车控制策略。而基于经验的泊车运动控制策略需要大量的经验数据，将经验转化为泊车控制策略需要经历繁杂的步骤，同时使用的算法过于复杂(模糊控制、神经网络)，很难满足系统实时性要求，并且对于不同的泊车环境，往往需要不同的泊车经验数据，适用性较差，不利于实际应用。

基于路径规划与路径跟踪的泊车运动策略先结合车辆的运动学约束规划泊车路径，再使用控制算法进行路径跟踪。(先通过传感器来进行车位以及车身姿态的估算，再规划最优泊车路径)。传统的规划方法(ex.圆弧法)虽然可以满足需求，但约束条件会相应增加，求解过程变得更加复杂，降低了规划精度与响应速度。为了进一步提高自动泊车系统的控制精度和实效性，并且使其在不同泊车环境下都有较好的适用性，本发明使用基于强化学习的自动泊车算法。

发明内容

为解决上述问题，本发明提供一种基于强化学习的运动规划与自动泊车方法，其主要包括几个问题:1.通过传感器获取并绘制停车场邻近区域的图像，包括道路、可停泊区域和道路标识等，然后模拟进训练系统。2.通过本发明算法识别道路标识、绘制停泊轨迹。3.通过本发明算法所规划的运动轨迹操作车辆准确停泊入指定位置，从而实现自动泊车，此即为整个自动泊车过程。本发明就是要对收集的停车经验数据集进行训练，使得其更加有利于自动泊车的进行。本发明的算法需要经过强化学习的训练才能运行，整体训练过程主要分为几个部分：数据集收集(该数据集是基于经验的停车轨迹的规划，通过对多种情况下完整停车轨迹的搜集，来形成本发明的数据集)、深度学习框架搭建与参数设置、模型训练和模型应用。本发明结合了传统的基于规划的自动泊车系统和基于(经验的，也就是强化学习)强化学习的自动驾驶方法之优点完成自动泊车系统的训练，以提高自动泊车过程中的速度与效率。

两种方法结合的优点具体表现为降低了决策树的深度与广度，从而大大减少了强化学习方法一次迭代所需要的时间，从而提高了训练过程的效率。同时传统的基于规划的自动泊车系统的轨迹数据的精度较高，可以较好地用于强化学习。

本发明的技术解决方案为：一种基于强化学习的运动规划与自动泊车方法：

第一，收集强化学习所需要的用到的停车经验数据集；其包含停车开始到结束过程中车辆的坐标信息、速度信息、转向角信息和环境中障碍物的具体坐标信息；