[发明专利]一种基于势能场函数逼近的强化学习方法的泊车策略

说明书

本发明公开了一种基于势能场函数逼近的强化学习方法的泊车策略，通过设计势能场来逼近强化学习过程中的状态价值函数；根据车辆状态价值函数值通过ε‑贪婪策略从预设的可执行动作空间中选择执行动作；利用车辆利用状态转移方程根据车辆当前状态和选择的动作预测车辆下一状态；重复选择执行动作和预测状态这一过程至泊车结束，所有选择的动作序列构成实时泊车规划路径。本发明通过训练势能场参数适用于各种不同的泊车区域，在不同的场景下进行泊车路径规划，具有通用性；可实时地规划泊车路径，且该路径可准确跟踪。

技术领域

本发明属于交通工具技术领域，尤其涉及一种基于势能场函数逼近的强化学习方法的泊车策略。

背景技术

目前，自动泊车技术的主流路线仍大部分基于传统的路径规划算法，主要分为随机路径生成算法、利用函数拟合生成路径的路径规划算法以及基于规则的路径规划算法等三类。其中，随机路径生成算法如RRT(Rapidly-exploring Random Tree，快速随机生成树算法)、PRM(Probabilistic Roadmap,随机路线图算法)等，需要在预先制造好的场景地图内随机产生路径，之后再对随机生成的路径进行碰撞检测(或检测是否在可行驶区域)，再在所有满足要求的路径中通过优化目标选择最优停车路径。利用函数拟合生成路径的方法可用多项式、贝塞尔曲线、反正切函数等，在获得环境信息的情况下，根据选择的函数形式，再利用碰撞约束、泊车的几何约束以及车辆性能约束等条件进行优化求解，最后确定所选函数的参数，从而生成路径。基于规则的路径规划方法主要是按照驾驶经验，根据车辆和泊车位所处的不同位置关系作规划，从而生成整个路径。

但是，上述三类泊车路径规划方法都存在一定的局限性，随机路径生成算法对传感器的要求较高，需要提前利用感知获得整个泊车环境的信息，且难以保证所生成的路径是车辆可实际实现的轨迹。基于函数拟合生成的路径，对车位和车辆的初始位姿有较严格的要求，其对于不同场景几乎没有适用性，且在车辆实际泊车过程中路径跟踪误差较大的情况下难以继续规划，不是一种容易满足实时规划的泊车算法。基于规则的泊车路径规划方法同样不够灵活，且难以保证设定的规则具有完备性，对新的场景需要人工重新制定算法规则。

人工势能场方法是一种经典的机器人路径规划方案，它利用了势能场的概念，一般只将运动物体考虑为质点。但是，在泊车场景下，由于车辆的外形和转向特性，不能将车辆视为简单的质点或圆形，所以直接利用人工势能场规划的路径实际上无法供车辆跟踪控制来实现。势能的定义是，物体或系统由于其位置或状态而具有的能量叫势能，势能不是物体单独拥有的，而是相互作用的物体共有的。车辆在泊车过程中，可认为泊车环境(包括地形、其他车辆)是一个场，车辆在其中具有势能，该势能与车辆位置和状态有关，将势能看作泊车过程所追逐的目标，则泊车过程正是一个追求势能增长的过程。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于势能场函数逼近的强化学习方法的泊车策略。

本发明的目的是通过以下技术方案来实现的：一种基于势能场函数逼近的强化学习方法的泊车策略，通过设计势能场来逼近强化学习过程中的状态价值函数，势能场作用体现为车辆当前状态、目标车位、可行驶区域和车辆参数等不同因素在车辆状态价值函数的定量表示；根据车辆当前状态和预设的可执行动作空间，利用状态转移方程预测每个可执行动作对应的下一状态，然后结合势能场计算每个预测状态的状态价值函数值，通过ε-贪婪策略从中选择状态价值函数值最高一个动作；再根据该动作对应的状态选择下一个动作，重复预测状态和选择执行动作这一过程至泊车结束，最后根据选择动作序列生成实时泊车规划路径。

进一步地，根据需要的路径设计引导线，用引导线和泊车边界约束生成势能场，优化势能场参数，最后得到的势能场函数可以用来表示车辆泊车过程中车辆在每一个状态下的状态价值函数值；其中泊车区域包括可行驶区域和目标车位，泊车边界为泊车区域外轮廓。