[发明专利]融合堆叠LSTM与SAC算法的路径规划方法及系统

说明书

本发明涉及路径规划技术领域，涉及一种融合堆叠LSTM与SAC算法的路径规划方法及系统，方法包括：一、收集常规场景图像及深度场景图像，并设计卷积神经网络提取图像特征；二、收集目标点、障碍物的位置信息，计算移动机器人与目标点、障碍物的距离；三、构建堆叠LSTM网络，将提取到的卷积特征、目标点的位置、上一时刻移动机器人的线速度及奖励输入到堆叠LSTM网络中；四、构建路径规划的SAC深度强化学习模型，并引入动态障碍物的位置信息改进在奖励函数，进行的训练，输出移动机器人连续的线速度和角速度，直到移动机器人达到目标点。本发明能提高对未知目标的泛化能力及规划到指定目标成功率。

技术领域

本发明涉及路径规划技术领域，具体地说，涉及一种融合堆叠LSTM与SAC算法的路径规划方法及系统。

背景技术

传统的路径规划方法，即基于地图的方法，主要依赖同步定位与建图(Simultaneous Localization and Mapping,SLAM)和导航。一个突出的问题是，这些方法易受到传感器噪声累积的影响，这些噪声沿着从映射、定位到导航的过程传播，导致这些方法累积误差较大。

为了减少累计误差，越来越多的研究人员将时间精力投入到基于深度强化学习(Deep Reinforcement Learning,DRL)的端到端方法上，以人工智能体学习策略时产生的最大化奖励来评估规划路径的性能。深度强化学习的路径规划方法是一种新的端到端方法，它基于第一人称视觉信息帮助智能体规划一条从起点到达特定目标位置的无碰最优路径。

有文献提出了一种新的基于近端策略优化(Proximal Policy Optimization,PPO)算法的室内路径规划方法，它可以在室内环境中仅使用RGB图像和里程计来到达之前没有训练过的新目标。堆叠的LSTM结构旨在帮助记忆环境，并学习建立内部表征。该模型以RGB图像作为视觉输入，以里程计作为目标参考最后一个时间步中的速度和回报有助于理解路径规划的任务。最后，在模拟环境和真实环境下进行了实验，到达新目标的成功率为60％。

有文献提出了一种新的基于视觉的路径规划注意力概率模型，该模型以ResNet18最顶卷积层的空间位置为子窗口，编码了观测对象的语义信息，以及它们所在位置的空间信息。注意力概率模型由三个部分组成:目标、动作和记忆。“什么”和“哪里”的这种组合使智能体有效地规划到目标对象的最优路径。

有文献提出了一种多目标协作的基于视觉的路径规划模型。引入了两种新的路径规划辅助任务：逆动力学模型和多目标协同学习。逆动力学模型在给定智能体的上一状态和当前状态的情况下，预测上一动作。通过预测动作和真实动作的比较，可以确定顺序状态之间的关键差异，充分捕获观测与目标之间的线索，这可以解决深度强化学习中的奖励稀疏问题。多目标协同学习可以将一个已成功到达目标生成的样本用于另一个相关目标的路径规划，显著提高了样本利用率。

但是，现有的技术没有充分理解环境中的信息，对未知新目标的泛化性能差、动态避障能力差，且对深度强化学习的奖励函数设计较简单，没有充分利用移动机器人本身的运动信息，因此会出现奖励稀疏的问题与推理不充分的问题，进而使得训练收敛速度变慢，到达目标的成功率变低，规划的路径不是最短最优。

发明内容

本发明的内容是提供一种融合堆叠LSTM与SAC算法的路径规划方法及系统，其能够提高了对未知目标的泛化能力及规划到指定目标成功率。

根据本发明的一种融合堆叠LSTM与SAC算法的路径规划方法，其包括以下步骤：

一、收集移动机器人第一视角观测到的常规场景图像及深度场景图像，并设计卷积神经网络提取图像特征；

二、收集目标点、障碍物的位置信息，计算移动机器人与目标点、障碍物的距离；

三、构建堆叠LSTM网络，将提取到的卷积特征、目标点的位置、上一时刻移动机器人的线速度及奖励输入到堆叠LSTM网络中；