[发明专利]融合堆叠LSTM与SAC算法的路径规划方法及系统

权利要求书

1.融合堆叠LSTM与SAC算法的路径规划方法，其特征在于：包括以下步骤：

一、收集移动机器人第一视角观测到的常规场景图像及深度场景图像，并设计卷积神经网络提取图像特征；

二、收集目标点、障碍物的位置信息，计算移动机器人与目标点、障碍物的距离；

三、构建堆叠LSTM网络，将提取到的卷积特征、目标点的位置、上一时刻移动机器人的线速度及奖励输入到堆叠LSTM网络中；

四、构建路径规划的SAC深度强化学习模型，将堆叠LSTM网络输出的结果馈送到SAC深度强化学习模型，并引入动态障碍物的位置信息改进在奖励函数，通过改进的奖励函数进行SAC深度强化学习模型的训练，输出移动机器人连续的线速度和角速度，直到移动机器人达到目标点。

2.根据权利要求1所述的融合堆叠LSTM与SAC算法的路径规划方法，其特征在于：常规场景图像尺寸为224×224×1，深度场景图像尺寸为64×64×1。

3.根据权利要求2所述的融合堆叠LSTM与SAC算法的路径规划方法，其特征在于：卷积神经网络包括4个卷积层，每层分别有128、64、16、16个滤波器、3×3的内核，跨距为1，每一层之间用ReLU作为激活函数。

4.根据权利要求3所述的融合堆叠LSTM与SAC算法的路径规划方法，其特征在于：堆叠LSTM网络包括2层LSTM网络和全连接层，卷积特征和目标点的位置输入到第1层LSTM网络中，然后上一时刻的速度v_t-1及上一时刻的奖励r_t-1输入到第2层LSTM网络中，再输入到包含256个神经元的全连接层中。

5.根据权利要求4所述的融合堆叠LSTM与SAC算法的路径规划方法，其特征在于：改进的奖励函数为：

其中，r_c为碰撞奖励，d_t-1为上一时刻t-1下移动机器人与目标位置的距离，d_t为当前时刻t下移动机器人与目标位置的距离，若该距离小于常量阈值T，移动机器人则获得到达奖励r_a，d_d为移动机器人到动态障碍物的距离，D为以动态障碍物为中心的警戒区半径阈值，c_d为警戒区参数，c_r为距离参数，c_l为线速度参数，c_a为角速度参数，为移动机器人在t时刻下的线速度，为移动机器人在t时刻下的角速度。

6.根据权利要求5所述的融合堆叠LSTM与SAC算法的路径规划方法，其特征在于：改进的奖励函数训练流程如下：

1)收集目标点、障碍物的位置信息，计算移动机器人与目标点、障码物的距离；

2)判断移动机器人到目标点间的距离是否小于常量闽值T，若是，则获得到达目标的正奖励，训练结束；若否，进行下一步；

3)判断移动机器人到动态障碍物间的距高是否小于阀值D，若是，获得警戒区负奖励，训练结束；若否，进行下一步；

4)判断是否发生碰撞，若是，获得碰撞的负奖励；若否，获得目标距离、角速度、线速度及时间相关的综合奖励，训练结束。

7.融合堆叠LSTM与SAC算法的路径规划系统，其特征在于：其采用如权利要求1-6中任一所述的融合堆叠LSTM与SAC算法的路径规划方法，并包括：

环境感知模块：通过传感器收集周围环境的信息，用于确定机器人的位置和状态；

状态特征提取模块：将环境感知模块获取到的图像数据作为状态输入，通过深度卷积神经网络提取特征，获取机器人在当前状态下的关键特征；

记忆推理模块：以环境感知模块获取到的运动数据及位置数据作为参考，使用堆叠LSTM网络对环境及目标进行学习与记忆；

行为决策模块：根据移动机器人的观测图像和目标位置等，运用SAC深度强化学习模型训练移动机器人，确定移动机器人在当前状态下的角速度与线速度，以此指导移动机器人运动直到到达目标。