[发明专利]基于D3QN-PER移动机器人路径规划方法

说明书

本发明公开了基于D3QN‑PER移动机器人路径规划方法，首先进行环境建模，设计完整实验环境；利用移动机器人上的单线激光雷达对所处于当前环境进行观察，并提取出移动机器人所处于当前环境中的所有障碍物信息S_o；利用移动机器人运动学模型，将全局坐标系下的移动机器人自身状态信息S_R、目标位置以及步骤S_1.1提取的所有障碍物信息S_o变换到局部坐标系下；移动机器人及障碍物质点处理，设计完整的实验环境；搭建深度强化学习方法的框架；将获取的环境状态s描述为24维向量；最后进行训练模型，获取路径规划策略，本发明即提升移动机器人自主避障的能力，有利于降低移动机器人全局运动规划难度，同时也延伸了移动机器人的应用范围，具备较强的科研和应用价值。

技术领域

本发明涉及应用深度学习和强化学习结合实现未知场景的路径规划技术领域，具体为基于D3QN-PER移动机器人路径规划方法。

背景技术

目前室内移动机器人主要采用基于已知室内环境模型的路径规划方法，如果环境模型和实际环境存在较大的误差会导致在路径规划过程中出现无法估计的影响，并且对环境建模需要耗费更多的资源。因此，研究对环境模型依赖程度低、自主学习适应室内环境的路径规划方法成为研究热点。

现今，人工智能领域取得一定进展，深度学习、增强学习、深度增强学习等各类人工智能方法被不断提出，并且逐步应用于实际工程领域。其中，深度增强学习结合了深度学习感知抽象能力与强化学习策略寻优能力，能通过端对端的学习方式来实现观测状态(激光雷达)作为算法的输入到决策动作输出的直接控制，训练机器人学习自主避障能力，在很多传统方法无法解决的问题上表现优异。这种端对端的方式对于自动控制系统、移动机器人控制、自动驾驶、游戏博弈等诸多问题的求解，具有天然的适用性。

发明内容

本发明的目的在于提供基于D3QN-PER移动机器人路径规划方法，

本发明是这样实现的：

基于D3QN-PER移动机器人路径规划方法，具体按以下步骤：

分为环境建模、搭建深度强化学习方法的框架和训练模型三个阶段，其特征在于：具体按以下步骤：

S₁:环境建模，设计完整实验环境；

S_1.1:利用移动机器人上的单线激光雷达对所处于当前环境进行观察，并提取出移动机器人所处于当前环境中的所有障碍物信息S_o；

S_1.2:利用移动机器人运动学模型，将全局坐标系下的移动机器人自身状态信息S_R、目标位置以及步骤S_1.1提取的所有障碍物信息S_o变换到局部坐标系下；

S_1.3:移动机器人及障碍物质点处理，设计完整的实验环境；

在步骤S₁中，环境建模和设计完整实验场景的具体过程为：

S_1.1.1:将全局坐标系下的移动机器人自身状态、目标位置以及步骤S_1.1提取的所有障碍物状态信息变换到局部坐标系下，局部坐标系是以移动机器人自身为坐标原点，以移动机器人指向目标位置的方向为x轴正方向，垂直于x轴方向。

S_1.1.2:状态信息表示为一个数组[v_t，ω_t，d_t，θ_t]，其中，v_t和ω_t为t时刻移动机器人的速度和角速度信息，d_t和θ_t为t时刻移动机器人相对终点的距离和角度信息；