[发明专利]一种基于分层强化学习框架的移动机器人无图导航方法

说明书

本发明提出一种基于分层强化学习框架的移动机器人无图导航方法，包括如下步骤：步骤1、配置交互式训练环境，设置移动机器人参数；步骤2、构建基于分层强化学习模型的导航控制框架；步骤3、采用联合辅助训练方案对网络模型进行训练；步骤4、利用训练好的模型实现导航任务。相比现有基于深度强化学习的分层控制方法，本发明提出的控制框架通过高层决策自动调控不同低层决策输出行为策略来实现导航控制；在模型训练过程中采用联合辅助训练方案，提升低层避障模型性能的同时又加速高层模型收敛，使得模型更适用于未知复杂环境，提高了无图导航性能。

技术领域

本发明涉及一种基于分层强化学习框架的移动机器人无图导航方法，属于机器人导航控制领域。

背景技术

导航是指通过实时规划运动方向，实现引导移动机器人无碰撞地移动到目标位置的技术，是移动机器人最基本功能之一，也是机器人控制领域核心研究内容之一。传统导航方法依赖全局高精度地图，计算效率也会随着环境复杂性的增加急剧降低，给移动机器人在复杂环境中顺利完成导航任务带来了困难。基于深度强化学习(Deep ReinforcementLearning，DRL)的无图导航方法通过感知环境进行局部运动规划，受环境复杂程度影响较小，具有较强的适应能力。

DRL无图导航方法的基本框架均是将传感器数据作为状态信息输入到DRL网络模型中，输出控制动作对机器人进行移动控制。为了得到导航控制策略，决策模型在训练过程中要学习避障与接近目标位置两种行为策略相结合的复杂移动策略。由于这两种基础行为策略结合后的奖励函数难以设计，直接学习导航策略具有较高的难度，从而导致模型在复杂环境中难以收敛。

分层导航控制框架的方法则是将导航动作决策过程分解为高层次与低层次两种决策过程，其中低层决策包含两种低级行为策略，分别用于实现避障与接近目标位置两种子任务，而高层决策用于调控低层决策的行为策略输出，由此影响机器人最终的运动策略。由于不同子任务由不同决策模型独立实现，并在高层决策的调控下间接实现导航控制，从而降低了单个决策模型直接学习导航策略的难度。但现有方法中，高层决策过程均是通过手动设计的控制器来实现，难以保证较高的成功率来应对复杂任务环境。除此之外，由于子任务与主(导航)任务在任务奖励上不完全一致，使用固定的预先训练的低层行为策略而不进行进一步的调整，无法完美适用于最终的导航任务，从而影响导航控制的性能。

发明内容

本发明的目的是为了解决移动机器人难以在复杂未知环境下进行无图导航的问题，提供了一种基于分层强化学习控制框架，可以自动将高层策略与低层策略结合起来实现主任务的无图导航方法，提高移动机器人在复杂环境下的导航性能。

本发明提出的技术方案如下：一种基于分层强化学习框架的移动机器人无图导航方法，包括如下步骤：

步骤1、配置交互式训练环境，设置移动机器人参数；

步骤2、构建基于分层强化学习模型的导航控制框架；

步骤3、采用联合辅助训练方案对网络模型进行训练；

步骤4、利用训练好的模型实现导航任务。

进一步的，所述步骤1具体包括如下步骤：

1.1)移动机器人通过与环境交互的方式学习无图导航策略，采用Stage二维模拟器作为训练环境，调整训练环境中的障碍物布局，增加导航难度；

1.2)在模拟器中设置移动机器人的运动方式，添加激光雷达传感器用于感知环境，并设置激光雷达的传感器类型、扫描精度、以及检测范围。

进一步的，所述步骤2具体包括如下步骤：