[发明专利]一种基于深度强化学习的机器人全局路径规划方法

说明书

本发明提出一种基于深度强化学习的机器人全局路径规划方法，属于机器学习和全局路径规划技术领域。该方法在训练阶段：首先在场景内安装俯视摄像机，并构建深度神经网络，设定一条训练路径后，深度神经网络根据摄像机所拍摄的图片输出机器人执行的动作，并根据动作执行的效果对深度神经网络的参数进行优化；然后更新目标位置，对机器人进行不同的路径规划训练，得到最终深度神经网络。在执行阶段：最终深度神经网络根据摄像机拍摄图像输出机器人执行的动作，机器人执行该动作；若机器人执行完动作后到达目标终位置，则机器人完成全局路径规划。本发明具有较强的实时性，无需人为参与，不需要进入场景预先构建环境地图，适用于多种场景，成本低廉。

技术领域

本发明涉及一种基于深度强化学习的机器人全局路径规划方法，属于机器学习领域和全局路径规划技术领域。

背景技术

近年来，机器人成为高技术领域内迅速发展起来的重要产业之一，全局路径规划技术又是机器人技术研究的重要领域。良好的机器人全局路径规划技术可以减少机器人作业时间，减少能源损耗，提高机器人的工作效率，提升人类生活水平质量等。例如在一些环境恶劣，人类难以到达的事故现场，良好全局路径规划技术可以使抢险机器人穿越障碍到达目标位置实施救援任务；在家庭生活中，通过服务机器人的“眼睛”和“耳朵”了解家庭环境，从一个房间到达另一个房间帮助家庭分担家务。因此，移动机器人的全局路径规划技术在现在和将来都拥有很广阔的应用和发展空间，具有非常巨大的研究价值。而传统的全局路径规划技术，机器人需要携带大量的传感器去感知环境，预先在场景中构建全局地图。该方法在环境发生变化时需要重新建立连通模型，适应能力差，实用性不强。

当前公开技术文献中，如“一种基于ROS的移动机器人室内环境探索系统与控制方法”，专利公开号为105487535A。该技术基于机器人操作系统，人工操控搭载雷达传感器的移动机器人在场景中构建局部地图，将局部地图拼接成全局地图，并作为移动机器人在场景中运动控制的基础，应用到后期的全局路径规划任务中。该技术首先要求构建场景的全局地图，并且全局地图质量的好坏对后期移动机器人在场景中的应用效果产生决定影响。然而，在很多实际的应用场景中我们不能够构建高质量的全局地图，甚至不具备预先进入场景内构建全局地图的条件。因此，多种限制因素导致该技术实际应用中工作量巨大，人机交互的体验感大幅下降，不能够方便快捷的完成任务，难以在实际场景中大量的应用与推广。

目前，图像信息处理的很多问题都已经开始用深度神经网络进行解决，并取得了广泛的成功，深度神经网络能够准确的提取特征并有效的表达模型信息。强化学习又称评价学习，是一个不断的试探过程。它通过不断的行动与评价获得知识，改进行动方案以适应环境，使最终的评价函数值最大，达到学习的目的。

发明内容

本发明的目的是为克服已有技术的不足之处,提出了一种基于深度强化学习的机器人全局路径规划方法。本发明具有较强的实时性，且无需人为参与，不需要进入场景预先构建环境地图，能够适用于多种不同场景，成本低廉。

本发明提出一种基于深度强化学习的机器人全局路径规划方法，包括以下步骤：

本发明提出的一种基于深度强化学习的机器人全局路径规划方法，其特征在于，分为训练阶段和执行阶段，包括以下步骤：

1)训练阶段；具体步骤如下：

1-1)在需要进行机器人全局路径规划的场景内距离地面h_g的屋顶安装俯视摄像机，俯视摄像机对所在场景进行实时拍摄，得到该场景的一系列RGB图像；

1-2)建立评判机器人运动收益的深度神经网络，记为N_R，具体步骤如下：