[发明专利]一种基于深度Double-Q网络的Nao机器人路径规划方法

说明书

本发明涉及一种基于深度Double‑Q网络的Nao机器人路径规划方法，针对不确定环境，利用机器人获取的局部信息，实现在室内环境主动避障、规划路径达到设定的目标点，提高了常用的路径规划算法的泛化能力。通过对训练环境数据预处理来逼近真实场景下机器人可获取的局部环境信息以及设置合适的状态空间，动作空间和奖励函数，本方法可以直接利用获取的局部环境信息，在未知的环境中进行有效避障和路径规划，在一定程度上克服了传统算法需要获取充足的环境信息并再次进行建模、探索环境的不足，提高了算法的泛化能力，利于解决未知环境下的路径规划问题。

技术领域

本发明属于深度强化学习、路径规划领域，涉及一种基于深度Double-Q网络的Nao机器人路径规划方法。

背景技术

路径规划是指在具有障碍物的环境内按照一定的评价标准，寻找一条从起始状态(包括位置和姿态)到达目标状态(包括位置和姿态)的无碰路径的技术。

目前路径规划算法可大致分为：经典算法和人工智能算法。传统的路径规划算法主要有：模拟退火算法、人工势场算法、禁忌搜索算法等。随着人工智能的兴起，因其具有一定的自我学习，自我更新和记忆能力，很多基于人工智能的路径规划算法被提出，典型的有：蚁群算法、神经网络算法、遗传算法等。上述算法大多需要对机器人周围环境信息有充分了解，然后基于某种规则进行导航规划，虽然这些方法也都取得了不错的效果，但是由于机器人所处的工作环境较为复杂，环境状态多变，多数实际应用环境变化较多，不具备完全获取环境信息的条件，所以需要机器人能够从未知的环境中识别路线，能够应对不同的工作场景，完成路径规划任务。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于深度Double-Q网络的Nao机器人路径规划方法，实现机器人不仅能够在特定的场景识别路径，而且还能具备在不同场景中规划路径的能力，提高机器人的路径规划的适应能力。

本发明针对不确定环境，利用机器人获取的局部信息，实现在室内环境主动避障、规划路径达到设定的目标点，提高了常用的路径规划算法的泛化能力。

技术方案

一种基于深度Double-Q网络的Nao机器人路径规划方法，其特征在于步骤如下：

步骤1、虚拟环境信息预处理：

以Choregraphe软件中Naoqi平台作为训练Nao机器人的虚拟环境，对虚拟环境中的信息做预处理：

1、面向障碍物时，计算Nao机器人相对障碍物的夹角

其中DX_relative，DY_relative是X，Y方向机器人与障碍物之间的相对距离，再计算反正切函数即可得到相对夹角；

2、根据偏航角和相对距离，对偏航角进行划分，推算虚拟环境的超声波信息：

其中Sonar_info为推算声纳信息；left为左侧声纳推算，right为右侧声纳推算距离；D_r为虚拟环境中Nao机器人与障碍物之间的距离；传感器中的脚底缓冲器在虚拟环境中设置为[0,0]；

步骤2、深度Double-Q网络虚拟仿真环境实验：

设定马尔可夫模型和奖励函数：

S＝[pos_x_agent,pos_y_agent,pos_θ_agent,Δx,Δy,distance,Sensor_info]