[发明专利]一种基于深度Q学习的智能水下滑翔器行为体系结构规划方法

说明书

本发明涉及水下滑翔器技术领域，具体的说是一种基于深度Q学习的智能水下滑翔器行为体系结构规划方法，包括对智能水下滑翔器行为体系结构进行分层设计；建立智能水下滑翔器基于Multi‑agent、Q‑learning的理论模型。本发明采用三层分布式控制结构，将集中控制与分散控制相结合，减少了水下通信总量，另一方面，只需对相应管理碟机进行动作控制，根据预先设定的Q‑learning算法，最终工作碟机会趋于和管理碟机近乎一致的方向进行动作；使用训练神经网络改进Q学习方法训练智能水下机器人，能够降低系统学习时间，提高学习效率，提高智能水下机器人的自适应性。

技术领域

本发明涉及水下滑翔器技术领域，具体为一种基于深度Q学习的智能水下滑翔器行为体系结构规划方法。

背景技术

随着海上交通运输和海洋资源开发的日益增多，海上事故也时有发生。目前，搜救人员大多是通过自主式水下滑翔器对失事海域进行搜救，对水下滑翔器进行准确快速的行为规划是保证水下滑翔器在复杂空域环境下安全滑翔的重要手段，行为规划往往是按照一定的评价标准体系，在给定的规划空间内，寻找运动物体从起始点到达目标点并且满足约束条件和一定性能指标的最优或最可行轨迹，使运动物体安全地完成预定任务，飞行器在空中的路径选择问题一直以来是研究的重点。但是当水下滑翔器在复杂环境中完成复杂作业任务时，仍需要人为的参与辅助，无法独立完成任务，其在复杂水下环境中行为规划与决策的智能化水平还有一定的不足。

为此，我们推出一种基于深度Q学习的智能水下滑翔器行为体系结构规划方法。

发明内容

本发明的目的在于提供一种基于深度Q学习的智能水下滑翔器行为体系结构规划方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于深度Q学习的智能水下滑翔器行为体系结构规划方法，包括以下步骤：

S1、对智能水下滑翔器行为体系结构进行分层设计：

(1)、定义智能水下滑翔器任务、行为和动作的概念：将智能水下滑翔器需要完成的工作定义为任务，将智能水下滑翔器为了完成任务而产生的一连串动作的集合定义为行为，将智能水下滑翔器在在水下需要完成所规划的行为而产生的具体的控制指令定义为动作；

(2)、将智能水下滑翔器行为体系结构划分为三个层次：任务分解层、行为规划层和动作执行层；

S2、建立智能水下滑翔器基于Multi-agent、Q-learning的理论模型：

(1)、定义动作集合：以某一速度前进、向左或向右旋转一定角度、上浮、下潜、后退、停止；定义行为集合：趋向目标、墙壁跟踪和避障；定义任务集合：区域检测、管道检测、地形扫描、路径规划、坝体扫描、目标追踪；

(2)、任务被分解为行为序列，全局航路规划根据先验环境信息规划出一系列可行的路径点，智能水下滑翔器从布放位置开始出发，依次达到各路径点；由于路径点为已知环境下的全局规划，因此在航渡过程中，智能水下滑翔器根据实时环境状态，调用避障行为安全达到路径点；任务中智能水下滑翔器主要调用墙壁跟踪行为，按预定的探测目标完成任务；

(3)建立动作-行为学习模型；建立任务-行为学习模型；建立训练神经网络；

S3、进行仿真训练：

基于训练神经网络改进Q学习的方法在仿真系统中训练智能水下机器人动作完成行为、行为完成任务。

作为本技术方案的进一步优化，所述S1中的任务分解层将智能水下滑翔器受到的任务指令分解为各个行为，行为规划层通过获取到的环境信息对完成的任务所需要的行为进行规划，动作执行层利用深度Q学习的方法训练智能水下滑翔器动作完成动作规划，通过控制智能水下滑翔器执行机构产生动作达到目标指令；