[发明专利]一种基于深度Q学习的智能水下滑翔器行为体系结构规划方法

权利要求书

1.一种基于深度Q学习的智能水下滑翔器行为体系结构规划方法，其特征在于：包括以下步骤：

S1、对智能水下滑翔器行为体系结构进行分层设计：

(1)、定义智能水下滑翔器任务、行为和动作的概念：将智能水下滑翔器需要完成的工作定义为任务，将智能水下滑翔器为了完成任务而产生的一连串动作的集合定义为行为，将智能水下滑翔器在在水下需要完成所规划的行为而产生的具体的控制指令定义为动作；

(2)、将智能水下滑翔器行为体系结构划分为三个层次：任务分解层、行为规划层和动作执行层；

S2、建立智能水下滑翔器基于Multi-agent、Q-learning的理论模型：

(1)、定义动作集合：以某一速度前进、向左或向右旋转一定角度、上浮、下潜、后退、停止；定义行为集合：趋向目标、墙壁跟踪和避障；定义任务集合：区域检测、管道检测、地形扫描、路径规划、坝体扫描、目标追踪；

(2)、任务被分解为行为序列，全局航路规划根据先验环境信息规划出一系列可行的路径点，智能水下滑翔器从布放位置开始出发，依次达到各路径点；由于路径点为已知环境下的全局规划，因此在航渡过程中，智能水下滑翔器根据实时环境状态，调用避障行为安全达到路径点；任务中智能水下滑翔器主要调用墙壁跟踪行为，按预定的探测目标完成任务；

(3)建立动作-行为学习模型；建立任务-行为学习模型；建立训练神经网络；

S3、进行仿真训练：

基于训练神经网络改进Q学习的方法在仿真系统中训练智能水下机器人动作完成行为、行为完成任务。

2.根据权利要求1所述的一种基于深度Q学习的智能水下滑翔器行为体系结构规划方法，其特征在于：所述S1中任务分解层将智能水下滑翔器受到的任务指令分解为各个行为，行为规划层通过获取到的环境信息对完成的任务所需要的行为进行规划，动作执行层利用深度Q学习的方法训练智能水下滑翔器动作完成动作规划，通过控制智能水下滑翔器执行机构产生动作达到目标指令。