[发明专利]基于图像特征深度强化学习的AUV管道循管方法

说明书

本发明公开一种基于图像特征深度强化学习的AUV管道循管方法。首先，将AUV循管控制问题建模为连续状态、连续动作的Markov决策过程；其次，控制策略抽象为AUV观测状态（摄像头获取的图像）到运动动作的映射，并利用深度神经网络表达；最后，利用近端策略优化（PPO）方法自主采集数据并训练深度神经网络，最终获得具有一定泛化能力的端到端的循管控制策略。仿真结果表明，本发明能够有效控制AUV的循管动作，而且对于新的和未知的管道几何结构具有较强的泛化能力。该方法是一种端到端(end‑to‑end)的视觉循管运动控制方法，无需知晓AUV的运动学/动力学模型，也无需人工特征提取。

技术领域

本发明涉及智能海洋装备领域，尤其是一种自适应能力好、泛化能力强、软硬件成本低的基于图像特征深度强化学习的AUV管道循管方法。

背景技术

目前，石油、天然气和电力公司拥有大量的地下管道或电缆网络。由于这些管道和电缆广泛地分布在海洋中，必须由受过专门训练的操作人员使用远程遥控水下机器人（Remote Operated Vehicle，ROV）才能来执行日常检查和维护工作。不仅人力成本及维护代价高，耗费时间长，而且高度受制于地面和洋面的天气条件。故此，产业界对水下管道进行自动检测、测量和维护的需求不断增长并日益迫切起来，而自主水下航行器（AutonomousUnderwater Vehicle，AUV）的出现为这一需求的解决提供了现实、方便的硬件条件。

AUV是一种由传感器供电的、综合了人工智能和其他先进计算技术的任务控制器，集成了深潜、传感、环境自适应、能量储存转换与推进等多种功能，可以在没有任何表面容器的情况下从海岸部署并自主搜集来自传感器的所有有用数据，无需借助人力操控来执行预设任务，从而有望显著降低所需的成本和工时，有效打破外界气候环境的限制。然而，采用AUV进行自主管道检测的主要难点在于，控制算法只有在有效适应变化条件或未知条件的前提下，才能稳健地跟踪管道。为此，有必要通过仿真对水下管道的循管跟踪过程进行预演，生成优化的循管策略，进而保证循管跟踪的顺利开展和水下管道设施的安全性，这一问题已引起学术界和产业界的极大关注。

Zhao Yue提出了一种基于观测器的、自适应神经网络的流水线跟踪控制方法，通过构造自适应状态观测器来估计ROV的状态，利用局部RNN学习未知函数；Fang Ming-Chung等人利用人工视觉算法获得机器人相对于管道的相对角位置，并采用重力导数比例导数范数来控制机器人；Li Zhijun等人则提出了AUV轨迹跟踪的自适应控制律，解决了与水动力阻尼系数相关的参数估计问题。不过，这些方法均要求建立精确的动力学模型，而在实际应用中水下环境非常复杂，欲获得水下机器人的精确动力学模型非常困难，这意味着AUV控制器的控制参数集合难以确定，甚至是不可能的。此时，若在一个不精确的动力学模型指导下，上述控制方法的性能将不可避免地出现严重退化。