[发明专利]基于图像特征深度强化学习的AUV管道循管方法

权利要求书

1.一种基于图像特征深度强化学习的AUV管道循管方法，其特征在于依次按如下步骤进行：

步骤1根据公式(1)和公式(2)的定义建立两个策略模型π_old(a|s)和π_θ(a|s)：

π_old(a|s)＝N(μ(s)，∑)， (1)

π_θ(a|s)＝N(μ(s)，∑)， (2)

所述π_old(a|s)表示旧策略模型；π_θ(a|s)表示正在训练的策略模型；a表示策略模型计算得到的动作；s表示AUV的状态；N表示高斯分布，∑为该高斯分布的协方差矩阵，使用单位阵表示，μ(s)为该高斯分布的均值；所述μ(s)是从AUV的状态数据s到AUV的线速度和角速度的映射，采用深度神经网络表示，所述深度神经网络包含1个输入层、3个卷积层、1个全连接层和1个输出层，构建步骤如下：

步骤1.1第1层为输入层，输入一幅大小为64×64像素的3通道RGB图像，作为AUV的状态数据s；

步骤1.2第2层为卷积层，使用32个大小为6×6的卷积滤波器，以5个像素为步长进行卷积运算，并使用修正线性单元作为其激活函数；

步骤1.3第3层为卷积层，使用64个大小为4×4的卷积滤波器，以3个像素为步长进行卷积运算，并使用修正线性单元作为其激活函数；

步骤1.4第4层为卷积层，使用64个大小为2×2的卷积滤波器，以2个像素为步长进行卷积运算，并使用修正线性单元作为其激活函数；

步骤1.5第5层为全连接层，由512个单元进行全连接组成；

步骤1.6第6层为输出层，输出μ(s)，即AUV的线速度和角速度；

步骤1.7建立从AUV的状态到一个实数值的映射，所述映射共享μ(s)网络结构的前5层，在第5层之后再构建另一个输出V(s)；

步骤2.采用近端策略优化强化学习算法，训练π_old(a|s)和π_θ(a|s)的深度神经网络参数：

步骤2.1初始化PPO算法的裁剪参数，轨迹长度T等超级参数；

步骤2.2初始化策略模型π_old(a|s)和π_θ(a|s)，使用-1.0到1.0的随机数对其中的神经网络参数进行初始化；

步骤2.3令迭代次数i＝1；

步骤2.4用旧策略模型π_old(a|s)与环境实体进行交互，获得T个时间步长的经验数据{s_t，a_t，r_t，v_t，d_t}，所述t表示时刻且1＜t＜T，s_t表示AUV搭载的摄像机在第t时刻采集到的图像，用来表示AUV的状态数据，a_t表示在第t个时刻旧策略模型π_old(a|s)指导AUV所选择的动作，r_t表示AUV执行动作a_t时所获得的即时奖励，v_t表示AUV在状态的值函数值，d_t表示AUV执行动作a_t后该回合是否结束，具体步骤如下：

步骤a)令t＝1；

步骤b)AUV所搭载的摄像机采集到图像s_t，将其输入旧策略模型π_old(a|s)，得到动作a_t；

步骤c)AUV执行动作a_t，从摄像头获取到图像s_t+1，根据s_t+1判断是否远离管道，若远离管道，则r_t＝-0.1且d_t＝1，否则r_t＝0.05且d_t＝0；

步骤d)根据公式v_t＝r_t+γV(s_t|1)计算得到v_t；

步骤e)将s_t、a_t、r_t、v_t、d_t组成一个5元组{s_t，a_t，r_t，v_t，d_t}，作为经验数据存储到数据集D中；

步骤f)令t＝t+1，若t＞T，则转入步骤2.5，否则转入步骤2.4b)；

步骤2.5对于数据集D中的每个5元组{s_t，a_t，r_t，v_t，d_t}，其中，根据v_t、d_t、r_t，按照公式(3)计算每步动作的优势值A_t，并将其插入数据集D中；

A_t＝-V(s_t)+r_t+γr_t+1+...+γ^T-t+1r_T-1+γ^T-1V(s_T) (3)

所述A_t表示执行动作a_t的优势值；V(s_t)表示在t时刻状态的值函数；r_t表示AUV执行动作a_t时所获得的即时奖励；γ表示折扣因子；

步骤2.6更新旧策略模型π_old(a|s)，即令π_old(a|s)＝π_θ(a|s)，将当前策略模型的神经网络参数赋值给旧策略模型的神经网络；

步骤2.7利用收集到的数据集D，采用随机梯度下降法SGD或Adam等优化方法对损失函数进行优化，更新当前策略模型的参数，具体步骤如下：

步骤a)令k＝1；

步骤b)令j＝1；

步骤c)从数据集D中取出b条经验数据，根据公式(4)计算出损失函数值及其梯度值g；

所述L^CLIP(θ)表示需要优化的损失函数；表示对括号内的表达式求期望值；表示动作a_t的优势函数估计值；ε表示截断参数，PPO算法的一个超级参数，通常设定为0.2；

步骤d)更新当前策略模型π_θ(a|s)的θ，即θ_t+1＝θ_t+g；

步骤e)令j＝j+1，若j＞J，则转到步骤f)，否则转到步骤c)；

步骤f)令k＝k+1，若k＞K，则转到步骤2.8，否则转到步骤b)；

步骤2.8令i＝i+1，若i＞M，则结束训练，得到了以为θ参数的循管策略模型π_θ(a|s)，转入步骤3，否则转入步骤2.4；

步骤3.将智能决策模型π_θ(a|s)部署到AUV中，用于控制其循管运动；

步骤3.1利用AUV搭载的摄像机中拍摄一幅大小为64×64像素的3通道RGB图像，作为AUV的状态数据s；

步骤3.2将状态数据s输入智能决策模型π_θ(a|s)，计算得到AUV应执行的循管动作a；

步骤3.3向AUV发出命令，使其执行循管动作a；

步骤3.4若接收到人为命令，则AUV的运动由远程操控人员接管，否则延时q秒后转入步骤3.1。