[发明专利]一种基于Q学习的AUV浮力调节方法

说明书

本发明公开了一种基于Q学习的AUV浮力调节方法，包括根据不同AUV的执行机构定义系统环境状态集、根据浮力调节系统的能力及AUV的实际特性定义浮力调节动作集，从而由此形成初始Q表；确定用以更新Q表的奖励机制，根据epsilon贪婪策略选择浮力调节动作，根据产生的奖励更新Q表；学习过程中Q表各状态下最优动作对应的Q值会不断增加，依据充分学习的Q表可选取最优浮力调节动作。

技术领域

本发明涉及AUV浮力调节技术领域，具体地说是一种基于Q学习的AUV浮力调节方法。

背景技术

当自主式水下潜器(Autonomous Underwater Vehicle，AUV)在水下定深巡航并进入稳态后，会带有一定的攻角(也即纵倾角)，同时执行机构也会始终存在一个操控量(下文用舵角代表这个操控量，对于采用不同执行机构的AUV，此处的操控量会不同，但其本质是相同的)。攻角和舵角的存在会增加AUV的航行阻力，进而消耗能量，降低了AUV的有效航程和作业时间。此外，如果由于海水密度发生变化使AUV的正浮力超出一定范围，甚至可能造成AUV航行失控。因此需要浮力调节系统动态调整浮力和力矩，使AUV始终保持以较小的纵倾角和舵角航行。

目前，国内外浮力调节系统多采用PD控制、滑模控制等，但由于AUV在水下航行时受力较复杂，同时其运动学和动力学模型也存在一定的误差，因此通过其航行时的纵倾角和舵角很难准确分析AUV的实际衡重状态，进而也就难于据此得出实际的浮力调节量，这导致传统控制方法的鲁棒性和智能性不高。

发明内容

为了克服上述现有技术的不足，本发明提供了一种基于Q学习的AUV浮力调节方法，解决传统浮力调节方法鲁棒性和智能性不高等问题。

本发明解决其技术问题所采用的技术方案是：一种基于Q学习的AUV浮力调节方法，包括以下步骤：

根据不同AUV的执行机构构建系统环境状态集，根据浮力调节系统的能力及AUV的实际特性构建浮力调节动作集，从而形成初始Q表；

确定用于更新Q表的奖励机制，根据epsilon贪婪策略选择浮力调节动作，根据产生的奖励更新Q表；

根据更新后的Q表选择浮力调节动作，调节AUV浮力。

所述系统环境状态集为：AUV纵倾角状态与执行机构操控量状态不同组合所对应的状态；其中，AUV纵倾角状态和执行机构操控量状态分别由纵倾角和执行机构操控量根据纵倾角门限值、执行机构操控量门限值离散化处理得到。

所述纵倾角和执行机构操控量进行离散化处理，具体是根据各自的门限值将值域空间划分为3部分：小于门限值相反数部分、处于门限值区间内部分、大于门限值部分；使AUV稳态航行时的纵倾角和执行机构操控量调节到绝对值同时小于相应门限值的状态。

所述浮力调节动作集包括：浮力调节和力矩调节的多种组合对应的调节动作，浮力调节和力矩调节的每次调节量限定为设定值。

所述Q表包括：基于系统环境状态集和浮力调节动作集的Q表中，行表示状态，列表示每个状态下可以执行的各个调节动作；各单元格中期望收益值Q(i,j)中的i表示状态的编号，j表示调节动作的编号。

所述确定用于更新Q表的奖励机制，根据epsilon贪婪策略选择浮力调节动作，根据产生的奖励更新Q表，包括以下步骤：

(1)等待航行稳态的建立，记录航行稳态下的纵倾角和执行机构操控量；当纵倾角的变化量和执行机构操控量的变化量均小于各自变化量阈值且持续设定时间的情况下，认为航行稳态；

(2)判断航行稳态下浮力调节系统是否处于理想状态；所述理想状态为纵倾角和执行机构操控量均处于各自门限值区间内部分时的状态；如果不处于理想状态，则执行根据epsilon贪婪策略选取的调节动作，转步骤(3)；否则等待；