[发明专利]一种基于Q学习的AUV浮力调节方法

权利要求书

1.一种基于Q学习的AUV浮力调节方法，其特征在于，包括以下步骤：

根据不同AUV的执行机构构建系统环境状态集，根据浮力调节系统的能力及AUV的实际特性构建浮力调节动作集，从而形成初始Q表；

确定用于更新Q表的奖励机制，根据epsilon贪婪策略选择浮力调节动作，根据产生的奖励更新Q表；

根据更新后的Q表选择浮力调节动作，调节AUV浮力；

所述确定用于更新Q表的奖励机制，根据epsilon贪婪策略选择浮力调节动作，根据产生的奖励更新Q表，包括以下步骤：

(1)等待航行稳态的建立，记录航行稳态下的纵倾角和执行机构操控量；当纵倾角的变化量和执行机构操控量的变化量均小于各自变化量阈值且持续设定时间的情况下，认为航行稳态；

(2)判断航行稳态下浮力调节系统是否处于理想状态；所述理想状态为纵倾角和执行机构操控量均处于各自门限值区间内部分时的状态；如果不处于理想状态，则执行根据epsilon贪婪策略选取的调节动作，转步骤(3)；否则等待；

(3)重新等待航行稳态的建立，根据新航行稳态和前一航行稳态下纵倾角和执行机构操控量的变化情况计算奖励值，利用产生的奖励并根据如下Bellman公式对Q表进行更新：

其中，NewQ(s_i,a_j)为更新后的Q值；Q(s_i,a_j)为更新前的Q值；maxQ(s_i+1,a)表示采取动作a_j后到达的新的状态s_i+1下可能采取的各动作对应的Q值中的最大值，其中，a表示采取动作a_j后到达的新的状态s_i+1下可能采取的动作，A表示动作集，a∈A；α为学习率，R(s_i,a_j)为在状态s_i执行调节动作a_j转移至状态s_i+1所产生的瞬时奖励；γ为折扣率；

所述奖励值通过奖励函数获取，如下式所示：

其中，R为当前奖励值，P_i和R_i为当前稳态下的纵倾角和执行机构操控量，P_i-1和R_i-1为上一稳态下的纵倾角和执行机构操控量；

当纵倾角和执行机构操控量绝对值均变小时，则说明调节有效，给予正奖励，即+rValue；当纵倾角和执行机构操控量绝对值均变大时，说明调节起到了反作用，给予负奖励，即-rValue；其它情况均给予零奖励(0)。

2.根据权利要求1所述的基于Q学习的AUV浮力调节方法，其特征在于：所述系统环境状态集为：AUV纵倾角状态与执行机构操控量状态不同组合所对应的状态；其中，AUV纵倾角状态和执行机构操控量状态分别由纵倾角和执行机构操控量根据纵倾角门限值、执行机构操控量门限值离散化处理得到。

3.根据权利要求2所述的基于Q学习的AUV浮力调节方法，其特征在于：所述纵倾角和执行机构操控量进行离散化处理，具体是根据各自的门限值将值域空间划分为3部分：小于门限值相反数部分、处于门限值区间内部分、大于门限值部分；使AUV稳态航行时的纵倾角和执行机构操控量调节到绝对值同时小于相应门限值的状态。

4.根据权利要求1所述的基于Q学习的AUV浮力调节方法，其特征在于：所述浮力调节动作集包括：浮力调节和力矩调节的多种组合对应的调节动作，浮力调节和力矩调节的每次调节量限定为设定值。

5.根据权利要求1所述的基于Q学习的AUV浮力调节方法，其特征在于：所述Q表包括：基于系统环境状态集和浮力调节动作集的Q表中，行表示状态，列表示每个状态下可以执行的各个调节动作；各单元格中期望收益值Q(i,j)中的i表示状态的编号，j表示调节动作的编号。

6.根据权利要求1所述的基于Q学习的AUV浮力调节方法，其特征在于：所述根据更新后的Q表选择浮力调节动作具体为：

所述更新后的Q表通过Q学习的进行，各状态下最优动作对应的Q值增加，某种状态的最大Q值所对应的调节动作为选取的浮力调节动作。