[发明专利]一种基于深度强化学习的氢燃料无人机能量管理方法

权利要求书

1.一种基于深度强化学习的氢燃料无人机能量管理方法，其特征在于，包括以下步骤：

步骤1：计算无人机所需负载功率，包括以下子步骤：

步骤1.1：建立HEUA的速度模型；

定义无人机整个航时为T，在第t个时间间隔处的飞行距离是真实空气速度随飞行持续时间t的积累，FD^t表示第t个时间段内的飞行距离：

将速度分解为垂直方向和飞行距离方向的分速度，垂直方向的速度和真实空气速度的加速度由飞行高度和真实空气速度定义：

步骤1.2：建立空气密度和质量损失模型；

空气密度与飞行高度成线性关系：

ρ(h_t)＝ρ₀·(k_h·h_t+b_h) (3)

HEUA的总质量是HEUA的净质量和有效载荷质量之和：

HEUA净质量将随着燃料的消耗而减少：

步骤1.3：建立飞机推进载荷模型；

在D_t基础上，将HEUA的推进载荷建模如下：

其中，P_vet和P_TAS分别是垂直方向和水平方向上的推进载荷；

步骤2：建立ECMS模型，得到Li电池与氢燃料电池的能量分配约束方程，再应用深度强化学习推测未知飞行状态下的电池能量分配方法，并得出两种电池在不同条件下的最优分配策略，实现基于无人机飞行状态的能源分配自主化：包括以下子步骤：

步骤2.1：状态变量的定义及状态更迭；

取电池的SOC值为唯一的状态变量，即

其中i(t)是每个取样时间段内的电流，取决于上个时间段采取的电池功率值。Q(t)为总电量，SOC_init为SOC的初始值。

步骤2.2：动作的定义及选取；

取每一次的锂电池功率为动作，即P_batt的值：

action(t)＝＜P_batt(t)＞ (9)

依照强化学习的原则，在每一个状态下选取收益值最大的动作。

步骤2.3：电池能量分配的目标优化；

目标优化函数为：

E＝(P_fc+αP_batt)ΔT (9)

能量由电池各部分功率等效得出，其中α为等效因子，可经验的表示为：

最终得到无人机不同工况下锂电池和燃料电池能量分配管理结果。

2.如权利要求1所述的一种基于深度强化学习的氢燃料无人机能量管理方法，其特征在于，电池功率满足以下约束：

其中P_load由力学模型计算得出。

3.如权利要求1所述的一种基于深度强化学习的氢燃料无人机能量管理方法，其特征在于，深度强化学习算法中的收益值定义为：