[发明专利]一种基于深度强化学习的氢燃料无人机能量管理方法

说明书

本发明涉及一种基于深度强化学习的氢燃料无人机能量管理方法，根据飞机的不同飞行剖面，建立HEUA的速度模型、空气密度和质量损失模型和推进载荷模型，得到在此飞行状态下的负载功率。接着建立基于强化学习的ECMS能量控制模型，由负载功率得到此状态下锂电池和氢燃料电池的功率分配，得到飞行剖面下的功率分配曲线并精确计算SOC值的变化量，得到其下降曲线。实现对无人机飞行过程中能量的自主管理。

技术领域

本发明属于能量管理领域，特别涉及一种基于深度强化学习的氢燃料无人机能量管理方法。

背景技术

燃料电池是一种持续添加燃料以维持电力的新型电池，其所需的燃料常为“氢气”，具有零排放、无污染的特点，可以有效地缓解能源危机和环境污染问题，被认为是二十一世纪最有发展前景的能源之一。

目前国内外对氢燃料电池的研究已较为成熟，尤其是在汽车方面，有多种基于插电式混合动力电动汽车(PHEV)实时节能优化算法，其能源管理策略通常是基于启发式规则的，因为此方法对计算量的要求不高，可产生高计算效率。然而，基于规则的控制策略在算法设计上往往主要依赖于专家经验和工程实践，依据实现设计好的规则，判断无人机应该运行的工作模式，使得氢燃料电池和锂电池和功率得到一个合理的分配。这种控制方法策略较为简单，但对工程师的经验阅历要求较高，无法满足无人机飞行过程中的实时动态变化。因此，需要考虑一种基于深度强化学习的无模型最优控制方法。这种控制方法可以使无人机在飞行过程中，自主判断并学习已飞行阶段的能量分配管理成效，并在后续未知的飞行剖面情况下实现对能量的最佳自主分配。

发明内容

本发明解决的技术问题是：为了解决现有技术存在的不足，提出一种新颖的基于深度强化学习的无人机能量管理方法，本方法只需对无人机的飞行状态的变化进行感知，得到其功率消耗值，即可通过强化学习方法得出此飞行阶段的最佳能量管理策略，合理分配锂电池与氢燃料电池的功率，进而得到锂电池SOC值下降曲线，同时精确计算得出燃料电池中氢气的消耗量。

本发明的技术方案是：一种基于深度强化学习的氢燃料无人机能量管理方法，包括以下步骤：

步骤1：计算无人机所需负载功率，包括以下子步骤：

步骤1.1：建立HEUA的速度模型；

定义无人机整个航时为T，在第t个时间间隔处的飞行距离是真实空气速度随飞行持续时间t的积累，FD^t表示第t个时间段内的飞行距离：

将速度分解为垂直方向和飞行距离方向的分速度，垂直方向的速度和真实空气速度的加速度由飞行高度和真实空气速度定义：

步骤1.2：建立空气密度和质量损失模型；

空气密度与飞行高度成线性关系：

ρ(h_t)＝ρ₀·(k_h·h_t+b_h) (3)

HEUA的总质量是HEUA的净质量和有效载荷质量之和：

HEUA净质量将随着燃料的消耗而减少：

步骤1.3：建立飞机推进载荷模型；

在D_t基础上，将HEUA的推进载荷建模如下：

其中，P_vet和P_TAS分别是垂直方向和水平方向上的推进载荷；