[发明专利]自适应多工况的递归深度强化学习混动汽车能量管理策略

说明书

本发明公开了一种自适应多工况的递归深度强化学习混动汽车能量管理策略，包括：生成随机工况作为训练集；获取混动汽车的状态变量、动作变量和奖励函数，并根据奖励函数建立回报函数；创建RDQN算法，并基于所述训练集进行训练，所述RDQN网络包括评估网络和目标网络，所述评估网络和目标网络的结构相同；使用训练好的RDQN算法进行能量管理，依据回报函数最大化对应的奖励、状态、动作进行控制。本发明通过在已有的深度强化学习网络中引入LSTM单元，设计RDQN算法，在模拟的多变工况库上训练，充分利用工况中的包含的时序信息，提高了燃油经济性，稳定了混动汽车行驶过程中的电池状态。

技术领域

本发明涉及混合动力汽车、氢燃料电池汽车等新能源汽车能量管理技术领域，特别涉及一种自适应多工况的递归深度强化学习混动汽车能量管理策略。

背景技术

混合动力汽车(HEV)的能量管理策略(EMS)可分为三种主要类型：基于规则、基于优化和基于学习的方法。基于规则的方法虽然简单，但在不同的工况下缺乏灵活性和最优性。基于优化的方法可以获得最优的解决方案，但需要大量的计算资源，通常可以作为探索燃油经济性潜在的离线基准。相比之下，基于学习的方法，特别是深度强化学习(DRL)算法，由于其在复杂驱动周期下更强的适应性和学习能力，以及较低的计算资源消耗，在解决混合动力汽车的能量管理策略问题方面显示出了潜力。

Liu T等人提出了一种基于Q学习的混合动力电动履带车辆自适应能量管理方法。结果表明，与随机动态规划相比，该方法具有较强的适应性、最优性和学习能力，并能有效减少计算时间。然而，当动作和状态空间巨大时，维护Q表非常困难。

Wu J,He H,Peng J等人在能量管理方面采用了深度Q学习(DQL)算法，不仅解决了Q学习中出现的维数诅咒，而且取得了比Q学习更好的燃油经济性。然而，Q学习的离散状态限制了它在混合动力汽车能量管理中的应用。

与DQL相比，Wu Y和Tan H等进一步探索了具有连续状态和动作表示的深度确定性策略梯度算法(deep deterministic policy gradient algorithm,DDPG)，并同时使用优先级体验重演算法来提高EMS的学习效率，从而达到与DP几乎相同的性能。但是它的训练过程涉及一种试错的方法，需要大量的训练片段来获得卓越的表现。

Lian R，Peng J等人基于对混合动力电动车专业知识的综合分析，提出了一种规则插入深度强化学习(RIDRL)能量管理系统。他们的研究提高了智能代理的学习效率，减少了搜索空间，并表明将HEV的专家知识嵌入HEV模型可以提高学习效率和燃油经济性。

尽管DRL有许多优点，但是大多数现有的DRL方法都是在标准驱动周期下开发和评估的。然而，现实世界的工况往往是可变的，并且不同于DRL模型所训练的标准条件。这种差异对DRL对新情况的适应性和通用性提出了重大挑战。具体来说，当模型部署在真实场景中时，DRL模型缺乏鲁棒性可能会导致性能不佳，甚至出现灾难性故障。因此，迫切需要开发新的DRL方法，以更能适应不同的驾驶条件所带来的挑战。

发明内容

本发明的目的在于克服现有技术中所存在的不同的工况下能量管理策略的适应性不足，提供一种自适应多工况的递归深度强化学习混动汽车能量管理策略。

为了实现上述发明目的，本发明提供了以下技术方案：

一种自适应多工况的递归深度强化学习混动汽车能量管理策略，包括：

S1、生成随机工况作为训练集；

S2、建立算法网络所需的状态变量、动作变量和奖励函数，分别基于状态变量获取状态S、动作变量获取动作A、奖励函数获取奖励R，同时根据奖励函数建立回报函数；

S3、创建RDQN算法网络，所述RDQN算法网络包括评估网络、目标网络和LSTM单元，所述评估网络和目标网络结构相同；