[发明专利]一种随机扰动系统的数据驱动自适应优化控制方法及介质

说明书

本发明公开了一种随机扰动系统的数据驱动自适应优化控制方法及介质，方法包括问题描述部分、数据驱动最优状态观测器的设计部分和随机扰动系统的异策略数据驱动ADP控制部分；对于上述三个部分，本发明进行了详细的说明。本发明通过设计数据驱动最优状态观测器，进行随机扰动系统的异策略数据驱动ADP控制。首次将数据驱动ADP方法首次用于状态完全不可测的系统；无模型LQG控制被推广到了连续时间系统；ADP设计中考虑了控制信号通道以外的非匹配噪声，以及不依赖状态和控制信号的独立噪声；提出一种针对随机扰动系统的新型异策略数据驱动ADP控制方法及介质，避免了需要反复读取和更新控制信号的负担，显著地减少了运算量。

技术领域

本发明涉及随机噪声扰动系统，具体涉及无模型随机最优控制。随机噪声扰动系统在工农业生产、电力系统、化学工艺、机械制造、交通运输、航空航天、人工智能等诸多领域均有所应用。

背景技术

实际系统中不确定性可能来自输入和状态等信号中的噪声。因此，随机噪声扰动系统的最优控制问题一直备受关注。传统文献中，这类问题通常采用H₂或H_∞等鲁棒控制方法处理，其主流实现方式是以某种确定模型调节扰动输入，进而设计状态反馈控制。但在工程实践中，令外界扰动以人们期望的方式更新往往并不现实。另一方面，已有的H₂和H_∞成果多为基于模型的方法。对于实际控制系统，除了噪声干扰，还可能受困于模型未知带来的不确定性。因此，研究无模型随机最优控制方法有重要的理论和现实意义。

自适应动态的规划(ADP)方法提供了一种无模型随机最优控制的新思路。近几年已出现基于强化学习或ADP方法的随机最优控制成果，该种方法仅考虑了控制信号通道的“匹配型”噪声，且需要多次读取和更新控制信号，运算量较大。但在实际系统中，噪声来源可能属于不同范畴。另一个值得关注的问题是，系统状态有时不能直接得到，但现有的数据驱动强化学习或ADP方法都要求系统状态至少是部分已知的。在MBC框架下，一些研究者曾通过把输出作为状态解决状态完全不可测的问题。然而，在含有测量噪声的情况下，这种方式无疑会使控制系统的性能恶化。

发明内容

本发明的目的在于克服现有技术的不足，提供一种随机扰动系统的数据驱动自适应优化控制方法，用以解决状态完全不可测系统的控制问题。

本发明的另一个目的是提供一种随机扰动系统的数据驱动自适应优化控制方法的存储介质。

本发明的目的是通过以下技术方案来实现的：

一种随机扰动系统的数据驱动自适应优化控制方法，包括问题描述部分、数据驱动最优状态观测器的设计部分和随机扰动系统的异策略数据驱动ADP控制部分；

对于问题描述部分：

给定一个随机扰动系统，并获得与之关联的输出方程；求解最优线性控制，通过设计的随机最优控制策略，使得代价函数最小化；

对于数据驱动最优状态观测器的设计部分：

针对完全不可测的系统状态，设计数据驱动最优状态观测器；通过随机扰动系统、输出方程和观测器获得状态设计系统；

观测得到的状态设计系统的最优控制策略；

借用数据驱动ADP的思想，在状态设计系统上设计数据驱动算法，求解最优观测增益；

对于随机扰动系统的异策略数据驱动ADP控制部分：

利用最优观测器得到状态设计系统的在线状态信息，即可进一步设计数据驱动ADP算法，最终获得随机最优控制。

作为优选方式，对于问题描述部分：

给定以随机微分方程描述的随机扰动系统

及与之关联的输出方程