[发明专利]基于协状态辅助的自适应动态规划最优控制方法及系统

说明书

本发明公开了一种基于协状态辅助的自适应动态规划最优控制方法，包括如下步骤：步骤1，构建系统的状态变量、控制变量、转移环境、效用函数和代价函数；步骤2，构建基于协状态辅助的自适应动态规划的执行网络、协状态网络和评价网络；步骤3，基于协状态辅助的自适应动态规划的策略评估过程；步骤4，基于协状态辅助的自适应动态规划的策略提升过程；步骤5，重复步骤3～4直至循环迭代次数i大于规定次数或相邻两次外循环之后的代价函数差值|J_i+1(x_t,u_t,Λ_t)‑J_i(x_t,u_t,Λ_t)|小于设定值。本发明的基于协状态辅助的自适应动态规划最优控制方法，将代价函数对状态量的导数作为估计代价函数时的辅助变量，同时避免对复杂系统进行动力学建模的过程，提高了复杂动态系统求解的精度。

技术领域

本发明属于智能控制技术领域，具体涉及一种基于协状态辅助的自适应动态规划最优控制方法及系统。

背景技术

复杂的动态系统在众多研究领域中普遍存在，如车辆系统、水下机器人系统、化工过程系统、能量管理系统等，随着科技的发展，人们对这些控制系统的性能也提出了越来越高的要求。最优控制是在保证控制系统能稳定达到目标的基础上，寻求一个控制量，使给定的系统代价函数达到极大值(或极小值)。但在实际应用过程中，复杂系统通常具有高度非线性、未知动态特性、模型不确定性等特性，这会造成精确的系统模型难于建立，准确的代价函数难以评估，从而使得最优解难以求解。

在数字计算机实用化的推动下，人工智能与智能控制技术得到快速发展，强化学习、人工神经网络、迭代学习等方法不断丰富，提出了很多求解复杂系统优化问题的解决思路和具体技术方法。其中，西北工业大学所拥有的专利“基于预测建模的高超声速飞行器神经网络学习控制方法”公开了一种神经网络补偿建模误差的方法来实现高速飞行器的控制，可以一定程度上减小建模误差对控制效果的影响，但高速复杂环境下的动态特性仍会使得系统模型难以时刻保证精准。北京邮电大学所拥有的专利“基于量子退火的混合整数最优控制数值求解方法”公开了一种基于模型转换的迭代优化算法，该算法收敛较快，全局搜索能力较强，但最终优化结果很大程度依赖初始化模型的选择。不基于模型的自适应动态规划(ADP)以传统的最优控制为理论基础，融合人工智能的先进技术，成为了一种解决大规模复杂系统控制优化问题的方法。其中，上海海事大学所拥有的专利“一种水下热滑翔机姿态调节的近似动态规划优化控制方法”公开了一种不基于模型的两输入两输出解耦控制，可通过实时反馈状态量的方式在线更新控制律，但在线训练过程中代价函数并不能保证准确的评估，因此在训练过程中可能会得到较恶劣的控制效果。

发明内容

针对现有技术存在的不足，本发明的目的在于提供一种基于协状态辅助的自适应动态规划最优控制方法及系统，通过结合协状态量与资格迹更新机制，有效消除神经网络评估不准的缺陷，同时减少不基于模型的自适应动态规划算法的计算成本。

为实现上述目的，本发明提供了如下技术方案：一种基于协状态辅助的自适应动态规划最优控制方法，包括如下步骤：

步骤1，构建系统的状态变量、控制变量、转移环境、效用函数和代价函数；

步骤2，构建基于协状态辅助的自适应动态规划的执行网络、协状态网络和评价网络，用于策略提升和策略评估；

步骤3，基于协状态辅助的自适应动态规划的策略评估过程；

步骤4，基于协状态辅助的自适应动态规划的策略提升过程；