[发明专利]基于强化学习的四旋翼无人机悬挂空运系统轨迹规划方法

说明书

本发明公开了一种基于强化学习的四旋翼无人机悬挂空运系统轨迹规划方法，首先通过构造性能指标评价函数，根据最优性原理将指标函数带入哈密顿‑雅可比‑贝尔曼(Hamilton‑Jacobi‑Bellman)方程，然后通过实时更新执行网络与评价网络的输出层权重，求出HJB方程的近似解，获得最优控制量。与现有技术相比，与现有技术相比，本发明能够有效抑制飞行环境未知扰动造成的影响，实现了无人机悬挂飞行系统的轨迹规划和位置精确控制。

技术领域

本发明涉及四旋翼无人机悬挂空运系统，特别涉及一种四旋翼无人机悬挂空运系统的飞行轨迹规划方法。

背景技术

目前，四旋翼无人机悬挂空运系统的飞行轨迹规划方法根据轨迹设计生成的阶段分为离线轨迹规划和在线轨迹规划两大类。

针对离线轨迹规划，在无人机悬挂空运系统领域较为常用的方法包括基于微分平滑的轨迹规划方法与基于优化控制思想的轨迹规划方法。其中：基于微分平滑的轨迹规划方法利用原非线性系统的微分形式，将原系统的状态空间映射到低维的平滑输出空间中，是一种能够有效处理非线性欠驱动系统的方法。

国内有研究人员将四旋翼无人机悬挂空运系统分解为两个子系统，分别为无人机与悬挂负载双质点连接子系统、单独的无人机姿态子系统；然后，基于系统的微分平滑特性采用动态反馈的方法得到四旋翼无人机的运动轨迹。在《基于微分平滑的四旋翼运输系统轨迹跟踪控制》(2019年《控制理论与应用》，梁晓、胡欲立；第525-532页)有关于“使用动态规划算法来获取开环最小摆动轨迹”的记载。建立动力学模型时，研究人员将非线性悬挂负载的模型视为球面摆，在轨迹附近线性化得到一个线性时变模型，并通过设计自适应控制器来应对负载摆动对四旋翼无人机重心的影响。“IEEE International Conference onRobotics and Automation”会议上发表的《Trajectory generation for swing-freemaneuvers of a quadrotor with suspended payload:a dynamic programmingapproach》(Palunko Ivana,Fierro Rafael,Cruz Patricio,2012,2691页-2697页)。

另外还有一种基于时间最优运动规划(Time-Optimal Motion Planning)的离线轨迹规划方法，有效地提高了系统的运输效率。该方法在充分考虑系统非线性动力学和各种约束条件的同时，将增广系统转化为以加速度为控制输入的非线性仿射系统。经过离散逼近，采用高斯伪谱法将时间最优运动规划问题转化为一个标准的非线性规划问题。最后，采用序列二次规划方法进行求解。实验结果验证了该方法的有效性和可行性。《Dynamicsanalysis and time-optimal motion planning for unmanned quadrotortransportation systems》(Mechatronics，Xiao Liang,Yongchun Fang,Ning Sun,2018,16页-29页)。